-
Die
Erfindung betrifft ein Verfahren zur Ermittlung zweidimensionaler
Bewegungsvektorfelder in einer Bildsequenz mit den Schritten:
- – Aufnehmen mindestens eines Bildes
einer Szene mit einer ersten Belichtungsdauer;
- – Aufnehmen derselben Szene mit einer zweiten Belichtungsdauer,
die länger als die erste Belichtungsdauer ist, so dass
das mit der zweiten Belichtungsdauer aufgenommene Bild der Szene eine
größere Bewegungsunschärfe hat als das mit
der ersten Belichtungsdauer aufgenommene, mindestens eine Bild derselben
Szene.
-
Die
Erfindung betrifft weiterhin eine Bildverarbeitungseinrichtung mit
mindestens einer Kamera zur Aufnahme einer Folge von Bildern einer
Szene, mit einer Steuerungseinheit zur Steuerung der mindestens
einen Kamera und mit einer Bildauswerteeinheit.
-
Konventionelle
Video-Aufnahmeverfahren liefern zeitlich getrennte Momentbilder
einer aufgenommenen dynamischen Szene. Um eine Ansicht einer beliebigen
dynamischen Szene aus einem festen Blickpunkt zu jedem beliebigen
Zeitpunkt zwischen einem fest definierten Anfangs- und Endzeitpunkt photorealistisch
erzeugen zu können, ist eine Rekonstruktion des zeitlich
kontinuierlichen Verlaufs der aufgenommenen Szene erforderlich.
Dies erfolgt herkömmlicherweise durch Rekonstruktion des
sogenannten „optischen Flusses" mittels Bildverarbeitungsverfahren.
Dabei wird anhand einzelner Momentbilder auf das zweidimensionale
Bewegungsvektorfeld der Szene geschlossen
-
Chr.
Theobalt, J. Carranza, M. A. Magnor, H.-P. Seidel: „Enhancing
Silhouette-based Human Motion Capture with 3D Motion Fields", in:
Proc. IEEE Pacific Graphics 2003, Canmore, Canada, pp. 185–193,
October 2003, offenbart ein Verfahren zur Erfassung von
Bewegung in Bildern mit dreidimensionalen Bewegungsfeldern. Aus
den Berechnungen des optischen Flusses im zweidimensionalen Raum für
eine Vielzahl von Blickwinkeln und einem Objektmodell wird ein dreidimensionales
Bewegungsfeld abgeleitet.
-
Die
Bestimmung des optischen Flusses in Bildsequenzen ist bspw. in SukHan
Lim und Abbas EI Gamal: „Optical Flow Estimation Using
High Frame Rate Sequences", in: Proc. Int. Conf. Image Processing,
Vol. 2, 2001, pp. 925–928 beschrieben. Hierzu wird
eine spezielle Kamera mit hoher Bildrate verwendet und der optische
Fluss zwischen den einzelnen Bildern mittels eines bekannten Verfahrens
nach Lukas-Kanade berechnet.
-
Die
Bewegungsschätzung in digitalen Bildsequenzen ist unter
anderem aus der Bildkompressionstechnik bekannt. Dabei werden für
Bildblöcke aufeinander folgende Bilder einer Sequenz Verschiebungsvektoren
bestimmt, die eine Verschiebung von Bildblöcken beschreiben,
die die geringste Änderung des Bildinhalts aufweisen. Derartige
Bewegungsschätzverfahnen sind bspw. in der
WO 98/14010 ,
EP 0 614 318 B1 bekannt.
-
US 2006/0290821 A1 offenbart
ein aus der Auswertung von globaler Bildbewegungsinformation und
lokaler Bewegung in Bildblöcken beruhendes Verfahren zur
Videoaufbereitung. Zur Beschreibung der lokalen Bildbewegung werden
optische Flussvektoren berechet.
-
M.-Ben-Ezra
und S. K. Nayar: „Motion-Based Motion-Deblurring" in: IEEE
Transactions an Pattern Analysis and Machine Intelligence, Vol. 26,
No. 6, June 2004 beschreibt ein Verfahren zur Aufbereitung
von durch eine Kamerabewegung signifikant verschlechterten Videos.
Um die erforderliche Bewegungsinformation der Kamera zu erhalten
ist ein zweiter Bilddetektor mit geringerer Auflösung als die
Videoaufnahmekamera mit der Videokamera gekoppelt. Während
mit der hochauflösenden Videokamera das aufzunehmende und
nachzuverarbeitende Video mit langer Belichtungsdauer und geringer
zeitlicher Auflösung aufgenommen wird, arbeitet der zweite
Bilddetektor mit höherer zeitlicher Auflösung, kürzeren
Belichtungsdauern und geringerer örtlicher Auflösung.
Die Bewegung der Videokameras wird anhand der mit dem zweiten Bilddetektor
aufgenommenen Bildsequenz bestimmt. Das Verfahren dient dazu, das
lang belichtete Bild durch Kompensation der Bewegung der Kamera
zu schärfen, während die Szene als statisch angenommen
wird. Dazu wird der optische Fluss zwischen den Aufnahmen mit der
geringen räumlichen Auflösung, die nur kurz belichtet werden,
berechnet. Anschließend wird eine Annäherung an
das Bewegungsfeld berechnet, das der Bewegung der Kamera während
der langen Belichtungsdauer entspricht. Das lang belichtete, bewegungsunscharfe
Bild wird dann mit Hilfe dieser Annäherung geschärft.
-
Die
Koppelung von Videokamera und zweitem Bilddetektor kann in dem Verfahren
von Ben-Ezra und Nayar entweder dadurch erfolgen, dass der zweite
Bilddetektor an einem Gehäuse der Videokamera angebracht
und auf das gleiche Objekt fokussiert ist. Es kann aber auch ein
Strahlteiler verwendet werden, so dass Videokamera und zweiter Bilddetektor
dieselbe Optik nutzen. Beschrieben ist auch der Einsatz eines speziellen
Bildaufnahmechips mit zwei Bilddetektoren auf demselben Chip.
-
Die
Rekonstruktion des optischen Flusses mittels Bildverarbeitungsverfahren
auf die bekannte Weise hat den Nachteil, dass die Rekonstruktion
des „optischen Flusses" eine unterbestimmtes Problem ist,
zu dessen Lösung weitere Randannahmen gemacht werden müssen,
die nicht allgemein zutreffen. Der optische Fluss versagt zudem
in Szenenregionen, die nicht in beiden Bildern sichtbar sind, wie
beispielsweise bei Verdeckungen und Aufdeckungen. Der optische Fluss
ist auch nicht notwendig identisch mit der wahren Bewegung der Szene,
beispielsweise einer sich drehenden Spirale. Zeitlich nicht-lineare Bewegungen
(Beschleunigung, Abbremsen) können mittels des optischen
Flusses nicht korrekt ermittelt werden.
-
Ausgehend
hiervon ist es Aufgabe der vorliegenden Erfindung ein verbessertes
Verfahren zur Ermittlung des optischen Flusses in einer Bildsequenz zu
schaffen, das einfach ist und verbesserte und robustere Ergebnisse
liefert.
-
Die
Aufgabe wird mit dem Verfahren der eingangs genannten Art gelöst
durch Ermitteln eines zweidimensionalen Bewegungsvektorfeldes aus
dem mit der zweiten Belichtungsdauer aufgenommenen länger
belichteten Bild der Szene mit der höheren Bewegungsunschärfe
in Bezug zu dem zeitlich mit diesem Bild der Szene zusammenhängenden
mindestens einen mit der ersten kürzeren Belichtungsdauer aufgenommenen
Bildes der Szene.
-
Es
wird somit vorgeschlagen, die Bewegungsinformationen sowohl aus
den Bildern einer Szene mit kurzer Belichtungsdauer, als auch aus
den Bildern derselben Szene mit langer Belichtungsdauer gleichermaßen
auszunutzen und miteinander zu korrelieren, um aus der Kombination
beider Bildaufnahmen derselben Szene mit langer und kurzer Belichtungsdauer
den optischen Fluss abzuleiten. Das zweidimensionale Bewegungsvektorfeld
ist die Projektion der tatsächlichen dreidimensionalen
Bewegung in der aufgenommenen Szene auf die Bildebene.
-
Mit
den lang belichteten Aufnahmen der Szene stehen zusätzliche
Informationen über den wahren Verlauf der Szene in Bewegung
zur Verfügung, so dass der Lösungsraum zur Rekonstruktion
des optischen Flusses erheblich eingeschränkt werden kann.
Im Ergebnis führt die Berücksichtigung der Zusatzinformationen
aus den lang belichteten Aufnahmen zu wesentlich verbesserten und
robusteren Ergebnissen im Vergleich zu den bisherigen Verfahren, bei
denen keine Korrelation von länger und kürzer belichteten
Aufnahmen erfolgt.
-
Bei
dem Verfahren wird ausgenutzt, dass die kürzer belichteten
Bilder eine dynamische Szene in scharfen Momentaufnahmen abbilden,
während die lang belichteten Bilder Bewegungsunschärfe
zeigen. Das mindestens eine lang belichtete Bild wird zusammen mit
kurz belichteten Bildern benutzt, um das komplexe 2D-Bewegungsfeld
einer dynamischen Szene robust zu ermitteln.
-
Beispielsweise
kann anhand einer lang belichteten Aufnahme sowie der zwei zeitlich
nächstgelegenen kurz belichteten Aufnahmen das Bewegungsfeld
einer Szene rekonstruiert werden, in dem ausgenutzt wird, dass die
lang belichtete Aufnahme einer Faltung der beiden kurz belichteten
Aufnahmen mit einem Kern, der von dem optischen Fluss abhängt,
entspricht.
-
In
einer bevorzugten Ausführungsform erfolgt somit eine Faltung
von mindestens zwei mit der ersten Belichtungsdauer aufgenommenen
Bildern der Szene und Ausnutzung von einem mit der zweiten Belichtungsdauer
aufgenommenen Bildes derselben Szene.
-
Die
Ermittlung des Bewegungsverlaufes kann verbessert werden, wenn das
Aufnehmen des mindestens einen Bildes an der Szene mit der ersten zeitlichen
Auflösung mit Hilfe einer ersten Bildaufnahmeeinheit erfolgt,
die einen Verstärkungsfaktor zur Bildaufnahmesteuerung
hat, der höher als der Verstärkungsfaktor einer
zweiten Bildaufnahmeeinheit zum Aufnehmen derselben Szene mit einer
zweiten Belichtungsdauer ist. Die Szene wird also sowohl mit kurzer
Belichtungszeit und hohem Verstärkungsfaktor als auch mit
möglichst langer Belichtungszeit und kleinem Verstärkungsfaktor
aufgenommen. Die Verstärkungsfaktoren müssen dabei
so gewählt sein, dass die kurz belichteten Bilder nicht
unterbelichtet sind, während die lang belichteten Bilder
nicht überbelichtet werden. Die maximale Belichtungszeit
ist von der Bildwiederholrate der Kameras abhängig.
-
Alternativ
zur Bildaufnahme mit zwei unabhängigen Kameras ist auch
denkbar, dass das Aufnehmen der Szene mit einer Kamera derart erfolgt, dass
zeitlich hintereinander Bilder der Szene mit voneinander unterschiedlichen
Belichtungsdauern aufgenommen werden, um von einer Szene Bilder
mit unterschiedlicher Bewegungsunschärfe zu erhalten. Der
Bewegungsverlauf wird dann aus den mit unterschiedlichen Belichtungsdauern
aufgenommenen Bildern derselben Szene ermittelt. Auch hier ist es vorteilhaft,
wenn die einzige Videokamera alternierend Bilder mit kurzer und
langer Belichtungszeit bei simultan entsprechend wechselnden Verstärkungsfaktoren
aufnimmt, so dass bei der Bildaufnahme mit langer Belichtungszeit
ein kleiner Verstärkungsfaktor und bei Bildaufnahme mit
kurzer Belichtungszeit ein großer Verstärkungsfaktor
gewählt wird.
-
Aufgabe
der vorliegenden Erfindung ist weiterhin, eine verbesserte Bildverarbeitungseinrichtung mit
mindestens einer Kamera zur Aufnahme einer Folge von Bildern und
einer Szene, mit einer Steuerungseinheit zur Steuerung der mindestens
einen Kamera und mit einer Bildauswerteeinheit zu schaffen.
-
Die
Aufgabe wird mit der Bildverarbeitungseinrichtung der eingangs genannten
Art dadurch gelöst, dass die Steuerungseinheit eingerichtet
ist, um mindestens ein Bild einer Szene mit einer ersten Belichtungsdauer
und dieselbe Szene mit einer zweiten Belichtungsdauer aufzunehmen,
die geringer als die erste Belichtungsdauer ist, so dass das mit
der zweiten Belichtungsdauer aufgenommene Bild der Szene eine größere
Bewegungsunschärfe hat, als das mit der ersten Belichtungsdauer
aufgenommene, mindestens eine Bild derselben Szene, und dass die Bildauswerteeinheit
zur Ermittlung des zweidimensionalen Bewegungsvektorfeldes aus dem
mit der zweiten zeitlichen Auflösung aufgenommene Bild
der Szene mit größerer Bewegungsunschärfe
im Bezug zu dem zeitlich mit diesem Bild der Szene zusammenhängenden,
mindestens einen Bildes dieser Szene mit erster Belichtungsdauer
eingerichtet ist.
-
Vorteilhafte
Ausführungsformen sind in den Unteransprüchen
beschrieben.
-
Die
Erfindung wird anhand von Ausführungsbeispielen nachfolgend
mit den beigefügten Zeichnungen beispielhaft näher
erläutert. Es zeigen:
-
1 – Blockdiagramm
einer Bildverarbeitungseinrichtung mit zwei Kameras und einer Bildauswerteeinheit
zur Ermittlung des 2D-Bewegungsvektorfeldes in einer Bildsequenz;
-
2 – Blockdiagramm
einer Bildverarbeitungseinrichtung mit einer Kamera mit Strahlenteiler und
an zwei Bildsensoren der Kamera angeschlossenen Bildauswerteeinheit;
-
3 – Belichtungszeitdiagramm
zur Darstellung der Bildaufnahmemöglichkeiten für
die Ermittlung des 2D-Bewegungsverlaufs in einer Bildsequenz;
-
4 – Skizze
von einer mit kurzen und langen Belichtungszeiten aufgenommenen
Bildsequenz über die Zeit und aus einer ersten Näherung
des optischen Flusses abgeleitetem Bild B0.
-
1 lässt
ein Blockdiagramm einer Bildverarbeitungseinrichtung 1 erkennen,
die eine erste Kamera 2a zur Aufnahme einer Szene 3 mit
einer ersten Belichtungsdauer hat. Diese erste Kamera 2a ist
an eine zweite Kamera 2b gekoppelt, die auf dieselbe Szene 3 ausgerichtet
ist, um diese Szene 3 mit einer zweiten Belichtungsdauer
aufzunehmen. Hierzu sind die erste und zweite Kamera 2a, 2b durch
zugeordnete Steuerungseinheiten 4a, 4b angesteuert,
die separat oder als eine Einheit ausgebildet sein können. Die
Kameras 2a, 2b werden derart angesteuert, dass die
erste Kamera 2a die Szene 3 mit kurzer Belichtungszeit
und hohem Verstärkungsfaktor (Gain) aufnimmt, während
die zweite Kamera 2b dieselbe Szene 3 mit möglichst
langer Belichtungszeit und kleinem Verstärkungsfaktor aufnimmt.
Die Steuerungseinheiten 4a, 4b sowie die Kameras 2a, 2b sind selbst
so eingestellt, dass die kurzbelichteten Bilder nicht unterbelichtet
sind, während die langbelichteten Bilder nicht der Szene 3 überbelichtet
werden. Dies erfolgt durch geeignete Auswahl der Verstärkungsfaktoren.
-
Die
maximale Belichtungszeit selbst ist von der Bildwiederholrate der
Kameras 2a, 2b abhängig.
-
Die
mit kurzer Belichtungszeit durch die erste Kamera 2a aufgenommenen
Bilder sowie das mindestens eine mit langer Belichtungszeit aufgenommene
Bild derselben Szene 3 werden einer Bildauswerteeinheit 5 zugeführt,
in der aus diesen kurz- und lang belichteten Bilder derselben Szene 3 das
zweidimensionale Bewegungsvektorfeld BV berechnet wird, der die
kurz belichteten Aufnahmen konsistent ineinander überführt
und zugleich die lang belichtete Aufnahme rekonstruiert.
-
2 lässt
eine andere Ausführungsform einer der zwei Kameras 2a, 2b synchron
betrieben werden. Die beiden Kameras 2a, 2b besitzen
durch einen optischen Strahlteiler 6 dieselbe optische
Achse und benutzen dieselbe Optik 7. Wiederum wird mit der
ersten Kamera die Szene 3 mit kurzer Belichtungszeit und
hohem Verstärkungsfaktor mit der zweiten Kamera 2b dieselbe
Szene 3 mit langer Belichtungszeit und kleinem Verstärkungsfaktor
aufgenommen.
-
Eine
alternative technische Realisierung besteht darin, eine einzige
Videokamera 2 zu verwenden, die alternierend Bilder mit
kurzer und langer Belichtungszeit bei simultan entsprechend wechselnden
Verstärkungsfaktoren aufnimmt.
-
3 lässt
ein Belichtungszeitdiagramm zur Darstellung der Bildaufnahmemöglichkeiten
für die Ermittlung des Bildbewegungsverlaufs, d. h. des 2D-Bewegungsvektorfeldes
BV in einer Bildsequenz erkennen.
-
Die
herkömmlichen Verfahren a) haben vorgesehen, den optischen
Fluss durch Betrachten zweier aufeinander folgender Kurzzeitbelichtungen zu
bestimmen.
-
In
einer Ausführungsform b) des Verfahrens zur Ermittlung
des Bewegungsverlaufs, d. h. von 2D-Bewegungsvektorfeldern in einer
Bildsequenz erfolgt ein regelmäßiges Umschalten
der Belichtungszeit, um alternierend kurz belichtete Aufnahmen A,
C, E, G und lang belichtete Aufnahmen B, D, F, H zu machen.
-
In
einem anderen Verfahren c) können mit einem Zwei-Kamera-System
kurz belichtete Bilder A, C, E, G und lang belichtete Bilder B,
D, F, H simultan aufgenommen werden.
-
Eine
andere Alternative d) sieht vor, mit einer entsprechend modifizierten
Kamera 2 alternierend kurz belichtete Aufnahmen A, C, E,
H und lang belichtete Aufnahmen B, D, F, H bei minimalen, jeweils gleich
langen Totzeiten aufzuzeichnen.
-
Durch
die Aufnahme einer Szene
3 mit lang und kurz belichteten
Bildern A bis H stehen viel mehr Informationen zur Verfügung
als bei den bekannten Methoden zur Bestimmung des 2D-Bewegungsvektorfeldes.
Diese Informationen werden durch das folgende Modell zur Bildentstehung
in Zusammenhang gebracht:
Ist v: R
2 × [t
1, t
2] → R
2, (x →, t) ↦ v
t(x →)
die 2D-Bewegung eines Punktes der Bildebene zur Zeit t, so lässt
sich das langzeitbelichtete Bild B
0 aus
dem kurz belichteten Bild A wie folgt berechnen:
-
Eine ähnliche
Formulierung lässt sich für das kurz belichtete
Bild C finden. Eine weitere Beschreibung des Bildentstehungsprozesses
ist auch mittels der Integralgleichung
mit einem geeigneten Kern
k: Ω
2 → R möglich.
-
Es
wird ausgenutzt, dass die kurz belichteten Bilder A, C, E, G die
dynamische Szene 3 in scharfen Momentaufnahmen abbilden,
während die lang belichteten Bilder B, D, F, H Bewegungsunschärfe
zeigen. Anhand einer lang belichteten Aufnahme B sowie der zwei
zeitlich nächst gelegenen kurz belichteten Aufnahmen A,
C kann das Bewegungsfeld der Szene 3 rekonstruiert werden.
Dazu wird ausgenutzt, dass die lang belichtete Aufnahme einer Faltung
entspricht mit den beiden kurz belichteten Aufnahmen A, C als Kern
und dem zu ermittelnden 2D-Bewegungsvektorfeld als Definitionsbereich
der Faltung.
-
Zur
Bestimmung des 2D-Bewegungsvektorfeldes BV aus diesen Informationen
sind verschiedene Ansätze möglich, wie beispielsweise
Entfaltungsansätze, Variationsansätze, Analysis-by-Synthesis-Ansätze
etc.
-
4 lässt
eine Skizze von kurz belichteten Aufnahmen A, C und einer lang belichteten
Aufnahme B erkennen. Mit Hilfe beispielsweise des Analysis-by-Synthesis-Ansatzes
wird der Bildentstehungsprozess der lang belichteten Aufnahme B
entsprechend der oben genannten Formel
schnell simuliert. Dies hat
die Wirkung, dass die kurz belichteten Bilder A und C entlang eines
initialen Bewegungsfeldes v
0 verschmiert
und gewichtet gemittelt werden. Das auf diese Weise erzeugte Ergebnisbild
B
0 wird anschließend mit lang belichteten
Aufnahme B verglichen. Zum Vergleich genügt ein einfaches
Fehlermaß, z. B. das aufsummierte Fehlerquadrat SSD. Mit
Hilfe eines geeigneten Optimierungsverfahrens, z. B. nach Powell
wird das Bewegungsfeld v
n iterativ solange
variiert, bis der Fehlerwert e minimal ist.
-
Als
initiales Bewegungsfeld v0 stehen sowohl der
Optische Fluss zwischen den beiden kurz belichteten Aufnahmen A
und C zur Verfügung, als auch der Optische Fluss aus der
Langzeitbelichtung B.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - WO 98/14010 [0006]
- - EP 0614318 B1 [0006]
- - US 2006/0290821 A1 [0007]
-
Zitierte Nicht-Patentliteratur
-
- - Chr. Theobalt,
J. Carranza, M. A. Magnor, H.-P. Seidel: „Enhancing Silhouette-based
Human Motion Capture with 3D Motion Fields", in: Proc. IEEE Pacific
Graphics 2003, Canmore, Canada, pp. 185–193, October 2003 [0004]
- - SukHan Lim und Abbas EI Gamal: „Optical Flow Estimation
Using High Frame Rate Sequences", in: Proc. Int. Conf. Image Processing,
Vol. 2, 2001, pp. 925–928 [0005]
- - M.-Ben-Ezra und S. K. Nayar: „Motion-Based Motion-Deblurring"
in: IEEE Transactions an Pattern Analysis and Machine Intelligence,
Vol. 26, No. 6, June 2004 [0008]
