DE69827232T2

DE69827232T2 - Mosaikbildverarbeitungssystem

Info

Publication number: DE69827232T2
Application number: DE69827232T
Authority: DE
Inventors: Shmuel Peleg; Benny Rousso
Original assignee: Yissum Research Development Co of Hebrew University of Jerusalem
Current assignee: Yissum Research Development Co of Hebrew University of Jerusalem
Priority date: 1997-01-30
Filing date: 1998-01-20
Publication date: 2005-10-20
Anticipated expiration: 2018-01-21
Also published as: US20030076406A1; US6532036B1; WO1998034195A1; ATE280978T1; EP0954828A1; IL131056A0; EP0954828B1; JP4007619B2; IL131056A; AU5573698A; JP2001510585A; US7006124B2; DE69827232D1

Description

Gebiet der Erfindung
Diese Erfindung betrifft eine Videobildmosaikbildung zum Erhalten von Panoramamosaiken einer Szene.
Stand der Technik
Verweise auf den Stand der Technik, die als Hintergrund der Erfindung als relevant betrachtet werden, werden im folgenden aufgelistet. Eine Anerkennung der Verweisquellen hierin soll nicht als Absicht gedeutet werden, daß diese in irgendeiner Weise für die Patentfähigkeit der Erfindung relevant sind, die hierin offenbart wird. Jeder Verweis durch eine in rechteckigen Klammern eingeschlossene Zahl und folglich der Stand der Technik wird über die gesamte Beschreibung hinweg durch in rechteckige Klammern eingeschlossene Zahlen bezeichnet.

[1] ARPA Image Understanding Workshop, Monterey, Kalifornien, November 1994, Morgan Kaufmann.
[2] Fifth International Conference on Computer Vision, Cambridge, MA, Juni 1995, IEEE-CS.
[3] IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, Kalifornien, Juni 1996.
[4] P.J. Burt und E.H. Adelson. A multiresolution spline with application to image mosaics . ACM Trans. on Graphics, 2 (4), Seiten 217-236, Oktober 1983.
[5] P.J. Burt und P. Anandan. Image stabilization by registration to a reference mosaic. In ARPA Image Understanding Workshop [1], Seiten 425-434.
[6] S.E. Chen und L. Williams. View interpolation for image syn thesis. In SIGGRAPH, Seiten 279-288, Anaheim, Kalifornien, August 1993, ACM.
[7] T.R. Halfhill. See you around. Byte Magazine, Seiten 85-90, Mai 1995.
[8] M. Hansen, P. Anandan, K. Dana, G. van der Wal und P.J. Burt. Real-time scene stabilization and mosaic construction. In ARPA Image Understanding Workshop [1], Seiten 457-465.
[9] M. Irani, P. Anandan, und S. Hsu. Mosaic based representations of video sequences and their applications. In Fifth International Conference on Computer Vision [2], Seiten 605-611.
[10] P. Jaillon und A. Montanvert. Image mosaicing applied to three-dimensional surfaces. In 12 International Conference on Pattern Recognition, Seiten 253-257, Jerusalem, Israel, Oktober 1994, IEEE-CS.
[11] A. Krishnan und N. Ahuja. Panoramic image acquisition. In IEEE Conference on Computer Vision and Pattern Recognition [3], Seiten 379-384.
[12] S. Mann und R. Picard. Virtual bellows: Constructing high quality stills from video. In First IEEE International Conference on Image Processing, Austin, Texas, November 1994.
[13] L. McMillan und G. Bishop. Plenoptic modeling: An imagebased rendering system. In SIGGRAPH, Los Angeles, Kalifornien, August 1995, ACM.
[14] D.L. Milgram. Computer methods for creating photomosaics. IEEE Trans. on Computers, C-24 Seiten 1113-1119, 1975.
[15] D.L. Milgram. Adaptive techniques for photomosaicing. IEEE Trans. on Computers, C-26 Seiten 1175-1180, 1977.
[16] S. Peleg, Elimination of seams from photomosaics. Computer Graphics and Image Processing, 16, Seiten 90-94, Mai 1981.
[17] B. Rousso, S. Avidan, A. Shashua und S. Peleg. Robust recovery of camera rotation from three frames. In IEEE Conference on Computer Vision and Pattern Recognition [3], Seiten 796-802.
[18] H.S. Sawhney, S. Ayer und M. Gorkani. Model-based 2D and 3D dominant motion estimation for mosaicing and video representation. In Fifth International Conference on Computer Vision [2], Seiten 583-590.
[19] S. Seitz und C. Dyer. Physically valid view synthesis by image interpolation. In Proc. IEEE Workshop on Representation of Visual Scenes, Cambridge, MA, Juni 1995, IEEE-CS.
[20] R. Hartley und R. Gupta Linear pushbroom cameras. In J.O. Eklundh, Herausgeber, Third European Conference on Computer Vision, Seiten 555-566, Stockholm, Schweden, Mai 1994, Springer.
[21] M. Irani, B. Rousso und S. Peleg. Detecting and tracking multiple moving objects using temporal integration. In G. Sandini, Herausgeber, Second European Conference on Computer Vision, Seiten 282-287, Santa Margherita, Italien, Mai 1992, Springer.
[23] R. Szeliski. Video mosaics for virtual environments. IEEE Computer Graphics and Applications, Seiten 22-30, März 1996.
[24] R. Szeliski und S.B. Kang. Direct methods for visual scene reconstruction. In Proc. IEEE Workshop on Representation of Visual Scenes, Cambridge, MA, Juni 1995, IEEE-CS, Seiten 26-33.
[25] J.Y. Zheng und S. Tsuji. Panoramic representation for route recognition by a mobile robot. International Journal of Computer Vision, B. 9, Seiten 55-76, 1992.
[26] L Teodosio und W. Bender. Salient-video stills: content and context preserved. Proceedings of the ACM Multimedia Conference, Anaheim, August 1993, Seiten 39-46.

Hintergrund der Erfindung
Das Bedürfnis, Bilder zu Panoramamosaiken zu kombinieren, existierte seit dem Beginn der Photographie, da das Sichtfeld der Kamera immer kleiner als das menschliche Gesichtsfeld ist. Außerdem können häufig große Objekte nicht in einem einzigen Bild aufgenommen werden, und nur eine Photomosaikbildung ermöglicht eine vollständigere Ansicht. Die Digitalphotographie schaffte neue Anwendungen zur Mosaikbildung [14, 15, 16, 4, 24, 23], die zuerst für Luft- und Satellitenbilder implementiert wurden.
Es sind drei Hauptprobleme in der herkömmlichen Bildmosaikbildung wichtig:

(i) eine Bildausrichtung, die die Transformation bestimmt, die die Bilder ausrichtet, die in einem Mosaik kombiniert werden sollen. Eine Papier-Photomosaikbildung verwendet starre Transformationen zur Ausrichtung: Bildtranslationen (Verschiebungen) und Rotationen. Eine digitale Verarbeitung ermöglicht allgemeinere Transformationen, wie affine oder planar-projektive.
(ii) Es ist ein Bildausschneiden und Einsetzen notwendig, da die meisten Bereiche in der Panoramamosaik überlappend sind, und durch mehr als ein Bild abgedeckt werden. Das Auschneide- und Einsetzverfahren beinhaltet entweder ein Auswahl eines einzelnen Bildes für jeden überlappenden Bereich oder eine gewisse Art Kombination aller überlappenden Bilder.
(iii) Es ist eine Bildmischung notwendig, um den Intensitätsunterschied zwischen Bildern zu überwinden, Unterschiede, die selbst dann vorhanden sind, wenn Bilder perfekt ausgerichtet sind. Solche Unterschiede werden durch eine dynamische Änderung der Kameraverstärkung erzeugt.

Die einfachsten Mosaiken werden aus einem Satz von Bildern erzeugt, deren gegenseitige Verschiebungen reine Bildebenentranslationen sind. Dies ist annähernd der Fall bei einigen Satellitenbildern. Solchen Translationen können entweder berechnet werden, indem manuell auf entsprechende Punkte gezeigt wird, oder durch Bildkorrelationsverfahren. Andere einfache Mosaiken werden erzeugt, indem die Kamera um ihren optischen Mittelpunkt gedreht wird, wobei eine spezielle Vorrichtung verwendet wird, und ein Panoramabild erzeugt wird, das die Projektion der Szene auf einen Zylinder [7, 11, 12, 13] oder eine Kugel repräsentiert. Da es nicht einfach ist, eine reine Rotation um den optischen Mittelpunkt sicherzustellen, können solche Mosaiken nur in begrenzten Fällen verwendet werden.
In allgemeineren Kamerabewegungen, die sowohl Kameratranslationen als auch Kamerarotationen umfassen können, werden allgemeinere Transformationen zur Bildausrichtung verwendet [5, 8, 9, 10, 18]. In den meisten Fällen werden Bilder paarweise ausgerichtet, wobei eine parametrische Transformation wie eine affine Transformation oder planar-projektive Transformation verwendet werden (siehe zum Beispiel [26]). Diese Transformationen enthalten eine ihnen innewohnende Annahme hinsichtlich der Struktur der Szene, wie daß sie planar ist. Es wird ein Bezugsrahmen ausgewählt, und alle Bilder werden mit diesem Bezugsrahmen ausgerichtet und kombiniert, um das Panoramamosaik zu erzeugen. Diese Verfahren werden daher als Verfahren bezeichnet, die auf Bezugsrahmen beruhen.
Die Ausrichtung aller Rahmen an einem einzelnen Bezugsrahmen ist vernünftig, wenn die Kamera weit weg ist und ihre Bewegung hauptsächlich eine Seitwärtstranslation und eine Rotation um die optische Achse ist. Es werden beträchtliche Verzerrungen erzeugt, wenn die Kamerabewegungen andere Rotationen enthalten. 1 zeigt die Auswirkungen großer Rotationen auf Verfahren, die auf einem Bezugsrahmen beruhen. Die Objekte a, b, x, y, c, d, w, z werden von zwei Kameras C₁ und C₂ betrachtet. Das Bild I₁ wird als ein Bezugsrahmen ausgewählt, und das Bild I₂ wird auf diesen Bezugsrahmen projiziert. Große Rotationen erzeugen Verzerrungen, wenn auf den Bezugsrahmen projiziert wird, und die Information, die von Rahmen mit solchen Rotationen abgeleitet werden, ist unscharf und fast nutzlos. Außerdem kann in langen Sequenzen, in denen sich die Kamera auf einem komplexen Weg bewegt, ein Rahmen nicht lange als Bezugsrahmen verwendet werden, und eine Projektion der gesamten Sequenz auf diesen Rahmen wird unzweckmäßig.
Das Mannigfaltigkeitsprojektionsverfahren wurde in [25] eingeführt, wo ein Mosaik konstruiert wird, indem eine Szene mit einer eindimensionalen, geraden Anordnung abgetastet wird.
Jedoch kann keines der obigen Verfahren Fälle behandeln, wo Bilder infolge einer Parallaxe nicht ausgerichtet werden können, oder Fälle einer Brennweitenverstellung und Vorwärtsbewegung.
Eine Mannigfaltigkeitsprojektion simuliert die Abtastung einer Szene unter Verwendung einer linearen eindimensionalen Sensoranordnung, siehe 2. Ein solcher eindimensionaler Sensor kann die Szene durch beliebige Kombinationen von Rotationen und Translationen abtasten, und in allen Fällen wird die Abtastung zu einem sinnvollen Panoramabild führen, wenn herausbekommen werden könnte, wie die ankommenden eindimensionalen Bildstreifen ausgerichtet werden sollen. Einige Satellitenbilder werden erzeugt, indem die Erde mit einem eindimensionalen Sensor abgetastet wird, der einen rotierenden Spiegel verwendet. Da in diesem Fall die Ausrichtung der Sensoren unter Verwendung des Ortes des Satelliten und der Position des Spiegels geschehen kann, werden leicht zweidimensionale Panoramabilder erhalten. 2 zeigt eine Luftaufnahme mit einem linearen eindimensio nalen Abtastsystem.
In allgemeineren Fällen kann die Bewegung der Abtastungsebene nicht bekannt sein. Es scheint unmöglich zu sein, die eindimensionalen Bildstreifen auszurichten, die von einer beliebigen Ebenenabtastung kommen, jedoch wird das Problem leichter, wenn die Eingabe eine Videosequenz ist. Ein zweidimensionaler Rahmen in einer Videosequenz kann so betrachtet werden, als würde er einen eindimensionalen Streifen irgendwo in der Mitte des Bildes („Mittenstreifen") aufweisen, der in das zweidimensionale Bild eingebettet ist, um die Ausrichtung zu erleichtern. Die Bewegung der Abtastungsebene kann dann aus dem gesamten Bild berechnet werden und auf den Mittenstreifen zur Ausrichtung und Mosaikbildung angewendet werden.
Die Bildtransformationen der eindimensionalen Streifen, die durch die Abtastungsebene erzeugt werden, sind nur starre Transformationen: Bildebenentranslationen und Rotationen. Daher sind starre Transformationen auch die Transformationen, die in einer Mannigfaltigkeitsprojektion verwendet werden. Es sollte beachtet werden, daß allgemeine Kamerabewegungen im allgemeinen nichtstarre Bildebenen-Transformationen verursachen. Um jedoch die Ebenenabtastung zu simulieren, werden nur starre Transformationen für den Mittenstreifen verwendet.
Das Panoramamosaik, das durch Kombination der ausgerichteten eindimensionalen Mittenstreifen erzeugt wird, bildet die Mannigfaltigkeitsprojektion. Dies ist eine Projektion der Szene in eine allgemeine Mannigfaltigkeit, die eine glatte Mannigfaltigkeit ist, die durch die Mitten aller Bildebenen geht, die das Mosaik aufbauen. Im Fall reiner Kameratranslationen (3a) stellt sich heraus, daß die Mannigfaltigkeitsprojektionen eine parallele Projektion auf eine Ebene sind. Im Fall reiner Kamerarotationen (3b) ist das eine Projektion auf einen Zylinder, dessen Hauptachse die Rotationsachse ist. Wenn jedoch sowohl Kameratranslationen als auch Rotationen beteiligt sind, wie in 3c, ist die Mannigfaltigkeit keine einfache Mannigfaltigkeit mehr. In den 3a, 3b und 3c befindet sich die Kamera an der Spitze des „Sichtfeld"-Kegels, und die Bildebene wird durch ein festes Segment angezeigt. Die Fähigkeit, solche beliebigen Kombinationen von Kamerarotationen und Translationen zu behandeln, ist der Hauptunterschied zwischen einer Mannigfaltigkeitsprojektion und allen vorhergehenden Mosaikbildungsverfahren.
Die Proceedings of first ACM international conference on multimedia, 2-6. August 1993, Anaheim, CA, US, „Salient Video Stills: Content and Context Preserved" betreffen Bilder, die als ausgeprägte Standbilder bezeichnet werden. Diese Bilder repräsentieren keinen diskreten Zeitpunkt, wie es eine Photographie oder ein einzelner Videorahmen tun. Durch die Anwendung einer affinen Transformation und einer nichtlinearen zeitlichen Verarbeitung werden mehrere Rahmen einer Bildfolge, die Variationen der Brennweite des Gesichtsfeldes enthalten können, kombiniert, um ein einzelnes Standbild zu erzeugen. Die Bilder werden so verzerrt, daß die gesamte Überlappung zwischen den Bildern die bestmögliche Übereinstimmung aufweist.
In Hinblick auf das vorhergehende sollte klar sein, daß es einen Bedarf gibt, ein Verfahren für die Erzeugung von Panoramabildmosaiken in den Fällen bereitzustellen, die im Stand der Technik nicht behandelt werden. Solche Fälle umfassen Kameratranslationen mit einer Bildparallaxe; Vorwärtsbewegung; Kamerabewegungen, die Kombinationen von Translationen und Rotationen sind; und eine Kamerabrennweitenverstellung.
Zusammenfassung der Erfindung
Es wichtig zu beachten, daß wann auch immer die Ausdrücke „Video", „Film", „Rahmen", „Bild" oder „Bildnis" verwendet werden, sie irgendeine Darstellung eines Bildes oder eines Films (Laufbild) bezeichnen. Ein Standbild kann durch eine herkömmliche Kamera, durch eine Digitalkamera, durch einen Scanner oder irgendeine andere Vorrichtung auf einen Film aufgezeichnet werden, der Standbilder aufzeichnet. Ein Video (oder ein Laufbild) kann durch eine Filmkamera, ein analoges oder ein digitales Videoband oder irgendeine andere Vorrichtung aufgezeichnet werden, die Laufbilder aufzeichnet. Der Bereich der Bildmosaikbildung im allgemeinen, und diese Erfindung im besonderen, ist auf alle Formen von Bildern anwendbar, die durch geeignete Vorrichtungen manipuliert werden können, seien sie mechanisch, optisch, digital oder irgendeine andere Technologie.
Panoramamosaiken werden konstruiert, indem Streifen aus der Bildfolge kombiniert werden. Erfindungsgemäß werden die Form, Größe und Position der Streifen für jedes Bild gemäß der Art der Kamerabewegung bestimmt. Die Streifen werden aus den Bildern ausgeschnitten und in das Panoramamosaik eingesetzt, nachdem sie transformiert werden, so daß das resultierende Mosaik zusammenhängend bleibt.
Erfindungsgemäß werden vorzugsweise (jedoch nicht notwendigerweise) die folgenden Randbedingungen verwendet, um mit allgemeinen Bildebenentransformationen umzugehen:

(a) die Streifen sollten annähernd senkrecht zum optischen Fluß verlaufen.
(b) die Streifen, die zum Einsetzen gesammelt werden, sollten vor dem Einsetzen in das Panoramabild verzerrt werden, so daß nach dem Verzerren ihres ursprünglichen optischen Flusses er annähernd parallel zu der Richtung wird, in der das Panoramabild konstruiert wird.

Unter diesen Bedingungen können Fälle einer Brennweitenver stellung und Vorwärtsbewegung ebenso gut wie die anderen einfachen Fälle behandelt werden. Zum Beispiel im Fall einer Brennweitenverstellung oder Vorwärtsbewegung ermöglichen diese Eigenschaften das Ausschneiden kreisförmiger Streifen und deren geeignete Biegung vor dem Einsetzen in das Panoramabild.
Diese Erfindung beschreibt auch, wie die Breite der Streifen zu bestimmen ist. Um zum Beispiel die Bildparallaxe richtig zu behandeln, kann die Größe der Streifen aus der dreidimensionalen Bewegung der Kamera bestimmt werden, die aus der Folge selbst berechnet werden kann, oder die durch äußere Vorrichtungen gemessen werden kann.
Um glatte Mosaiken zu ermöglichen, selbst wenn Rahmen, die kombiniert werden sollen, von unterschiedlichen Standpunkten aufgenommen werden und eine wesentliche Parallaxe aufweisen, können Ansichten für Zwischenkamerapositionen synthetisiert werden. Für die glattesten Mosaiken wird die Anzahl der Zwischenkamerapositionen so ausgewählt, daß der Streifen schmal ist, z.B. eine Breite von einem einzigen Pixel aufweist.
Die vorliegende Erfindung stellt ein Verfahren bereit zur Kombination einer Folge zweidimensionaler Bilder einer Szene, um ein Panoramamosaik der Szene zu erhalten, wobei die Folge zweidimensionaler Bilder durch eine sich bewegende Kamera erfaßt wird, die sich in Relativbewegung bezüglich der Szene befindet, wobei die Relativbewegung einen optischen Fluß zwischen den Bildern hervorruft, wobei die Vektoren des optischen Flusses mindestens teilweise nicht-parallel zueinander sind, wobei das Verfahren aufweist: a) Verzerren der Bilder, so daß die Richtung der Vektoren des optischen Flusses im wesentlichen parallel zueinander und zu einer Richtung wird, in der das Mosaik konstruiert wird; b) Einsetzen der verzerrten Bilder, so daß die Folge zweidimensionaler Bilder für die Szene zusammenhängend ist, um dadurch das Panoramamosaik der Szene zu konstruieren.
Die Erfindung sorgt desweiteren für eine Kombination einer Folge zweidimensionaler Bilder einer Szene, um ein Panoramamosaik der Szene zu erhalten, wobei die Folge zweidimensionaler Bilder durch eine sich bewegende Kamera erfaßt wird, die sich in Relativbewegung bezüglich der Szene befindet, wobei die Kamerabewegung einen optischen Fluß zwischen den Bildern hervorruft, wobei das Verfahren die Schritte aufweist: a) Auswählen für jedes Bild der Folge zweidimensionaler Bilder mindestens einer Schar von Linien, die senkrecht zum optischen Fluß verlaufen und Streifen definieren, die eine Vorderkante, durch die der optische Fluß eintritt, und eine Hinterkante aufweisen, durch die optische Fluß austritt, damit jeder Streifen im wesentlichen senkrecht zum optischen Fluß verläuft; b) Verzerren der Streifen, um nichtrechteckige Streifen zu erzeugen, damit der optische Fluß im wesentlichen parallel zu einer Richtung wird, in der das Mosaik konstruiert wird; und c) Einsetzen der nicht-rechteckigen Streifen, damit die Folge zweidimensionaler Bilder für die Szene zusammenhängend wird, wodurch das Panoramamosaik der Szene konstruiert wird.
Durch eine Ausführungsform weist das Verfahren ferner den Schritt auf:
(a') Verzerren der Vorderkante eines Streifens, der an einem zweidimensionalen Bild definiert wird, so daß er im wesentlichen mit der Hinterkante eines Streifen ausgerichtet wird, der an einem benachbarten zweidimensionalen Bild definiert wird.
Durch eine weitere Ausführungsform werden die Streifen durch Verzerren in Streifen transformiert, die Kanten einer beliebigen Form aufweisen, bevor die Streifen zusammengesetzt werden.
Durch noch eine weitere Ausführungsform werden die Streifen durch Verzerren in Streifen transformiert, die gerade Kanten aufweisen, bevor die Streifen miteinander kombiniert werden. Gemäß noch einer weiteren Ausführungsform stehen die zweidimensionalen Bilder durch eine affine Transformation oder durch eine planar-projektive Transformation in Beziehung.
Gemäß einer weiteren Ausführungsform werden die Bilder auf einen dreidimensionalen Zylinder projiziert, dessen Hauptachse den Weg der Kameramitten der Bilder annähert, wobei die Kombination der Streifen erzielt wird, indem die projizierten zweidimensionalen Bilder im wesentlichen längs der Zylinderoberfläche des dreidimensionalen Zylinders translatiert werden.
Gemäß noch einer weiteren Ausführungsform definieren alle zwei aufeinanderfolgenden Bilder ihren eigenen Zylinder, dessen Hauptachse im wesentlichen durch den optischen Mittelpunkt der Kameras geht, und die Zylinder sind im wesentlichen längs der Bildfolge verkettet.
Gemäß noch einer weiteren Ausführungsform wird eine Transformation abhängig von einem gewünschten Standpunkt auf das Panoramamosaik angewendet.
Gemäß einer weiteren Ausführungsform wird die Bilderfolge durch Sätze interpolierter Bilder erweitert bzw. vermehrt, die zwischen den Bildern der Bilderfolge liegen, und die Streifen werden mit Streifen erweitert bzw. vermehrt, die an den interpolierten Bildern definiert werden.
Gemäß einer weiteren Ausführungsform kombiniert das System ferner eine Folge zweidimensionaler Bilder einer Szene, um ein Panoramamosaik der Szene zu erhalten, wobei die Bilderfolge durch eine Kamera erfaßt wird, die sich in Relativbewegung bezüglich der Szene befindet, wobei die Relativbewegung einen optischen Fluß zwischen den Bildern hervorruft, wobei die Vektoren des optischen Flusses mindestens teilweise nicht-parallel zueinander sind, wobei das System aufweist: eine Verzerrungseinrich tung zur Verzerrung der Bilder, so daß die Richtung der Vektoren des optischen Flusses zwischen den Bildern im wesentlichen parallel zueinander und zu einer Richtung wird, in der das Mosaik konstruiert wird; und eine Einsetzeinrichtung zum Einsetzen der verzerrten Bilder, so daß die Folge zweidimensionaler Bilder für die Szene zusammenhängend ist.
Desweiteren sorgt die Erfindung für eine Kombination einer Folge zweidimensionaler Bilder einer Szene, um ein Panoramamosaik der Szene zu erhalten, wobei die Folge zweidimensionaler Bilder durch eine sich bewegende Kamera erfaßt wird, die sich in Relativbewegung bezüglich der Szene befindet, wobei die Kamerabewegung einen optischen Fluß zwischen den Bildern hervorruft, wobei das System aufweist: einen Selektor zur Auswahl für jedes Bild der Folge zweidimensionaler Bilder mindestens einer Schar von Linien, die zum optischen Fluß senkrecht verlaufen und mindestens einen Streifen definieren, der eine Vorderkante, durch die der optische Fluß eintritt, und eine Hinterkante aufweist, durch die der optische Fluß austritt, so daß jeder Streifen im wesentlichen senkrecht zum optischen Fluß ist; eine Verzerrungseinrichtung zur Verzerrung des Streifens, um nicht-rechteckige Streifen zu erzeugen, so daß der optische Fluß im wesentlichen parallel zu einer Richtung wird, in der das Mosaik konstruiert wird; eine Einsetzeinrichtung zum Einsetzen der nicht-rechtekkigen Streifen, so daß die Folge zweidimensionaler Bilder für die Szene zusammenhängend wird.
Desweiteren stellt die Erfindung einen Speicher bereit, der eine Datei enthält, die ein Panoramamosaik einer Szene repräsentiert.
Das hierin beschriebene Verfahren kann alternativ unter Verwendung dreidimensionaler Projektionen der Bilder auf Zylinder („Rohre") interpretiert werden, deren Hauptachse die Richtung der Kamerabewegung ist. Solche Projektionen erzeugen Verzerrungen der Bilder, so daß der optischen Fluß parallel wird.
Kurze Beschreibung der Zeichnungen
Für ein besseres Verständnis wird die Erfindung nun lediglich beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es zeigen:
1 die Auswirkungen von großen Rotationen auf Verfahren, die auf einem Bezugsrahmen beruhen;
2 eine Luftaufnahme mit einem eindimensionalen Abtastsystem;
3a eine Mannigfaltigkeitsprojektion für eine Kamera, die eine reine Translation ausführt, wobei die Projektion eine parallele Projektion auf eine Ebene ist;
3b eine Mannigfaltigkeitsprojektion für eine Kamera, die eine reine Rotation ausführt, wobei die Projektion auf eine zylindrische Mannigfaltigkeit stattfindet;
3c eine Mannigfaltigkeitsprojektion für eine Kamera, die sowohl eine Translation als auch eine Rotation ausführt, wobei die Projektion auf eine Mannigfaltigkeit stattfindet, die keine einfache geometrische Form aufweist;
4 einen allgemeinen Ablaufplan der prinzipiellen Schritte des Panoramaerzeugungsverfahrens der Erfindung;
5 die Wirkungen der Parallaxe auf die Ausrichtungs- und Vereinigungsverfahren;
6 ein Mosaik, das aus Bildern aufgebaut wird, die durch eine Kamera aufgenommen werden, die sich in einer Seitwärtsbewegung befindet, wobei vertikale lineare Streifen verwendet werden, die zur optischen Achse der Kamera und zum optischen Fluß senkrecht verlaufen, der von rechts nach links verläuft, wenn die Kamera von links nach rechts translatiert, gemäß einem bekannten Verfahren.
7a ein Mosaik, das aus Bildern aufgebaut wird, die durch eine Kamera aufgenommen werden, die sich in Vorwärtsbewegung befindet, mit einer Translation längs der optischen Achse der Kamera, und optional mit einer Brennweitenverstellung; der optische Fluß verläuft radial von der Mitte des Bildes nach außen, und die Streifen sind kreisförmig;
7b das Ergebnis der Anwendung der Transformation, die die Streifen „biegt", auf ein ganzes Bild;
8 ein Mosaik, das aus Bildern aufgebaut wird, die durch eine Kamera aufgenommen werden, die sich in einer Translation von links nach rechts längs einer Linie befindet, die einen Zwischenwinkel (zwischen 0 und 90 Grad) mit der optischen Achse einschließt; der optische Fluß verläuft radial vom Expansionsmittelpunkt, der sich auf der rechten Seite des Bildes befindet, und die Streifen sind kreisförmige oder elliptische Bögen;
9 die Form von Streifen für unterschiedliche Fälle einer affinen Bewegung:
9a einen geraden vertikalen Streifen für eine horizontale Bewegung;
9b einen geraden horizontalen Streifen für eine vertikale Bewegung;
9c einen kreisförmigen Streifen für eine Vorwärtsbewegung;
9d einen elliptischen Streifen für eine allgemeine Bewegung;
10 ein Beispiel des Ausschneidens und Einsetzens von Streifen für den Fall einer affinen Bewegung:
10a–10c Streifen, die senkrecht zum optischen Fluß verlau fen. Die Linie F2 wird im Bild I2 ausgewählt und die Linie F3 wird Bild I3 ausgewählt. Die Abbildung der Linie F3 (in I3) in das Bild I2 unter Verwendung derselben affinen Transformation ist die Linie F3'. Der Streifen S2, der aus dem Bild I2 entnommen wird, ist zwischen den Linien F2 und F3' begrenzt;
10d Streifen, die verzerrt und eingesetzt werden, so daß der optische Fluß parallel wird, wobei ihre Rückseite fest ist (z.B. F2 im Streifen S2) und ihre Vorderseite (z.B. F3' im Streifen S2) verzerrt wird, um zur Rückseite des nächsten Streifens zu passen;
11 die Projektion eines Bildes auf ein Rohr, um einen parallelen optischen Fluß zu erhalten;
12a die Auswahl von Streifen aus unterschiedlichen Bildern gemäß der Auflösung, die aus jedem Bild erhalten wird, wenn die Bilder auf ein Rohr projiziert werden;
12b die Verkettung von Rohren im Fall eines komplexen Kamerawegs;
13 die Wahl der Streifenbreite, die erforderlich ist, um die ursprüngliche Auflösung für den Fall einer reinen Rotation zu erhalten; und
14 die Wahl der Streifenbreite, die erforderlich ist, um die ursprüngliche Auflösung für den Fall einer reinen Translation zu erhalten.
15 die Erzeugung eines Panoramabildes, wobei eine Ansichtinterpolation verwendet wird, indem synthetische Ansichten von zwischenkamerapositionen erzeugt werden und schmale Streifen aus jeder Zwischenansicht entnommen werden, um das Mosaik zu konstruieren; für entweder den Fall der Translation P₁ oder für den Fall der Rotation P₂;
16 die Erzeugung konsistenter Panoramamosaiken beim Vorhandensein einer Parallaxe.
Detaillierte Beschreibung der Erfindung
Die Aufmerksamkeit wird zuerst auf 4 gelenkt, die einen allgemeinen Ablaufplan der prinzipiellen Schritte des Panoramaerzeugungsverfahrens gemäß einer Ausführungsform der Erfindung zeigt. Bei Schritt 401 wird eine Bewegungsrückgewinnung durchgeführt. Dieser Schritt kann die Bilder ebenso wie irgendeine äußere Bewegungsinformation verwenden. Bei Schritt 402 wird eine Synthese neuer Ansichten durchgeführt. Dieser Schritt kann die Eingangsbilder und die Bewegungsinformation verwenden. Bei Schritt 403 wird eine Bestimmung der Streifengröße durchgeführt. Dieser Schritt kann ebenfalls die Bewegungsinformation verwenden. Bei Schritt 404 wird eine Bestimmung der Streifenform durchgeführt. Das Ausschneide- und Einsetzverfahren wird bei Schritt 405 durchgeführt. Dieser Schritt kann die Eingangsbilder, die synthetischen Bilder für die Zwischenansichten, die Bewegungsinformation, die Streifengröße und die Streifenform verwenden. Das Ergebnis dieses Verfahrens ist ein realistisches Panorama. Die Schritte 402, 403 und 404 sind optional, und der Einbau dieser Schritte ist ein Verfahren, das durch diese Erfindung abgedeckt wird.
Es wird ein detailliertes Beispiel des Verfahrens der vorliegenden Erfindung gegeben und auf einen sehr gewöhnlichen Fall angewendet, in dem die Bewegung zwischen allen zwei aufeinanderfolgenden Bildern als eine zweidimensionale affine Bewegung modelliert werden kann. Dies deckt die einfachsten Szenarien ab, und außerdem die Brennweitenverstellung und Vorwärtsbewegung in den Fälle einer ebenen Szene, die parallel zur Bildebene ist. Die erzeugten Mosaiken weisen verglichen mit den ursprünglichen Bildern minimale Verzerrungen auf, da keine globale Skalierung durchgeführt wird.
Eine mögliche geometrische Interpretation des Verfahrens der Erfindung wird für eine allgemeine Kameratranslation angegeben. Dies geschieht, indem eine Projektion verwendet wird, die wir als Rohrprojektion bezeichnen. Diese Rohrprojektion kann als eine Implementierung des vorgeschlagenen Verfahrens verwendet werden, wenn eine dreidimensionale Kamerabewegung zurückgewonnen werden kann. Diese Interpretation des Verfahrens demonstriert die Art, in der Streifen in einer solchen Weise gesammelt und transformiert werden können, daß komplizierte Fälle einer schiefen Ansicht immer noch durch das vorgeschlagene Verfahren behandelt werden können.
Die vorgeschlagene dreidimensionale Interpretation des Verfahrens ist es, daß Bilder einer Videosequenz durch eine schiefe Projektion des Bildes auf ein Betrachtungsrohr transformiert werden, dessen Mittelachse durch die Trajektorie der Kamera definiert ist. Nach dieser Transformation wird der optische Fluß zwischen Rahmen parallel, und mit den Rahmen kann längs des Betrachtungsrohrs leicht ein Mosaik gebildet werden, wobei einfach Ausschneiden und Einsetzen verwendet wird. Das auf diese Weise erzeugt Rohrmosaik umfaßt den größten Teil der Details, die durch die sich bewegende Kamera beobachtet werden, wobei jeder Bereich aus dem Bild entnommen wird, wo er mit der höchsten Auflösung aufgenommen wurde. Eine Betrachtung dieses Rohrmosaiks aus verschiedenen Richtungen kann zu den verschiedenen Mosaiken gleichwertige Ergebnisse liefern, die unter Verwendung einer zweidimensionalen Implementierung erzielt werden.
Form der Streifen
Ohne Parallaxe und mit einer reinen Bildtranslation ist die Konstruktion des Panoramas aus den Bildern einfach. Da über einen Überlappungsbereich zwischen zwei Bildern die Ausrichtung sehr gut ist, ist irgendeine Auswahl des besonderen Bildes, das irgendeinen gegebenen Bereich abdeckt, üblicherweise nicht kritisch. Die Form des Streifens wird in den Fällen ohne eine Parallaxe hauptsächlich bei einer Bildvergrößerung, wie im Fall der Brennweitenverstellung wichtig. Jedoch wird mit einer Bildparallaxe die Ausrichtung über einen Überlappungsbereich zwischen Bildern nicht perfekt sein, und die Auswahl, welches Bild einen Bereich im Panorama bedecken wird, wird kritisch.
5 zeigt die Wirkungen der Parallaxe auf die Ausrichtungs- und Vereinigungsverfahren. Die Objekte A, B, C, D, E befinden sich auf einer ebenen Fläche oben auf der Figur. Die Objekte C, X und Y verursachen eine Parallaxe in den beiden Eingangsbildern I₁ und I₂, die durch eine translatierte Kamera bei C₁ und C₂ aufgenommen werden. Alle Objekte C, X, oder Y können als ausgerichtete Bereiche verwendet werden, was folglich drei unterschiedliche Arten ergibt, Panoramabilder zu erzeugen, die als P1, P2 und P3 am unteren Teil der Figur gezeigt werden.
Das Mosaikbildungsverfahren kann als das Ausschneiden von „Streifen" aus jedem Bild und dem Zusammensetzen dieser Streifen zu einem größeren Panorama präsentiert werden. Es wird gezeigt werden, daß die Art der Kamerabewegung die Form dieser Streifen bestimmt. Dies steht im Widerspruch zu früheren Vorschlägen, eine „Voronoi Tessellation" zu verwenden, um das Panoramamosaik aus den Bildern zu erzeugen, ein Vorschlag, der die dreidimensionale Kamerabewegung überhaupt nicht berücksichtigt, sondern nur die zweidimensionale Bildverschiebung der Bildmitten.
Zum Beispiel wird sich eine bessere Mosaikbildung ergeben, wenn die Begrenzungen der Streifen so vorgenommen werden, daß sich annähernd senkrecht zum „optischen Fluß" (der lokalen Bildverschiebung) verlaufen, der durch die Kamerabewegung erzeugt wird. Beispiele sind Kameratranslationen: Seitwärtsbewegung, Vorwärtsbewegung und eine allgemeine Translation; ebenso wie eine Kamerabrennweitenverstellung.
Der Fall einer Seitwärtsbewegung wurde schon in [25] angesprochen. In diesem Fall sind, wie in 6 gezeigt, die Streifen an der Mitte der Bilder linear oder rechteckig. Drei Eingangsrahmen 601, 602 und 603 vorausgesetzt, wird das Panoramamosaik 604 erzeugt, indem der Streifen S1 aus dem Bild 601, der Streifen S2 aus dem Bild 602 und der Streifen S3 aus dem Bild 603 entnommen werden. Die Bilder sind ausgerichtet, so daß der Bereich S1 im Bild 601 zum Bereich S1 im Bild 602 paßt, der Bereich S2 im Bild 602 zu den Bereichen S2 in den Bildern 601 und 603 paßt, und der Bereich S3 im Bild 603 zum Bereich S3 im Bild 602 paßt.
In den Fällen einer Vorwärtsbewegung und einer Brennweitenverstellung können die Streifen nicht durch gerade Linien begrenzt werden. In diesen Fälle sind die Streifen vorzugsweise kreisförmig und am Expansionsmittelpunkt des Bildes zentriert. Im Beispiel, das in 7a gezeigt wird, befindet sich der Expansionsmittelpunkt in der Mitte des Bildes. Das Panoramamosaik 704 wird durch „Entfaltung" des Streifens S1 aus dem Bild 701, des Streifens S2 aus dem Bild 702 und des Streifens S3 aus dem Bild 703 und deren zueinander benachbarten Plazierung erzeugt.
Wenn die Streifen breit sind, wird deren „Entfaltung" (durch Verzerren) einen nicht-rechteckigen Streifen erzeugen. Außerdem werden die Streifen infolge von Skalierungsunterschieden nicht an den Nahtstellen ausgerichtet sein. In diesem Fall kann jeder Streifen zu einem rechteckigen Streifen umskaliert werden, was folglich das zusammenhängende Panoramamosaik 705 aus dem Panoramamosaik 704 ergibt. Eine solche Umskalierung wird die Ausrichtung an Nahtstellen verbessern. Die Stelle, wo der Kreis vor seiner Entfaltung „geöffnet" wird, ist beliebig, und wird mög licherweise durch die Richtung bestimmt, in der das Panoramamosaik konstruiert wird. Das konstruierte Mosaikbild kann als die Mantelfläche eines Zylinders betrachtet werden, wie im folgenden unter Bezugnahme auf die dreidimensionale Interpretation des Verfahrens detaillierter beschrieben wird.
Es sollte beachtet werden, daß die „Entfaltung" der kreisförmigen Streifen zu geraden Streifen bewirken könnte, daß das Mosaik 705 verzerrt aussieht. Es wird erwartet, daß nur Teilbestandteile aus solchen Mosaiken verwendet werden, zum Beispiel der Teil, der den oberen Teil des Bildes betrifft, oder der Teil, der die linke Seite des Bildes betrifft, usw. Ein solcher Teil wird üblicherweise ein rechteckiger Teilstreifen des Mosaiks 705 sein. Bevor ein solcher Teil angezeigt wird, kann das Mosaik durch „Biegen" seiner geraden Seiten zu Bögen eines Kreises berichtigt werden, dessen Radius zum Beispiel der Außenradius des ursprünglichen kreisförmigen Streifens (z.B. des Streifen S3 in Bild 703) sein kann.
Die Transformation, die den Streifen S1 im Bild 701 auf den Streifen S1 im Mosaik 705 abbildete, verwandelt den radialen optischen Fluß im Bild 701 in den parallelen optischen Fluß im Bild 705. Wenn dieselbe Transformation auf das gesamte Bild 701 anstatt nur auf den Streifen S1 angewendet wird, wird das transformierte Bild die Form aufweisen, die in 7b gezeigt wird. Wie im folgenden detaillierter beschrieben wird, können solche Transformationen durch die dreidimensionale Interpretation modelliert werden, wobei die Projektion auf einen Zylinder verwendet wird.
Der Fall einer Kamerabrennweitenverstellung ist von speziellem Interesse. Während eine Brennweitenverstellung zu einer entfernten Szene hin, und eine Mosaikbildung, wie in 7a, ein Mosaikbild mit einer höheren Auflösung an Stellen liefern wird, die die Mitte des Bildes betreffen, ist der Fall einer Kamera, die Objekte von der Seite betrachtet, anders. Angenommen, die Kamera ist an der Seite einer sehr langen Wand angeordnet, wobei die optische Achse parallel zur Wand verläuft (7). In diesem Fall sind die nächstgelegenen Teile der Wand an der Kante des Bildes in allen Einzelheiten zu sehen, während die entfernten Teile der Wand näher zur Mitte des Bildes kleiner zu sehen sind. Wenn die Brennweite vergrößert wird, werden die weiter weg gelegenenen Teile vergrößert und kommen der Kante des Bildes näher, und das Mosaik wird daher eine Rekonstruktion der Wand mit der höchst möglichen Auflösung werden. Unter gewissen Umständen kann die Wand sogar so rekonstruiert werden, als würde sie von vorn gesehen, überall mit einer einheitlichen Auflösung.
In einem allgemeineren Fall einer Kameratranslation, der in 8 gezeigt wird, kann es jeden Winkel zwischen der Richtung der Kamerabewegung und der optischen Achse geben. In diesem Beispiel kann der optische Fluß radial vom Expansionsmittelpunkt verlaufen, der sich irgendwo außerhalb des Bildes befindet, und daher ist die bevorzugte Form für den Streifen ein kreisförmiger oder ein elliptischer Bogen. Drei Eingangsrahmen 801, 802 und 803 vorausgesetzt, wird das Panoramamosaik 804 erzeugt, indem der Streifen S1 aus dem Bild 801, der Streifen S2 aus dem Bild 802 und der Streifen S3 aus dem Bild 803 entnommen werden. Die Bilder werden ausgerichtet, so daß der Streifen S1 im Bild 801 zum Streifen S1 in Bild 802 paßt, der Streifen S2 im Bild 802 zu den Streifen S2 in den Bildern 801 und 803 paßt, und der Streifen S3 im Bild 803 zum Streifen S3 im Bild 802 paßt.
Die Streifen in den Eingangsbildern, wie der Streifen S1 im Bild 801 und der Streifen S2 im Bild 802, sind durch Bögen konzentrischer Kreise begrenzt, die am Expansionsmittelpunkt zentriert sind. Da die Radien der beiden Kreise unterschiedlich sind, sind ihre Krümmungen unterschiedlich, und die Streifen können nicht ohne Lücken zusammengesetzt werden, die sich zwischen den Kanten der Streifen bilden. Um ein Einsetzen der Streifen ohne die Bildung von Lücken zu erreichen, werden die Streifen vor dem Einsetzen verzerrt.
Der Streifen 810 zeigt ein Beispiel eines ursprünglichen kreisförmigen Streifens an, der aus einem Eingangsbild ausgeschnitten wird. Der Radius r₁ des linken Bogens 811 ist größer als der Radius r₂ des rechten Bogens 812, der dem Expansionsmittelpunkt näher liegt. Der Streifen 810 kann verzerrt werden, um den Streifen 820 zu ergeben, der die folgenden Eigenschaften aufweist: Der Bogen 821 und der Bogen 822 weisen beide den Radius r₁ auf; die Länge des Bogens 821 ist dieselbe wie die Länge des Bogens 811; die Länge des Bogens 822 ist die Länge des Bogens 812 multipliziert mit r₁/r₂. Diese Anordnung stellt nicht nur sicher, daß die Streifen ohne Lücken zusammenpassen werden, sondern auch daß Merkmale des Bildes zur besseren Ausrichtung an der Nahtstelle neu bemessen werden.
Obwohl die obige Diskussion über die Form des Streifens eine gleichmäßige Kamerabewegung längs einer Folge annimmt, kann sich die Kamerabewegung ändern, wobei sie die Form des Streifens beeinflußt. Man setze zum Beispiel eine Vorwärtsbewegung zwischen dem Rahmen I₁ und dem Rahmen I₂, und eine Seitwärtsbewegung zwischen dem Rahmen I₂ und dem Rahmen I₃ voraus. Der Streifen, der aus dem Rahmen I₂ entnommen wird, kann eine kreisförmige Bogengrenze auf der Seite des Rahmens I₁, und eine gerade Liniengrenze auf der Seite des Rahmens I₃ aufweisen.
Beispiel: Mosaikbildung für eine affine Bewegung
Es wird nun ein Beispiel einer Streifenformung für den speziellen Fall einer affinen Bewegung beschrieben. Eine affine Be wegung beruht auf einer affinen Transformation und liefert eine gute Näherung für viele Arten von Bewegungen. Beruhend auf der detaillierten Beschreibung, die im folgenden gegeben wird, wird es einem Fachmann klar sein, daß andere Arten von Bewegungen in einer ähnlichen Weise behandelt werden können.
Die affine Transformation kann wie folgt ausgedrückt werden:
wobei P_n–1 = (x_n–1 – y_n–1) und P_n = (x_n, y_n) die Koordinaten entsprechender Punkte in den Bildern I_n–1 und I_n sind und die Parameter der affinen Transformation A (a, b, c, d, e, f) sind. (u, v) ist der optische Flußvektor als eine Funktion der Position (x_n, y_n). Die Transformation A (und der optische Fluß) variieren mit der Bilderfolge andauernd. Es existieren zahlreiche Verfahren, um die Parameter einer affinen Transformation [21, 18] zurückzugewinnen, und sie werden hier nicht beschrieben.
Gemäß dem Verfahren der vorliegenden Erfindung ist es erforderlich, um die Form eines Streifens zu definieren, eine Linie F(x,y) = 0 zu finden, die senkrecht zum optischen Fluß ist. Es sollte beachtet werden, daß diese Linie nicht notwendigerweise eine gerade Linie ist, und eine gekrümmte Linie sein kann. Die Normale zur Linie F = 0 verläuft in die Richtung
und sollte folglich in derselben Richtung wie (u, v) verlaufen. Diese Einschränkung kann für einen gewissen Wert von k wie folgt ausgedrückt werden:
Wenn e = c, erhalten wir durch Integrieren die Liniengleichung:
Man beachte, daß diese Liniengleichung nur existiert, wenn e = c. In den meisten Fällen ist die Differenz zwischen den Werten von c und e auf die Rotation des Bildes um die optische Achse um ω (Winkel im Bogenmaß) zurückzuführen, so daß er –ω zu c und +ω zu e beiträgt. Um die Bedingungen
annähernd zu erfüllen, ist es daher möglich, das Bild um seine Mitte um
zu drehen, nachdem die affine Transformation zurückgewonnen ist, und dann die affine Transformation neu zu berechnen.
Folglich definiert Gleichung 3 eine Schar von Linien, die die alle senkrecht zum optischen Fluß sind. M wird verwendet, um eine spezifische Linie auszuwählen. Es wird vorgeschlagen, daß M gleich einem Wert gesetzt wird, für den die Linie eine maximale Anzahl von Pixeln im Bild enthält. Wenn viele Optionen vorhanden sind, dann wird vorgeschlagen, daß eine Linie ausgewählt wird, die der Mitte des Bildes so nah wie möglich ist, um Linsenverzerrungen zu minimieren. Diese Auswahl sollte sicherstellen, daß Pixel, die im Mosaik verwendet werden, von dem Bild stammen werden, das die beste Auflösung an dieser Stelle aufweist.
Gleichung 3 kann für einige einfache Fälle leicht verstanden werden:

(i) Im Fall eines einheitlichen horizontalen optischen Flusses (entweder ein kleiner Schwenk oder eine Seitwärtstranslation der Kamera), nimmt die affine Transformation A die Form A = (a, 0, 0, 0, 0, 0) an, folglich wird die ausgewählte Linie 901 0 = F(x, y) = ax + M, was eine gerade vertikale Linie ist (siehe 9a).
(ii) Im Fall eines einheitlichen vertikalen optischen Flus ses (entweder eine kleine Neigung oder eine vertikale Translation der Kamera), nimmt die affine Transformation die Form A = (0, 0, 0, d, 0, 0) an, folglich wird die ausgewählte Linie 902 0 = F(x,y) = dy + M, was eine gerade horizontale Linie ist (siehe 9b).
(iii) Im Fall einer Brennweitenverstellung oder Vorwärtsbewegung (zu einer ebenen Fläche hin, die parallel zur Bildebene ist) , nimmt die affine Transformation die Form A = (0, b, 0, 0, 0, f) an, wobei b ein Skalierungsfaktor ist (f = b). Folglich wird die ausgewählte Linie 903
was ein Kreis um die Mitte des Bildes 904 ist (siehe 9c).

Für allgemeine Translationen der Kamera wird die Linie ein Kreis um den Expansionsmittelpunkt sein. In allgemeineren Fällen kann die Linie durch eine elliptische Kurve 905 angenähert werden:
(siehe 9d).
Das Mosaik wird konstruiert, indem Streifen zusammengesetzt werden, die aus den ursprünglichen Bildern entnommen werden. Die Form des Streifens und seine Breite hängen von der Bildbewegung ab. Es wird nun ein Beispiel beschrieben, wie diese Streifen im Fall einer affinen Bewegung zu bestimmen sind, um sich der Methodologie der Auswahl der besten Auflösung anzupassen. Die Streifenauswahl für andere Arten der Bildbewegung können in einer ähnlichen weise ausgeführt werden.
Es wird die folgende Schreibweise verwendet, um die Streifensammlung längs der Bilderfolge zu beschreiben: die Linie F_n(x_n, y_n) = 0 ist die Linie im Bild I_n in seinem Koordinatensystem, die senkrecht zum optischen Fluß ist, der durch die affine Transformation A_n = (a_n, b_n, c_n, d_n, e_n, f_n) beschrieben wird. Diese affine Transformation A_n setzt die Punkte p_n in Bild I_n mit entsprechenden Punkten p_n–1 in Bild I_n–1 in Beziehung.
Um den Streifen zu bestimmen, der aus dem Bild I_n entnommen wird, sollten der vorhergehende Rahmen I_n–1 und der nachfolgende Rahmen I_n+1 berücksichtigt werden. A_n sei die affine Transformation, die die Punkte p_n = (x_n, y_n) im Bild I_n mit den entsprechenden Punkten p_n–1 = (x_n–1, Y_n–1) in Bild I_n–1 in Beziehung setzt, und A_n+1 sei die affine Transformation, die die Punkte p_n+1 = (x_n+1, y_n+1) im Bild I_n+1 mit den entsprechenden Punkten p_n = (x_n, y_n) im Bild I_n in Beziehung setzt.
Wenn die affinen Transformationen A_n und A_n+1 vorausgesetzt werden, werden die Linien F_n(x_n, y_n) = 0 bzw. F_n+1(x_n+1, y_n+1) = 0 ausgewählt (siehe 10a bis 10c). Die Linie F_n(x_n, y_n) = 0 in I_n entspricht der Linie F'_n(x_n–1, y_n–1) = 0 in I_n–1, wobei die affine Transformation A_n verwendet wird. Auf dieselbe Weise entspricht die Linie F_n+1(x_n+1, y_n+1) = 0 in I_n+1 der Linie F'_n+1(x_n, y_n) = 0 in I_n, wobei die affine Transformation A_n+1 verwendet wird.
Der Streifen, der aus dem Bild I_n entnommen wird, ist zwischen den beiden Linien F_n(x_n, y_n) = 0 und F'_n+1(x_n, y_n) = 0 in I_n begrenzt (siehe 10a bis 10c). Zum Beispiel wird in 10b die Linie F2 in Bild I2 ausgewählt, und in 10c wird die Linie F3 im Bild I3 ausgewählt. Die Abbildung der Linie F3 (in I3) im Bild I2 unter Verwendung der affinen Transformation ist die Linie F3'. Folglich wird der Streifen S2, der aus dem Bild I2 in 10b entnommen wird, zwischen den Linien F2 und F3' begrenzt. Es sollte beachtet werden, daß die Streifen S1, S2 und S3 senkrecht zu den Linien des optischen Flusses 1001 verlaufen.
Bei Verwendung dieser Auswahl wird die erste Grenze des Streifens, die durch die ausgewählte Linie F_n definiert wird, hinsichtlich des vorherigen Bildes folglich exakt orthogonal zum optischen Fluß sein. Die zweite Grenze des Streifens wird durch die Linie F'_n+1 definiert, die die Projektion der Linie F_n+1 auf das gegenwärtige Bild I_n ist, die im nächsten Bild dieselbe Eigenschaft aufweist.
Diese Auswahl der Grenzen des Streifens stellt sicher, daß längs der Streifensammlung weder eine Information ausgelassen noch dupliziert wird, da die Orthogonalität mit dem optischen Fluß erhalten wird.
Wir betrachten die übliche Herangehensweise an die Mosaikbildung, wo einer der Rahmen als ein Bezugsrahmen verwendet wird, und alle anderen Rahmen vor dem Einsetzen an dem Bezugsrahmen ausgerichtet werden. Hinsichtlich der Streifen wird der erste Streifen in das Panoramabild eingesetzt, wie er ist. Der zweite Streifen wird verzerrt, um zu den Grenzen des ersten Streifens zu passen. Der dritte Streifen wird nun verzerrt, um zu den Grenzen des schon verzerrten zweiten Streifens zu passen, usw. Folglich ist das Mosaikbild zusammenhängend. Jedoch können größere Verzerrungen durch die summierten Verwindungen und Verzerrungen verursacht werden. Große Rotationen können nicht behandelt werden, und Fälle, wie eine Vorwärtsbewegung oder Brennweitenverstellung, verursachen üblicherweise eine unzumutbare Expansion (oder Schrumpfung) des Bildes.
Um zusammenhängende Mosaikbilder zu erzeugen, während summierte Verzerrungen vermieden werden, wird durch diese Erfindung vorgeschlagen, daß die Verzerrung der Streifen nur von den benachbarten ursprünglichen Rahmen abhängen sollte, unabhängig von der Geschichte der vorherigen Verzerrungen.
Erfindungsgemäß wird es bevorzugt, daß eine Seite jedes Streifens, z.B. die Rückseite, nicht verzerrt wird. Dies ist die Seite des Streifens, die der Grenze zwischen dem Bild I_n–1 und dem Bild I_n entspricht, und durch F_n definiert ist. Zum Beispiel ist in 10b die Linie F2 die Rückseite des Streifens S2 des Bil des I2. Die Vorderseite des Streifens wird so verzerrt, daß sie zur Rückseite des nächsten Streifens paßt. Dies ist die Grenze zwischen dem Bild I_n und Bild I_n+1, die durch F'_n+1 definiert wird. Zum Beispiel ist in 10b die Linie F3' die Vorderseite des Streifens S2 des Bildes I2.
Im Beispiel, das in 10d beschrieben wird, wird der erste Streifen S1 so verzerrt, daß sich seine linke Seite (d.h. Rückseite) 1002 nicht ändert, während seine rechte Seite (d.h. Vorderseite) 1003 so verzerrt wird, daß sie zur linken Seite des ursprünglichen zweiten Streifens S2 paßt. Im zweiten Streifen S2 ändert sich die linke Seite 1004 nicht, während die rechte Seite 1005 so verzerrt wird, daß sie zur linken Seite 1006 des dritten Streifens S3 paßt, usw.
Folglich ist das konstruierte Bild zusammenhängend. Wenn der ursprüngliche optische Fluß durch dieselbe Verzerrung verzerrt wird, wie die, die an den Streifen ausgeführt wird, wird der resultierende Fluß außerdem annähernd parallel zu der Richtung werden, in der das Panoramamosaik konstruiert wird. Außerdem werden keine sich summierenden Verzerrungen angetroffen, da jeder Streifen so verzerrt wird, daß er zu genau einem anderen ursprüngliche Streifen paßt, wobei sich summierende Verzerrungen vermieden werden.
Mögliche dreidimensionale Interpretation der Streifenformung
Bei einer allgemeinen Kamerabewegung wird der optische Fluß durch eine Kameratranslation und durch eine Kamerarotation induziert. Der Rotationsteil kann zurückgewonnen und kompensiert werden, falls notwendig, da er nicht von der Struktur der Szene abhängt (siehe zum Beispiel [17]). Eine Kameratranslation (und Brennweitenverstellung) verursacht einen radialen optischen Fluß, der vom Expansionsmittelpunkt ausgeht, mit der Ausnahme des Einzelfalls einer Seitwärtstranslation, in der der optische Fluß parallel ist.
Fälle eines radialen optischen Flusses sind sehr viel komplizierter zur Mosaikbildung, da der optische Fluß nicht parallel ist und von der Struktur der Szene abhängt.
Erfindungsgemäß wird ein Beispiel einer möglichen dreidimensionalen Interpretation des vorgeschlagenen Mosaikbildungsverfahrens präsentiert. Es ist außerdem möglich, die folgende Beschreibung zu verwenden, um das Mosaikbildungsverfahren, das in dieser Erfindung vorgeschlagen wird, für Fälle zu implementieren, in denen die dreidimensionale Bewegungsinformation entweder aus den Bildern [21, 17] oder aus äußeren Vorrichtungen zur Verfügung steht. Die Prozedur der Auswahl gekrümmter Streifen, die annähernd senkrecht zum optischen Fluß sind, und deren Verzerrung, um sie aneinander anzupassen, wenn sie eingesetzt werden, kann als Transformieren der Videobilderfolge durch eine schiefe Projektion des Bildes auf ein Betrachtungsrohr angesehen werden, dessen Mittelachse durch die Trajektorie der Kamera definiert ist. Nach dieser Transformation wird der optische Fluß zwischen den projizierten Bildern annähernd parallel zur Mittelachse des Rohrs, und es kann leicht eine Mosaikbildung an ihnen vorgenommen werden, wobei einfache (herkömmliche) Streifenausschneide- und Einsetzprozeduren längs des Rohrs verwendet werden. Das auf diese Weise erzeugte Rohrmosaik enthält die meisten Details, die durch die sich bewegende Kamera beobachtet werden, wobei jeder Bereich aus dem Bild entnommen wird, wo er mit der höchsten Auflösung aufgenommen wurde, wodurch folglich ein Streifen in diesem Bild gebildet wird.
Um die Projektion auf das Rohr zu definieren, wird die folgende Schreibweise verwendet: der Buchstabe O wird verwendet, um den Ursprung zweier Kartesischer Koordinatensysteme mit einem gemeinsamen Ursprung zu bezeichnen. Ein Koordinatensystem ist ein globales Koordinatensystem mit Achsen, die durch X, Y, Z bezeichnet werden. Die Kamera befindet sich am Ursprung und die Bildebene befindet sich bei Z = f_c, wobei f_c die Brennweite ist. Das andere Koordinatensystem definiert das Rohr und wird unten beschrieben. Die Position eines Punkts P im dreidimensionalen Raum ist durch seine Koordinaten in jedem der Koordinatensysteme gegeben, zum Beispiel P = (P_x, P_y, P_z) im X, Y, Z-Koordinatensystem. Der Vektor OP wird ebenfalls durch den Buchstaben P bezeichnet.
Wenn eine Bilderfolge vorausgesetzt wird, die durch eine translatierte Kamera aufgenommen wird, schlägt das Verfahren der Erfindung vor, daß die Bilder in einer solchen Weise transformiert werden, daß der radiale optische Fluß in der transformierten Darstellung in einen annähernd parallelen optischen Fluß umgewandelt wird. Um die erforderliche Transformation zu erzielen, wird das zweidimensionale planare Bild auf einen dreidimensionalen Zylinder projiziert, der hierin als ein „Rohr" 1101 bezeichnet wird (siehe 11). Die Achse des Rohrs 1102 wird so gewählt, daß sie durch den optischen Mittelpunkt O = (0,0,0) der Kamera und durch den Expansionsmittelpunkt S = (s_x, s_y, f_c) geht, wobei f_c die Brennweite ist. Diese Achse ist die Trajektorie von der gegenwärtigen dreidimensionalen Kameraposition zur dreidimensionalen Kameraposition im nächsten Rahmen. Die Richtung der Achse des Rohrs ist durch den Einheitsvektor
gegeben. Jeder Bildpunkt P = (x, y, f_c) in der Bildebene 1103 wird auf seinen entsprechenden Punkt Q auf dem Rohr projiziert. Der Punkt Q ist mit O und P kollinear, und sein Abstand von der Achse des Rohrs 1102 ist R (der Radius des Rohrs).
In der Rohrdarstellung des Bildes ist der optische Fluß jedes entsprechenden Punktes Q auf dem Rohr nun annähernd parallel zur Richtung der Achse des Rohrs s (1102). Dies ermöglicht ein einfaches Mosaikbildungsverfahren auf dem Rohr selbst, da aufeinanderfolgende Bilder, nachdem sie auf das Rohr projiziert werden, nur längs des Rohrs verschoben werden müssen, um mit den vorhergehenden Bildern ausgerichtet zu werden. Diese Translation längs des Rohrs reduziert die Auflösung nicht, wie es gewöhnlich in Mosaikbildungsverfahren passiert, die auf einer Ausrichtung mit einem Bezugsrahmen beruhen.
Ein rohrfestes Kartesisches Koordinatensystem wird durch die drei Einheitsvektoren r ^, d ^ und s ^ definiert, wobei s der Einheitsvektor in die Richtung der Achse des Rohrs ist und r ^ und d ^ so gewählt werden, daß sie zueinander und zu s ^ senkrecht sind.
Der Punkt L sei die Projektion des Punktes Q auf die Achse 1102 des Rohrs 1101, und k sei die Entfernung von. L zu O. Der Winkel α bezeichnet den Winkel zwischen der Linie, die L und Q verbindet, und dem Einheitsvektor d ^. Folglich bestimmen k und α die Position eines Punktes Q auf dem Rohr 1101. Die dreidimensionale Position eines Punktes Q auf dem Rohr 1101 ist durch die Kartesischen Komponenten (Q_x, Q_y, Q_z) gegeben, die aus den Komponenten des Vektors Q = ks ^ + Rcos (α)d ^ + Rsin(α)r ^ bezüglich des rohrfesten Systems erhalten werden können. Das entsprechende Pixel in der _Bildebene 1103 für den Punkt Q ist P = (x, y, f_c) = f_cQ_x/Q_z, f_cQ_y/Q_z, f_c).
Pixel in der Bildebene 1103, deren ursprünglicher Abstand von der Achse 1102 kleiner als R ist, werden auf dem Rohr vergrößert, wenn sie jedoch auf das Bild zurück projiziert werden, erhalten sie ihre Auflösung zurück. Pixel mit einem Abstand, der größer als R ist, schrumpfen jedoch auf dem Rohr, wobei sie folg lich ihre ursprüngliche Auflösung verlieren. Aus diesem Grund ist es empfehlenswert, R so zu wählen, daß er gleich
ist, wobei w und h die Breite und Höhe des Bildes sind, wodurch folglich sichergestellt wird, daß kein Pixel eine reduzierte Auflösung aufweisen wird, wenn es auf das Rohr projiziert wird. Alternativ reicht es in vielen einfachen Szenarien aus, R so zu wählen, daß er gleich f_c ist.
In der Rohrdarstellung werden Rohrbilder durch eine einfache Translation (Verschiebung) längs der Hauptachse des Rohrs aneinander ausgerichtet, und die Erzeugung des Rohrmosaiks beinhaltet, die Pixel mit der besten Auflösung unter allen projizierten Bildern für jeden Punkt auf dem Rohr zu nehmen. Es sollte beachtet werden, daß andere Verfahren verwendet werden könnten, um den Wert für jeden Punkt auf dem Rohr auszuwählen, einschließlich Superauflösungsverfahren. Die Auflösung wird für Pixel am besten erhalten, deren Fläche, wenn sie auf das Rohr projiziert wird, 1 mal 1 Pixel beträgt (was bedeutet, daß ein einzelnes Pixel ohne künstliche Skalierung auf ein einzelnes Pixel auf dem Rohr projiziert wird). Unter Verwendung dieser Kriterien kann das Verhältnis zwischen der Fläche, die auf dem Rohr verbraucht wird, und der Fläche auf dem ursprünglichen Bildrahmen als ein Maß betrachtet werden, so daß die Auflösung am besten erhalten wird, wenn dieses Verhältnis so nah wie möglich bei 1 liegt. Folglich werden für jeden Punkt auf dem Rohr seine entsprechenden Pixel in den Bildern betrachtet, und das mit dem Verhältnis, das 1 am nächsten liegt, kann für die beste Auflösung ausgewählt werden. Als Daumenregel kann dieses Verhältnis grob gemäß dem Verhältnis der Abstände längs der Z-Achse Q_z/f_c angenähert werden, das so nah wie möglich bei 1 liegen sollte. Unter Verwendung dieses Näherungsmaßes werden Pixel auf dem Bild an der Schnittlinie des Rohrs mit dem Bild (Q_z = f_c) als die angesehen, die die Auflösung am besten erhalten, und die Auflösungserhaltung nimmt gemäß |Q_z – f_c| ab. Für jeden Punkt auf dem Rohr werden die Bildwerte (z.B. Farbe und Intensität) aus dem Bild entnommen, in dem der Wert von |Q_z – f_c| minimal ist, was folglich die beste Auflösungserhaltung aufweist. Diese Definition bildet einen Streifen in jedem Bild, der der Bereich ist, in dem dieses Bild, wenn es auf das Rohr projiziert wird, verglichen mit den entsprechenden Bereichen in anderen Bildern die Auflösung am besten erhält (siehe 12a).
Diese Rohrdarstellung schlägt eine verallgemeinerte Interpretation auch für herkömmliche Mosaikbildungsverfahren vor. Verfahren, die auf einer Ausrichtung mit einem Bezugsrahmen beruhen, können simuliert werden, indem das Rohr aus derselben Orientierung wie der ausgewählte Bezugsrahmen betrachtet wird. Verfahren, die auf eine reine Seitwärtstranslation beschränkt sind, werden identische Ergebnisse wie die Verwendung eines Rohrmosaiks ergeben, wobei die Bilder auf die Seite des Rohrs projiziert werden.
Fälle, wie eine schiefe Ansicht, eine Vorwärtsbewegung und eine Brennweitenverstellung können unter Verwendung der Rohrprojektion gut definiert werden, und ergeben optimale Ergebnisse, während frühere Mosaikbildungsverfahren in diesen Fällen versagen können. Das durch diese Erfindung abgedeckte Mosaikbildungsverfahren verwendet verallgemeinerte Streifen (deren Form, Größe und Verzerrungsverfahren gemäß den Bewegungs- und Auflösungsüberlegungen bestimmt wird), und kann durch die obige Beschreibung der Rohrmosaikbildung interpretiert werden, wodurch folglich die bekannten Verfahren verallgemeinert werden, um ebenso für die problematischen Fälle zu funktionieren.
Die Rohrdarstellung kann zur Behandlung komplizierter Trajektorien und Rotationen durch eine Verknüpfung von Rohren längs des Weges der Kamera verallgemeinert werden (siehe 12b).
Streifenbreite in dreidimensionaler Darstellung
Wenn die dreidimensionale Kamerabewegung T = (T_X, T_Y, T_Z) und Ω = (Ω_X, Ω_Y, Ω_Z) (Translation und Rotation) aus äußeren Vorrichtungen oder aus der Verwendung von Algorithmen zur Kamerabewegungsrückgewinnung aus den Bildern [21, 17] zur Verfügung steht, dann kann eines davon zur Einstellung der Größe der Streifen verwendet werden.
Anschließend an die Beschreibung des Mosaikbildungsverfahrens, das das „Rohr" verwendet, können die Projektionen zweier Bilder auf das Rohr durch eine einfache Verschiebung längs der Achse des Rohrs miteinander ausgerichtet werden. Eine Verschiebung des projizierten Bildes um L Pixel kann einen Streifen mit einer Breite von L Pixeln bilden. Es wird nun ein Verfahren beschrieben, um die Breite L eines Streifens für zwei Eingangsrahmen anzunäheren.
Man beachte, daß in diesem Abschnitt angenommen wird, daß der Radius des Rohrs als R = f_c gewählt wird, obwohl andere Werte von R möglich sind, und der Wert von L entsprechend skaliert werden kann.
Es ist erforderlich, die Breite des Streifens L in einer solchen Weise zu berechnen, daß die Auflösung des resultierenden Panoramabildes nicht kleiner als die Auflösung der ursprüngliche Bilderfolge ist. Zum Beispiel kann die Breite des Streifens ohne Parallaxe gleich der Bildverschiebung zwischen den beiden Rahmen sein.
13 zeigt die Wahl der Streifenbreite, die erforderlich ist, um die ursprüngliche Auflösung für den Fall einer reinen Rotation zu erhalten. Die Breite des Streifens L von der Mitte des Bildes I₁ zur Mitte von I₂ kann auf
eingestellt werden, wobei f_c die Brennweite der Kamera (oder der Radius des Rohrs ist), x der Kreuzproduktoperator ist, und ()^t der Transpositionsoperator ist. Dies wird ähnliche Ergebnisse wie in anderen Panorama-Mosaikbildungsverfahren ergeben, die auf eine reine Rotation beschränkt sind.
14 zeigt die Wahl der Streifenbreite, die erforderlich ist, um die ursprüngliche Auflösung für den Fall einer reinen Translation zu erhalten. Im Fall einer reinen Translation wäre es am besten, wenn das Ergebnis denselben Effekt wie den einer orthographischen Projektion hätte (parallaxenunabhängig). Es wird dafür vorgeschlagen, daß die Auflösung des resultierenden Bildes in einer solchen Weise berücksichtigt wird, daß alle Objekte, deren Entfernung von der Kamera mindestens Z_min beträgt, ihre Auflösung beibehalten oder verbessern werden. Z_min kann gemäß der Anwendung definiert werden, und entspricht im allgemeinen dem nächstgelegenen Objekt, das die größte Bild- (oder Rohr)-Verschiebung aufweist.
Zum Beispiel beschreibt 14 eine Szene mit Objekten, die der Kamera nicht näher als eine bestimmte Entfernung Z_min sind. Ein Objekt der Länge M wird höchstens m = f_cM/Z_min Pixel in der Bildebene aufweisen, wobei f_c die Brennweite der Kamera ist. Wir betrachten eine Kamera, die mit |T| = M translatiert, so daß die Mitte des ersten Bildes auf ein Ende des Objekts schaut, und die Mitte des zweiten Bildes auf das andere Ende des Objekts schaut. Dies bedeutet, daß die Kamera das Objekt gerade von einem Ende zum anderen passiert hat, folglich sind L = m Pixel dazwischen erforderlich, um die ursprüngliche Auflösung des Objekts im Panoramabild zu erhalten. Folglich wird die folgende Definition f_c|T|/Z_min für die Breite eines Streifens für den Fall einer reinen Translation vorgeschlagen, wobei f_c die Brennweite (oder der Radius des Rohrs) ist. Ein Streifen, dessen Breite mindestens L Pixel beträgt, kann zur Erzeugung des Panoramabildes verwendet werden (oder einige schmalere Streifen, wie L Streifen aus L Zwischenansichten, wobei jeder ein Pixel breit ist, wie später beschrieben wird). Diese Definition kann bewirken, daß alle Objekte in einer Entfernung Z > Z_min eine bessere Auflösung als in der ursprünglichen Bilderfolge aufweisen.
Im Fall einer allgemeinen Bewegung kann die Breite des Streifens L zwischen I₁ und I₂ direkt aus f_c (der Brennweite), T (dem Translationsvektor) und Ω (dem Rotationsvektor) bestimmt werden. Zum Beispiel kann die folgende Gleichung verwendet werden: l = fc|T/Zmin + Ω × (0, 0, 1)t
Man beachte, daß T und Z für gewöhnlich nur bis zu einen Skalierungsfaktor zurückgewonnen werden können, jedoch kann die Beziehung zwischen ihnen eindeutig zurückgewonnen werden. Der Term f_c|T|/Z_min definiert die maximale Größe des durch die Kameratranslation verursachten optischen Flusses, der zurückgewinnbar ist. Diese Definition hängt nicht von irgendeinem spezifischen Bereich im Bild ab, und hängt nur von den Kamerabewegungsparametern ab, folglich ist sie längs der Bilderfolge konsistent, und ermöglicht die Erzeugung realistischer Panoramamosaiken.
Mosaikbildung, wobei die Erzeugung einer neuen Ansicht verwendet wird
Um eine Mannigfaltigkeitsprojektion zu erzeugen, werden die Bilder als eine eindimensionale (nicht notwendigerweise lineare) Abtastung der Szene betrachtet, die eine Sammlung von Streifen ist, die annähernd senkrecht zur Richtung der Kamerabewegung verlaufen.
Streifen von unterschiedlichen Bildern mit Streifenbreiten von mehr als einem Pixel zu nehmen, funktioniert nur dann gut, wenn es keine Parallaxe gibt. Für den allgemeinen Fall, der eine Parallaxe aufweist, können, anstatt einen Streifen mit einer Breite von L Pixeln zu nehmen, synthetisch Zwischenbilder hergestellt werden, und es können schmalere Streifen verwendet werden. Zum Beispiel kann eine Sammlung von L Streifen mit jeweils einer Breite von einem Pixel aus interpolierten Ansichten zwischen den ursprünglichen Kamerapositionen entnommen werden.
15 zeigt die Erzeugung eines Panoramabildes, wobei eine Ansichtinterpolation verwendet wird, indem synthetische Ansichten von Zwischenkamerapositionen für zwei Beispiele verwendet werden, eine für den Fall einer Translation, und eine für den Fall einer Rotation. Im Fall der Translation sind die Objekte A, B, X, Y, C, D in den beiden aufeinanderfolgenden Rahmen I₁ und I₂ sichtbar, die durch eine Kamera aufgenommen werden, die sich von der Position C₁ zur Position C₂ verschiebt. Alle erforderlichen Zwischenbilder werden für die Zwischenansichten N₁, N₂, ... zurückgewonnen und es wird ein einziger Streifen (ein Pixel breit) aus jedem Zwischenbild entnommen. Das Verfahren der Erzeugung dieser Zwischenansichten und der Sammlung dieser Streifen ergibt als Ergebnis das Panoramamosaik P₁. Dieses Panorama ist realistisch und leidet nicht an Parallaxeneffekten.
Derselbe Mechanismus trifft auch für den Fall einer Rotation zu. Hier sind die Objekte E, F, W, Z, L, M in den beiden aufeinanderfolgenden Rahmen I₃ und I₄ sichtbar, die durch eine Kamera aufgenommen werden, deren Ort fest ist, und deren Orientierung sich von C₃ zu C₄ ändert. Alle erforderlichen Zwischenbilder werden für die Zwischenansichten N₇, N₈, ... zurückgewonnen, und es wird ein schmaler Streifen aus jedem Zwischenbild entnommen. Das Ergebnis dieses Verfahrens ist das Panoramamosaik P₂. Dieses Panorama ist so gut wie das Panorama, das durch einige frühere Verfahren erzeugt wird, da bei einer reinen Rotation keine Parallaxeneffekte angetroffen werden.
Um neue Ansichten zu synthetisieren, können verschiedene bekannte Verfahren verwendet werden, wie eine Interpolation des optischen Flusses [6, 19], trilineare Tensorverfahren [17] und andere. In den meisten Fällen werden Näherungsverfahren gute Ergebnisse ergeben. Die Erzeugung der Zwischenansichten sollte nur eine Ansichtinterpolation erfordern, da in den meisten Anwendung keine Ansichtextrapolation erforderlich ist.
Die Verwendung von Zwischenansichten zur Streifensammlung ergibt den Effekt einer orthographischen Projektion, die Parallaxendiskontinuitäten vermeidet. Zum Beispiel zeigt 16 die Erzeugung von passenden Panoramamosaiken beim Vorhandensein einer Parallaxe. Das oben beschriebene Verfahren überwindet die Schwierigkeiten einer Parallaxe unter Verwendung einer Ansichtinterpolation, und das Ergebnis bleibt realistisch.
Obwohl die vorliegende Erfindung in einem bestimmten Maß an Genauigkeit beschrieben worden ist, sollte zu verstehen sein, daß verschiedene Abänderungen und Modifikationen vorgenommen werden könnten, ohne den Bereich der Erfindung zu verlassen, der im folgenden beansprucht wird.

Claims

Verfahren zur Kombination einer Folge zweidimensionaler Bilder einer Szene, um ein Panoramamosaik der Szene zu erhalten, wobei die Folge zweidimensionaler Bilder durch eine sich bewegende Kamera erfaßt wird, die sich bezüglich der Szene in einer Relativbewegung befindet, wobei die Relativbewegung einen optischen Fluß zwischen den Bildern hervorruft, wobei die Vektoren des optischen Flusses mindestens teilweise nicht-parallel zueinander sind, wobei das Verfahren aufweist: a) Verzerren der Bilder, so daß die Richtung der Vektoren des optischen Flusses im wesentlichen zueinander und zu einer Richtung parallel wird, in der das Mosaik konstruiert wird; b) Einsetzen der verzerrten Bilder, so daß die Folge zweidimensionaler Bilder für die Szene zusammenhängend wird, wodurch das Panoramamosaik der Szene konstruiert wird.
Verfahren zur Kombination einer Folge zweidimensionaler Bilder einer Szene, um ein Panoramamosaik der Szene zu erhalten, wobei die Folge zweidimensionaler Bilder durch eine sich bewegende Kamera erfaßt wird, die sich bezüglich der Szene in einer Relativbewegung befindet, wobei die Kamerabewegung einen optischen Fluß zwischen den Bildern hervorruft, wobei das Verfahren die Schritte aufweist: a) Auswählen für jedes Bild der Folge zweidimensionaler Bilder mindestens einer Schar von Linien, die senkrecht zum optischen Fluß verlaufen und Streifen definieren, die eine Vorderkante, durch die der optische Fluß eintritt, und eine Hinterkante aufweisen, durch die der optische Fluß austritt, damit jeder Streifen im wesentlichen senkrecht zum optischen Fluß verläuft; b) Verzerren der Streifen, um nicht-rechteckige Streifen zu erzeugen, damit der optische Fluß im wesentlichen parallel zu einer Richtung wird, in der das Mosaik konstruiert wird; und (c) Einsetzen der nicht-rechteckigen Streifen, damit die Folge zweidimensionaler Bilder für die Szene zusammenhängend wird, wodurch das Panoramamosaik der Szene konstruiert wird.
Verfahren nach Anspruch 2, wobei der Schritt b) des Verzerrens der Streifen das Transformieren der Streifen zu Streifen aufweist, von denen mindestens eine ihrer Vorder- und Hinterkanten zu einer Kante eines benachbarten Streifens paßt.
Verfahren nach Anspruch 2, wobei der Schritt b) des Verzerrens der Streifen das Transformieren der Streifen zu Streifen aufweist, die gerade Kanten aufweisen, bevor die Streifen miteinander kombiniert werden.
Verfahren nach Anspruch 2, wobei der Schritt b) des Verzerrens der Streifen eine Umskalierung der Streifen, die auf einem zweidimensionalen Bild definiert sind, in rechteckige Streifen aufweist, so daß ihre Vorderkante im wesentlichen mit der Hinterkante eines Streifens ausgerichtet ist, der auf einem benachbarten zweidimensionalen Bild definiert wird.
Verfahren nach Anspruch 5, wobei der Streifen ein kreisförmiger Streifen ist, wobei die Vorderkante des kreisförmigen Streifens ein Bogen der Länge l₁ mit einem Radius r₁ ist, die Hinterkante des kreisförmigen Streifens ein Bogen der Länge l₂ mit einem Radius r₂ ist und die Umskalierung eine Multiplikation von l₁ mit r₁/r₂ aufweist.
Verfahren nach Anspruch 2, wobei der Schritt a) des Auswählens für jedes Bild der Folge zweidimensionaler Bilder mindestens einer Schar von Linien, die mindestens einen Streifen definieren, aufweists – Bestimmen einer Form für den Streifen; – Bestimmen einer Größe und einer Breite für den Streifen; – Definieren einer Position des Streifens auf einem zweidimensionalen Bild; und – Ausschneiden des Streifens aus dem zweidimensionalen Bild.
Verfahren nach Anspruch 2, wobei die zweidimensionalen Bilder durch eine affine Transformation oder durch eine planarprojektive Transformation in Beziehung stehen.
Verfahren nach Anspruch 8, wobei die Transformation abhängig von einem gewünschten Standpunkt auf das Panoramamosaik angewendet wird.
Verfahren nach Anspruch 1 oder 2, wobei die Bilder auf einen dreidimensionalen Zylinder projiziert werden, dessen Hauptachse den Weg des optischen Mittelpunkts der Kamera annähert, wobei eine Kombination der Streifen erzielt wird, indem die projizierten zweidimensionalen Bilder im wesentlichen längs der Zylinderoberfläche des dreidimensionalen Zylinders translatiert werden.
Verfahren nach Anspruch 10, wobei alle zwei aufeinanderfolgenden Bilder ihren eigenen Zylinder definieren, dessen Hauptachse im wesentlichen durch den optischen Mittelpunkt der Kamera geht, und die Zylinder im wesentlichen längs der Bildfolge verkettet sind.
Verfahren nach Anspruch 1 oder 2, wobei die Bilderfolge durch Sätze interpolierter Bilder erweitert wird, die zwischen den Bildern der Bilderfolge liegen, und wobei die Streifen mit Streifen erweitert werden, die an den interpolierten Bildern definiert werden.
Verfahren nach einem der Ansprüche 1 bis 12, das ferner das Speichern von Daten in einem Speicher aufweist, die für das Panoramamosaik der Szene repräsentativ sind.
Computerprogramm, das eine Computerprogrammcodeeinrichtung zur Durchführung aller Schritte der Ansprüche 1 bis 13 aufweist, wenn das Programm auf einem Computer ausgeführt wird.
Computerprogramm nach Anspruch 14, das auf einem computerlesbaren Medium enthalten ist.
Verwendung des Verfahrens nach Anspruch 1 oder 2, zur Be handlung mindestens eines Falls aus der Gruppe, die aus einer Bildparallaxe, einer Kamerabrennweitenverstellung, einer Vorwärtskamerabewegung und einer allgemeinen Kamerabewegung besteht, die eine Translation und Rotation kombiniert.
System zur Kombination einer Folge zweidimensionaler Bilder einer Szene, um ein Panoramamosaik der Szene zu erhalten, wobei die Bilderfolge durch eine Kamera erfaßt wird, die sich bezüglich der Szene in einer Relativbewegung befindet, wobei die Relativbewegung einen optischen Fluß zwischen den Bildern hervorruft, wobei die Vektoren des optischen Flusses mindestens teilweise nicht-parallel zueinander sind, wobei das System aufweist: eine Verzerrungseinrichtung zur Verzerrung der Bilder, so daß die Richtung der Vektoren des optischen Flusses zwischen den Bildern im wesentlichen zueinander und zu einer Richtung parallel wird, in der das Mosaik konstruiert ist; und eine Einsetzeinrichtung zum Einsetzen der verzerrten Bilder, so daß die Folge zweidimensionaler Bilder für die Szene zusammenhängend ist.
System zur Kombination einer Folge zweidimensionaler Bilder einer Szene, um ein Panoramamosaik der Szene zu erhalten, wobei die Folge zweidimensionaler Bilder durch eine sich bewegende Kamera erfaßt wird, die sich in Relativbewegung bezüglich der Szene befindet, wobei die Kamerabewegung einen optischen Fluß zwischen den Bildern hervorruft, wobei das System aufweist: einen Selektor, um für jedes Bild der Folge zweidimensionaler Bilder mindestens eine Schar von Linien auszuwählen, die senkrecht zum optischen Fluß verlaufen und mindestens einen Streifen definieren, der eine Vorderkante, durch die der optische Fluß eintritt, und eine Hinterkante aufweist, durch die der optische Fluß austritt, so daß jeder Streifen im wesentlichen senkrecht zum optischen Fluß verläuft; eine Verzerrungseinrichtung zur Verzerrung des Streifens, um nicht-rechteckige Streifen zu erzeugen, so daß der optische Fluß im wesentlichen parallel zu einer Richtung wird, in der das Mosaik konstruiert ist; eine Einsetzeinrichtung zum Einsetzen der nicht-rechteckigen Streifen, so daß die Folge zweidimensionaler Bilder für die Szene zusammenhängend ist.