WO2003046832A1 - Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge - Google Patents

Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge Download PDF

Info

Publication number
WO2003046832A1
WO2003046832A1 PCT/EP2001/013674 EP0113674W WO03046832A1 WO 2003046832 A1 WO2003046832 A1 WO 2003046832A1 EP 0113674 W EP0113674 W EP 0113674W WO 03046832 A1 WO03046832 A1 WO 03046832A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
deformation
scene type
scene
images
Prior art date
Application number
PCT/EP2001/013674
Other languages
English (en)
French (fr)
Inventor
Rolf-Dieter Naske
Original Assignee
Tdv Technologies Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tdv Technologies Corp. filed Critical Tdv Technologies Corp.
Priority to PCT/EP2001/013674 priority Critical patent/WO2003046832A1/de
Priority to EP01984759A priority patent/EP1451775A1/de
Priority to CA002472272A priority patent/CA2472272A1/en
Priority to KR10-2004-7007885A priority patent/KR20040071145A/ko
Priority to AU2002233198A priority patent/AU2002233198A1/en
Priority to JP2003548184A priority patent/JP5020458B2/ja
Priority to CNB018239390A priority patent/CN1295655C/zh
Priority to US10/447,463 priority patent/US7321374B2/en
Publication of WO2003046832A1 publication Critical patent/WO2003046832A1/de
Priority to US11/956,089 priority patent/US20080106546A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the invention relates to a method and apparatus for generating three-dimensional (3D) images from a sequence of two-dimensional images.
  • a particular disadvantage of the image sequential transmission in connection with conventional television systems is that the image refresh rate for each eye is reduced to 25 images per second. This results in an unpleasant flicker for the viewer. Although this restriction does not occur in the parallel transmission of the image sequences via their own (left or right) channel. Problems can arise here, however, in the synchronization of the two channels and by the requirements of the receiver, which must receive and process two separate channels simultaneously. This is not possible with customary systems.
  • each image is decomposed into individual pixels, which are transmitted digitized.
  • each image is decomposed into individual pixels, which are transmitted digitized.
  • US Pat. No. 6,108,005 discloses a method for producing synthesized stereo images in which at least two images are generated from an input image, wherein at least one of the images is enlarged, reduced, rotated, shifted or in one relative to the supplied image is changed in such a way that at least parts of the image are shifted relative to other parts of the image compared to corresponding parts in another image.
  • the disadvantage here is that it depends largely on the skill of the operator, whether a correct or natural stereoscopic image impression is generated by the viewer by a suitable selection of the above changes.
  • the invention has for its object to provide a method and an apparatus of the type mentioned, with the / substantially without intervention by an operator or a viewer, a generation of 3D images with a particularly natural three-dimensional image impression is possible.
  • Fig. 1 is a schematic block diagram of a circuit arrangement according to the invention.
  • FIG. 2 shows a schematic representation for explaining a deformation by means of ball projection
  • FIG. and FIG. 3 shows a flow chart of the method according to the invention.
  • the essential components of a device according to the invention and their interconnections are shown schematically in FIG.
  • the arrangement comprises an input E, via which the two-dimensional images recorded and digitized by a camera are fed to a first image memory 1 for the intermediate storage of at least one respective current image.
  • the supplied images are transferred to a second image memory 2 connected thereto, which is provided for storing a predeterminable number of successive images and for their interpolation.
  • a scene analysis device 3 is also connected to the first image memory 1, with which the current image stored in the first image memory 1 is examined with regard to its content in order to match a specific scene type such as "close-up”, “normal recording” (US Pat. Medium recording) or "wide-angle recording” assigned.
  • the scene analysis device 3 is connected to an image deformation device 4, with which an image supplied from the first image memory 1 is subjected to image deformation associated with this type in accordance with the scene type detected by the device 3.
  • the second image memory 2 is also connected to the device 4, so that an image generated by interpolation of previous images can also be deformed.
  • Various patterns for such image deformations and their assignment to at least one scene type are stored in an image deformation memory 5, from which the patterns can be retrieved by the image deformation means 4.
  • a phase switch 6 is connected to an output of the device 4, to which the undeformed image from the first image memory 1 and the deformed image generated therefrom with the device 4 can be transmitted.
  • These images are then applied to a first and second output AI, A2 of the phase switch 6 and respectively form a first and second sequence of images, which are supplied to a left and right viewing channel BL, BR for a left or right stereo image.
  • the one image sequence is thus composed by the unchanged, supplied images and the other image sequence by images produced therefrom which are subjected to deformation (asymmetrical deformation).
  • deformation asymmetrical deformation
  • a further possibility consists in additionally or alternatively supplying an image, which is interpolated in the second image memory 2, to the device 4 and from this - in a deformed and / or non-deformed form - composing the first and / or the second image sequence.
  • the interpolated image is calculated for example by linear spline approximation or a higher-grade or polynomial approximation of all pixels, where ⁇ is a Approximation variable is and refers to the time interval from a current image in which a synthetic (interpolated) image is generated.
  • ⁇ is a Approximation variable is and refers to the time interval from a current image in which a synthetic (interpolated) image is generated.
  • a first and a second image sequence can thus be generated from a sequence of two-dimensionally recorded and digitized images at the input E, which together allow a three-dimensional view of the originally two-dimensional images if the first and second image sequences belong to a left or right Eye is fed.
  • the image deformation can be selected and adjusted according to the image content (scene type) and how the transition between different image deformations is preferably made by scene analysis in real time so that no disturbing transition effects occur.
  • the pixels of the new image are continuously stretched horizontally increasingly from top to bottom according to the following formulas:
  • tL the number of lines
  • PpL the number of pixels per line
  • Tiilt is any scaling constant that determines the amount of strain.
  • the pixels of the new image are distorted concentrically from the center of the image to the edge according to the following formulas:
  • tL is the number of lines
  • PpL is the number of pixels per line
  • Sphere is any scaling constant that determines the extent of the distortion.
  • the pixels of the new image are simultaneously distorted and stretched from top to bottom and concentrically from the image center according to the following formulas:
  • Undex (i, j): ((0.5 PpL - j) / 0.5 PpL) (1 - (4 / tL 2 ) (0.5 tL - i) 2 ) •
  • Sphere jjtadex (i, j) : ((0.5 tL - i) / 0.5 tL) (1 - (4 / PpL 2 ) (0.5 Ppl - j) 2 ) • Sphere
  • tL is the number of lines
  • PpL is the number of pixels per line
  • Sphere is any scaling constant that determines the extent of the distortion
  • Tit is any scaling constant that determines the extent of the strain.
  • the second method works with a symmetrical image deformation, in which additionally the actual original image is deformed, that means geometrically distorted. It represents, in a generalized form according to FIG. 2, an image of the actual pixels 0 to PpL of an image plane B on a curved surface F (imaging surface), this image being spaced at distance D from two perspectives for the left and the right.
  • te eye AI, A2 is considered. Starting from the viewer, the pixels (for example z (j) or the region M) on the imaging surface F in for the two eyes AI, A2 different way (and x M 'for AI or j "and x M " for A2) projected back onto the image plane B. This gives the brain the impression of looking at the images from two angles.
  • the image surface represents an outwardly curved spherical surface.
  • a "synthetic" pixel z (i, j) results on a spherical surface curved toward the observer:
  • tL is the number of lines
  • PpL is the number of pixels per line
  • Sphere is any scaling constant that determines the amount of distortion.
  • a j-index for a left-hand observer position Ej is mapped to:
  • the image surface represents an outwardly curved cylinder surface.
  • a "synthetic" image point z (i, j) results on a cylinder surface curved toward the observer:
  • three different scene types are defined for this purpose, to which the image is examined. Basically, however, a larger number of scene types can be defined.
  • the scene types described here by way of example are the close-up N, the wide-angle shot W and the medium shot (normal shot) M.
  • the wide-angle shot is often landscape.
  • the best three-dimensional effect is generally achieved with a tilt deformation.
  • the Sphere Tilt Deformation generally produces the best three-dimensional impression.
  • x N be a rectangular partial image of the current image in the center of the image For example, 60 percent of all pixels of the overall picture XQ.
  • ⁇ N 2 : ⁇ (xy - x N ) 2 over i, jex N
  • M be a rectangular partial image of the current image in the center of the image with, for example, 40 percent of all pixels of the overall image XQ.
  • ⁇ M 2 : ⁇ (xy - X " M) 2 over i, jex M
  • a transitional deformation for each transition from an "old" deformation to another "new” deformation, a transitional deformation is defined, which for example is also stored in the image deformation memory 5.
  • Such a transitional deformation is formed by a predetermined number K of transition matrices, the values of which are calculated and stored by preferably linear interpolation of the shift values stored for the old and the new deformation for each pixel.
  • the transmitted image whose scene type has changed is subjected to a transient function consisting of the transitional deformation defined by the number K of transition matrices and the subsequent new deformation corresponding to the new one determined Scene type is assigned.
  • the further results of the scene analysis supplied in this case remain unchanged during the application of the transition function. considered.
  • the image currently being transferred with the first transition matrix and then the next image with the second transition matrix, which together form the transitional deformation, are to be applied.
  • all transition matrices can be calculated in advance and stored in the image deformation memory 5.
  • transition matrices stored for a transition from a first to a second deformation are applied to the transferred image in reverse order in the case of a transition from the second to the first deformation.
  • FIG. 3 shows a flow chart of the method according to the invention.
  • first in the Image deformation means 4 sets a first status "Current Deformation” to a start deformation as an applied deformation, which is, for example, the cylinder deformation.
  • a second status "new deformation” is then set to a standard or default deformation, for example also the cylinder deformation, and then the scene type device 3 is used to set the scene type of the current (supplied ) Image as described above.
  • step 16 If the query in the seventh step 16 has also been answered with No, the process continues to the ninth step 18, with which it is queried whether the deformations set with the first and second statuses are the same.
  • the current image is subjected to (unaltered) image deformation by the image deformation means 4 and output as an image of the second image sequence.
  • the procedure is then with the second step 11 for a next picture repeated.
  • the current image of the new image deformation set in accordance with steps 13, 15 or 17 is subjected to completion of the transition deformation, and the count is again increased by the value 1.
  • the query following the thirteenth step 22 must then be answered with Yes, so that a fourteenth step 23 is continued, with which the first status "Current Deformation" is set to the new deformation. Subsequently, the process is repeated by returning to the second step 11 with a next input image.
  • the apparatus shown in Figure 1 is preferably implemented in a digital image processing system for producing a three-dimensional rendering of two-dimensionally transmitted or stored images.
  • the described methods are preferably implemented in the form of one or more computer programs with program code means for carrying out the individual method steps with a computer, in particular a microprocessor unit.
  • the methods may also be implemented as a computer program product having program code stored on a machine-readable carrier for carrying out the steps of the methods as it is loaded into the memory of a programmable microprocessor unit that is part of a digital image processing system is.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

Es wird ein Verfahren und eine Vorrichtung zur Erzeugung von dreidiemensionalen Bildern aus einer Folge von Zweidimensionalen Bildern beschrieben, das sich insbesondere dadurch auszeichnet, dass ein zweidimensionales Bild im Hindlick auf seinen Szenetyp analysiert und in Abhängigkeit von dem ermittelten Szenetyp eine diesem zugeordnete Deformation gewählt wird, mit der das zweidimensionale Bild deformiert und mindestens einem Betrachtungskanal zgeführt wird. Weiterhin werden verschiedene Übergangsfunktion definiert, mit denen ein stetiger und störungsfreier Übergang von einer Deformation auf jede neue Deformation erzielt wird.

Description

ERZEUGUNG EINER STEREO-BILDFOLGE AUS EINER 2D-BILDF0LGE
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erzeugung von dreidimensionalen (3D-) Bildern aus einer Folge von zweidimensionalen Bildern.
Zur Untersuchung von Objekten bedient man sich insbesondere in der Medizin und Naturwissenschaft vielfach einer dreidimensionalen Bilderzeugung. Auch für den allgemeinen Konsumerbereich sind verschiedene Verfahren entwickelt worden, mit denen insbesondere Fernsehbilder dreidimensional wiedergegeben werden können.
Hierbei unterscheidet man im wesentlichen zwischen einer Bild-sequentiellen Übertragung, bei der die Bilder für das rechte und das linke Auge abwechselnd nacheinander übertragen oder auf einem Speichermedium gespeichert werden, sowie einer parallelen Übertragung, bei der die Bilder auf zwei getrennten Kanälen geführt werden.
Ein besonderer Nachteil der Bild-sequentiellen Übertragung in Verbindung mit herkömmlichen Fernsehsystemen besteht darin, dass die Bildwiederholrate für jedes Auge auf 25 Bilder pro Sekunde reduziert ist. Dadurch ergibt sich für den Betrachter ein unangenehmes Flimmern. Diese Beschränkung tritt zwar bei der parallelen Übertragung der Bildfolgen über jeweils einen eigenen (linken bzw. rechten) Kanal nicht auf. Probleme können hierbei jedoch bei der Synchronisation der beiden Kanäle sowie durch die Anforderungen an den Empfänger entstehen, der gleichzeitig zwei getrennte Kanäle empfangen und verarbeiten muss. Dies ist bei den marktüblichen Systemen nicht möglich.
In zukünftigen Fernsehsystemen soll die Signalübertragung und -Verarbeitung vollständig digital erfolgen. In diesem Fall wird jedes Bild in einzelne Bildpunkte zerlegt, die digitalisiert übertragen werden. Zur Reduzierung der erforderlichen Bandbreite werden dabei entsprechende Komprimierungsverfahren eingesetzt, die jedoch für die Stereoübertragung Probleme aufwerfen.
Bei Blockkodierungsverfahren ist es zum Beispiel bei sinnvoller Kompressionsrate im allgemeinen nicht möglich, jede einzelne Zeile eines Bildes exakt zu rekonstruieren. In- terframe-Kodierungen wie zum Beispiel MPEG-2 ermöglichen es zudem nicht, Stereobilder Bild-sequentiell zu übertragen oder zu speichern, da Bildinformationen aus einem Bild noch in einem anderen Bild enthalten sind und es dadurch zu sogenannten Über- sprech-Effekten kommt, die eine klare Trennung eines rechten von einem linken Bild unmöglich machen.
Andere Verfahren, mit denen aus einer zweidimensionalen Bildfolge eine dreidimensionale Bildfolge erzeugt werden, sind in der DE 35 30 610 und der EP 0 665 697 offenbart. Ein autostereoskopisches System mit einer Interpolation von Bildern wird in der EP 0 520 179 beschrieben, während in "Huang: Image Sequence Analysis" (Springer Verlag) Probleme der Erkennung von Bewegungsbereichen in Bildfolgen erörtert werden.
Aus der US-PS 6,108,005 ist ein Verfahren zur Erzeugung von synthetisierten Stereo- Bildern bekannt, bei dem aus einem zugeführten Bild mindestens zwei Bilder erzeugt werden, wobei mindestens eines der Bilder relativ zu dem zugeführten Bild vergrößert, verkleinert, gedreht, verschoben oder in einer solchen Weise verändert wird, dass zumindest Teile des Bildes relativ zu anderen Teilen des Bildes im Vergleich zu korrespondierenden Teilen in einem anderen Bild verschoben sind. Nachteilig hierbei ist allerdings, dass es weitgehend vom Geschick der Bedienperson abhängig ist, ob durch eine geeignete Auswahl der genannten Veränderungen ein korrekter beziehungsweise natürlicher stereoskopischer Bildeindruck beim Betrachter erzeugt wird.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der eingangs genannten Art zu schaffen, mit dem / der im wesentlichen ohne Eingriff durch eine Bedienperson oder einen Betrachter eine Erzeugung von 3D-Bildern mit einem besonders natürlichen dreidimensionalen Bildeindruck möglich ist.
Gelöst wird diese Aufgabe mit einem Verfahren gemäss Anspruch 1 und einer Vorrichtung gemäß Anspruch 11.
Die Unteransprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung einer bevorzugten Ausführungsform anhand der Zeichnung. Es zeigt: Fig. 1 ein schematisches Blockschaltbild einer erfindungsgemäßen Schaltungsanordnung;
Fig. 2 eine schematische Darstellung zur Erläuterung einer Deformation durch Kugelprojektion; und Fig. 3 ein Flussdiagramm des erfindungsgemäßen Verfahrens.
Die wesentlichen Komponenten einer erfindungsgemäßen Vorrichtung und ihre Verbindungen untereinander sind in Figur 1 schematisch dargestellt. Die Anordnung umfasst einen Eingang E, über den die von einer Kamera aufgenommenen und digitalisierten zweidimensionalen Bilder einem ersten Bildspeicher 1 zur Zwischenspeicherung mindestens eines jeweils aktuellen Bildes zugeführt werden.
Aus dem ersten Bildspeicher 1 werden die zugeführten Bilder in einen damit verbundenen zweiten Bildspeicher 2 übertragen, der zur Speicherung einer vorbestimmbaren Anzahl von aufeinanderfolgenden Bildern und zu deren Interpolation vorgesehen ist.
Mit dem ersten Bildspeicher 1 ist ferner eine Einrichtung 3 zur Szenenanalyse verbunden, mit der das aktuelle, in dem ersten Bildspeicher 1 gespeicherte Bild im Hinblick auf seinen Inhalt untersucht wird, um es einem bestimmten Szenetyp wie zum Beispiel "Nahaufnahme", "Normalaufhahme" (Mediumaufnahme) oder "Weitwinkelaufnahme" zuzuordnen.
Die Einrichtung 3 zur Szenenanalyse ist mit einer Einrichtung 4 zur Bilddeformation verbunden, mit der ein aus dem ersten Bildspeicher 1 zugeführtes Bild entsprechend dem mit der Einrichtung 3 ermittelten Szenetyp einer diesem Typ zugeordneten Bilddeformation unterworfen wird.
Auch der zweite Bildspeicher 2 ist mit der Einrichtung 4 verbunden, so dass ein durch Interpolation vorhergehender Bilder erzeugtes Bild ebenfalls deformiert werden kann.
Verschiedene Muster für solche Bilddeformationen und ihre Zuordnung zu mindestens einem Szenetyp sind in einem Bild-Deformationsspeicher 5 gespeichert, aus dem die Muster durch die Einrichtung 4 zur Bilddeformation abgerufen werden können. Mit einem Ausgang der Einrichtung 4 ist schließlich ein Phasenumschalter 6 verbunden, dem das nicht deformierte Bild aus dem ersten Bildspeicher 1 und das daraus mit der Einrichtung 4 erzeugte, deformierte Bild übermittelt werden kann. Diese Bilder liegen dann an einem ersten bzw. zweiten Ausgang AI, A2 des Phasenumschalters 6 an und bilden jeweils eine erste bzw. zweite Folge von Bildern, die einem linken bzw. rechten Betrachtungskanal BL, BR für ein linkes bzw. rechtes Stereobild zugeführt werden.
Dadurch ist also die eine Bildfolge durch die unveränderten, zugeführten Bilder und die andere Bildfolge durch daraus erzeugte, mit einer Deformation beaufschlagte Bilder zusammengesetzt (asymmetrische Deformation). Alternativ dazu ist es auch möglich, die Bilder beider Bildfolgen mit einer Deformation zu beaufschlagen (symmetrische Deformation). Eine weitere Möglichkeit besteht schließlich darin, zusätzlich oder alternativ ein in dem zweiten Bildspeicher 2 interpoliertes Bild der Einrichtung 4 zuzuführen und daraus - in deformierter und/oder in nicht deformierter Form - die erste und/oder die zweite Bildfolge zusammenzusetzen.
Zu diesem Zweck wird durch Interpolation einer in dem zweiten Bildspeicher 2 gespeicherten Bildfolge x(i, j, α) das interpolierte Bild zum Beispiel durch lineare Spline-Ap- proximation oder eine höher-gradige bzw. polynomiale Approximation sämtlicher Bildpunkte berechnet, wobei α eine Approximationsvariable ist und den zeitlichen Abstand von einem aktuellen Bild bezeichnet, bei dem ein synthetisches (interpoliertes) Bild erzeugt wird. Hierzu werden vorzugsweise die in der WO 01/76258 beschriebenen Verfahren verwendet. Der Inhalt dieser Druckschrift soll deshalb hiermit durch Bezugnahme zum Bestandteil dieser Offenbarung gemacht werden.
Mit der erfindungsgemäßen Vorrichtung kann somit aus einer am Eingang E anliegenden Folge von zweidimensional aufgenommenen und digitalisierten Bildern eine erste und eine zweite Bildfolge erzeugt werden, die zusammen eine dreidimensionale Betrachtung der ursprünglich zweidimensionalen Bilder ermöglichen, wenn die erste und zweite Bildfolge einem linken bzw. rechten Auge zugeführt wird.
Im folgenden wird zunächst ein erstes Verfahren zur Erzeugung einer Stereobildfolge durch eine "asymmetrische" Bilddeformation beschrieben, bei der die zugeführte Bildfolge im wesentlichen unverändert, d. h. mit einer "Null-Deformation" beaufschlagt als erste Bildfolge verwendet und die zweite Bildfolge durch Deformationen der Bilder der ersten Bildfolge erzeugt wird.
Anschließend wird ein zweites Verfahren zur Erzeugung einer Stereobildfolge durch "symmetrische" Bilddeformation beschrieben, bei dem auch die Bilder der ersten Bildfolge deformierte Bilder sind.
Schließlich wird dann beschrieben, wie durch Szenenanalyse in Echtzeit die Bilddeformation entsprechend dem Bildinhalt (Szenetyp) gewählt und angepasst bzw. optimiert werden kann und wie vorzugsweise der Übergang zwischen verschiedenen Bilddeformationen vorgenommen wird, so dass keine störenden Übergangseffekte auftreten.
A.) Es sei xy ein digitalisiertes Bild der ersten Bildfolge zum Zeitpunkt t (erstes Stereobild) mit der horizontalen Auflösung I und der vertikalen Auflösung J. Das zweite Stereobild x*(i*, j*) ergibt sich daraus wie folgt:
i* := i + i_Index (i, j) bzw. j * := j + j_Index (i, j).
Dies bedeutet, dass sich die neuen Bildpunkte i* und j* durch Verschiebung in i- und j- Richtung ergeben. Hierfür können prinzipiell alle mathematischen Funktionen verwendet werden. Die im folgenden beschriebenen Deformationen sind deshalb nur als Beispiel für solche Funktionen zu verstehen.
I.) Für das erste Verfahren seien drei verschiedene Deformationen erläutert:
l.) Tilt-Deformation:
Hierbei werden die Bildpunkte des neuen Bildes horizontal kontinuierlich zunehmend von oben nach unten gemäß folgender Formeln gedehnt:
i_Index (i, j) := 0; j ndex (i, j) := (1- (tL - i) / tL) ((0,5 Ppl - j) / 0,5 PpL) • Tilt für i:= 0,..., tL und j := 0,..., PpL
Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und "Tilt" eine beliebige Skalierungskonstante, die das Ausmaß der Dehnung bestimmt.
2.) Sphere-Deformation:
Hierbei werden die Bildpunkte des neuen Bildes konzentrisch vom Mittelpunkt des Bildes zum Rand gemäß folgender Formeln verzerrt:
Undex (i, j) := ((0,5 PpL - j) / 0,5 PpL) (1 - (4/tL2) (0,5 tL - i)2) • Sphere j_Index (i, j) := ((0,5 tL - i) / 0,5 tL) (1 - (4/PpL2) (0,5 Ppl - j)2) • Sphere für i := 0,..., tL und j := 0,..., PpL
Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.
3.) Sphere-Tilt-Deformation:
Hierbei werden die Bildpunkte des neuen Bildes gleichzeitig von oben nach unten und konzentrisch vom Bildmittelpunkt gemäß folgender Formeln verzerrt und gedehnt:
Undex (i, j) := ((0,5 PpL - j) / 0,5 PpL) (1 - (4/tL2) (0,5 tL - i)2) • Sphere jjtadex (i, j) := ((0,5 tL - i) / 0,5 tL) (1 - (4/PpL2) (0,5 Ppl - j)2) • Sphere
+ ((tL - i) / tL) ((0,5 PpL - j) / 0,5 PpL) • Tilt für i := 0,..., tL und j := 0,..., PpL
Es bedeutet: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile, "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt und "Tilt" eine beliebige Skalierungskonstante, die das Ausmaß der Dehnung bestimmt.
II.) Das zweite Verfahren arbeitet mit einer symmetrischen Bilddeformation, bei der zusätzlich auch das aktuelle originäre Bild deformiert, das heißt geometrisch verzerrt wird. Es stellt in verallgemeinerter Form gemäß Figur 2 eine Abbildung der aktuellen Bildpunkte 0 bis PpL einer Bildebene B auf eine gewölbte Fläche F (Abbildungsfläche) dar, wobei diese Abbildung im Abstand D aus zwei Perspektiven für das linke und das rech- te Auge AI, A2 betrachtet wird. Ausgehend vom Betrachter werden die Bildpunkte (zum Beispiel z(j) oder der Bereich M) auf der Abbildungsfläche F in für die beiden Augen AI, A2 unterschiedlicher Weise ( und xM' für AI bzw. j" und xM" für A2) auf die Bildebene B zurückprojiziert. Das Gehirn bekommt dadurch den Eindruck, die Bilder aus zwei Blickwinkeln zu betrachten.
Grundsätzlich sind auch hierbei wieder beliebige mathematische Funktionen bzw. Flächen für die Projektion anwendbar. Im folgenden sollen zwei Deformationen beispielhaft beschrieben werden:
1.) Kugelprojektion:
Hierbei stellt die Bildfläche eine nach außen gewölbte Kugelfläche dar. Für jeden originären Bildpunkt x(i, j) ergibt sich ein "synthetischer" Bildpunkt z(i, j) auf einer dem Betrachter zugewölbten Kugelfläche:
z(i, j) := (1 - (4/PpL2) (0,5 PpL - j)2) (1 - (4/tL2) (0,5 tL - i)2) • Sphere
Es bedeutet wiederum: tL die Anzahl der Zeilen, PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.
Entsprechend dem Strahlensatz wird ein j-Index für eine linke Betrachterposition Ej abgebildet auf:
j' := {(j - E1) / (l - z(i,j) / D)} + E1
Da 0 < z(i, j) < Sphere gilt, sieht man, dass die Konstante "Sphere" immer kleiner gleich dem Betrachterabstand D sein muss.
Für die rechte Betrachterposition Er ergibt sich:
j" := {(J - Er) / (l - z(i, j) / D)} + Er 2.) Zylindrische Projektion:
Hierbei stellt die Bildfläche eine nach außen gewölbte Zylinderfläche dar. Für jeden originären Bildpunkt x(i, j) ergibt sich ein "synthetischer" Bildpunkt z(i, j) auf einer dem Betrachter zugewölbten Zylinderfläche:
z(i, j) := (1 - (4/PpL2) (0,5PpL - j)2) • Sphere
Es bedeutet wiederum: PpL die Anzahl der Bildpunkte pro Zeile und "Sphere" eine beliebige Skalierungskonstante, die das Ausmaß der Verzerrung bestimmt.
Für die neuen Indizes j' und j" ergibt sich wiederum wie für die Kugelprojektion für eine linke Betrachterposition Ei:
i' - { - Bl) l (l - z(i,i) / O)} + El
und für eine rechte Betrachterposition Ej-:
j" := {(j - Er) / (l - z(i, j) / D)} + Er
Für die Kugel- und die Zylinder-Projektion gilt, dass die Anzahl der Betrachterpositionen nicht auf zwei beschränkt ist. Vielmehr können anstelle nur einer linken und rechten Betrachterposition im wesentlichen beliebig viele linke und rechte Betrachterpositionen Et (k = l,...n) berechnet werden. Dies ist insbesondere für autostereoskopische Mehrbetrachter-Monitore interessant.
Da durch die Werte j' und j" der beiden oben genannten Indizes möglicherweise nicht allen Indizes des neuen Bildes Werte zugewiesen werden, müssen die dadurch entstehenden "Löcher" durch nachgeschaltete Glättungs- und Interpolationsverfahren ausgeglichen bzw. "gefüllt" werden.
Für beide Verfahren (I. und II.) gilt, dass jede einzelne Deformation durch die Indizes i ndex und j_Index genau beschrieben ist. Die Werte (Verschiebungswerte), die sich aus den oben genannten Formeln für die Verschiebung jedes Bildpunktes ergeben, sind für jede Deformation in dem Bild-Deformationsspeicher 5 gespeichert.
B.) Im folgenden werden nun Verfahren beschrieben, mit denen eine Szenenanalyse durchgeführt und in Abhängigkeit von dem ermittelten Szenetyp die verwendete Bilddeformation dynamisch gesteuert bzw. ausgewählt werden kann.
Vorzugsweise werden dazu drei verschiedene Szenetypen definiert, auf die das Bild untersucht wird. Grundsätzlich lassen sich aber auch eine größere Anzahl von Szenetypen definieren.
Die hier beispielhaft beschriebenen Szenetypen sind die Nahaufnahme N, die Weitwinkelaufnahme W und die Mediumaufhahme (Normalaufhahme) M.
Bei der Nahaufnahme sei ein Objekt in den Bildmittelpunkt gestellt und bedecke den größten Teil des Bildes vom Mittelpunkt aus. Für eine Deformationen (Konvertierung) ist in diesem Fall die Kugelprojektion am besten geeignet. Damit wird auch ein gewisser "Pop-out" Effekt erreicht, bei dem die Mitte des Bildes aus dem Bild herauszutreten scheint.
Bei der Weitwinkelaufnahme handelt es sich häufig um Landschaftsaufhahmen. In diesem Fall wird im allgemeinen mit einer Tilt-Deformation der beste dreidimensionale Effekt erzielt.
Handelt es sich um eine Objektgruppe in der Bildmittel, die mit der Kamera in gewisser Entfernung verfolgt wird (Normal- bzw. Mediumaufnahme), so wird im allgemeinen mit der Sphere-Tilt-Deformation der beste dreidimensionale Eindruck erzeugt.
Für die folgenden Bestimmungen sei P zunächst eine feste Konstante mit P := 0,2 (0 < P < 0,5).
1.) Bestimmung des Szenetyps "Nahaufnahme" (N):
Es sei xN ein rechteckiges Teilbild des aktuellen Bildes im Bereich der Bildmitte mit zum Beispiel 60 Prozent aller Bildpunkte des Gesamtbildes XQ.
Es sei δG 2 die mittlere quadratische Standardabweichung (Varianz) des Gesamtbildes XQ = x(i, j) und weiterhin δ-^2 die mittlere quadratische Standardabweichung (Varianz) des Teilbildes x>τ. Wenn δ^2 ≤ P δG 2 ist, so sei der Szenetyp Nahaufnahme N festgelegt. Hierbei gilt:
δN 2 := ∑ (xy - xN)2 über i, j e xN
mit dem Mittelwert XN := (1 / |xN|) ∑ xy über i, j e ^.
2.) Bestimmung des Szenetyps "Normal- oder Mediumaufhahme" (M):
Es sei M ein rechteckiges Teilbild des aktuellen Bildes im Bereich der Bildmitte mit zum Beispiel 40 Prozent aller Bildpunkte des Gesamtbildes XQ.
Es sei δG 2 die mittlere quadratische Standardabweichung (Varianz) des Gesamtbildes Q = x(i, j) und weiterhin δ^2 die mittlere quadratische Standardabweichung (Varianz) des Teilbildes XM- Wenn δjyj2 < P δG 2 ist, so sei der Szenetyp Mediumaufnahme M festgelegt. Hierbei gilt:
δM 2 := ∑ (xy - X"M)2 über i, j e xM
mit dem Mittelwert X"M := (1 / |XM]) Σ xy über i, j e -
3.) Bestimmung des Szenetyps "Weitwinkelaufnahme" (W):
Es seien i und x2 zwei rechteckige Teilbilder im linken bzw. rechten oberen Bildbereich und yi und y2 zwei rechteckige Teilbilder im linken bzw. rechten unteren Bildbereich. Weiterhin sei der Absolutbetrag der Kreuzkorrelation zwischen den X-Bild- bereichen als kx := | (Σ xii x2i ) ( /(∑ Xli 2 ∑ x2i2)) |
und der Absolutbetrag der Kreuzkorrelation zwischen den Y-Bildbereichen als
ky := I (Σ yπ y2i ) ( (∑ yii 2 ∑ y2i 2)) |
definiert. Wenn kx > 1 - P und ky > 1 - P gilt, so sind die X- und die Y-Bereiche hoch korreliert. Dies wird als Szenetyp Weitwinkelaufnahme W definiert.
C.) Bei der Anwendung einer Bilddeformation ist zu berücksichtigten, dass bei einer Änderung des Szenetyps gegenüber dem vorherigen Szenetyp nicht einfach zwischen den zugeordneten Deformationsfunktionen umgeschaltet werden sollte. Dies würde nämlich vom Betrachter als Störung bzw. "Stocken" oder "Ruckein" empfunden werden.
In diesem Fall ist es vielmehr vorzuziehen, durch eine Übergangsfunktion dafür zu sorgen, dass die bisherige Deformation über etwa zwei bis drei Bilder verteilt relativ glatt beziehungsweise stetig in die neue Deformation überführt wird. Es ist somit eine dynamische Anpassung der Deformation an den neuen Bildinhalt vorzunehmen.
Zu diesem Zweck ist für jeden Übergang von einer "alten" Deformation auf eine andere "neue" Deformation eine Übergangs-Deformation definiert, die zum Beispiel ebenfalls in dem Bild-Deformationsspeicher 5 abgespeichert ist. Eine solche Übergangs-Deformation ist durch eine vorbestimmte Anzahl K von Übergangsmatrizen gebildet, deren Werte durch vorzugsweise lineare Interpolation der für die alte und die neue Deformation gespeicherten Verschiebungswerte für jeden Bildpunkt berechnet und ebenfalls gespeichert werden.
Bei einer Änderung des Szenetyps wird somit das übertragene Bild, dessen Szenetyp sich geändert hat, mit einer Übergangsfunktion beaufschlagt, die sich aus der Übergangs-Deformation, die durch die Anzahl K von Übergangsmatrizen definiert ist, sowie der anschließenden neuen Deformation, die dem ermittelten neuen Szenetyp zugeordnet ist, zusammensetzt. Die in der Zwischenzeit zugeführten weiteren Ergebnisse der Szenenanalyse bleiben in diesem Fall während der Anwendung der Ubergangsfunktion un- berücksichtigt.
Es sei zum Beispiel davon ausgegangen, dass der Szenetyp des gerade übertragenen Bildes "Weitwinkelaufnahme" ist, während das zuvor übertragene Bild vom Szenetyp "Nahaufnahme" war. Folglich ist von der der Nahaufnahme zugeordneten (alten) Bilddeformation "Kugel" auf die der Weitwinkelaufnahme zugeordnete (neue) Bilddeformation "Tilt" umzuschalten. Weiterhin seien eine Anzahl K = 2 und somit zwei Übergangsmatrizen festgelegt.
Bevor die neue Bilddeformation angewendet wird, sind also das gerade übertragene Bild mit der ersten Übergangsmatrix und anschließend das nächste Bild mit der zweiten Übergangsmatrix, die zusammen die Übergangs-Deformation bilden, zu beaufschlagen.
Die einzelnen Werte, die die Übergangsmatrizen enthalten und die jeweils die Übergangs-Verschiebung für einen Bildpunkt darstellen, ergeben sich durch lineare Interpolation der Verschiebungswerte der alten Bilddeformation (Kugel) und der neuen Bilddeformation (Tilt) entsprechend der Anzahl K der Übergangsmatrizen. Wenn zum Beispiel für einen Bildpunkt der Verschiebungswert der alten Bilddeformation 0 und der Verschiebungswert der neuen Bilddeformation 6,0 ist, so ergibt sich für K = 2 für diesen Bildpunkt in der ersten Übergangsmatrix ein Verschiebungswert von 2,0 und in der zweiten Übergangsmatrix ein Verschiebungswert von 4,0.
Für alle möglichen Übergänge zwischen Szenetypen und somit zwischen den jeweils zugeordneten Deformationen können sämtliche Übergangsmatrizen im voraus berechnet und in dem Bild-Deformationsspeicher 5 gespeichert werden.
Hierbei ist zu berücksichtigen, dass die Übergangsmatrizen, die für einen Übergang von einer ersten auf eine zweite Deformation gespeichert sind, im Falle eines Übergangs von der zweiten auf die erste Deformation in umgekehrter Reihenfolge auf das übertragene Bild angewendet werden.
Figur 3 zeigt ein Flußdiagramm des erfindungsgemäßen Verfahrens.
Mit einem ersten Schritt 10 wird nach dem Einschalten der Vorrichtung zunächst in der Einrichtung zur Bilddeformation 4 ein erster Status "Aktuelle Deformation" auf eine Startdeformation als angewendete Deformation festgelegt, die zum Beispiel die Zylinder-Deformation ist. Mit einem zweiten Schritt 11 wird dann ein zweiter Status "Neue Deformation" auf eine Standard- oder Vorgabe-Deformation (Default-Deformation), zum Beispiel ebenfalls die Zylinder-Deformation gesetzt und anschließend mittels der Einrichtung 3 zur Szenenanalyse der Szenetyp des aktuellen (zugeführten) Bildes gemäß obiger Beschreibung ermittelt.
Mit einem dritten Schritt 12 wird dann abgefragt, ob als Szenetyp die Nahaufnahme N ermittelt wurde. Wenn dies der Fall ist, wird gemäss einem vierten Schritt 13 der zweite Status "Neue Deformation := Kugel" gesetzt und mit einem (neunten) Schritt 18 fortgefahren.
Wenn die Abfrage in dem dritten Schritt 12 mit Nein beantwortet wurde, wird mit einem fünften Schritt 14 abgefragt, ob als Szenetyp die Mediumaufhahme M ermittelt wurde. Wenn dies der Fall ist, wird gemäß einem sechsten Schritt 15 der zweite Status "Neue Deformation := Sphere-Tilt" gesetzt und mit dem (neunten) Schritt 18 fortgefahren.
Wenn die Abfrage in dem fünften Schritt 14 mit Nein beantwortet wurde, wird mit einem siebten Schritt 16 abgefragt, ob als Szenetyp die Weitwinkelaufnahme W ermittelt wurde. Wenn diese der Fall ist, wird gemäß einem achten Schritt 17 der zweite Status "Neue Deformation := Tilt" gesetzt und mit dem neunten Schritt 18 fortgefahren.
Wenn die Abfrage in dem siebten Schritt 16 ebenfalls mit Nein beantwortet wurde, wird mit dem neunten Schritt 18 fortgefahren, mit dem abgefragt wird, ob die mit dem ersten und zweiten Status gesetzten Deformationen gleich sind.
Diese Schritte 11 bis 18 werden mit der Einrichtung 3 zur Szenenanalyse durchgeführt.
Wenn die Abfrage mit dem neunten Schritt 18 mit Ja beantwortet wird, wird gemäß einem zehnten Schritt 19 das aktuelle Bild mittels der Einrichtung 4 zur Bilddeformation der (unveränderten) Bilddeformation unterworfen und als ein Bild der zweiten Bildfolge ausgegeben. Der Verfahrensablauf wird dann mit dem zweiten Schritt 11 für ein nächstes Bild wiederholt.
Wenn die Abfrage mit dem neunten Schritt 18 mit Nein beantwortet wird, ist die Übergangsfunktion anzuwenden, und es wird gemäß einem elften Schritt 20 zunächst der Wert k eines Zählers auf k := 0 gesetzt.
Anschließend wird mit einem zwölften Schritt 21 das aktuelle Bild des Bildspeichers 1 mit der ersten Übergangsmatrix deformiert und als ein Bild der zweiten Bildfolge ausgegeben. Weiterhin wird der Wert des Zählers um 1 erhöht (k := k + 1). Mit einem dreizehnten Schritt 22 wird dann abgefragt, ob der Zählerstand k größer als die Anzahl K von Übergangsmatrizen ist.
Wenn dies nicht der Fall ist, wird der zwölfte Schritt 21 wiederholt und das jetzt aktuelle Bild des Bildspeichers 1 deformiert, und zwar nun mit der zweiten (nächsten) Übergangsmatrix, um dann als nächstes Bild der (zweiten) Bildfolge ausgegeben zu werden.
Nachdem die vorgesehene Anzahl K von Übergangsmatrizen angewandt worden ist, wird zum Abschluss der Übergangs-Deformation das dann aktuelle Bild der neuen, gemäß den Schritten 13, 15 oder 17 gesetzten Bilddeformation unterworfen und der Zählerstand wiederum um den Wert 1 erhöht. Die mit dem dreizehnten Schritt 22 folgende Abfrage ist dann mit Ja zu beantworten, so dass mit einem vierzehnten Schritt 23 fortgefahren wird, mit dem der erste Status "Aktuelle Deformation" auf die neue Deformation gesetzt wird. Anschließend wird das Verfahren durch Rücksprung zu dem zweiten Schritt 11 mit einem nächsten, zugeführten Bild wiederholt.
Die in Figur 1 gezeigte Vorrichtung ist vorzugsweise in einem digitalen Bildverarbeitungssystem zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Bildern implementiert.
Die beschriebenen Verfahren sind vorzugsweise in Form von einem oder mehreren Computerprogrammen mit Programmcode-Mitteln zur Ausführung der einzelnen Ver- fahrensschritte mit einem Computer, insbesondere einer Mikroprozessor-Einheit, implementiert. Die Verfahren können auch als Computeφrogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Ausführung der Schritte der Verfahren implementiert sein, wenn er in den Speicher einer programmierbaren Mikroprozessor-Einheit geladen bzw. auf einem Computer ausgeführt wird, die / der Bestandteil eines digitalen Bildverarbeitungssystems ist.

Claims

Patentansprüche
1. Verfahren zur Erzeugung von dreidimensionalen (3D-) Bildern aus einer Folge von zweidimensionalen Bildern, dadurch gekennzeichnet, dass ein zweidimensionales Bild im Hinblick auf seinen Szenetyp analysiert und in Abhängigkeit von dem ermittelten Szenetyp eine diesem zugeordnete Deformation gewählt wird, mit der das zweidimensionale Bild deformiert und mindestens einem Betrachtungskanal zugeführt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Szenetyp eine Nahaufnahme, eine Normalaufhahme (Mediumaufhahme) und eine Weitwinkelaufnahme festgelegt wird.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass dem Szenetyp Nahaufnahme eine Sphere-Deformation zugewiesen wird, bei der die Bildpunkte des deformierten Bildes konzentrisch vom Mittelpunkt des Bildes nach außen verzerrt werden.
4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, das dem Szenetyp Normalaufhahme eine Sphere-Tilt-Defor- mation zugewiesen wird, bei der die Bildpunkte des deformierten Bildes gleichzeitig von oben nach unten und konzentrisch vom Mittelpunkt des Bildes verzerrt und gedehnt werden.
5. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass dem Szenetyp Weitwinkelaufnahme eine Tilt-Deformati- on zugewiesen wird, bei der die Bildpunkte des deformierten Bildes horizontal kontinuierlich zunehmend von oben nach gedehnt werden.
6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Szenetyp Nahaufnahme eine Kugel-Deformation zugewiesen wird, wobei ein erster und ein zweiter Betrachtungskanal durch unterschiedliche Blickwinkel auf das deformierte Bild gegeben ist.
7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass dem Szenetyp Weitwinkelaufnahme eine Zylinder-Defor- mation zugewiesen wird, wobei ein erster und ein zweiter Betrachtungskanal durch unterschiedliche Blickwinkel auf das deformierte Bild gegeben ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das zweidimensionale Bild, das für mindestens einen Betrachtungskanal einer Deformation unterworfen wird, ein durch Interpolation einer vorbestimmbaren Anzahl von aufeinanderfolgenden Bildern gewonnenes Bild ist.
9. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einer Änderung des Szenetyps eines zweiten Bildes gegenüber einem vorherigen ersten Bild das zweite Bild einer Übergangsfunktion unterworfen wird, mit der dieses zur Vermeidung von unnatürlichen Bildeindrücken stetig von einer dem vorherigen Szenetyp zugeordneten Deformation an die dem neuen Szenetyp zugeordnete Deformation angepasst wird.
10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Übergangsfunktion durch eine vorbestimmte Anzahl K von Übergangs-Deformationen sowie die neue Bilddeformation gebildet ist, wobei die Übergangs-Deformationen durch lineare Interpolation der vorherigen Deformation und der neuen Deformation für jeden Bildpunkt ermittelt werden.
11. Vorrichtung zur Durchführung eines Verfahrens nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Einrichtung (3) zur Szenenanalyse eines zugeführten Bildes durch Definition mindestens eines Teilbildes und Vergleich des Teilbildes mit dem Gesamtbild.
12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Einrichtung (3) zur Szenenanalyse zur Definition eines Teilbildes mit variabler Größe im Bereich der Bildmitte des Gesamtbildes und zur Ermittlung einer mittleren quadratischen Standardabweichung des Teilbildes sowie des Gesamtbildes vorgesehen ist, um daraus einen Szenetyp Nahaufnahme oder Normalaufnahme zu ermitteln.
13. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, dass die Einrichtung (3) zur Szenenanalyse zur Definition einer Mehrzahl von Teilbildern im Randbereichen des Gesamtbildes und zur Ermittlung eines Absolutbetrages der Kreuzkorrelation zwischen verschiedenen Bildbereichen vorgesehen ist, um daraus einen Szenetyp Weitwinkelaufnahme zu ermitteln.
14. Vorrichtung nach Anspruch 11, gekennzeichnet durch einen Bilddeformationensspeicher (5) zur Speicherung einer Mehrzahl von Szenetypen, einer jedem Szenetyp zugeordnete Deformation sowie einer jedem Übergang zwischen zwei Deformationen zugeordneten Übergangs-Deformation.
15. Computerprogramm mit Programmcode-Mitteln zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 10, wenn das Programm auf einem Computer ausgeführt wird.
16. Computerprogramm mit Programmcode-Mitteln gemäß Anspruch 15, die auf einem computerlesbaren Datenträger gespeichert sind.
17. Computeφrogramm-Produkt mit auf einem maschinenlesbaren Träger gespeicherten Programmcode-Mitteln zur Ausführung der Schritte des Verfahrens nach einem der Ansprüche 1 bis 10, wenn das Programm auf einem Computer ausgeführt wird.
18. Digitales Bildverarbeitungssystem zur Erzeugung einer dreidimensionalen Wiedergabe von zweidimensional übertragenen oder gespeicherten Bildern, gekennzeichnet durch eine Vorrichtung nach einem der Ansprüche 11 bis 14.
PCT/EP2001/013674 2001-11-24 2001-11-24 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge WO2003046832A1 (de)

Priority Applications (9)

Application Number Priority Date Filing Date Title
PCT/EP2001/013674 WO2003046832A1 (de) 2001-11-24 2001-11-24 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
EP01984759A EP1451775A1 (de) 2001-11-24 2001-11-24 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
CA002472272A CA2472272A1 (en) 2001-11-24 2001-11-24 Generation of a stereo image sequence from a 2d image sequence
KR10-2004-7007885A KR20040071145A (ko) 2001-11-24 2001-11-24 2차원 영상 시퀀스로부터 입체 영상 시퀀스를 생성하는방법 및 장치
AU2002233198A AU2002233198A1 (en) 2001-11-24 2001-11-24 Generation of a stereo image sequence from a 2d image sequence
JP2003548184A JP5020458B2 (ja) 2001-11-24 2001-11-24 二次元画像列からの立体画像列の生成
CNB018239390A CN1295655C (zh) 2001-11-24 2001-11-24 从2d图像序列生成立体图像序列
US10/447,463 US7321374B2 (en) 2001-11-24 2003-05-29 Method and device for the generation of 3-D images
US11/956,089 US20080106546A1 (en) 2001-11-24 2007-12-13 Method and device for generating 3d images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2001/013674 WO2003046832A1 (de) 2001-11-24 2001-11-24 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US10/447,463 Continuation-In-Part US7321374B2 (en) 2001-11-24 2003-05-29 Method and device for the generation of 3-D images

Publications (1)

Publication Number Publication Date
WO2003046832A1 true WO2003046832A1 (de) 2003-06-05

Family

ID=8164692

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2001/013674 WO2003046832A1 (de) 2001-11-24 2001-11-24 Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge

Country Status (8)

Country Link
US (2) US7321374B2 (de)
EP (1) EP1451775A1 (de)
JP (1) JP5020458B2 (de)
KR (1) KR20040071145A (de)
CN (1) CN1295655C (de)
AU (1) AU2002233198A1 (de)
CA (1) CA2472272A1 (de)
WO (1) WO2003046832A1 (de)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US8256430B2 (en) 2001-06-15 2012-09-04 Monteris Medical, Inc. Hyperthermia treatment and probe therefor
US8401336B2 (en) * 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
EP1603108B1 (de) * 2004-06-02 2017-03-22 BlackBerry Limited Steuertechnik für eine gemischtfarbige und monochromatische Anzeige
US7714832B2 (en) * 2004-06-02 2010-05-11 Research In Motion Limited Mixed monochrome and colour display driving technique
JP4283785B2 (ja) * 2005-05-10 2009-06-24 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
CN101313596B (zh) * 2005-11-23 2011-01-26 皇家飞利浦电子股份有限公司 为多视图显示设备呈现视图
JP4931055B2 (ja) * 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
FI3920538T3 (fi) * 2007-04-12 2023-04-05 Dolby Int Ab Limittäminen videon enkoodauksessa ja dekoodauksessa
EP2393301A1 (de) 2007-06-11 2011-12-07 Samsung Electronics Co., Ltd. Verfahren und Vorrichtung zur Erzeugung von Kopfzeileninformationen eines stereoskopischen Bildes
KR101450145B1 (ko) * 2007-06-11 2014-10-13 삼성전자 주식회사 스테레오스코픽 영상 비트스트림 생성 방법 및 장치
CN101399997B (zh) * 2007-09-29 2010-06-16 广达电脑股份有限公司 图像处理方法
US20090219383A1 (en) * 2007-12-21 2009-09-03 Charles Gregory Passmore Image depth augmentation system and method
US20090295791A1 (en) * 2008-05-29 2009-12-03 Microsoft Corporation Three-dimensional environment created from video
JP5083052B2 (ja) * 2008-06-06 2012-11-28 ソニー株式会社 立体視画像生成装置、立体視画像生成方法およびプログラム
KR101676059B1 (ko) 2009-01-26 2016-11-14 톰슨 라이센싱 비디오 코딩을 위한 프레임 패킹
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
DE102009041328A1 (de) * 2009-09-15 2011-03-24 Natural View Systems Gmbh Verfahren und Vorrichtung zum Erzeugen von Teilansichten und/oder einer Raumbildvorlage aus einer 2D-Ansicht für eine stereoskopische Wiedergabe
JP5722349B2 (ja) 2010-01-29 2015-05-20 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ブロックに基づくインターリーブ
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US8918715B2 (en) 2010-11-16 2014-12-23 Magix Ag System and method for generating stereoscopic 3D multimedia works from 2D input material
US8682107B2 (en) 2010-12-22 2014-03-25 Electronics And Telecommunications Research Institute Apparatus and method for creating 3D content for oriental painting
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US8730232B2 (en) * 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9137519B1 (en) * 2012-01-04 2015-09-15 Google Inc. Generation of a stereo video from a mono video
CN104602638B (zh) 2012-06-27 2017-12-19 曼特瑞斯医药有限责任公司 用于影响对组织进行治疗的***
US9098911B2 (en) 2012-11-01 2015-08-04 Google Inc. Depth map generation from a monoscopic image based on combined depth cues
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9492121B2 (en) 2014-03-18 2016-11-15 Monteris Medical Corporation Image-guided therapy of a tissue
US9504484B2 (en) 2014-03-18 2016-11-29 Monteris Medical Corporation Image-guided therapy of a tissue
US10675113B2 (en) 2014-03-18 2020-06-09 Monteris Medical Corporation Automated therapy of a three-dimensional tissue region
US10327830B2 (en) 2015-04-01 2019-06-25 Monteris Medical Corporation Cryotherapy, thermal therapy, temperature modulation therapy, and probe apparatus therefor
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
WO2017087128A1 (en) 2015-11-16 2017-05-26 Virtual Dreamware, LLC Symmetrically mirrored video segmet
CN112712584B (zh) 2019-10-25 2024-05-24 阿里巴巴集团控股有限公司 空间建模方法、装置、设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999012127A1 (en) * 1997-09-02 1999-03-11 Dynamic Digital Depth Research Pty Ltd Image processing method and apparatus
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
WO2001076258A2 (de) * 2000-04-01 2001-10-11 Tdv Technologies Corp. Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925294A (en) 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
US4729100A (en) 1984-08-28 1988-03-01 Kabushiki Kaisha Toshiba CT System which convolutes projection data with a frequency varying filter function
DE3533379A1 (de) 1985-09-19 1987-03-26 Deutsche Forsch Luft Raumfahrt Verfahren zur stereoskopischen bewegtbilddarbietung von bildszenen mit relativbewegung zwischen aufnahmesensor und aufgenommener szene
US5821989A (en) 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
US6392689B1 (en) 1991-02-21 2002-05-21 Eugene Dolgoff System for displaying moving images pseudostereoscopically
TW221312B (de) 1991-06-27 1994-02-21 Eastman Kodak Co
US5510832A (en) 1993-12-01 1996-04-23 Medi-Vision Technologies, Inc. Synthesized stereoscopic imaging system and method
KR100358021B1 (ko) 1994-02-01 2003-01-24 산요 덴키 가부시키가이샤 2차원영상을3차원영상으로변환시키는방법및입체영상표시시스템
US5739844A (en) 1994-02-04 1998-04-14 Sanyo Electric Co. Ltd. Method of converting two-dimensional image into three-dimensional image
JP2846840B2 (ja) 1994-07-14 1999-01-13 三洋電機株式会社 ２次元映像から３次元映像を生成する方法
DE69528946T2 (de) 1994-09-22 2003-10-02 Sanyo Electric Co Verfahren zum Umsetzen von zweidimensionalen Bildern in dreidimensionale Bilder
JP2846830B2 (ja) 1994-11-22 1999-01-13 三洋電機株式会社 ２次元映像を３次元映像に変換する方法
KR100381348B1 (ko) 1995-04-17 2003-07-07 산요 덴키 가부시키가이샤 2차원 영상을 3차원 영상으로 변환하는 방법
US6064393A (en) * 1995-08-04 2000-05-16 Microsoft Corporation Method for measuring the fidelity of warped image layer approximations in a real-time graphics rendering pipeline
US5953054A (en) 1996-05-31 1999-09-14 Geo-3D Inc. Method and system for producing stereoscopic 3-dimensional images
US6061067A (en) * 1996-08-02 2000-05-09 Autodesk, Inc. Applying modifiers to objects based on the types of the objects
US5892691A (en) * 1996-10-28 1999-04-06 Reel/Frame 8218/0138 Pacific Data Images, Inc. Method, apparatus, and software product for generating weighted deformations for geometric models
US5963213A (en) * 1997-05-07 1999-10-05 Olivr Corporation Ltd. Method and system for accelerating warping
US6031564A (en) 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
KR100255748B1 (ko) 1997-07-19 2000-05-01 전주범 가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및장치
US6018349A (en) * 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
JP4056154B2 (ja) 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
JPH11234703A (ja) 1998-02-09 1999-08-27 Toshiba Corp 立体表示装置
US7271803B2 (en) * 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
US6424351B1 (en) * 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
KR100334722B1 (ko) 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US6765568B2 (en) 2000-06-12 2004-07-20 Vrex, Inc. Electronic stereoscopic media delivery system
GB0105801D0 (en) 2001-03-09 2001-04-25 Koninkl Philips Electronics Nv Apparatus
JP2006520055A (ja) * 2003-03-06 2006-08-31 アニメトリックス，インク． ２次元画像からの３次元オブジェクトの不変視点検出および識別

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
WO1999012127A1 (en) * 1997-09-02 1999-03-11 Dynamic Digital Depth Research Pty Ltd Image processing method and apparatus
WO2001076258A2 (de) * 2000-04-01 2001-10-11 Tdv Technologies Corp. Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge

Also Published As

Publication number Publication date
JP5020458B2 (ja) 2012-09-05
CN1582457A (zh) 2005-02-16
US20040027346A1 (en) 2004-02-12
US7321374B2 (en) 2008-01-22
CA2472272A1 (en) 2003-06-05
EP1451775A1 (de) 2004-09-01
AU2002233198A1 (en) 2003-06-10
JP2005510922A (ja) 2005-04-21
US20080106546A1 (en) 2008-05-08
CN1295655C (zh) 2007-01-17
KR20040071145A (ko) 2004-08-11

Similar Documents

Publication Publication Date Title
WO2003046832A1 (de) Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
DE69632212T2 (de) Verfahren zur Bildumwandlung und -Kodierung
DE102006055641B4 (de) Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
DE69812591T2 (de) Autostereoskopische Anzeigevorrichtung
EP2027728B1 (de) Verfahren und vorrichtung zur pseudoholographischen bilderzeugung
EP2039173B1 (de) Verfahren zur autosteroskopischen darstellung von bildinformationen mit einer anpassung an änderungen der kopfposition des betrachters
DE602004008794T2 (de) Bildwiedergabe mit interaktiver bewegungsparallaxe
DE3233882C2 (de)
DE19953595A1 (de) Verfahren und Vorrichtung zur Verarbeitung dreidimensionaler Bilder
WO2001076258A2 (de) Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
EP2229784B1 (de) Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
DE102007021518B4 (de) Verfahren zum Verarbeiten eines Videodatensatzes
DE102011008886A1 (de) Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen
DE112012000563T5 (de) Verfahren und Vorrichtung zum Senden/Empfangen eines digitalen Übertragungssignals
DE69009612T2 (de) Verfahren zur Behandlung und zur Übertragung einer Folge von stereoskopischen Fernsehbilpaaren durch einen Kanal, der einen analogen und einen digitalen Weg enthält.
DE4143074A1 (de) Verfahren und einrichtung zum umformatieren verschachtelter videodaten zur darstellung auf einem computer-ausgabedisplay
DE10056978B4 (de) Verfahren zur Erzeugung eines stereographischen Bildes
DE3853385T2 (de) Fernsehübertragungssystem.
EP0945031B1 (de) Verfahren und schaltungsanordnung zum konvertieren des bildformates von mit zeilenpolarisation hergestellten dreidimensionalen elektronischen bildern
WO2011032642A1 (de) Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe
DE3530610C2 (de)
DE202008011541U1 (de) Anzeigesystem
DE69934774T2 (de) Videoverarbeitung in pc verwendet statistisch abgestimmte farbwürfel
DE19541870C2 (de) Schaltungsanordnung zum Überblenden zwischen Bildfolgen
EP0567477B1 (de) Verfahren zur wiedergabe dreidimensionaler szenen

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 10447463

Country of ref document: US

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2003548184

Country of ref document: JP

Ref document number: 1020047007885

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2001984759

Country of ref document: EP

Ref document number: 2002233198

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2472272

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 20018239390

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2001984759

Country of ref document: EP

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642