WO2009118156A2 - M,method for generating a 3d-image of a scene from a 2d-image of the scene - Google Patents
M,method for generating a 3d-image of a scene from a 2d-image of the scene Download PDFInfo
- Publication number
- WO2009118156A2 WO2009118156A2 PCT/EP2009/002156 EP2009002156W WO2009118156A2 WO 2009118156 A2 WO2009118156 A2 WO 2009118156A2 EP 2009002156 W EP2009002156 W EP 2009002156W WO 2009118156 A2 WO2009118156 A2 WO 2009118156A2
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- scene
- image
- images
- depth information
- scenes
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Definitions
- the invention relates to a method for generating a three-dimensional image of a scene from a two-dimensional image of the same scene, wherein the scene contains entities at different distances from the position from which the image of the scene was taken.
- entities are to be understood as bodies, figures, characters, objects or things which generally occur in scenes, and also details which are formed thereon.
- 2D computer graphics is used in connection with the generation of images whose contents can be displayed in one plane.
- 3D computer graphics the image content is processed in three dimensions.
- the entirety of the entities to be displayed in a 3D computer graphic is called a scene, and the generation of an image or movie based on such scenes is known as rendering.
- 3D computer graphics can be represented as true 3D stereoscopic images.
- Various rendering techniques are applicable, such as raytracing, a ray-based obfuscation algorithm that determines the visibility of objects from a particular point in space, and radiosity, another method of calculating light propagation within one Scene.
- 3D computer graphics are created using commercial 3D CAD display programs such as Pro / ENGINEER or AutoVue. Especially with the latter is a Rendering in several 3D modes to display three-dimensionally recognizable technical structures in the form of a shaded model, a wire representation or in outline with hidden line removal.
- WO 98/10584 A2 describes a "display system" for the sequential representation of two image planes, in which a first image source, which provides the foreground, and a second image source, which reproduces the background, with the aid of an optical beam splitter The entire scene is superimposed in such a way that the viewer perceives the background at a greater distance than the foreground and thus obtains a spatial impression
- monofocal Fresnel cylinder lenses or cylindrical mirrors are used.
- the object of the invention is to develop a method for generating a three-dimensional image of a scene from a two-dimensional image of the same scene in which a better image quality is achieved with a higher proportion of automatable process steps.
- the three-dimensional image A 30 is initially stored in a data record and can now be displayed visually for one or more observers with conventional display methods.
- the display can be made on an electronically controllable LC display suitable for 3D displays, by means of a projector on a reflective screen (with the aid of 3D glasses for the observer) or on a holographic screen.
- the LC display is suitable for 3D displays, for example, when it is equipped with a parallax barrier screen or a lenticular screen, so that the light emitted from the display comes separately to both eyes of an observer.
- the depth information in the sense of the present invention correspond in a figurative sense of the visual experience of humans; the method according to the invention uses this visual experience of humans.
- a known under the name "VisualSize” software can be used, which requires only two different images of the same scene, which have been taken from different angles.
- the two images are computationally compared on the basis of identical image contents, and the result of this comparison is used to create a virtual scale, which is used to deduce sizes and distances or the depth information.
- the similarity of the features of entities included in the map A 20 is evaluated with the similarity of the features of entities contained in the stored images, the similarity of the contours, the size, the color or Grayscale and / or structures is compared. Also, the comparison can only be based on image sections.
- scene completion e.g. a method known as "scene completion" which was originally developed to supplement a scene obscured and thus invisible in a recorded scene by searching for scenes with similar image content in a plurality of different images, the missing entity as a frame taken from a comparable representation and is used in the image to be supplemented.
- a scene S1 is in this case determined on the basis of similar shapes, colors or gray steps and / or structures of the identified structure.
- the depth information from the entities contained in the respective image from the data set is transferred to the entities contained in the map A 2D by, for example, mapping A 20 a so-called depth map, for example in the form of a vector graphic or a gray value image.
- mapping A 20 a so-called depth map, for example in the form of a vector graphic or a gray value image.
- Has e.g. a record of a map and an associated depth map in the form of a vector graphics memory 2 MB memory would be sufficient for the storage of a data supply of 10,000 images including the associated depth map, a storage capacity of 20 GB.
- the data set of the three-dimensional image A 30 of scene S1 or of scenes Si can be further refined by means of conventional depth estimation methods in the sense of a specification of the depth information. For example, the evaluation of shadows, perspective, occlusion, shape from motion or shape from shadow are used.
- the method according to the invention is advantageously applicable to the spatially perceptible representation of moving or stationary objects within a scene.
- the application for the spatially perceptible representation of terrain sections that change relative to a viewer and that contain one or more structures at different distances from the viewer is within the scope of the invention.
- Images of scenes of any kind are stored, representing entities such as bodies, figures, characters, objects or things that occur naturally or are artificially created. Since the number of naturally occurring or artificially created structures is finite in principle, they are likely to occur repeatedly in the large number of stored images.
- an image of a scene Si contains entities of different types, which also have different distances from the position in space within the scene Si from which the scene Si was recorded or - in the case of 3D computer graphics - apparently (virtual) recorded ,
- the scenes Si to be stored are recorded, for example, with one camera or several cameras from at least two viewing angles, or they are generated as SD computer graphics with a commercially available software program for generating three-dimensional views, whereby an apparent (virtual) recording position in space results.
- depth information can be determined with reference to the depicted entities.
- Depth information in the sense of the present invention is preferably an equivalent for a distance indication between the pickup position and the respective structure.
- depth information come into consideration, which correspond to a distance indication between a selectable fixed point and the respective structure.
- structures are also to be understood as constitutions which are constituents of bodies, figures, characters, objects or things, such as, for example, a canopy on a building, a branch on a tree, a handle on a door, and as details from entities to the scene.
- the determination of the depth information from the images taken from several angles or the 3D computer graphics is carried out by means known from the prior art for image evaluation, eg photogrammetry or using conventional stereo matching algorithms or depth detection methods.
- the depth information obtained in this way is stored as coding associated with the corresponding structures or components of structures shown in the image of the relevant scene Si.
- the coding can be carried out, for example, in the form of shades of gray, brightness or color values, patterns, hatching or similar characterizations.
- the entirety of the depth information associated with the entities represented in an image is assigned to this mapping, for example, as a depth map in the form of a vector graphic.
- the two-dimensional image A 2D of a scene S1 which is also electronically stored, is compared with each one of the stored images of scenes Si, in view of the presence of entities having the same or similar features.
- the features of the structures both in the stored images and in the two-dimensional image A 2D are characterized by their outlines, size, color or gray values and / or structures.
- the aforementioned "scene completion" method can be used to carry out the comparison: If the two-dimensional image A 2D contains, for example, the representation of one or more buildings and one or more persons, the electronically stored image contents are combined with one another with the aid of this method The comparisons can only be based on the same or similar representations and the comparison can be made automatically using appropriate software and / or hardware.
- the depth information is taken from the storage space and transferred to the structures in the two-dimensional image A 2D , which are the most similar to the structures shown there in terms of outlines, size, color or gray scale and / or structure.
- the totality of the depth information transmitted to the entities within the two-dimensional map A 2 Q is, for example, again assigned in the form of a vector graphic to this mapping. As necessary, adjustments of the depth information are made to the size of the respective structure.
- the data set of a three-dimensional image A 30 of the scene S1 is generated from the combination of the image contents within the two-dimensional image A 2D with the associated depth information according to conventional methods.
- This data set is now also stored in electronically stored form and can be transmitted via wired or wireless data networks to facilities with which a three-dimensional perceptible representation of the scene S1 for a viewer can be displayed.
- the data set of a three-dimensional image A 30 of the scene S1 can be converted into a plurality of views for the purpose of the display, which can be perceived three-dimensionally by a viewer, for example according to the already mentioned method according to WO 97/23097.
- Part of a display device suitable for the display can be, for example, an LC display that is equipped with a parallax barrier screen or a lenticular screen, so that the light emanating from the LC display is separated in part separately from the one and the other eye the observer is directed, which in turn perceives each viewer's eye different views.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
The invention relates to a method for generating a three-dimensional image A3D of a scene S1 from a two-dimensional image A2D of the same scene S1, said scene S1 having objects at varying distances from the recording position. For the purposes of the invention, objects are bodies, figures characters, items or things which generally occur in a scene. According to invention the following method steps are provided: f) Creation or use of a data set of images of scenes Si (i=2...n), each image being provide with depth information, g) comparison of the image A2D with the images of the scenes Si (i=2...n) with regard to objects with identical or similar features, h) selection of at least one scene Sk (22D, i) transmission of the depth information for each object contained in the scene Sk to the object with comparable features in scene A2D, j) generation of a three-dimensional image A3D by relating the objects contained therein to the transmitted depth information.
Description
Titel title
Verfahren zum Erzeugen einer 3D-Abbildung einer Szene aus einer 2D-Abbildung der SzeneA method for generating a 3D image of a scene from a 2D image of the scene
Gebiet der Erfindung Die Erfindung bezieht sich auf ein Verfahren zum Erzeugen einer dreidimensionalen Abbildung einer Szene aus einer zweidimensionalen Abbildung derselben Szene, wobei die Szene Gebilde in unterschiedlichen Abständen von der Position enthalt, aus der die Abbildung der Szene aufgenommen worden ist. Unter Gebilden im Sinne der nachfolgend beschriebenen Erfindung sind Körper, Figuren, Zeichen, Gegenstände oder Dinge zu verstehen, die allgemein in Szenen vorkommen, und auch Einzelheiten, die daran ausgebildet sind.FIELD OF THE INVENTION The invention relates to a method for generating a three-dimensional image of a scene from a two-dimensional image of the same scene, wherein the scene contains entities at different distances from the position from which the image of the scene was taken. For the purposes of the invention described below, entities are to be understood as bodies, figures, characters, objects or things which generally occur in scenes, and also details which are formed thereon.
Stand der TechnikState of the art
Es ist bekannt, Bilder mit Hilfe von Computern zu erzeugen. So wird beispielsweise der Begriff 2D-Computergrafik im Zusammenhang mit der Erzeugung von Bildern verwendet, deren Inhalte sich in einer Ebene darstellen lassen.It is known to generate images using computers. For example, the term 2D computer graphics is used in connection with the generation of images whose contents can be displayed in one plane.
In 3D-Computergrafiken dagegen werden die Bildinhalte dreidimensional aufbereitet. Die Gesamtheit der in einer 3D-Computergrafik darzustellenden Gebilde wird als Szene bezeichnet, und die Erzeugung eines Bildes oder Films auf der Grundlage solcher Szenen ist unter der Bezeichnung Rendern bekannt. 3D-Computergrafiken können als echte stereoskopische 3D-Bilder dargestellt werden. Es sind verschiedene Renderverfahren anwendbar, wie beispielsweise das Raytracing, ein auf der Aussendung von Strahlen basierender Algorithmus zur Verdeckungsberechnung und damit zur Ermittlung der Sichtbarkeit von Objekten von einem bestimmten Punkt im Raum aus, und das Radiosity, ebenfalls ein Verfahren zur Berechnung der Lichtausbreitung innerhalb einer Szene.In 3D computer graphics, on the other hand, the image content is processed in three dimensions. The entirety of the entities to be displayed in a 3D computer graphic is called a scene, and the generation of an image or movie based on such scenes is known as rendering. 3D computer graphics can be represented as true 3D stereoscopic images. Various rendering techniques are applicable, such as raytracing, a ray-based obfuscation algorithm that determines the visibility of objects from a particular point in space, and radiosity, another method of calculating light propagation within one Scene.
Zur Erzeugung von 3D-Computergrafiken dienen kommerzielle 3D-CAD-Anzeigeprogramme wie beispielsweise Pro/ENGINEER oder AutoVue. Insbesondere bei Letzterem erfolgt eine
Renderung in mehreren 3D-Modi, um technische Gebilde wahlweise in Form eines schattierten Modells, einer Drahtdarstellung oder im Umriß mit versteckter Linienentfernung dreidimensional wahrnehmbar anzuzeigen.3D computer graphics are created using commercial 3D CAD display programs such as Pro / ENGINEER or AutoVue. Especially with the latter is a Rendering in several 3D modes to display three-dimensionally recognizable technical structures in the form of a shaded model, a wire representation or in outline with hidden line removal.
Mit der zunehmend verfügbaren Speicherkapazität im Zusammenhang mit der Fortentwicklung der Computertechnik wird in jüngerer Zeit angestrebt, dreidimensionale Abbildungen von Szenen aus zweidimensionalen Abbildungen zu erzeugen. So ist beispielsweise in WO 98/10584 A2 ein „Displaysystem" zur Hintereinanderdarstellung von zwei Bildebenen beschrieben, bei dem eine erste Bildquelle, die den Vordergrund liefert, und eine zweite Bildquelle, die den Hin- tergrund wiedergibt, mit Hilfe eines optischen Strahlenteilers zu einer Gesamtszene so überlagert werden, daß der Betrachter den Hintergrund in größerer Entfernung wahrnimmt als den Vordergrund und auf diese Weise bedingt einen räumlichen Eindruck erhält. Zur optischen Anpassung des Aspektverhältnisses zwischen Vordergrundbild und Hintergrundbild werden hierbei monofokale Fresnelzylinderlinsen oder Zylinderspiegel verwendet.With the increasingly available storage capacity associated with the advancement of computer technology, it is more recently sought to produce three-dimensional mappings of scenes from two-dimensional mappings. Thus, for example, WO 98/10584 A2 describes a "display system" for the sequential representation of two image planes, in which a first image source, which provides the foreground, and a second image source, which reproduces the background, with the aid of an optical beam splitter The entire scene is superimposed in such a way that the viewer perceives the background at a greater distance than the foreground and thus obtains a spatial impression For the optical adaptation of the aspect ratio between foreground image and background image, monofocal Fresnel cylinder lenses or cylindrical mirrors are used.
Unter der Bezeichnung "Automatic Photo Pop Up" ist auf der Siggraph 2005, einer jährlich stattfindenden Messe für Spezialisten der 2D- und 3D-Grafiken, ein Verfahren vorgestellt worden, bei dem aus einer einzigen Photographie eine 3D-Ansicht der abgebildeten Objekte im Raum rekonstruiert wird. Dabei wird geschätzt, wo in dieser Photographie vertikal ausgerichtete Ob- jekte sind und welche Bildteile zur Bodenfläche oder zum Himmel gehören, um aus dieser Erkenntnis die Lage des Horizontes zu bestimmen.Under the name "Automatic Photo Pop Up", Siggraph 2005, an annual trade show for specialists in 2D and 3D graphics, has presented a process in which a single photograph is used to reconstruct a 3D view of the imaged objects in space becomes. It is estimated where in this photograph vertically aligned objects are and which parts of the picture belong to the ground or to the sky in order to determine from this knowledge the position of the horizon.
Diesem sowie dem vorher erwähnten Verfahren haftet der Nachteil an, daß die Qualität der damit erzielbaren dreidimensionalen Darstellungen keinen höheren Anforderungen genügt und zudem der manuelle Anteil an dem Zeitaufwand, der für die Herstellung der dreidimensionalen Darstellungen erforderlich ist, verhältnismäßig hoch ist.This and the aforementioned method has the disadvantage that the quality of the three-dimensional representations obtainable therewith does not meet higher requirements and, moreover, the manual proportion of the time required for producing the three-dimensional representations is relatively high.
Beschreibung der Erfindung Davon ausgehend liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zum Erzeugen einer dreidimensionalen Abbildung einer Szene aus einer zweidimensionalen Abbildung derselben Szene zu entwickeln, bei dem mit einem höheren Anteil an automatisierbaren Verfahrensschritten eine bessere Bildqualität erzielt wird.DESCRIPTION OF THE INVENTION Based on this, the object of the invention is to develop a method for generating a three-dimensional image of a scene from a two-dimensional image of the same scene in which a better image quality is achieved with a higher proportion of automatable process steps.
Erfindungsgemäß sind bei einem Verfahren zum Erzeugen einer dreidimensionalen Abbildung A30 einer Szene S1 aus einer zweidimensionalen Abbildung A2D der Szene S1 folgende Verfahrensschritte vorgesehen: a) Anlegen oder Verwenden eines Datensatzes von Abbildungen von Szenen Si (i=2...n), die Gebilde mit unterschiedlichen Abständen von der Aufnahmeposition enthalten und bei
denen jedem Gebilde eine Tiefeninformation als Maß für dessen Abstand von der Aufnahmeposition zugeordnet ist, b) Vergleichen der Abbildung A20 der Szene S1 mit den Abbildungen der Szenen Si (i=2...n) hinsichtlich des Vorhandenseins von Gebilden mit gleichen oder ähnlichen Merkmalen, c) Auswahl von mindestens einer Szene Sk (2<k<n), in der Gebilde vorkommen, welche die gleichen oder ähnliche Merkmale der Gebilde haben, die auch in der Abbildung A2D der Szene S1 enthalten sind, d) Übertragen der Tiefeninformation von den jeweiligen in der Szene Sk enthaltenen Gebilden auf die Gebilde mit gleichen oder ähnlichen Merkmalen in der Abbildung A20 der Szene S1 , e) Generieren einer dreidimensionalen Abbildung A3D der Szene S1 durch Verknüpfung der darin enthaltenen Gebilde mit den übertragenen Tiefeninformationen in Form eines Datensatzes.According to the invention, in a method for generating a three-dimensional image A 30 of a scene S1 from a two-dimensional image A 2D of the scene S1, the following method steps are provided: a) creating or using a data set of images of scenes Si (i = 2... N), contain the entities at different distances from the shooting position and at b) comparing the image A 20 of the scene S1 with the images of the scenes Si (i = 2 ... n) with respect to the presence of entities having the same or similar Characteristics, c) Selection of at least one scene Sk (2 <k <n), in which entities occur that have the same or similar features of the entities that are also included in the image A 2D of scene S1, d) transmit the Depth information from the respective structures contained in the scene Sk on the structures with the same or similar features in the image A 20 of the scene S1, e) generating a three-dimensional image A 3D of the scene S1 by linking the entities contained therein with the transmitted depth information in the form a record.
Damit liegt die dreidimensionale Abbildung A30 zunächst in einem Datensatz gespeichert vor und kann nun mit üblichen Anzeigeverfahren für einen oder mehrere Betrachter sichtbar dargestellt werden. So kann die Darstellung beispielsweise auf einem elektronisch ansteuerbaren, für 3D-Anzeigen geeigneten LC-Display, mittels eines Projektors auf einer reflektierenden Bildwand (unter Zuhilfenahme von 3D-Brillen für den Betrachter) oder auf einem holographischen BiId- schirm erfolgen. Das LC-Display ist zum Beispiel dann für 3D-Anzeigen geeignet, wenn es mit einem Parallaxen-Barriere-Schirm oder einem Lentikularschirm ausgestattet ist, so daß das vom Display ausgehende Licht getrennt zu beiden Augen eines Betrachters gelangt.Thus, the three-dimensional image A 30 is initially stored in a data record and can now be displayed visually for one or more observers with conventional display methods. For example, the display can be made on an electronically controllable LC display suitable for 3D displays, by means of a projector on a reflective screen (with the aid of 3D glasses for the observer) or on a holographic screen. The LC display is suitable for 3D displays, for example, when it is equipped with a parallax barrier screen or a lenticular screen, so that the light emitted from the display comes separately to both eyes of an observer.
Die Tiefeninformationen im Sinne der vorliegenden Erfindung entsprechen im übertragenen Sinne der Seh-Erfahrung des Menschen; das erfindungemäße Verfahren nutzt diese Seh- Erfahrung des Menschen. Insofern besteht ein weiterer Schritt des erfindungsgemäßen Verfahrens darin, den Datensatz von Abbildungen von Szenen Si (i=2...n) einschließlich der Tiefeninformationen aus einer Vielzahl von dreidimensionalen oder quasi-dreidimensionalen Abbildungen zu gewinnen, die in herkömmlicher Weise erzeugt worden sind, wie etwa mit 3D-Kameras aufgenommene Bilder oder durch Rendern erzeugte 3D-Bilder.The depth information in the sense of the present invention correspond in a figurative sense of the visual experience of humans; the method according to the invention uses this visual experience of humans. As such, another step of the method of the present invention is to obtain the set of images of scenes Si (i = 2... N) including the depth information from a plurality of three-dimensional or quasi-three-dimensional images generated in a conventional manner. such as images taken with 3D cameras or rendered 3D images.
Zum Messen von Größen und Entfernungen in Bildern und damit zur Gewinnung der Tiefeninformationen kann beispielsweise eine unter der Bezeichnung "VisualSize" bekannte Software genutzt werden, die dazu lediglich zwei verschiedene Bilder ein und derselben Szene benötigt, die aus voneinander abweichenden Blickwinkeln aufgenommen worden sind. Die beiden Bilder werden anhand identischer Bildinhalte rechnerisch miteinander verglichen, und aus dem Ergebnis dieses Vergleichs wird ein virtueller Maßstab erstellt, mit dem auf Größen und Entfernungen bzw. auf die Tiefeninformationen geschlossen wird.
Die Tiefeninformationen werden als Codierungen, bevorzugt in Form von Grautönen, Hellig- keits- oder Farbwerten, Mustern, Schraffuren oder ähnlichen Charakterisierungen, in den Datensätzen des Abbildungsvorrates von Szenen Si (i=2...n) gespeichert. Sie können beispielsweise in Form einer Vektorgrafik der betreffenden Abbildung zugeordnet werden.To measure sizes and distances in images and thus to obtain the depth information, for example, a known under the name "VisualSize" software can be used, which requires only two different images of the same scene, which have been taken from different angles. The two images are computationally compared on the basis of identical image contents, and the result of this comparison is used to create a virtual scale, which is used to deduce sizes and distances or the depth information. The depth information is stored as codings, preferably in the form of gray tones, brightness values or color values, patterns, hatchings or similar characterizations, in the data records of the image stock of scenes Si (i = 2... N). For example, they can be assigned to the image in the form of a vector graphic.
Die Speicherung des Datensatzes der Abbildungen, sowohl des Vorrates an Abbildungen von Szenen Si (i=2...n) als auch der Abbildung A2D, die in eine 3D-Darstellung konvertiert werden soll, erfolgt bevorzugt in elektronischer Form, wodurch der Vergleich der Abbildung A20 mit den einzelnen Abbildungen des Vorrates automatisch anhand der elektronischen Bilddaten vorge- nommen werden kann.The storage of the data set of the images, both of the stock of images of scenes Si (i = 2... N) and of the image A 2D , which is to be converted into a 3D representation, preferably takes place in electronic form, as a result of which the comparison Figure A 20 with the individual illustrations of the stock can be made automatically using the electronic image data.
Im Rahmen der Erfindung liegt sowohl auch die komprimierte Speicherung der Bilddaten in elektronischer Form als auch die Speicherung in jeglicher anderen Form, die eine Automatisierung des erfindungsgemäßen Verfahrens zuläßt, wie beispielsweise eine Speicherung auf Basis optischer Daten.In the context of the invention is also the compressed storage of image data in electronic form as well as the storage in any other form that allows automation of the method according to the invention, such as storage based on optical data.
Bei dem Vergleich wird die Ähnlichkeit der Merkmale von Gebilden, die in der Abbildung A20 enthalten sind, mit der Ähnlichkeit der Merkmale von Gebilden bewertet, die in den bevorrateten Abbildungen enthalten sind, wobei die Ähnlichkeit der Umrisse, der Größe, der Farbe bzw. Graustufen und/oder der Strukturen verglichen wird. Auch können dem Vergleich jeweils nur Bildausschnitte zugrunde gelegt werden.In the comparison, the similarity of the features of entities included in the map A 20 is evaluated with the similarity of the features of entities contained in the stored images, the similarity of the contours, the size, the color or Grayscale and / or structures is compared. Also, the comparison can only be based on image sections.
Zu diesem Vergleich kann z.B. ein als „Scene Completion" bekanntes Verfahren genutzt werden, das ursprünglich dazu entwickelt wurde, ein in einer aufgenommenen Szene verdecktes und dadurch nicht sichtbares Gebilde zu ergänzen, indem in einer Vielzahl von verschiedenen Bildern nach Szenen mit ähnlichen Bildinhalten gesucht, das fehlende Gebilde als Bildausschnitt aus einer vergleichbaren Darstellung entnommen und in das zu ergänzende Bild eingesetzt wird.For this comparison, e.g. a method known as "scene completion" is used which was originally developed to supplement a scene obscured and thus invisible in a recorded scene by searching for scenes with similar image content in a plurality of different images, the missing entity as a frame taken from a comparable representation and is used in the image to be supplemented.
Die Übereinstimmung einer in dem Abbildungsvorrat gefundenen Abbildung einer Szene Sk mit der in der Abbildung A20 dargestellten Szene S1 wird dabei anhand vergleichbarer Umrisse, Farben bzw. Graustufen und/oder Strukturen der erkannten Gebilde ermittelt. Bei einer gefundenen maximalen Übereinstimmung werden die Tiefeninformationen von den Gebilden, die in der betreffenden Abbildung aus dem Datenvorrat enthalten sind, auf die in der Abbildung A2D enthaltenen Gebilde übertragen, indem beispielsweise der Abbildung A20 eine sogenannte Tiefenkarte, zum Beispiel in Form einer Vektorgrafik oder eines Grauwertbildes, zugeordnet wird.
Damit werden einem in der Szene S1 enthaltenen Gebilde die Tiefeninformationen zugeordnet, die einem vergleichbaren Gebilde aus den Abbildungen von Szenen Si (i=2...n) zugeordnet sind.The correspondence of a found in the imaging stock illustration of a scene with the Sk shown in Figure 20 A scene S1 is in this case determined on the basis of similar shapes, colors or gray steps and / or structures of the identified structure. With a maximum match found, the depth information from the entities contained in the respective image from the data set is transferred to the entities contained in the map A 2D by, for example, mapping A 20 a so-called depth map, for example in the form of a vector graphic or a gray value image. In this way, a structure contained in the scene S1 is assigned the depth information which is assigned to a comparable entity from the images of scenes Si (i = 2... N).
Hat z.B. ein Datensatz aus einer Abbildung und einer zugeordneten Tiefenkarte in Form einer Vektorgrafik 2 MB Speicherbedarf, so würde für die Speicherung eines Datenvorrates von 10.000 Abbildungen einschließlich der jeweils zugeordneten Tiefenkarte eine Speicherkapazität von 20 GB ausreichen.Has e.g. a record of a map and an associated depth map in the form of a vector graphics memory 2 MB memory would be sufficient for the storage of a data supply of 10,000 images including the associated depth map, a storage capacity of 20 GB.
Aus dem Datensatz der dreidimensionalen Abbildung A30 der Szene S1 , der im Wesentlichen aus dem Datensatz aus der Abbildung A2D und einer dieser Abbildung zugeordneten Tiefenkarte besteht, werden nun mittels bekannter Verfahren mehrere Perspektivansichten generiert. Hierzu wird beispielsweise die Lehre der WO 97/23097 "PARALLACTIC DEPHT-DEPENDENT PIXEL SHIFTS" angewendet, bei welcher Pixeltiefen in Pixelverschiebungen gewandelt und aus die- sen Verschiebungen Perspektivansichten generiert werden, die beispielsweise Objekte in Bildebenen verschiedener Tiefen beinhalten. Die Anwendung anderer einschlagiger Verfahren ist selbstverständlich möglich und liegt im Rahmen der hier vorliegenden Erfindung.From the data set of the three-dimensional image A 30 of the scene S1, which consists essentially of the data set from the image A 2D and a depth map assigned to this image, several perspective views are now generated by means of known methods. For this purpose, for example, the teaching of WO 97/23097 "PARALLACTIC DEPHT-DEPENDENT PIXEL SHIFTS" is used in which pixel depths are converted into pixel shifts and from these shifts perspective views are generated, which include, for example, objects in image planes of different depths. The application of other einschlagiger method is of course possible and is within the scope of the present invention.
Es liegt im Rahmen der Erfindung, wenn in den Datensätzen der dreidimensionalen Abbildung A30 der Szene S1 beziehungsweise der Szenen Si zusätzlich auch Hinterschneidungsinforma- tionen, Transparenzinformationen oder sonstige zusätzliche Bild- oder Szeneninformationen ein-, zwei- oder dreidimensionaler Natur gespeichert werden, die für eine weitere Bearbeitung der dreidimensionalen Abbildung A30 von Vorteil sein können.It is within the scope of the invention if in the data sets of the three-dimensional image A 30 of scene S1 or scenes Si additionally undercut information, transparency information or other additional image or scene information of one-, two- or three-dimensional nature are stored for Further processing of the three-dimensional image A 30 may be advantageous.
Der Datensatz der dreidimensionalen Abbildung A30 der Szene S1 beziehungsweise der Szenen Si können anhand von herkömmlichen Tiefen-Schätzungsverfahren im Sinne einer Präzisierung der Tiefeninformationen noch verfeinert werden. Zur Anwendung kommen hierzu beispielsweise die Auswertung von Schattenwurf, Perspektive, Verdeckung, shape from motion oder auch shape from shadow.The data set of the three-dimensional image A 30 of scene S1 or of scenes Si can be further refined by means of conventional depth estimation methods in the sense of a specification of the depth information. For example, the evaluation of shadows, perspective, occlusion, shape from motion or shape from shadow are used.
Das erfindungsgemäße Verfahren ist vorteilhaft zur räumlich wahrnehmbaren Darstellung bewegter oder unbewegter Gebilde innerhalb einer Szene anwendbar. Auch die Anwendung zur räumlich wahrnehmbaren Darstellung von Geländeabschnitten, die sich relativ zu einem Betrachter verändern und die eines oder mehrere Gebilde in unterschiedlichen Abständen vom Betrachter enthalten, liegt im Rahmen der Erfindung.The method according to the invention is advantageously applicable to the spatially perceptible representation of moving or stationary objects within a scene. The application for the spatially perceptible representation of terrain sections that change relative to a viewer and that contain one or more structures at different distances from the viewer is within the scope of the invention.
Die Erfindung soll nachfolgend anhand eines Ausführungsbeispieles näher erläutert werden.
Erfindungsgemäß wird in einem ersten Verfahrensschritt, der in mehreren Teilschritten ablaufen kann, eine Vielzahl von Abbildungen von Szenen Si (i=2...n) in einem bevorzugt elektronischen Speicher abgelegt. Gespeichert werden Abbildungen von Szenen Si jeglicher Art, die Gebilde, wie Körper, Figuren, Zeichen, Gegenstände oder Dinge darstellen, die naturgemäß vorkommen oder künstlich geschaffen sind. Da die Zahl naturgemäß vorkommender oder künstlich geschaffener Gebilde prinzipiell endlich ist, kommen sie in der Vielzahl von gespeicherten Abbildungen mit hoher Wahrscheinlichkeit auch wiederholt vor.The invention will be explained in more detail with reference to an embodiment. According to the invention, a multiplicity of images of scenes Si (i = 2... N) are stored in a preferably electronic memory in a first method step, which can take place in several substeps. Images of scenes of any kind are stored, representing entities such as bodies, figures, characters, objects or things that occur naturally or are artificially created. Since the number of naturally occurring or artificially created structures is finite in principle, they are likely to occur repeatedly in the large number of stored images.
In der Regel enthält eine Abbildung einer Szene Si Gebilde unterschiedlicher Art, die innerhalb der Szene Si auch unterschiedliche Abstände von der Position im Raum haben, aus welcher die Szene Si aufgenommen oder - im Falle von 3D-Computergrafiken - scheinbar (virtuell) aufgenommen worden ist.As a rule, an image of a scene Si contains entities of different types, which also have different distances from the position in space within the scene Si from which the scene Si was recorded or - in the case of 3D computer graphics - apparently (virtual) recorded ,
Die zu speichernden Szenen Si werden beispielsweise mit einer Kamera oder mehreren Kame- ras aus mindestens zwei Blickwinkeln aufgenommen, oder sie werden als SD- Computergraphiken mit einem kommerziell erhältlichen Softwareprogramm zur Erzeugung von dreidimensionalen Ansichten generiert, wobei sich eine scheinbare (virtuelle) Aufnahmeposition im Raum ergibt.The scenes Si to be stored are recorded, for example, with one camera or several cameras from at least two viewing angles, or they are generated as SD computer graphics with a commercially available software program for generating three-dimensional views, whereby an apparent (virtual) recording position in space results.
In jeder dieser Abbildungen lassen sich - bezogen auf die dargestellten Gebilde - Tiefeninformationen bestimmen. Eine Tiefeninformation im Sinne der vorliegenden Erfindung ist bevorzugt ein Äquivalent für eine Entfernungsangabe zwischen der Aufnahmeposition und dem betreffenden Gebilde. Daneben kommen jedoch auch Tiefeninformationen in Betracht, die einer Entfernungsangabe zwischen einem wählbaren Fixpunkt und dem betreffenden Gebilde entsprechen. Unter Gebilde im Sinne dieser Erfindung sind auch Ausbildungen zu verstehen, die Bestandteile von Körpern, Figuren, Zeichen, Gegenständen oder Dingen sind, wie beispielsweise ein Vordach an einem Gebäude, ein Ast an einem Baum, ein Griff an einer Tür, und die als Einzelheiten von Gebilden zur Szene gehören.In each of these figures, depth information can be determined with reference to the depicted entities. Depth information in the sense of the present invention is preferably an equivalent for a distance indication between the pickup position and the respective structure. In addition, however, also depth information come into consideration, which correspond to a distance indication between a selectable fixed point and the respective structure. For the purposes of this invention, structures are also to be understood as constitutions which are constituents of bodies, figures, characters, objects or things, such as, for example, a canopy on a building, a branch on a tree, a handle on a door, and as details from entities to the scene.
Die Bestimmung der Tiefeninformationen aus den aus mehreren Blickwinkeln aufgenommenen Abbildungen oder den 3D-Computergrafiken erfolgt mit aus dem Stand der Technik bekannten Mitteln zur Bildauswertung, z.B. der Photogrammetrie oder unter Anwendung von üblichen Ste- reo-Matching-Algorithmen oder Tiefenerkennungsverfahren. Die so gewonnenen Tiefeninformationen werden als Codierung den entsprechenden, in der Abbildung der betreffenden Szene Si dargestellten Gebilden bzw. Bestandteilen von Gebilden zugeordnet gespeichert. Die Codierung kann beispielsweise in Form von Grautönen, Helligkeits- oder Farbwerten, Mustern, Schraffuren oder ähnlichen Charakterisierungen vorgenommen werden. Die Gesamtheit der Tiefeninformationen, die den in einer Abbildung dargestellten Gebilden zugeordnet sind, wird beispielsweise als Tiefenkarte in Form einer Vektorgraphik dieser Abbildung zugeordnet.
Sobald ein solcher nach dem ersten Verfahrensschritt angelegter Vorrat von gespeicherten Abbildungen vorhanden ist, können die nächsten Verfahrensschritte ausgeführt werden. Dabei gehört es zum Erfindungsgedanken, daß dieser Vorrat an gespeicherten Abbildungen stets erweitert bzw. ergänzt wird, was vorteilhaft zur Folge hat, daß die nachfolgenden Verfahrensschritte mit fortschreitender Ergänzung des Vorrates immer präziser ausgeführt werden können.The determination of the depth information from the images taken from several angles or the 3D computer graphics is carried out by means known from the prior art for image evaluation, eg photogrammetry or using conventional stereo matching algorithms or depth detection methods. The depth information obtained in this way is stored as coding associated with the corresponding structures or components of structures shown in the image of the relevant scene Si. The coding can be carried out, for example, in the form of shades of gray, brightness or color values, patterns, hatching or similar characterizations. The entirety of the depth information associated with the entities represented in an image is assigned to this mapping, for example, as a depth map in the form of a vector graphic. As soon as such a supply of stored images, which has been applied after the first method step, is present, the next method steps can be carried out. It is part of the inventive idea that this supply of stored images is always extended or supplemented, which has the advantageous consequence that the subsequent process steps with progressive supplementation of the stock can be performed more and more precise.
Im nächsten Verfahrensschritt wird die zweidimensionale Abbildung A2D einer Szene S1 , die ebenfalls elektronisch gespeichert vorliegt, mit jeder einzelnen der gespeicherten Abbildungen von Szenen Si verglichen, und zwar im Hinblick auf das Vorhandensein von Gebilden mit gleichen oder ähnlichen Merkmalen. Beispielsweise sind die Merkmale der Gebilde sowohl bei den gespeicherten Abbildungen als auch bei der zweidimensionalen Abbildung A2D durch deren Umrisse, Größe, Farbe bzw. Grauwerte und/oder Strukturen charakterisiert. Zur Ausführung des Vergleichs kann beispielhaft das bereits erwähnte „Scene Completion"-Verfahren genutzt wer- den. Enthält die zweidimensionale Abbildung A2D beispielsweise die Darstellung eines oder mehrerer Gebäude und einer oder mehrerer Personen, so werden mit Hilfe dieses Verfahrens die elektronisch gespeicherten Bildinhalte miteinander verglichen und in dem als Vorrat gespeicherten Abbildungen nach gleichen oder ähnlichen Darstellungen gesucht. Auch können dem Vergleich jeweils nur Bildausschnitte zugrunde gelegt werden. Der Vergleich läuft automatisch unter Nutzung einer entsprechenden Software und/oder Hardware ab.In the next method step, the two-dimensional image A 2D of a scene S1, which is also electronically stored, is compared with each one of the stored images of scenes Si, in view of the presence of entities having the same or similar features. For example, the features of the structures both in the stored images and in the two-dimensional image A 2D are characterized by their outlines, size, color or gray values and / or structures. By way of example, the aforementioned "scene completion" method can be used to carry out the comparison: If the two-dimensional image A 2D contains, for example, the representation of one or more buildings and one or more persons, the electronically stored image contents are combined with one another with the aid of this method The comparisons can only be based on the same or similar representations and the comparison can be made automatically using appropriate software and / or hardware.
Im Ergebnis des Vergleichs werden im Idealfall Übereinstimmungen hinsichtlich der Umrisse, der Größe, der Farbe bzw. Grauwerte und/oder der Struktur der in der zweidimensionalen Abbildung A20 dargestellten Gebilde mit Gebilden in einer oder auch in mehreren der Abbildungen von Szenen Si innerhalb des Speichervorrates gefunden. Dann werden in der Folge die Tiefeninformationen aus dem Speichervorrat entnommen und den Gebilden in der zweidimensionalen Abbildung A20 zugeordnet. Lassen sich übereinstimmende Merkmale für alle in der zweidimensionalen Abbildung A20 dargestellten Gebilde mit Gebilden innerhalb einer einzigen der gespeicherten Abbildungen finden, so entspricht dies wiederum einem -durchaus möglichen - Idealfall.As a result of the comparison, ideally, there will be correspondences in outline, size, color, and / or texture of the entities depicted in the two-dimensional map A 20 with entities in one or more of the images of scenes Si within the memory found. Then, the depth information is taken from the memory and subsequently assigned to the images in the two-dimensional image A 20 . If matching features for all structures shown in the two-dimensional image A 20 can be found within a single stored image, this again corresponds to a-very possible-ideal case.
In der Regel jedoch, und insbesondere dann, wenn vorerst eine verhältnismäßig geringe Anzahl von Abbildungen innerhalb des Speichervorrates vorhanden ist, werden sich Gebilde mit lediglich ähnlichen Merkmalen und nur in mehreren verschiedenen der gespeicherten Abbildungen finden lassen. In diesen Fällen werden aus dem Speichervorraten die Tiefeninformationen ent- nommen und auf die Gebilde in der zweidimensionalen Abbildung A2D übertragen, die den dort dargestellten Gebilden hinsichtlich der Umrisse, der Größe, der Farbe bzw. Graustufen und/oder der Struktur am ähnlichsten sind.
Die Gesamtheit der auf die Gebilde innerhalb der zweidimensionalen Abbildung A2Q übertragenen Tiefeninformationen wird beispielsweise wiederum in Form einer Vektorgraphik dieser Abbildung zugeordnet. Dabei werden, soweit erforderlich, Anpassungen der Tiefeninformationen an die Größe der jeweiligen Gebilde vorgenommen.In general, however, and in particular when there is a relatively small number of images within the memory for the time being, entities with only similar features and only in several different ones of the stored images will be found. In these cases, the depth information is taken from the storage space and transferred to the structures in the two-dimensional image A 2D , which are the most similar to the structures shown there in terms of outlines, size, color or gray scale and / or structure. The totality of the depth information transmitted to the entities within the two-dimensional map A 2 Q is, for example, again assigned in the form of a vector graphic to this mapping. As necessary, adjustments of the depth information are made to the size of the respective structure.
In einem nächsten Verfahrensschritt wird aus der Verknüpfung der Bildinhalte innerhalb der zweidimensionalen Abbildung A2D mit den zugeordneten Tiefeninformationen nach herkömmlichen Verfahren der Datensatz einer dreidimensionalen Abbildung A30 der Szene S1 generiert. Dieser Datensatz liegt nun ebenfalls in elektronisch gespeicherter Form vor und kann über drahtgebundene oder drahtlose Datennetze an Einrichtungen übermittelt werden, mit denen eine für einen Betrachter dreidimensionale wahrnehmbare Darstellung der Szene S1 angezeigt werden kann.In a next method step, the data set of a three-dimensional image A 30 of the scene S1 is generated from the combination of the image contents within the two-dimensional image A 2D with the associated depth information according to conventional methods. This data set is now also stored in electronically stored form and can be transmitted via wired or wireless data networks to facilities with which a three-dimensional perceptible representation of the scene S1 for a viewer can be displayed.
Der Datensatz einer dreidimensionalen Abbildung A30 der Szene S1 kann zwecks der für einen Betrachter dreidimensional wahrnehmbaren Darstellung beispielsweise nach dem bereits genannten Verfahren nach WO 97/23097 in mehrere Ansichten umgewandelt werden.The data set of a three-dimensional image A 30 of the scene S1 can be converted into a plurality of views for the purpose of the display, which can be perceived three-dimensionally by a viewer, for example according to the already mentioned method according to WO 97/23097.
Bestandteil einer für die Darstellung geeigneten Anzeigeeinrichtung kann beispielsweise ein LC- Display sein, das mit einem Parallaxen-Barriere-Schirm oder einem Lentikularschirm ausgestat- tet ist, so daß das von dem LC-Display ausgehende Licht gesondert teilweise zu dem einen und dem anderen Auge des Betrachters gerichtet wird, wodurch wiederum jedes Betrachterauge unterschiedliche Ansichten wahrnimmt.
Part of a display device suitable for the display can be, for example, an LC display that is equipped with a parallax barrier screen or a lenticular screen, so that the light emanating from the LC display is separated in part separately from the one and the other eye the observer is directed, which in turn perceives each viewer's eye different views.
Claims
1. Verfahren zum Erzeugen einer dreidimensionalen Abbildung A30 einer Szene S1 aus einer zweidimensionalen Abbildung A2D der Szene S1 , wobei die Szene S1 Gebilde in unterschiedlichen Abständen von der Position enthält, aus der die Abbildung A2D aufgenommen worden ist, gekennzeichnet durch folgende Verfahrensschritte: a) Anlegen oder Verwenden eines Datensatzes von Abbildungen von Szenen Si (i=2...n), die Gebilde mit unterschiedlichen Abständen von der Aufnahmeposition enthalten und bei denen jedem Gebilde eine Tiefeninformation als Maß für dessen Abstand von der Aufnahmeposition zugeordnet ist, b) Vergleichen der Abbildung A20 der Szene S1 mit den Abbildungen der Szenen Si (i=2...n) hinsichtlich des Vorhandenseins von Gebilden mit gleichen oder ähnlichen Merkmalen, c) Auswahl von mindestens einer Szene Sk (2<k<n), in der Gebilde vorkommen, welche die gleichen oder ähnliche Merkmale der Gebilde haben, die auch in der Abbildung A20 der Szene S1 enthalten sind, d) Übertragen der Tiefeninformation von den jeweiligen in der Szene Sk enthaltenen Gebil- den auf die Gebilde mit gleichen oder ähnlichen Merkmalen in der Abbildung A2D derA method for generating a three-dimensional image A 30 of a scene S1 from a two-dimensional image A 2D of the scene S1, wherein the scene S1 contains entities at different distances from the position from which the image A 2D was taken, characterized by the following method steps a) applying or using a data set of images of scenes Si (i = 2... n) containing entities at different distances from the photographing position and in which each entity is assigned depth information as a measure of its distance from the photographing position; b) comparing the image A 20 of the scene S1 with the images of the scenes Si (i = 2 ... n) with respect to the presence of entities having the same or similar features, c) selecting at least one scene Sk (2 <k <n ), in which formations occur which have the same or similar features of the formations which are also contained in Figure A 20 of scene S1, d) transmission the depth information from the respective parts contained in the scene Sk to the structures with the same or similar features in the figure A 2D of
Szene S1 , e) Generieren einer dreidimensionalen Abbildung A30 der Szene S1 durch Verknüpfung der darin enthaltenen Bildinhalte mit den übertragenen Tiefeninformationen, bevorzugt in Form eines Datensatzes.Scene S1, e) generating a three-dimensional image A 30 of the scene S1 by linking the image contents contained therein with the transmitted depth information, preferably in the form of a data record.
2. Verfahren nach Anspruch 1 , bei dem der Vorrat an Abbildungen von Szenen Si (i=2...n) einschließlich der Tiefeninformationen aus dreidimensionalen Abbildungen dieser Szenen gewonnen wird.2. The method of claim 1, wherein the supply of images of scenes Si (i = 2 ... n) including the depth information is obtained from three-dimensional images of these scenes.
3. Verfahren nach Anspruch 1 oder 2, bei dem der Vorrat an Abbildungen und die Abbildung A20 in Form von elektronischen Bilddaten gespeichert werden, und der Vergleich der Abbildung A20 mit den einzelnen Abbildungen des Vorrates automatisch anhand der elektronischen Bilddaten vorgenommen wird.3. The method of claim 1 or 2, wherein the stock of images and the image A 20 are stored in the form of electronic image data, and the comparison of the image A 20 with the individual images of the stock is made automatically based on the electronic image data.
4. Verfahren nach einem der vorgenannten Ansprüche, bei dem die Gleichheit oder Ähnlichkeit der Merkmale von Gebilden durch Vergleich ihrer Umrisse, Größe, Farbe bzw. Grauwerten und/oder Struktur ermittelt wird. 4. Method according to one of the preceding claims, in which the equality or similarity of the features of entities is determined by comparing their contours, size, color or gray values and / or structure.
5. Verfahren nach Anspruch 1 oder 2, bei dem die Tiefen information innerhalb des Vorrates von Abbildungen von Szenen Si (i=2...n) als Codierungen, bevorzugt in Form von Grautönen, Helligkeits- oder Farbwerten, Mustern, Schraffuren oder ähnlichen Charakterisierungen, in den Datensätzen gespeichert sind.5. The method of claim 1 or 2, wherein the depth information within the stock of images of scenes Si (i = 2 ... n) as encodings, preferably in the form of shades of gray, brightness or color values, patterns, hatching or the like Characterizations in which records are stored.
6. Verfahren nach Anspruch 5, bei dem den in der Szene S1 enthaltenen Gebilden die Tiefeninformation zugeordnet werden, indem die Codierung, die einem Gebilde aus den Abbildungen von Szenen Si (i=2...n) zugeordnet ist, einem Gebilde mit gleichen oder ähnlichen Merkmalen in der Szene S1 zugeordnet wird.6. The method of claim 5, wherein the images contained in the scene S1, the depth information are assigned by the coding, which is associated with a structure of the images of scenes Si (i = 2 ... n), a structure with the same or similar features in scene S1.
7. Verfahren nach einem der vorgenannten Ansprüche, bei dem die Szene S17. The method according to any one of the preceding claims, wherein the scene S1
- auf einem elektronisch ansteuerbaren Flach-Display,- on an electronically controlled flat display,
- mittels eines Projektors auf einem als reflektierende Bildwand unter Zuhilfenahme von 3D-Brillen für den Betrachter, oder - auf einem holographischen Bildschirm räumlich wahrnehmbar dargestellt wird.- Is displayed spatially perceptible on a holographic screen by means of a projector on a as a reflective screen with the aid of 3D glasses for the viewer, or.
8. Verfahren nach Anspruch 7, bei dem das LC-Display mit einem Parallaxen-Barriere- Schirm ausgestattet ist, so daß das vom LC-Display ausgehende Licht getrennt zu den beiden Augen der Betrachter gerichtet wird.8. The method of claim 7, wherein the LC display is equipped with a parallax barrier screen, so that the light emanating from the LC display is directed separately to the two eyes of the viewer.
9. Anwendung des Verfahrens nach den Ansprüchen 1 bis 8 zur räumlich wahrnehmbaren Darstellung bewegter oder unbewegter Gebilde innerhalb einer Szene.9. Application of the method according to claims 1 to 8 for the spatially perceptible representation of moving or stationary objects within a scene.
10. Anwendung des Verfahrens nach den Ansprüchen 1 bis 8 zur räumlich wahrnehmbaren Darstellung von Geländeabschnitten, die sich relativ zu einem Betrachter verändern und die ein oder mehrere Gebilde in unterschiedlichen Abständen vom Betrachter enthalten. 10. Application of the method according to claims 1 to 8 for the spatially perceptible representation of terrain sections that change relative to a viewer and contain one or more entities at different distances from the viewer.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102008016553A DE102008016553A1 (en) | 2008-03-27 | 2008-03-27 | A method for generating a 3D image of a scene from a 2D image of the scene |
DE102008016553.0 | 2008-03-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
WO2009118156A2 true WO2009118156A2 (en) | 2009-10-01 |
WO2009118156A3 WO2009118156A3 (en) | 2011-10-13 |
Family
ID=41114372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2009/002156 WO2009118156A2 (en) | 2008-03-27 | 2009-03-25 | M,method for generating a 3d-image of a scene from a 2d-image of the scene |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102008016553A1 (en) |
WO (1) | WO2009118156A2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2469868A1 (en) | 2010-12-23 | 2012-06-27 | Thales | Method for correcting hyperstereoscopy and related helmet display system |
CN109584154A (en) * | 2018-12-20 | 2019-04-05 | 广东精鹰传媒股份有限公司 | A method of three-dimensional scenic is made using two-dimension picture |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9471988B2 (en) | 2011-11-02 | 2016-10-18 | Google Inc. | Depth-map generation for an input image using an example approximate depth-map associated with an example similar image |
US9111350B1 (en) | 2012-02-10 | 2015-08-18 | Google Inc. | Conversion of monoscopic visual content to stereoscopic 3D |
US9674498B1 (en) | 2013-03-15 | 2017-06-06 | Google Inc. | Detecting suitability for converting monoscopic visual content to stereoscopic 3D |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0809913B1 (en) | 1995-12-19 | 2002-06-12 | Koninklijke Philips Electronics N.V. | Parallactic depth-dependent pixel shifts |
AU4231797A (en) | 1996-08-16 | 1998-03-26 | Eugene Dolgoff | Display system |
US7236622B2 (en) * | 1999-08-25 | 2007-06-26 | Eastman Kodak Company | Method for forming a depth image |
US7199793B2 (en) * | 2002-05-21 | 2007-04-03 | Mok3, Inc. | Image-based modeling and photo editing |
-
2008
- 2008-03-27 DE DE102008016553A patent/DE102008016553A1/en not_active Withdrawn
-
2009
- 2009-03-25 WO PCT/EP2009/002156 patent/WO2009118156A2/en active Application Filing
Non-Patent Citations (3)
Title |
---|
ASHUTOSH SAXENA ET AL: "3-D Depth Reconstruction from a Single Still Image", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, BO, Bd. 76, Nr. 1, 16. August 2007 (2007-08-16), Seiten 53-69, XP019557772, ISSN: 1573-1405, DOI: DOI:10.1007/S11263-007-0071-Y * |
HOIEM D ET AL: "Automatic photo pop-up", ACM TRANSACTIONS ON GRAPHICS: TOG, ACM, US, Bd. 24, Nr. 3, 1. Juli 2005 (2005-07-01), Seiten 577-584, XP002460592, ISSN: 0730-0301, DOI: DOI:10.1145/1073204.1073232 in der Anmeldung erwähnt * |
LILA Y ET AL: "Object's Depth Ordering in Monocular Image by Using Multi-Neural Network Classification", SICE-ICCAS 2006 INTERNATIONAL JOINT CONFERENCE, IEEE, PISCATAWAY, NJ, USA, 1. Oktober 2006 (2006-10-01), Seiten 587-592, XP031050657, DOI: DOI:10.1109/SICE.2006.315552 ISBN: 978-89-950038-4-8 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2469868A1 (en) | 2010-12-23 | 2012-06-27 | Thales | Method for correcting hyperstereoscopy and related helmet display system |
CN109584154A (en) * | 2018-12-20 | 2019-04-05 | 广东精鹰传媒股份有限公司 | A method of three-dimensional scenic is made using two-dimension picture |
Also Published As
Publication number | Publication date |
---|---|
WO2009118156A3 (en) | 2011-10-13 |
DE102008016553A1 (en) | 2009-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69226512T2 (en) | Image processing method | |
DE102015210453B3 (en) | METHOD AND APPARATUS FOR GENERATING DATA FOR A TWO OR THREE-DIMENSIONAL PRESENTATION OF AT LEAST ONE PART OF AN OBJECT AND FOR PRODUCING THE TWO OR THREE-DIMENSIONAL PRESENTATION AT LEAST THE PART OF THE OBJECT | |
DE69434685T2 (en) | Image processing method and apparatus | |
DE69621509T2 (en) | Process for the selection of two individual images of a two-dimensional image sequence as the basis for the calculation of the relative depth of image objects | |
DE69807479T2 (en) | Creation of an image of a three-dimensional object | |
DE69932619T2 (en) | METHOD AND SYSTEM FOR RECORDING AND REPRESENTING THREE-DIMENSIONAL GEOMETRY, COLOR AND SHADOWING OF ANIMATED OBJECTS | |
DE602004008794T2 (en) | IMAGE PLAYBACK WITH INTERACTIVE MOTION PARALLAX | |
EP3347876B1 (en) | Device and method for generating a model of an object using superimposed image data in a virtual environment | |
WO2018162509A2 (en) | Device and method for the representation of a spatial image of an object in a virtual environment | |
DE69722139T2 (en) | THREE-DIMENSIONAL IMAGE OF IMAGE TEXTURES | |
WO2018087084A1 (en) | Method and apparatus for superimposing virtual image and audio data on a portrayal of real scenery, and a mobile device | |
EP2676449B1 (en) | Method and device for stereo base extension of stereoscopic images and image sequences | |
DE602004012341T2 (en) | Method and system for providing a volume rendering of a three-dimensional object | |
DE112015004871T5 (en) | Method for automated real-time conversion of 2D RGB images and video into stereoscopic red-cyan 3D anaglyphs | |
WO2009118156A2 (en) | M,method for generating a 3d-image of a scene from a 2d-image of the scene | |
DE102007021518B4 (en) | Method of processing a video data set | |
DE102007057208A1 (en) | Method for displaying image objects in a virtual three-dimensional image space | |
DE10056978B4 (en) | Method for generating a stereographic image | |
DE102009036029A1 (en) | Presentation of complex and / or deformable objects as well as virtual fitting of attractable objects | |
DE102014208048A1 (en) | System and method for personalizing an exhibition space | |
EP2859531A1 (en) | Method for image-based alteration recognition | |
WO2011032642A1 (en) | Method and device for generating partial views and/or a stereoscopic image master from a 2d-view for stereoscopic playback | |
EP3682631A1 (en) | Equipment and method for audio/visual recording and reproduction of images/films | |
WO2007085482A1 (en) | Method for producing and displaying images which can be perceived in three dimensions | |
DE102015017128A1 (en) | Method and device for generating data for a two- or three-dimensional representation of at least a part of an object and for generating the two- or three-dimensional representation of at least the part of the object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09725381 Country of ref document: EP Kind code of ref document: A2 |