WO2009118156A2 - Verfahren zum erzeugen einer 3d-abbildung einer szene aus einer 2d-abbildung der szene - Google Patents

Verfahren zum erzeugen einer 3d-abbildung einer szene aus einer 2d-abbildung der szene Download PDF

Info

Publication number
WO2009118156A2
WO2009118156A2 PCT/EP2009/002156 EP2009002156W WO2009118156A2 WO 2009118156 A2 WO2009118156 A2 WO 2009118156A2 EP 2009002156 W EP2009002156 W EP 2009002156W WO 2009118156 A2 WO2009118156 A2 WO 2009118156A2
Authority
WO
WIPO (PCT)
Prior art keywords
scene
image
images
depth information
scenes
Prior art date
Application number
PCT/EP2009/002156
Other languages
English (en)
French (fr)
Other versions
WO2009118156A3 (de
Inventor
Markus Klippstein
Alexander Schmidt
Original Assignee
Visumotion Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visumotion Gmbh filed Critical Visumotion Gmbh
Publication of WO2009118156A2 publication Critical patent/WO2009118156A2/de
Publication of WO2009118156A3 publication Critical patent/WO2009118156A3/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the invention relates to a method for generating a three-dimensional image of a scene from a two-dimensional image of the same scene, wherein the scene contains entities at different distances from the position from which the image of the scene was taken.
  • entities are to be understood as bodies, figures, characters, objects or things which generally occur in scenes, and also details which are formed thereon.
  • 2D computer graphics is used in connection with the generation of images whose contents can be displayed in one plane.
  • 3D computer graphics the image content is processed in three dimensions.
  • the entirety of the entities to be displayed in a 3D computer graphic is called a scene, and the generation of an image or movie based on such scenes is known as rendering.
  • 3D computer graphics can be represented as true 3D stereoscopic images.
  • Various rendering techniques are applicable, such as raytracing, a ray-based obfuscation algorithm that determines the visibility of objects from a particular point in space, and radiosity, another method of calculating light propagation within one Scene.
  • 3D computer graphics are created using commercial 3D CAD display programs such as Pro / ENGINEER or AutoVue. Especially with the latter is a Rendering in several 3D modes to display three-dimensionally recognizable technical structures in the form of a shaded model, a wire representation or in outline with hidden line removal.
  • WO 98/10584 A2 describes a "display system" for the sequential representation of two image planes, in which a first image source, which provides the foreground, and a second image source, which reproduces the background, with the aid of an optical beam splitter The entire scene is superimposed in such a way that the viewer perceives the background at a greater distance than the foreground and thus obtains a spatial impression
  • monofocal Fresnel cylinder lenses or cylindrical mirrors are used.
  • the object of the invention is to develop a method for generating a three-dimensional image of a scene from a two-dimensional image of the same scene in which a better image quality is achieved with a higher proportion of automatable process steps.
  • the three-dimensional image A 30 is initially stored in a data record and can now be displayed visually for one or more observers with conventional display methods.
  • the display can be made on an electronically controllable LC display suitable for 3D displays, by means of a projector on a reflective screen (with the aid of 3D glasses for the observer) or on a holographic screen.
  • the LC display is suitable for 3D displays, for example, when it is equipped with a parallax barrier screen or a lenticular screen, so that the light emitted from the display comes separately to both eyes of an observer.
  • the depth information in the sense of the present invention correspond in a figurative sense of the visual experience of humans; the method according to the invention uses this visual experience of humans.
  • a known under the name "VisualSize” software can be used, which requires only two different images of the same scene, which have been taken from different angles.
  • the two images are computationally compared on the basis of identical image contents, and the result of this comparison is used to create a virtual scale, which is used to deduce sizes and distances or the depth information.
  • the similarity of the features of entities included in the map A 20 is evaluated with the similarity of the features of entities contained in the stored images, the similarity of the contours, the size, the color or Grayscale and / or structures is compared. Also, the comparison can only be based on image sections.
  • scene completion e.g. a method known as "scene completion" which was originally developed to supplement a scene obscured and thus invisible in a recorded scene by searching for scenes with similar image content in a plurality of different images, the missing entity as a frame taken from a comparable representation and is used in the image to be supplemented.
  • a scene S1 is in this case determined on the basis of similar shapes, colors or gray steps and / or structures of the identified structure.
  • the depth information from the entities contained in the respective image from the data set is transferred to the entities contained in the map A 2D by, for example, mapping A 20 a so-called depth map, for example in the form of a vector graphic or a gray value image.
  • mapping A 20 a so-called depth map, for example in the form of a vector graphic or a gray value image.
  • Has e.g. a record of a map and an associated depth map in the form of a vector graphics memory 2 MB memory would be sufficient for the storage of a data supply of 10,000 images including the associated depth map, a storage capacity of 20 GB.
  • the data set of the three-dimensional image A 30 of scene S1 or of scenes Si can be further refined by means of conventional depth estimation methods in the sense of a specification of the depth information. For example, the evaluation of shadows, perspective, occlusion, shape from motion or shape from shadow are used.
  • the method according to the invention is advantageously applicable to the spatially perceptible representation of moving or stationary objects within a scene.
  • the application for the spatially perceptible representation of terrain sections that change relative to a viewer and that contain one or more structures at different distances from the viewer is within the scope of the invention.
  • Images of scenes of any kind are stored, representing entities such as bodies, figures, characters, objects or things that occur naturally or are artificially created. Since the number of naturally occurring or artificially created structures is finite in principle, they are likely to occur repeatedly in the large number of stored images.
  • an image of a scene Si contains entities of different types, which also have different distances from the position in space within the scene Si from which the scene Si was recorded or - in the case of 3D computer graphics - apparently (virtual) recorded ,
  • the scenes Si to be stored are recorded, for example, with one camera or several cameras from at least two viewing angles, or they are generated as SD computer graphics with a commercially available software program for generating three-dimensional views, whereby an apparent (virtual) recording position in space results.
  • depth information can be determined with reference to the depicted entities.
  • Depth information in the sense of the present invention is preferably an equivalent for a distance indication between the pickup position and the respective structure.
  • depth information come into consideration, which correspond to a distance indication between a selectable fixed point and the respective structure.
  • structures are also to be understood as constitutions which are constituents of bodies, figures, characters, objects or things, such as, for example, a canopy on a building, a branch on a tree, a handle on a door, and as details from entities to the scene.
  • the determination of the depth information from the images taken from several angles or the 3D computer graphics is carried out by means known from the prior art for image evaluation, eg photogrammetry or using conventional stereo matching algorithms or depth detection methods.
  • the depth information obtained in this way is stored as coding associated with the corresponding structures or components of structures shown in the image of the relevant scene Si.
  • the coding can be carried out, for example, in the form of shades of gray, brightness or color values, patterns, hatching or similar characterizations.
  • the entirety of the depth information associated with the entities represented in an image is assigned to this mapping, for example, as a depth map in the form of a vector graphic.
  • the two-dimensional image A 2D of a scene S1 which is also electronically stored, is compared with each one of the stored images of scenes Si, in view of the presence of entities having the same or similar features.
  • the features of the structures both in the stored images and in the two-dimensional image A 2D are characterized by their outlines, size, color or gray values and / or structures.
  • the aforementioned "scene completion" method can be used to carry out the comparison: If the two-dimensional image A 2D contains, for example, the representation of one or more buildings and one or more persons, the electronically stored image contents are combined with one another with the aid of this method The comparisons can only be based on the same or similar representations and the comparison can be made automatically using appropriate software and / or hardware.
  • the depth information is taken from the storage space and transferred to the structures in the two-dimensional image A 2D , which are the most similar to the structures shown there in terms of outlines, size, color or gray scale and / or structure.
  • the totality of the depth information transmitted to the entities within the two-dimensional map A 2 Q is, for example, again assigned in the form of a vector graphic to this mapping. As necessary, adjustments of the depth information are made to the size of the respective structure.
  • the data set of a three-dimensional image A 30 of the scene S1 is generated from the combination of the image contents within the two-dimensional image A 2D with the associated depth information according to conventional methods.
  • This data set is now also stored in electronically stored form and can be transmitted via wired or wireless data networks to facilities with which a three-dimensional perceptible representation of the scene S1 for a viewer can be displayed.
  • the data set of a three-dimensional image A 30 of the scene S1 can be converted into a plurality of views for the purpose of the display, which can be perceived three-dimensionally by a viewer, for example according to the already mentioned method according to WO 97/23097.
  • Part of a display device suitable for the display can be, for example, an LC display that is equipped with a parallax barrier screen or a lenticular screen, so that the light emanating from the LC display is separated in part separately from the one and the other eye the observer is directed, which in turn perceives each viewer's eye different views.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Die Erfindung bezieht sich auf ein Verfahren zum Erzeugen einer dreidimensionalen Abbildung A3D einer Szene S1 aus einer zweidimensionalen Abbildung A2D derselben Szene S1, wobei die Szene S1 Gebilde in unterschiedlichen Abständen von der Aufnahmeposition enthält. Gebilde im Sinne der Erfindung sind Körper, Figuren, Zeichen, Gegenstände oder Dinge, die allgemein in Szenen vorkommen. Erfindungsgemäß sind folgende Verfahrensschritte vorgesehen: f) Anlegen oder Verwenden eines Datensatzes von Abbildungen von Szenen Si (i=2...n), bei denen jedem Gebilde eine Tiefeninformation zugeordnet ist, g) Vergleichen der Abbildung A2D mit den Abbildungen der Szenen Si (i=2...n) hinsichtlich von Gebilden mit gleichen oder ähnlichen Merkmalen, h) Auswahl von mindestens einer Szene Sk (2<k≤n) mit Gebilden, welche die vergleichbare Merkmale mit Gebilden in der Abbildung A2D haben, i) Übertragen der Tiefeninformation von den jeweiligen in der Szene Sk enthaltenen Gebilden auf die Gebilde mit vergleichbaren Merkmalen in der Abbildung A2D, j) Generieren einer dreidimensionalen Abbildung A3D durch Verknüpfung der darin enthaltenen Gebilde mit den übertragenen Tiefeninformationen.

Description

Titel
Verfahren zum Erzeugen einer 3D-Abbildung einer Szene aus einer 2D-Abbildung der Szene
Gebiet der Erfindung Die Erfindung bezieht sich auf ein Verfahren zum Erzeugen einer dreidimensionalen Abbildung einer Szene aus einer zweidimensionalen Abbildung derselben Szene, wobei die Szene Gebilde in unterschiedlichen Abständen von der Position enthalt, aus der die Abbildung der Szene aufgenommen worden ist. Unter Gebilden im Sinne der nachfolgend beschriebenen Erfindung sind Körper, Figuren, Zeichen, Gegenstände oder Dinge zu verstehen, die allgemein in Szenen vorkommen, und auch Einzelheiten, die daran ausgebildet sind.
Stand der Technik
Es ist bekannt, Bilder mit Hilfe von Computern zu erzeugen. So wird beispielsweise der Begriff 2D-Computergrafik im Zusammenhang mit der Erzeugung von Bildern verwendet, deren Inhalte sich in einer Ebene darstellen lassen.
In 3D-Computergrafiken dagegen werden die Bildinhalte dreidimensional aufbereitet. Die Gesamtheit der in einer 3D-Computergrafik darzustellenden Gebilde wird als Szene bezeichnet, und die Erzeugung eines Bildes oder Films auf der Grundlage solcher Szenen ist unter der Bezeichnung Rendern bekannt. 3D-Computergrafiken können als echte stereoskopische 3D-Bilder dargestellt werden. Es sind verschiedene Renderverfahren anwendbar, wie beispielsweise das Raytracing, ein auf der Aussendung von Strahlen basierender Algorithmus zur Verdeckungsberechnung und damit zur Ermittlung der Sichtbarkeit von Objekten von einem bestimmten Punkt im Raum aus, und das Radiosity, ebenfalls ein Verfahren zur Berechnung der Lichtausbreitung innerhalb einer Szene.
Zur Erzeugung von 3D-Computergrafiken dienen kommerzielle 3D-CAD-Anzeigeprogramme wie beispielsweise Pro/ENGINEER oder AutoVue. Insbesondere bei Letzterem erfolgt eine Renderung in mehreren 3D-Modi, um technische Gebilde wahlweise in Form eines schattierten Modells, einer Drahtdarstellung oder im Umriß mit versteckter Linienentfernung dreidimensional wahrnehmbar anzuzeigen.
Mit der zunehmend verfügbaren Speicherkapazität im Zusammenhang mit der Fortentwicklung der Computertechnik wird in jüngerer Zeit angestrebt, dreidimensionale Abbildungen von Szenen aus zweidimensionalen Abbildungen zu erzeugen. So ist beispielsweise in WO 98/10584 A2 ein „Displaysystem" zur Hintereinanderdarstellung von zwei Bildebenen beschrieben, bei dem eine erste Bildquelle, die den Vordergrund liefert, und eine zweite Bildquelle, die den Hin- tergrund wiedergibt, mit Hilfe eines optischen Strahlenteilers zu einer Gesamtszene so überlagert werden, daß der Betrachter den Hintergrund in größerer Entfernung wahrnimmt als den Vordergrund und auf diese Weise bedingt einen räumlichen Eindruck erhält. Zur optischen Anpassung des Aspektverhältnisses zwischen Vordergrundbild und Hintergrundbild werden hierbei monofokale Fresnelzylinderlinsen oder Zylinderspiegel verwendet.
Unter der Bezeichnung "Automatic Photo Pop Up" ist auf der Siggraph 2005, einer jährlich stattfindenden Messe für Spezialisten der 2D- und 3D-Grafiken, ein Verfahren vorgestellt worden, bei dem aus einer einzigen Photographie eine 3D-Ansicht der abgebildeten Objekte im Raum rekonstruiert wird. Dabei wird geschätzt, wo in dieser Photographie vertikal ausgerichtete Ob- jekte sind und welche Bildteile zur Bodenfläche oder zum Himmel gehören, um aus dieser Erkenntnis die Lage des Horizontes zu bestimmen.
Diesem sowie dem vorher erwähnten Verfahren haftet der Nachteil an, daß die Qualität der damit erzielbaren dreidimensionalen Darstellungen keinen höheren Anforderungen genügt und zudem der manuelle Anteil an dem Zeitaufwand, der für die Herstellung der dreidimensionalen Darstellungen erforderlich ist, verhältnismäßig hoch ist.
Beschreibung der Erfindung Davon ausgehend liegt der Erfindung die Aufgabe zugrunde, ein Verfahren zum Erzeugen einer dreidimensionalen Abbildung einer Szene aus einer zweidimensionalen Abbildung derselben Szene zu entwickeln, bei dem mit einem höheren Anteil an automatisierbaren Verfahrensschritten eine bessere Bildqualität erzielt wird.
Erfindungsgemäß sind bei einem Verfahren zum Erzeugen einer dreidimensionalen Abbildung A30 einer Szene S1 aus einer zweidimensionalen Abbildung A2D der Szene S1 folgende Verfahrensschritte vorgesehen: a) Anlegen oder Verwenden eines Datensatzes von Abbildungen von Szenen Si (i=2...n), die Gebilde mit unterschiedlichen Abständen von der Aufnahmeposition enthalten und bei denen jedem Gebilde eine Tiefeninformation als Maß für dessen Abstand von der Aufnahmeposition zugeordnet ist, b) Vergleichen der Abbildung A20 der Szene S1 mit den Abbildungen der Szenen Si (i=2...n) hinsichtlich des Vorhandenseins von Gebilden mit gleichen oder ähnlichen Merkmalen, c) Auswahl von mindestens einer Szene Sk (2<k<n), in der Gebilde vorkommen, welche die gleichen oder ähnliche Merkmale der Gebilde haben, die auch in der Abbildung A2D der Szene S1 enthalten sind, d) Übertragen der Tiefeninformation von den jeweiligen in der Szene Sk enthaltenen Gebilden auf die Gebilde mit gleichen oder ähnlichen Merkmalen in der Abbildung A20 der Szene S1 , e) Generieren einer dreidimensionalen Abbildung A3D der Szene S1 durch Verknüpfung der darin enthaltenen Gebilde mit den übertragenen Tiefeninformationen in Form eines Datensatzes.
Damit liegt die dreidimensionale Abbildung A30 zunächst in einem Datensatz gespeichert vor und kann nun mit üblichen Anzeigeverfahren für einen oder mehrere Betrachter sichtbar dargestellt werden. So kann die Darstellung beispielsweise auf einem elektronisch ansteuerbaren, für 3D-Anzeigen geeigneten LC-Display, mittels eines Projektors auf einer reflektierenden Bildwand (unter Zuhilfenahme von 3D-Brillen für den Betrachter) oder auf einem holographischen BiId- schirm erfolgen. Das LC-Display ist zum Beispiel dann für 3D-Anzeigen geeignet, wenn es mit einem Parallaxen-Barriere-Schirm oder einem Lentikularschirm ausgestattet ist, so daß das vom Display ausgehende Licht getrennt zu beiden Augen eines Betrachters gelangt.
Die Tiefeninformationen im Sinne der vorliegenden Erfindung entsprechen im übertragenen Sinne der Seh-Erfahrung des Menschen; das erfindungemäße Verfahren nutzt diese Seh- Erfahrung des Menschen. Insofern besteht ein weiterer Schritt des erfindungsgemäßen Verfahrens darin, den Datensatz von Abbildungen von Szenen Si (i=2...n) einschließlich der Tiefeninformationen aus einer Vielzahl von dreidimensionalen oder quasi-dreidimensionalen Abbildungen zu gewinnen, die in herkömmlicher Weise erzeugt worden sind, wie etwa mit 3D-Kameras aufgenommene Bilder oder durch Rendern erzeugte 3D-Bilder.
Zum Messen von Größen und Entfernungen in Bildern und damit zur Gewinnung der Tiefeninformationen kann beispielsweise eine unter der Bezeichnung "VisualSize" bekannte Software genutzt werden, die dazu lediglich zwei verschiedene Bilder ein und derselben Szene benötigt, die aus voneinander abweichenden Blickwinkeln aufgenommen worden sind. Die beiden Bilder werden anhand identischer Bildinhalte rechnerisch miteinander verglichen, und aus dem Ergebnis dieses Vergleichs wird ein virtueller Maßstab erstellt, mit dem auf Größen und Entfernungen bzw. auf die Tiefeninformationen geschlossen wird. Die Tiefeninformationen werden als Codierungen, bevorzugt in Form von Grautönen, Hellig- keits- oder Farbwerten, Mustern, Schraffuren oder ähnlichen Charakterisierungen, in den Datensätzen des Abbildungsvorrates von Szenen Si (i=2...n) gespeichert. Sie können beispielsweise in Form einer Vektorgrafik der betreffenden Abbildung zugeordnet werden.
Die Speicherung des Datensatzes der Abbildungen, sowohl des Vorrates an Abbildungen von Szenen Si (i=2...n) als auch der Abbildung A2D, die in eine 3D-Darstellung konvertiert werden soll, erfolgt bevorzugt in elektronischer Form, wodurch der Vergleich der Abbildung A20 mit den einzelnen Abbildungen des Vorrates automatisch anhand der elektronischen Bilddaten vorge- nommen werden kann.
Im Rahmen der Erfindung liegt sowohl auch die komprimierte Speicherung der Bilddaten in elektronischer Form als auch die Speicherung in jeglicher anderen Form, die eine Automatisierung des erfindungsgemäßen Verfahrens zuläßt, wie beispielsweise eine Speicherung auf Basis optischer Daten.
Bei dem Vergleich wird die Ähnlichkeit der Merkmale von Gebilden, die in der Abbildung A20 enthalten sind, mit der Ähnlichkeit der Merkmale von Gebilden bewertet, die in den bevorrateten Abbildungen enthalten sind, wobei die Ähnlichkeit der Umrisse, der Größe, der Farbe bzw. Graustufen und/oder der Strukturen verglichen wird. Auch können dem Vergleich jeweils nur Bildausschnitte zugrunde gelegt werden.
Zu diesem Vergleich kann z.B. ein als „Scene Completion" bekanntes Verfahren genutzt werden, das ursprünglich dazu entwickelt wurde, ein in einer aufgenommenen Szene verdecktes und dadurch nicht sichtbares Gebilde zu ergänzen, indem in einer Vielzahl von verschiedenen Bildern nach Szenen mit ähnlichen Bildinhalten gesucht, das fehlende Gebilde als Bildausschnitt aus einer vergleichbaren Darstellung entnommen und in das zu ergänzende Bild eingesetzt wird.
Die Übereinstimmung einer in dem Abbildungsvorrat gefundenen Abbildung einer Szene Sk mit der in der Abbildung A20 dargestellten Szene S1 wird dabei anhand vergleichbarer Umrisse, Farben bzw. Graustufen und/oder Strukturen der erkannten Gebilde ermittelt. Bei einer gefundenen maximalen Übereinstimmung werden die Tiefeninformationen von den Gebilden, die in der betreffenden Abbildung aus dem Datenvorrat enthalten sind, auf die in der Abbildung A2D enthaltenen Gebilde übertragen, indem beispielsweise der Abbildung A20 eine sogenannte Tiefenkarte, zum Beispiel in Form einer Vektorgrafik oder eines Grauwertbildes, zugeordnet wird. Damit werden einem in der Szene S1 enthaltenen Gebilde die Tiefeninformationen zugeordnet, die einem vergleichbaren Gebilde aus den Abbildungen von Szenen Si (i=2...n) zugeordnet sind.
Hat z.B. ein Datensatz aus einer Abbildung und einer zugeordneten Tiefenkarte in Form einer Vektorgrafik 2 MB Speicherbedarf, so würde für die Speicherung eines Datenvorrates von 10.000 Abbildungen einschließlich der jeweils zugeordneten Tiefenkarte eine Speicherkapazität von 20 GB ausreichen.
Aus dem Datensatz der dreidimensionalen Abbildung A30 der Szene S1 , der im Wesentlichen aus dem Datensatz aus der Abbildung A2D und einer dieser Abbildung zugeordneten Tiefenkarte besteht, werden nun mittels bekannter Verfahren mehrere Perspektivansichten generiert. Hierzu wird beispielsweise die Lehre der WO 97/23097 "PARALLACTIC DEPHT-DEPENDENT PIXEL SHIFTS" angewendet, bei welcher Pixeltiefen in Pixelverschiebungen gewandelt und aus die- sen Verschiebungen Perspektivansichten generiert werden, die beispielsweise Objekte in Bildebenen verschiedener Tiefen beinhalten. Die Anwendung anderer einschlagiger Verfahren ist selbstverständlich möglich und liegt im Rahmen der hier vorliegenden Erfindung.
Es liegt im Rahmen der Erfindung, wenn in den Datensätzen der dreidimensionalen Abbildung A30 der Szene S1 beziehungsweise der Szenen Si zusätzlich auch Hinterschneidungsinforma- tionen, Transparenzinformationen oder sonstige zusätzliche Bild- oder Szeneninformationen ein-, zwei- oder dreidimensionaler Natur gespeichert werden, die für eine weitere Bearbeitung der dreidimensionalen Abbildung A30 von Vorteil sein können.
Der Datensatz der dreidimensionalen Abbildung A30 der Szene S1 beziehungsweise der Szenen Si können anhand von herkömmlichen Tiefen-Schätzungsverfahren im Sinne einer Präzisierung der Tiefeninformationen noch verfeinert werden. Zur Anwendung kommen hierzu beispielsweise die Auswertung von Schattenwurf, Perspektive, Verdeckung, shape from motion oder auch shape from shadow.
Das erfindungsgemäße Verfahren ist vorteilhaft zur räumlich wahrnehmbaren Darstellung bewegter oder unbewegter Gebilde innerhalb einer Szene anwendbar. Auch die Anwendung zur räumlich wahrnehmbaren Darstellung von Geländeabschnitten, die sich relativ zu einem Betrachter verändern und die eines oder mehrere Gebilde in unterschiedlichen Abständen vom Betrachter enthalten, liegt im Rahmen der Erfindung.
Die Erfindung soll nachfolgend anhand eines Ausführungsbeispieles näher erläutert werden. Erfindungsgemäß wird in einem ersten Verfahrensschritt, der in mehreren Teilschritten ablaufen kann, eine Vielzahl von Abbildungen von Szenen Si (i=2...n) in einem bevorzugt elektronischen Speicher abgelegt. Gespeichert werden Abbildungen von Szenen Si jeglicher Art, die Gebilde, wie Körper, Figuren, Zeichen, Gegenstände oder Dinge darstellen, die naturgemäß vorkommen oder künstlich geschaffen sind. Da die Zahl naturgemäß vorkommender oder künstlich geschaffener Gebilde prinzipiell endlich ist, kommen sie in der Vielzahl von gespeicherten Abbildungen mit hoher Wahrscheinlichkeit auch wiederholt vor.
In der Regel enthält eine Abbildung einer Szene Si Gebilde unterschiedlicher Art, die innerhalb der Szene Si auch unterschiedliche Abstände von der Position im Raum haben, aus welcher die Szene Si aufgenommen oder - im Falle von 3D-Computergrafiken - scheinbar (virtuell) aufgenommen worden ist.
Die zu speichernden Szenen Si werden beispielsweise mit einer Kamera oder mehreren Kame- ras aus mindestens zwei Blickwinkeln aufgenommen, oder sie werden als SD- Computergraphiken mit einem kommerziell erhältlichen Softwareprogramm zur Erzeugung von dreidimensionalen Ansichten generiert, wobei sich eine scheinbare (virtuelle) Aufnahmeposition im Raum ergibt.
In jeder dieser Abbildungen lassen sich - bezogen auf die dargestellten Gebilde - Tiefeninformationen bestimmen. Eine Tiefeninformation im Sinne der vorliegenden Erfindung ist bevorzugt ein Äquivalent für eine Entfernungsangabe zwischen der Aufnahmeposition und dem betreffenden Gebilde. Daneben kommen jedoch auch Tiefeninformationen in Betracht, die einer Entfernungsangabe zwischen einem wählbaren Fixpunkt und dem betreffenden Gebilde entsprechen. Unter Gebilde im Sinne dieser Erfindung sind auch Ausbildungen zu verstehen, die Bestandteile von Körpern, Figuren, Zeichen, Gegenständen oder Dingen sind, wie beispielsweise ein Vordach an einem Gebäude, ein Ast an einem Baum, ein Griff an einer Tür, und die als Einzelheiten von Gebilden zur Szene gehören.
Die Bestimmung der Tiefeninformationen aus den aus mehreren Blickwinkeln aufgenommenen Abbildungen oder den 3D-Computergrafiken erfolgt mit aus dem Stand der Technik bekannten Mitteln zur Bildauswertung, z.B. der Photogrammetrie oder unter Anwendung von üblichen Ste- reo-Matching-Algorithmen oder Tiefenerkennungsverfahren. Die so gewonnenen Tiefeninformationen werden als Codierung den entsprechenden, in der Abbildung der betreffenden Szene Si dargestellten Gebilden bzw. Bestandteilen von Gebilden zugeordnet gespeichert. Die Codierung kann beispielsweise in Form von Grautönen, Helligkeits- oder Farbwerten, Mustern, Schraffuren oder ähnlichen Charakterisierungen vorgenommen werden. Die Gesamtheit der Tiefeninformationen, die den in einer Abbildung dargestellten Gebilden zugeordnet sind, wird beispielsweise als Tiefenkarte in Form einer Vektorgraphik dieser Abbildung zugeordnet. Sobald ein solcher nach dem ersten Verfahrensschritt angelegter Vorrat von gespeicherten Abbildungen vorhanden ist, können die nächsten Verfahrensschritte ausgeführt werden. Dabei gehört es zum Erfindungsgedanken, daß dieser Vorrat an gespeicherten Abbildungen stets erweitert bzw. ergänzt wird, was vorteilhaft zur Folge hat, daß die nachfolgenden Verfahrensschritte mit fortschreitender Ergänzung des Vorrates immer präziser ausgeführt werden können.
Im nächsten Verfahrensschritt wird die zweidimensionale Abbildung A2D einer Szene S1 , die ebenfalls elektronisch gespeichert vorliegt, mit jeder einzelnen der gespeicherten Abbildungen von Szenen Si verglichen, und zwar im Hinblick auf das Vorhandensein von Gebilden mit gleichen oder ähnlichen Merkmalen. Beispielsweise sind die Merkmale der Gebilde sowohl bei den gespeicherten Abbildungen als auch bei der zweidimensionalen Abbildung A2D durch deren Umrisse, Größe, Farbe bzw. Grauwerte und/oder Strukturen charakterisiert. Zur Ausführung des Vergleichs kann beispielhaft das bereits erwähnte „Scene Completion"-Verfahren genutzt wer- den. Enthält die zweidimensionale Abbildung A2D beispielsweise die Darstellung eines oder mehrerer Gebäude und einer oder mehrerer Personen, so werden mit Hilfe dieses Verfahrens die elektronisch gespeicherten Bildinhalte miteinander verglichen und in dem als Vorrat gespeicherten Abbildungen nach gleichen oder ähnlichen Darstellungen gesucht. Auch können dem Vergleich jeweils nur Bildausschnitte zugrunde gelegt werden. Der Vergleich läuft automatisch unter Nutzung einer entsprechenden Software und/oder Hardware ab.
Im Ergebnis des Vergleichs werden im Idealfall Übereinstimmungen hinsichtlich der Umrisse, der Größe, der Farbe bzw. Grauwerte und/oder der Struktur der in der zweidimensionalen Abbildung A20 dargestellten Gebilde mit Gebilden in einer oder auch in mehreren der Abbildungen von Szenen Si innerhalb des Speichervorrates gefunden. Dann werden in der Folge die Tiefeninformationen aus dem Speichervorrat entnommen und den Gebilden in der zweidimensionalen Abbildung A20 zugeordnet. Lassen sich übereinstimmende Merkmale für alle in der zweidimensionalen Abbildung A20 dargestellten Gebilde mit Gebilden innerhalb einer einzigen der gespeicherten Abbildungen finden, so entspricht dies wiederum einem -durchaus möglichen - Idealfall.
In der Regel jedoch, und insbesondere dann, wenn vorerst eine verhältnismäßig geringe Anzahl von Abbildungen innerhalb des Speichervorrates vorhanden ist, werden sich Gebilde mit lediglich ähnlichen Merkmalen und nur in mehreren verschiedenen der gespeicherten Abbildungen finden lassen. In diesen Fällen werden aus dem Speichervorraten die Tiefeninformationen ent- nommen und auf die Gebilde in der zweidimensionalen Abbildung A2D übertragen, die den dort dargestellten Gebilden hinsichtlich der Umrisse, der Größe, der Farbe bzw. Graustufen und/oder der Struktur am ähnlichsten sind. Die Gesamtheit der auf die Gebilde innerhalb der zweidimensionalen Abbildung A2Q übertragenen Tiefeninformationen wird beispielsweise wiederum in Form einer Vektorgraphik dieser Abbildung zugeordnet. Dabei werden, soweit erforderlich, Anpassungen der Tiefeninformationen an die Größe der jeweiligen Gebilde vorgenommen.
In einem nächsten Verfahrensschritt wird aus der Verknüpfung der Bildinhalte innerhalb der zweidimensionalen Abbildung A2D mit den zugeordneten Tiefeninformationen nach herkömmlichen Verfahren der Datensatz einer dreidimensionalen Abbildung A30 der Szene S1 generiert. Dieser Datensatz liegt nun ebenfalls in elektronisch gespeicherter Form vor und kann über drahtgebundene oder drahtlose Datennetze an Einrichtungen übermittelt werden, mit denen eine für einen Betrachter dreidimensionale wahrnehmbare Darstellung der Szene S1 angezeigt werden kann.
Der Datensatz einer dreidimensionalen Abbildung A30 der Szene S1 kann zwecks der für einen Betrachter dreidimensional wahrnehmbaren Darstellung beispielsweise nach dem bereits genannten Verfahren nach WO 97/23097 in mehrere Ansichten umgewandelt werden.
Bestandteil einer für die Darstellung geeigneten Anzeigeeinrichtung kann beispielsweise ein LC- Display sein, das mit einem Parallaxen-Barriere-Schirm oder einem Lentikularschirm ausgestat- tet ist, so daß das von dem LC-Display ausgehende Licht gesondert teilweise zu dem einen und dem anderen Auge des Betrachters gerichtet wird, wodurch wiederum jedes Betrachterauge unterschiedliche Ansichten wahrnimmt.

Claims

Patentansprüche
1. Verfahren zum Erzeugen einer dreidimensionalen Abbildung A30 einer Szene S1 aus einer zweidimensionalen Abbildung A2D der Szene S1 , wobei die Szene S1 Gebilde in unterschiedlichen Abständen von der Position enthält, aus der die Abbildung A2D aufgenommen worden ist, gekennzeichnet durch folgende Verfahrensschritte: a) Anlegen oder Verwenden eines Datensatzes von Abbildungen von Szenen Si (i=2...n), die Gebilde mit unterschiedlichen Abständen von der Aufnahmeposition enthalten und bei denen jedem Gebilde eine Tiefeninformation als Maß für dessen Abstand von der Aufnahmeposition zugeordnet ist, b) Vergleichen der Abbildung A20 der Szene S1 mit den Abbildungen der Szenen Si (i=2...n) hinsichtlich des Vorhandenseins von Gebilden mit gleichen oder ähnlichen Merkmalen, c) Auswahl von mindestens einer Szene Sk (2<k<n), in der Gebilde vorkommen, welche die gleichen oder ähnliche Merkmale der Gebilde haben, die auch in der Abbildung A20 der Szene S1 enthalten sind, d) Übertragen der Tiefeninformation von den jeweiligen in der Szene Sk enthaltenen Gebil- den auf die Gebilde mit gleichen oder ähnlichen Merkmalen in der Abbildung A2D der
Szene S1 , e) Generieren einer dreidimensionalen Abbildung A30 der Szene S1 durch Verknüpfung der darin enthaltenen Bildinhalte mit den übertragenen Tiefeninformationen, bevorzugt in Form eines Datensatzes.
2. Verfahren nach Anspruch 1 , bei dem der Vorrat an Abbildungen von Szenen Si (i=2...n) einschließlich der Tiefeninformationen aus dreidimensionalen Abbildungen dieser Szenen gewonnen wird.
3. Verfahren nach Anspruch 1 oder 2, bei dem der Vorrat an Abbildungen und die Abbildung A20 in Form von elektronischen Bilddaten gespeichert werden, und der Vergleich der Abbildung A20 mit den einzelnen Abbildungen des Vorrates automatisch anhand der elektronischen Bilddaten vorgenommen wird.
4. Verfahren nach einem der vorgenannten Ansprüche, bei dem die Gleichheit oder Ähnlichkeit der Merkmale von Gebilden durch Vergleich ihrer Umrisse, Größe, Farbe bzw. Grauwerten und/oder Struktur ermittelt wird.
5. Verfahren nach Anspruch 1 oder 2, bei dem die Tiefen information innerhalb des Vorrates von Abbildungen von Szenen Si (i=2...n) als Codierungen, bevorzugt in Form von Grautönen, Helligkeits- oder Farbwerten, Mustern, Schraffuren oder ähnlichen Charakterisierungen, in den Datensätzen gespeichert sind.
6. Verfahren nach Anspruch 5, bei dem den in der Szene S1 enthaltenen Gebilden die Tiefeninformation zugeordnet werden, indem die Codierung, die einem Gebilde aus den Abbildungen von Szenen Si (i=2...n) zugeordnet ist, einem Gebilde mit gleichen oder ähnlichen Merkmalen in der Szene S1 zugeordnet wird.
7. Verfahren nach einem der vorgenannten Ansprüche, bei dem die Szene S1
- auf einem elektronisch ansteuerbaren Flach-Display,
- mittels eines Projektors auf einem als reflektierende Bildwand unter Zuhilfenahme von 3D-Brillen für den Betrachter, oder - auf einem holographischen Bildschirm räumlich wahrnehmbar dargestellt wird.
8. Verfahren nach Anspruch 7, bei dem das LC-Display mit einem Parallaxen-Barriere- Schirm ausgestattet ist, so daß das vom LC-Display ausgehende Licht getrennt zu den beiden Augen der Betrachter gerichtet wird.
9. Anwendung des Verfahrens nach den Ansprüchen 1 bis 8 zur räumlich wahrnehmbaren Darstellung bewegter oder unbewegter Gebilde innerhalb einer Szene.
10. Anwendung des Verfahrens nach den Ansprüchen 1 bis 8 zur räumlich wahrnehmbaren Darstellung von Geländeabschnitten, die sich relativ zu einem Betrachter verändern und die ein oder mehrere Gebilde in unterschiedlichen Abständen vom Betrachter enthalten.
PCT/EP2009/002156 2008-03-27 2009-03-25 Verfahren zum erzeugen einer 3d-abbildung einer szene aus einer 2d-abbildung der szene WO2009118156A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102008016553.0 2008-03-27
DE102008016553A DE102008016553A1 (de) 2008-03-27 2008-03-27 Verfahren zum Erzeugen einer 3D-Abbildung einer Szene aus einer 2D-Abbildung der Szene

Publications (2)

Publication Number Publication Date
WO2009118156A2 true WO2009118156A2 (de) 2009-10-01
WO2009118156A3 WO2009118156A3 (de) 2011-10-13

Family

ID=41114372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2009/002156 WO2009118156A2 (de) 2008-03-27 2009-03-25 Verfahren zum erzeugen einer 3d-abbildung einer szene aus einer 2d-abbildung der szene

Country Status (2)

Country Link
DE (1) DE102008016553A1 (de)
WO (1) WO2009118156A2 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2469868A1 (de) 2010-12-23 2012-06-27 Thales Verfahren zur Korrektur der Hyperstereoskopie, und entsprechendes Visualisierungssystem mit Helm
CN109584154A (zh) * 2018-12-20 2019-04-05 广东精鹰传媒股份有限公司 一种利用二维图片制作三维场景的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471988B2 (en) * 2011-11-02 2016-10-18 Google Inc. Depth-map generation for an input image using an example approximate depth-map associated with an example similar image
US9111350B1 (en) 2012-02-10 2015-08-18 Google Inc. Conversion of monoscopic visual content to stereoscopic 3D
US9674498B1 (en) 2013-03-15 2017-06-06 Google Inc. Detecting suitability for converting monoscopic visual content to stereoscopic 3D

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4392060B2 (ja) 1995-12-19 2009-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 視差深度依存画素シフト
WO1998010584A2 (en) 1996-08-16 1998-03-12 Tullo, Louis Display system
US7236622B2 (en) * 1999-08-25 2007-06-26 Eastman Kodak Company Method for forming a depth image
US7199793B2 (en) * 2002-05-21 2007-04-03 Mok3, Inc. Image-based modeling and photo editing

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ASHUTOSH SAXENA ET AL: "3-D Depth Reconstruction from a Single Still Image", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, BO, Bd. 76, Nr. 1, 16. August 2007 (2007-08-16), Seiten 53-69, XP019557772, ISSN: 1573-1405, DOI: DOI:10.1007/S11263-007-0071-Y *
HOIEM D ET AL: "Automatic photo pop-up", ACM TRANSACTIONS ON GRAPHICS: TOG, ACM, US, Bd. 24, Nr. 3, 1. Juli 2005 (2005-07-01), Seiten 577-584, XP002460592, ISSN: 0730-0301, DOI: DOI:10.1145/1073204.1073232 in der Anmeldung erwähnt *
LILA Y ET AL: "Object's Depth Ordering in Monocular Image by Using Multi-Neural Network Classification", SICE-ICCAS 2006 INTERNATIONAL JOINT CONFERENCE, IEEE, PISCATAWAY, NJ, USA, 1. Oktober 2006 (2006-10-01), Seiten 587-592, XP031050657, DOI: DOI:10.1109/SICE.2006.315552 ISBN: 978-89-950038-4-8 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2469868A1 (de) 2010-12-23 2012-06-27 Thales Verfahren zur Korrektur der Hyperstereoskopie, und entsprechendes Visualisierungssystem mit Helm
CN109584154A (zh) * 2018-12-20 2019-04-05 广东精鹰传媒股份有限公司 一种利用二维图片制作三维场景的方法

Also Published As

Publication number Publication date
DE102008016553A1 (de) 2009-11-12
WO2009118156A3 (de) 2011-10-13

Similar Documents

Publication Publication Date Title
DE69434685T2 (de) Bildverarbeitungsverfahren und -gerät
DE102015210453B3 (de) Verfahren und vorrichtung zum erzeugen von daten für eine zwei- oder dreidimensionale darstellung zumindest eines teils eines objekts und zum erzeugen der zwei- oder dreidimensionalen darstellung zumindest des teils des objekts
DE69925033T2 (de) Verfahren und system zur erzeugung von 3d modellen aus sequentiellen 2d bilddaten
DE69932619T2 (de) Verfahren und system zum aufnehmen und repräsentieren von dreidimensionaler geometrie, farbe und schatten von animierten objekten
DE602004008794T2 (de) Bildwiedergabe mit interaktiver bewegungsparallaxe
EP3347876B1 (de) Vorrichtung und verfahren zur erzeugung eines modells von einem objekt mit überlagerungsbilddaten in einer virtuellen umgebung
WO2018162509A2 (de) Vorrichtung und verfahren zur darstellung eines raumbilds von einem objekt in einer virtuellen umgebung
DE69722139T2 (de) Dreidimensionale abbildung von bildtexturen
WO2018087084A1 (de) Verfahren und vorrichtung zum überlagern eines abbilds einer realen szenerie mit virtuellen bild- und audiodaten und ein mobiles gerät
EP2676449B1 (de) Verfahren und vorrichtung zur stereobasis-erweiterung von stereoskopischen bildern und bildfolgen
DE602004012341T2 (de) Verfahren und System zur Bereitstellung einer Volumendarstellung eines dreidimensionalen Objektes
DE112015004871T5 (de) Verfahren zur automatisierten Echtzeit-Konversion von 2D-RGB-Bildern und -Video in stereoskopische Rot-Cyan-3D-Anaglyphen
WO2009118156A2 (de) Verfahren zum erzeugen einer 3d-abbildung einer szene aus einer 2d-abbildung der szene
DE102007021518B4 (de) Verfahren zum Verarbeiten eines Videodatensatzes
DE102016203709A1 (de) Bildverarbeitungsverfahren, Bildverarbeitungsmittel und Bildverarbeitungsvorrichtung zur Erzeugung von Abbildungen eines Teils eines dreidimensionalen Raums
DE102007057208A1 (de) Verfahren zum Darstellen von Bildobjekten in einem virtuellen dreidimensionalen Bildraum
DE10056978B4 (de) Verfahren zur Erzeugung eines stereographischen Bildes
DE102009036029A1 (de) Darstellung komplexer und/oder deformierbarer Objekte sowie virtuelle Anprobe von anziehbaren Objekten
EP2859531A1 (de) Verfahren zur bildbasierten veränderungserkennung
WO2011032642A1 (de) Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe
WO2019048643A1 (de) Einrichtung und verfahren zur audio/visuellen aufzeichnung und wiedergabe von bildern/filmen
WO2007085482A1 (de) Verfahren zur erzeugung und darstellung räumlich wahrnehmbarer bilder
DE102015017128A1 (de) Verfahren und Vorrichtung zum Erzeugen von Daten für eine zwei- oder dreidimensionale Darstellung zumindest eines Teils eines Objekts und zum Erzeugen der zwei- oder dreidimensionalen Darstellung zumindest des Teils des Objekts
WO2009036831A1 (de) Vorrichtung und verfahren zum ausrichten eines 3d-objekts in einem einem gesichtsfeld einer aufnahmevorrichtung entsprechenden bild
DE112008002083T5 (de) Verfahren und Software für Bildtransformation

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09725381

Country of ref document: EP

Kind code of ref document: A2