-
Die
Erfindung bezieht sich auf ein Verfahren zum Erzeugen einer dreidimensionalen
Abbildung einer Szene aus einer zweidimensionalen Abbildung derselben
Szene, wobei die Szene Gebilde in unterschiedlichen Abständen
von der Position enthält, aus der die Abbildung der Szene
aufgenommen worden ist. Unter Gebilden im Sinne der nachfolgend
beschriebenen Erfindung sind Körper, Figuren, Zeichen,
Gegenstände oder Dinge zu verstehen, die allgemein in Szenen
vorkommen, und auch Einzelheiten, die daran ausgebildet sind.
-
Es
ist bekannt, Bilder mit Hilfe von Computern zu erzeugen. So wird
beispielsweise der Begriff 2D-Computergrafik im Zusammenhang mit
der Erzeugung von Bildern verwendet, deren Inhalte sich in einer
Ebene darstellen lassen.
-
In
3D-Computergrafiken dagegen werden die Bildinhalte dreidimensional
aufbereitet. Die Gesamtheit der in einer 3D-Computergrafik darzustellenden
Gebilde wird als Szene bezeichnet, und die Erzeugung eines Bildes
oder Films auf der Grundlage solcher Szenen ist unter der Bezeichnung
Rendern bekannt. 3D-Computergrafiken können als echte stereoskopische
3D-Bilder dargestellt werden. Es sind verschiedene Renderverfahren
anwendbar, wie beispielsweise das Raytracing, ein auf der Aussendung
von Strahlen basierender Algorithmus zur Verdeckungsberechnung und
damit zur Ermittlung der Sichtbarkeit von Objekten von einem bestimmten Punkt
im Raum aus, und das Radiosity, ebenfalls ein Verfahren zur Berechnung
der Lichtausbreitung innerhalb einer Szene.
-
Zur
Erzeugung von 3D-Computergrafiken dienen kommerzielle 3D-CAD-Anzeigeprogramme wie
beispielsweise Pro/ENGINEER oder AutoVue. Insbesondere bei Letzterem
erfolgt eine Renderung in mehreren 3D-Modi, um technische Gebilde
wahlweise in Form eines schattierten Modells, einer Drahtdarstellung
oder im Umriß mit versteckter Linienentfernung dreidimensional
wahrnehmbar anzuzeigen.
-
Mit
der zunehmend verfügbaren Speicherkapazität im
Zusammenhang mit der Fortentwicklung der Computertechnik wird in
jüngerer Zeit angestrebt, dreidimensionale Abbildungen
von Szenen aus zweidimensionalen Abbildungen zu erzeugen. So ist
beispielsweise in
WO
98/10584 A2 ein „Displaysystem” zur Hinter einanderdarstellung
von zwei Bildebenen beschrieben, bei dem eine erste Bildquelle,
die den Vordergrund liefert, und eine zweite Bildquelle, die den
Hintergrund wiedergibt, mit Hilfe eines optischen Strahlenteilers
zu einer Gesamtszene so überlagert werden, daß der
Betrachter den Hintergrund in größerer Entfernung
wahrnimmt als den Vordergrund und auf diese Weise bedingt einen
räumlichen Eindruck erhält. Zur optischen Anpassung
des Aspektverhältnisses zwischen Vordergrundbild und Hintergrundbild
werden hierbei monofokale Fresnelzylinderlinsen oder Zylinderspiegel
verwendet.
-
Unter
der Bezeichnung ”Automatic Photo Pop Up” ist auf
der Siggraph 2005, einer jährlich stattfindenden Messe
für Spezialisten der 2D- und 3D-Grafiken, ein Verfahren
vorgestellt worden, bei dem aus einer einzigen Photographie eine
3D-Ansicht der abgebildeten Objekte im Raum rekonstruiert wird.
Dabei wird geschätzt, wo in dieser Photographie vertikal
ausgerichtete Objekte sind und welche Bildteile zur Bodenfläche
oder zum Himmel gehören, um aus dieser Erkenntnis die Lage
des Horizontes zu bestimmen.
-
Diesem
sowie dem vorher erwähnten Verfahren haftet der Nachteil
an, daß die Qualität der damit erzielbaren dreidimensionalen
Darstellungen keinen höheren Anforderungen genügt
und zudem der manuelle Anteil an dem Zeitaufwand, der für
die Herstellung der dreidimensionalen Darstellungen erforderlich
ist, verhältnismäßig hoch ist.
-
Davon
ausgehend liegt der Erfindung die Aufgabe zugrunde, ein Verfahren
zum Erzeugen einer dreidimensionalen Abbildung einer Szene aus einer
zweidimensionalen Abbildung derselben Szene zu entwickeln, bei dem
mit einem höheren Anteil an automatisierbaren Verfahrensschritten
eine bessere Bildqualität erzielt wird.
-
Erfindungsgemäß sind
bei einem Verfahren zum Erzeugen einer dreidimensionalen Abbildung A3D einer Szene S1 aus einer zweidimensionalen
Abbildung A2D der Szene S1 folgende Verfahrensschritte
vorgesehen:
- a) Anlegen oder Verwenden eines
Datensatzes von Abbildungen von Szenen Si (i = 2...n), die Gebilde
mit unterschiedlichen Abständen von der Aufnahmeposition
enthalten und bei denen jedem Gebilde eine Tiefeninformation als
Maß für dessen Abstand von der Aufnahmeposition
zugeordnet ist,
- b) Vergleichen der Abbildung A2D der
Szene S1 mit den Abbildungen der Szenen Si (i = 2...n) hinsichtlich
des Vorhandenseins von Gebilden mit gleichen oder ähnlichen
Merkmalen,
- c) Auswahl von mindestens einer Szene Sk (2 ≤ k ≤ n),
in der Gebilde vorkommen, welche die gleichen oder ähnliche
Merkmale der Gebilde haben, die auch in der Abbildung A2D der
Szene S1 enthalten sind,
- d) Übertragen der Tiefeninformation von den jeweiligen
in der Szene Sk enthaltenen Gebilden auf die Gebilde mit gleichen
oder ähnlichen Merkmalen in der Abbildung A2D der
Szene S1,
- e) Generieren einer dreidimensionalen Abbildung A3D der
Szene S1 durch Verknüpfung der darin enthaltenen Gebilde
mit den übertragenen Tiefeninformationen in Form eines
Datensatzes.
-
Damit
liegt die dreidimensionale Abbildung A3D zunächst
in einem Datensatz gespeichert vor und kann nun mit üblichen
Anzeigeverfahren für einen oder mehrere Betrachter sichtbar
dargestellt werden. So kann die Darstellung beispielsweise auf einem elektronisch
ansteuerbaren, für 3D-Anzeigen geeigneten LC-Display, mittels
eines Projektors auf einer reflektierenden Bildwand (unter Zuhilfenahme
von 3D-Brillen für den Betrachter) oder auf einem holographischen
Bildschirm erfolgen. Das LC-Display ist zum Beispiel dann für
3D-Anzeigen geeignet, wenn es mit einem Parallaxen-Barriere-Schirm
oder einem Lentikularschirm ausgestattet ist, so daß das
vom Display ausgehende Licht getrennt zu beiden Augen eines Betrachters
gelangt.
-
Die
Tiefeninformationen im Sinne der vorliegenden Erfindung entsprechen
im übertragenen Sinne der Seh-Erfahrung des Menschen; das
erfindungemäße Verfahren nutzt diese Seh-Erfahrung
des Menschen. Insofern besteht ein weiterer Schritt des erfindungsgemäßen
Verfahrens darin, den Datensatz von Abbildungen von Szenen Si (i
= 2...n) einschließlich der Tiefeninformationen aus einer
Vielzahl von dreidimensionalen oder quasi-dreidimensionalen Abbildungen
zu gewinnen, die in herkömmlicher Weise erzeugt worden
sind, wie etwa mit 3D-Kameras aufgenommene Bilder oder durch Rendern
erzeugte 3D-Bilder.
-
Zum
Messen von Größen und Entfernungen in Bildern
und damit zur Gewinnung der Tiefeninformationen kann beispielsweise
eine unter der Bezeichnung ”VisualSize” bekannte
Software genutzt werden, die dazu lediglich zwei verschiedene Bilder ein
und derselben Szene benötigt, die aus voneinander abweichenden
Blickwinkeln aufgenommen worden sind. Die beiden Bilder werden anhand
identischer Bildinhalte rechnerisch miteinander verglichen, und
aus dem Ergebnis dieses Vergleichs wird ein virtueller Maßstab
erstellt, mit dem auf Größen und Entfernungen
bzw. auf die Tiefeninformationen geschlossen wird.
-
Die
Tiefeninformationen werden als Codierungen, bevorzugt in Form von
Grautönen, Helligkeits- oder Farbwerten, Mustern, Schraffuren
oder ähnlichen Charakterisierungen, in den Datensätzen des
Abbildungsvorrates von Szenen Si (i = 2...n) gespeichert. Sie können
beispielsweise in Form einer Vektorgrafik der betreffenden Abbildung
zugeordnet werden.
-
Die
Speicherung des Datensatzes der Abbildungen, sowohl des Vorrates
an Abbildungen von Szenen Si (i = 2...n) als auch der Abbildung
A2D, die in eine 3D-Darstellung konvertiert
werden soll, erfolgt bevorzugt in elektronischer Form, wodurch der
Vergleich der Abbildung A2D mit den einzelnen
Abbildungen des Vorrates automatisch anhand der elektronischen Bilddaten
vorgenommen werden kann.
-
Im
Rahmen der Erfindung liegt sowohl auch die komprimierte Speicherung
der Bilddaten in elektronischer Form als auch die Speicherung in
jeglicher anderen Form, die eine Automatisierung des erfindungsgemäßen
Verfahrens zuläßt, wie beispielsweise eine Speicherung
auf Basis optischer Daten.
-
Bei
dem Vergleich wird die Ähnlichkeit der Merkmale von Gebilden,
die in der Abbildung A2D enthalten sind,
mit der Ähnlichkeit der Merkmale von Gebilden bewertet,
die in den bevorrateten Abbildungen enthalten sind, wobei die Ähnlichkeit
der Umrisse, der Größe, der Farbe bzw. Graustufen
und/oder der Strukturen verglichen wird. Auch können dem
Vergleich jeweils nur Bildausschnitte zugrunde gelegt werden.
-
Zu
diesem Vergleich kann z. B. ein als „Scene Completion” bekanntes
Verfahren genutzt werden, das ursprünglich dazu entwickelt
wurde, ein in einer aufgenommenen Szene verdecktes und dadurch nicht
sichtbares Gebilde zu ergänzen, indem in einer Vielzahl
von verschiedenen Bildern nach Szenen mit ähnlichen Bildinhalten
gesucht, das fehlende Gebilde als Bildausschnitt aus einer vergleichbaren Darstellung
entnommen und in das zu ergänzende Bild eingesetzt wird.
-
Die Übereinstimmung
einer in dem Abbildungsvorrat gefundenen Abbildung einer Szene Sk mit
der in der Abbildung A2D dargestellten Szene
S1 wird dabei anhand vergleichbarer Umrisse, Farben bzw. Graustufen
und/oder Strukturen der erkannten Gebilde ermittelt. Bei einer gefundenen
maximalen Übereinstimmung werden die Tiefeninformationen von
den Gebilden, die in der betreffenden Abbildung aus dem Datenvorrat
enthalten sind, auf die in der Abbildung A2D enthaltenen
Gebilde übertragen, indem beispielsweise der Abbildung
A2D eine sogenannte Tiefenkarte, zum Beispiel
in Form einer Vektorgrafik oder eines Grauwertbildes, zugeordnet
wird.
-
Damit
werden einem in der Szene S1 enthaltenen Gebilde die Tiefeninformationen
zugeordnet, die einem vergleichbaren Gebilde aus den Abbildungen
von Szenen Si (i = 2...n) zugeordnet sind.
-
Hat
z. B. ein Datensatz aus einer Abbildung und einer zugeordneten Tiefenkarte
in Form einer Vektorgrafik 2 MB Speicherbedarf, so würde
für die Speicherung eines Datenvorrates von 10.000 Abbildungen
einschließlich der jeweils zugeordneten Tiefenkarte eine
Speicherkapazität von 20 GB ausreichen.
-
Aus
dem Datensatz der dreidimensionalen Abbildung A
3D der
Szene S1, der im Wesentlichen aus dem Datensatz aus der Abbildung
A
2D und einer dieser Abbildung zugeordneten
Tiefenkarte besteht, werden nun mittels bekannter Verfahren mehrere Perspektivansichten
generiert. Hierzu wird beispielsweise die Lehre der
WO 97/23097 ”PARALLACTIC DEPHT-DEPENDENT
PIXEL SHIFTS” angewendet, bei welcher Pixeltiefen in Pixelverschiebungen
gewandelt und aus diesen Verschiebungen Perspektivansichten generiert
werden, die beispielsweise Objekte in Bildebenen verschiedener Tiefen
beinhalten. Die Anwendung anderer einschlägiger Verfahren
ist selbstverständlich möglich und liegt im Rahmen
der hier vorliegenden Erfindung.
-
Es
liegt im Rahmen der Erfindung, wenn in den Datensätzen
der dreidimensionalen Abbildung A3D der
Szene S1 beziehungsweise der Szenen Si zusätzlich auch
Hinterschneidungsinformationen, Transparenzinformationen oder sonstige
zusätzliche Bild- oder Szeneninformationen ein-, zwei-
oder dreidimensionaler Natur gespeichert werden, die für
eine weitere Bearbeitung der dreidimensionalen Abbildung A3D von Vorteil sein können.
-
Der
Datensatz der dreidimensionalen Abbildung A3D der
Szene S1 beziehungsweise der Szenen Si können anhand von
herkömmlichen Tiefen-Schätzungsverfahren im Sinne
einer Präzisierung der Tiefeninformationen noch verfeinert
werden. Zur Anwendung kommen hierzu beispielsweise die Auswertung
von Schattenwurf, Perspektive, Verdeckung, shape from motion oder
auch shape from shadow.
-
Das
erfindungsgemäße Verfahren ist vorteilhaft zur
räumlich wahrnehmbaren Darstellung bewegter oder unbewegter
Gebilde innerhalb einer Szene anwendbar. Auch die Anwendung zur
räumlich wahrnehmbaren Darstellung von Geländeabschnitten,
die sich relativ zu einem Betrachter verändern und die
eines oder mehrere Gebilde in unterschiedlichen Abständen
vom Betrachter enthalten, liegt im Rahmen der Erfindung.
-
Die
Erfindung soll nachfolgend anhand eines Ausführungsbeispieles
näher erläutert werden.
-
Erfindungsgemäß wird
in einem ersten Verfahrensschritt, der in mehreren Teilschritten
ablaufen kann, eine Vielzahl von Abbildungen von Szenen Si (i =
2...n) in einem bevorzugt elektronischen Speicher abgelegt. Gespeichert
werden Abbildungen von Szenen Si jeglicher Art, die Gebilde, wie
Körper, Figuren, Zeichen, Gegenstände oder Dinge
darstellen, die naturgemäß vorkommen oder künstlich
geschaffen sind. Da die Zahl naturgemäß vorkommender
oder künstlich geschaffener Gebilde prinzipiell endlich
ist, kommen sie in der Vielzahl von gespeicherten Abbildungen mit
hoher Wahrscheinlichkeit auch wiederholt vor.
-
In
der Regel enthält eine Abbildung einer Szene Si Gebilde
unterschiedlicher Art, die innerhalb der Szene Si auch unterschiedliche
Abstände von der Position im Raum haben, aus welcher die
Szene Si aufgenommen oder – im Falle von 3D-Computergrafiken – scheinbar
(virtuell) aufgenommen worden ist.
-
Die
zu speichernden Szenen Si werden beispielsweise mit einer Kamera
oder mehreren Kameras aus mindestens zwei Blickwinkeln aufgenommen,
oder sie werden als 3D-Computergraphiken mit einem kommerziell erhältlichen
Softwareprogramm zur Erzeugung von dreidimensionalen Ansichten generiert,
wobei sich eine scheinbare (virtuelle) Aufnahmeposition im Raum
ergibt.
-
In
jeder dieser Abbildungen lassen sich – bezogen auf die
dargestellten Gebilde – Tiefeninformationen bestimmen.
Eine Tiefeninformation im Sinne der vorliegenden Erfindung ist bevorzugt
ein Äquivalent für eine Entfernungsangabe zwischen
der Aufnahmeposition und dem betreffenden Gebilde. Daneben kommen
jedoch auch Tiefeninformationen in Betracht, die einer Entfernungsangabe
zwischen einem wählbaren Fixpunkt und dem betreffenden
Gebilde entsprechen. Unter Gebilde im Sinne dieser Erfindung sind
auch Ausbildungen zu verstehen, die Bestandteile von Körpern,
Figuren, Zeichen, Gegenständen oder Dingen sind, wie beispielsweise
ein Vordach an einem Gebäude, ein Ast an einem Baum, ein
Griff an einer Tür, und die als Einzelheiten von Gebilden
zur Szene gehören.
-
Die
Bestimmung der Tiefeninformationen aus den aus mehreren Blickwinkeln
aufgenommenen Abbildungen oder den 3D-Computergrafiken erfolgt mit
aus dem Stand der Technik bekannten Mitteln zur Bildauswertung,
z. B. der Photogrammetrie oder unter Anwendung von üblichen
Stereo-Matching-Algorithmen oder Tiefenerkennungsverfahren. Die
so gewonnenen Tiefeninformationen werden als Codierung den entsprechenden,
in der Abbildung der betreffenden Szene Si dargestellten Gebilden
bzw. Bestandteilen von Gebilden zugeordnet gespeichert. Die Co dierung
kann beispielsweise in Form von Grautönen, Helligkeits-
oder Farbwerten, Mustern, Schraffuren oder ähnlichen Charakterisierungen
vorgenommen werden. Die Gesamtheit der Tiefeninformationen, die
den in einer Abbildung dargestellten Gebilden zugeordnet sind, wird
beispielsweise als Tiefenkarte in Form einer Vektorgraphik dieser
Abbildung zugeordnet.
-
Sobald
ein solcher nach dem ersten Verfahrensschritt angelegter Vorrat
von gespeicherten Abbildungen vorhanden ist, können die
nächsten Verfahrensschritte ausgeführt werden.
Dabei gehört es zum Erfindungsgedanken, daß dieser
Vorrat an gespeicherten Abbildungen stets erweitert bzw. ergänzt wird,
was vorteilhaft zur Folge hat, daß die nachfolgenden Verfahrensschritte
mit fortschreitender Ergänzung des Vorrates immer präziser
ausgeführt werden können.
-
Im
nächsten Verfahrensschritt wird die zweidimensionale Abbildung
A2D einer Szene S1, die ebenfalls elektronisch
gespeichert vorliegt, mit jeder einzelnen der gespeicherten Abbildungen
von Szenen Si verglichen, und zwar im Hinblick auf das Vorhandensein
von Gebilden mit gleichen oder ähnlichen Merkmalen. Beispielsweise
sind die Merkmale der Gebilde sowohl bei den gespeicherten Abbildungen
als auch bei der zweidimensionalen Abbildung A2D durch
deren Umrisse, Größe, Farbe bzw. Grauwerte und/oder
Strukturen charakterisiert. Zur Ausführung des Vergleichs
kann beispielhaft das bereits erwähnte „Scene
Completion”-Verfahren genutzt werden. Enthält
die zweidimensionale Abbildung A2D beispielsweise
die Darstellung eines oder mehrerer Gebäude und einer oder
mehrerer Personen, so werden mit Hilfe dieses Verfahrens die elektronisch
gespeicherten Bildinhalte miteinander verglichen und in dem als
Vorrat gespeicherten Abbildungen nach gleichen oder ähnlichen
Darstellungen gesucht. Auch können dem Vergleich jeweils
nur Bildausschnitte zugrunde gelegt werden. Der Vergleich läuft
automatisch unter Nutzung einer entsprechenden Software und/oder
Hardware ab.
-
Im
Ergebnis des Vergleichs werden im Idealfall Übereinstimmungen
hinsichtlich der Umrisse, der Größe, der Farbe
bzw. Grauwerte und/oder der Struktur der in der zweidimensionalen
Abbildung A2D dargestellten Gebilde mit
Gebilden in einer oder auch in mehreren der Abbildungen von Szenen
Si innerhalb des Speichervorrates gefunden. Dann werden in der Folge
die Tiefeninformationen aus dem Speichervorrat entnommen und den
Gebilden in der zweidimensionalen Abbildung A2D zugeordnet.
Lassen sich übereinstimmende Merkmale für alle
in der zweidimensionalen Abbildung A2D dargestellten
Gebilde mit Gebilden innerhalb einer einzigen der gespeicherten Abbildungen
finden, so entspricht dies wiederum einem – durchaus möglichen – Idealfall.
-
In
der Regel jedoch, und insbesondere dann, wenn vorerst eine verhältnismäßig
geringe Anzahl von Abbildungen innerhalb des Speichervorrates vorhanden
ist, werden sich Gebilde mit lediglich ähnlichen Merkmalen
und nur in mehreren verschiedenen der gespeicherten Abbildungen
finden lassen. In diesen Fällen werden aus dem Speichervorraten
die Tiefeninformationen entnommen und auf die Gebilde in der zweidimensionalen
Abbildung A2D übertragen, die den
dort dargestellten Gebilden hinsichtlich der Umrisse, der Größe,
der Farbe bzw. Graustufen und/oder der Struktur am ähnlichsten
sind.
-
Die
Gesamtheit der auf die Gebilde innerhalb der zweidimensionalen Abbildung
A2D übertragenen Tiefeninformationen
wird beispielsweise wiederum in Form einer Vektorgraphik dieser
Abbildung zugeordnet. Dabei werden, soweit erforderlich, Anpassungen der
Tiefeninformationen an die Größe der jeweiligen Gebilde
vorgenommen.
-
In
einem nächsten Verfahrensschritt wird aus der Verknüpfung
der Bildinhalte innerhalb der zweidimensionalen Abbildung A2D mit den zugeordneten Tiefeninformationen
nach herkömmlichen Verfahren der Datensatz einer dreidimensionalen
Abbildung A3D der Szene S1 generiert. Dieser
Datensatz liegt nun ebenfalls in elektronisch gespeicherter Form
vor und kann über drahtgebundene oder drahtlose Datennetze
an Einrichtungen übermittelt werden, mit denen eine für
einen Betrachter dreidimensionale wahrnehmbare Darstellung der Szene
S1 angezeigt werden kann.
-
Der
Datensatz einer dreidimensionalen Abbildung A
3D der
Szene S1 kann zwecks der für einen Betrachter dreidimensional
wahrnehmbaren Darstellung beispielsweise nach dem bereits genannten Verfahren
nach
WO 97/23097 in
mehrere Ansichten umgewandelt werden.
-
Bestandteil
einer für die Darstellung geeigneten Anzeigeeinrichtung
kann beispielsweise ein LC-Display sein, das mit einem Parallaxen-Barriere-Schirm
oder einem Lentikularschirm ausgestattet ist, so daß das
von dem LC-Display ausgehende Licht gesondert teilweise zu dem einen
und dem anderen Auge des Betrachters gerichtet wird, wodurch wiederum
jedes Betrachterauge unterschiedliche Ansichten wahrnimmt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - WO 98/10584
A2 [0005]
- - WO 97/23097 [0021, 0037]