-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren zur optischen
Bestimmung der Betrachtungstiefe eines Flächenausschnitts in einer Szene
von Bildern, erhalten von verschiedenen Gesichtspunkten nach dem
Oberbegriff des Anspruchs 1.
-
Für eine Anzahl
Anwendungen ist es erwünscht,
die Tiefe von Flächenausschnitten
zu ermitteln, die in einem Bild sichtbar sind. Beispiele derartiger
Applikationen umfassen Systeme, die es ermöglichen Bilder der Szene zu
berechnen, die von interaktiv steuerbaren Gesichtspunkten aus sichtbar
sind, Bildkompression, Inspektion usw. Dabei bezieht sich die Tiefe
eines Punktes auf einem Flächenausschnitt auf
den Abstand zwischen dem Gesichtspunkt und der Ebene durch den Punkt
und senkrecht auf der optischen Achse der Kamera.
-
Wenn
der Gesichtspunkt der Kamera von einem ersten in einen zweiten Gesichtspunkt
verlagert wird, kann eine Tiefe eines Flächenausschnitts ermittelt werden,
und zwar aus dem Betrag der Translation der Position des Bildgebietes,
wo der Flächenausschnitt
sichtbar ist. Wenn das Bild durch Punktprojektion erhalten wird,
ist die Translation proportional zu dem Betrag der Verlagerung der
Kamera und umgekehrt proportional zu der Tiefe des Flächenausschnitts.
-
Es
ist bekannt, zum Messen der Translation, die Pixelwerte in einem
ersten Bildgebiet in einem ersten Bild, erhalten von dem ersten
Gesichtspunkt, an die Pixelwerte eines geradlinig verschobenen Bildgebietes
in einem zweiten Bild, erhalten von dem zweiten Gesichtspunkt, anzupassen.
Anpassung erfordert Ermittlung eines Aggregats der Differenzen zwischen
den Pixelwerten des ersten Bildgebietes und den Pixelwerten in einem
anderen Gebiet. Dies wird für
eine Anzahl derartiger anderer Gebiete an verschiedenen Stellen
in dem zweiten Bild wiederholt. Eine dieser Positionen wird selektiert,
wobei das Ausmaß der
Differenz angibt, dass das Aggregat der Differenzen minimal ist.
-
Wenn
der Flächenausschnitt
klein ist oder in einer Ebene senkrecht zu der optischen Achse der Kamera
liegt, wird die Messung von Differenzen zwischen den Pixelwerten
des ersten Bildgebietes und den Pixelwerten des passenden verlagerten
Bildgebietes ein nahezu einwandfreies Zusammenpassen angeben. Aber
größere Flächenausschnitte,
die nicht in einer Ebene senkrecht zu der optischen Achse liegen,
werden nicht zu einem einwandfreien Zusammenpassen führen und
werden dazu neigen, zu kleineren Ausschnitten mit Unterbrechungen
zwischen den geschätzten
Tiefen für
die kleineren Ausschnitte segmentiert zu werden.
-
Es
ist nun u. a. eine Aufgabe der vorliegenden Erfindung die Zuverlässigkeit
und die Genauigkeit der Schätzungen
der Tiefe größerer Flächenausschnitte
zu verbessern, die nicht in einer Ebene senkrecht zu der optischen
Achse der Kamera liegen.
-
Das
Verfahren nach der vorliegenden Erfindung ist gekennzeichnet durch
den kennzeichnenden Teil des Anspruch 1. Nach der vorliegenden Erfindung
sucht man nach einer Kombination von Tiefen- und Orientierungswerten
für den
Flächenausschnitt
(die Tiefe eines Flächenausschnitts
ist beispielsweise die Tiefe eines bestimmten Punktes auf dem Flächenausschnitt).
Jede solche Kombination führt
zu einer bestimmten Übereinstimmung
zwischen Bildpunkten in dem ersten und dem zweiten Bild. Diese Übereinstimmung
wird durch Berechnung eines Aggregats der Differenzen der Pixelwerte
an entsprechenden Punkten getestet. Für die beste Kombination von
Tiefe und Orientierung wird ein nahezu einwandfreies Zusammenpassen
möglich
sein, auch für
größere Flächenausschnitte,
die nicht in einer Ebene senkrecht zu der optischen Achse der Kamera
liegen. Folglich gibt es keinen Grund zur Segmentierung dieser Flächenausschnitte
in kleinere Ausschnitte.
-
Vorzugsweise
selektiert man Flächenausschnitte
dadurch, dass vorbestimmte Gebiete in einem ersten Bild genommen
werden, wie rechteckige Blöcke
mit Pixeln. Auf diese Weise brauch keine vorhergehende Annahme über Flächenausschnitte
gemacht zu werden. Für
jedes Gebiet selektiert man eine Anzahl möglicher Kombinationen von Tiefe
und Orientierung für
den Flächenausschnitt,
der in diesen Gebieten sichtbar ist. Danach bestimmt man, wohin die
Pixel dieses Gebietes sich verlagern sollen, wenn eine Kombination
von Tiefe und Orientierung einwandfrei wäre. Man bestimmt das Aggregat
der Differenzen zwischen dem Pixelinhalt dieser Pixel in dem ersten
Bild und den Pixeln, wohin sie in dem zweiten Bild verlagert worden
sind. Die Kombination von Tiefe und Orientierung, die dieses Aggregat
minimiert, wird als beste Annäherung
für die
Tiefe und die Orientierung des in dem Gebiet sichtbaren Flächenausschnitts
selektiert.
-
Dies
wird vorzugsweise auf ein Gitter von Blöcken angewandt, die das Bild
bedecken.
-
Vorzugsweise
werden nicht alle Kombinationen von Tiefe und Orientierung versucht,
sondern nur Kombinationen, von denen man erwartet, dass sie am wahrscheinlichsten
sind, beispielsweise Kombinationen, von denen es sich herausgestellt
hat, dass sie die besten Annäherungen
in gebieten haben, die an das Gebiet grenzen, für das man versucht, die beste
Kombination von Tiefe und Orientierung zu finden. Andere Beispiele
derartiger wahrscheinlicher Kombinationen umfassen Kombinationen,
von denen man gefunden hat, dass sie die wahrscheinlichste Kombination
von Tiefe und Orientierung ist durch einen vorhergehenden Vergleich
des Bildes in dem Gebiet mit einem weiteren Bild.
-
Ausführungsbeispiele
der Erfindung sind in der Zeichnung dargestellt und werden im vorliegenden
Fall näher
beschrieben. Es zeigen:
-
1 die
Geometrie eines Flächenausschnitts
und zwei Gesichtspunkte,
-
2 ein
Bild eines Flächenausschnitts,
-
3 ein
Flussdiagramm eines Verfahrens zum Schätzen von Tiefe und Orientierung
eines Flächenausschnitts,
-
4 ein
Gerät zum
Schätzen
einer Tiefe zwischen dem Gesichtspunkt und einem Flächenausschnitt.
-
1 zeigt
die Geometrie eines Flächenausschnitts 10 und
zweier Gesichtspunkte 12a, b. Wenn Bilder einer Szene,
die den Flächenausschnitt 10 enthält, unter
Verwendung von Punktprojektion von verschiedenen Gesichtspunkten 12a,
b aus erhalten werden, ist die Position, an der Punkte 14 und 15 auf
dem Flächenausschnitt
in dem Bild sichtbar sein werden, Projektionen 16a, b, 17a,
b der Punkte 14, 15. Die Projektionen können dadurch
illustriert werden, dass Linien 19a–d von den Punkten 14, 15 durch
die Gesichtspunkte 121, b zu einer Bildebene 18 gezogen
werden. Zum Erläutern
der Basisprinzipien sind die Gesichtspunkte 12a, b in einer
Ebene parallel zu der Bildebene 18 selektiert worden, aber
die vorliegende Erfindung beschränkt
sich nicht auf eine derartige Selektion von Gesichtspunkten 12a,
b. Die Schnittstellen zwischen diesen Linien 19a–d und der Bildebene 18 illustrieren
die Positionen, wo die Punkte 14, 15 auf dem Flächenausschnitt
in Bildern sichtbar sein werden.
-
Es
sei bemerkt, dass eine Änderung
des Gesichtspunktes 12a, b zu einer Translation der Position 16a,
b 17a, b führt,
wobei ein Punkt 14, 15 auf dem Flächenausschnitt
in der Bildebene 18 sichtbar sein wird. Diese Translation
ist umgekehrt proportional zu der Tiefe "z" zwischen
dem Gesichtspunkt und dem Punkt und proportional zu dem Betrag der Änderung in
der Position des Gesichtspunktes. Dadurch wird die Translation für die Punkte 14, 15 auf
dem Flächenausschnitt 10 verschieden
sein, die verschiedene Tiefen "z" von den Gesichtspunkten 12a,
b aus haben.
-
2 zeigt
ein Bild 20 mit einem Gebiet 22, wo ein Flächenausschnitt
sichtbar ist. In dem Bild 20 sind Translationsvektoren 23a,
b; 25a, b dargestellt, durch welche die Positionen, an
denen Punkte auf dem Flächenausschnitt,
die in dem Bild 20 sichtbar sind, in Reaktion auf eine
Bewegung des Gesichtspunktes geradlinig verlagert werden. Es sei
bemerkt, dass die Translationsvektoren 25a, b für Punkte
auf dem Flächenausschnitt,
die näher
bei dem Gesichtspunkt liegen, größer sein
werden als für
Punkte, die weiter von dem Gesichtspunkt entfernt liegen. Längs einer
Linie 26, wo die Tiefe aller Punkte dieselbe ist, werden
die Translationen einander entsprechen.
-
Wenn
man ein Koordinatensystem mit einer Achse längs der Linie 26 und
einer Achse senkrecht auf dieser Linie anwendet, wird die Amplitude
der Translation "D" der Stelle, wo ein
Punkt sichtbar ist, proportional zu A + Bu sein, wobei u eine Koordinate der
Stelle ist, an der der Punkt längs
der Achse senkrecht au der Linie 26 sichtbar ist. Die Richtung
der Translation ist entgegengesetzt zu der Richtung der Bewegung
des Gesichtspunktes. Der Parameter "A" ist
proportional zu der Inverse der Tiefe "ZO" bei
u = 0; A = c/ZO und "B" ist auf gleiche
Weise proportional zu dieser Tiefe und die Neigung "s" des Flächenausschnitts senkrecht zu
der Sehrichtung: B = c·s/ZO
(c ist eine Proportionalitätskonstante
proportional zu der Verlagerung des Gesichtspunktes, dem Fokusabstand
und der Skalierung der Bilder).
-
Oft
werden Flächenausschnitte "strukturiert" sein, d.h. sie verursachen
eine von der Stelle abhängige
Grauwerte oder Farbvektorwerte (im Allgemeinen "Bildinhalt") in einem Gebiet, wo der Flächenausschnitt
in einem Bild der Szene sichtbar ist. Da Gebiete sich verlagern
und verformen, und zwar durch Bewegung des Gesichtspunktes, ermöglicht die Struktur
dieser Bewegung zu folgen, indem der Bildinhalt des ursprünglichen
Gebietes mit dem bewegenden und sich verformenden Gegenteil zum
Decken gebracht wird.
-
3 zeigt
ein Flussdiagramm eines Verfahrens zum Schätzen der Tiefe und der Orientierung
eines Flächenausschnitts.
-
In
einem ersten und zweiten Schritt 31, 32 des Flussdiagramms
wird die Kameraoptik an einem ersten und einem zweiten Gesichtspunkt
aufgestellt, von woraus ein erstes und ein zweites Bild erhalten werden
kann.
-
In
einem dritten Schritt 33 des Flussdiagramms wird ein Gebiet
in dem ersten Bild selektiert. In einem vierten Schritt 34 des
Flussdiagramms wird eine Anzahl Kan didat-Tiefe-Orientierungspaare
selektiert. Diese Paare können
je zum Ermitteln einer Orientierung der Linie 26 und der
Parameter A, B benutzt werden.
-
Die
Kandidat-Paare können
beispielsweise auf Basis der Tiefenorientierungspaare selektiert werden,
die für
benachbarte Gebiete oder für
dasselbe Gebiet von einer vorhergehenden Kamerabewegung gegenüber einem
früheren
Bild bestimmt wurden. Ein Verfahren zum Selektieren von Kandidat-Tiefenwerte
ist beispielsweise aus der Europäischen
Patentanmeldung
EP 0 972 407 bekannt.
Auf gleiche Weise wie dieses bekannte Verfahren verschiedene Gebiete
selektiert und die geschätzten Tiefenwerte
als Kandidat-Tiefenwerte
benutzt, kann man die Tiefe und die Orientierung derartiger selektierter
Gebiete als Kandidat-Tiefe-Orientierungspaare verwenden.
-
Ein
Tiefe-Orientierungspaar definiert eine Übereinstimmung zwischen Punkten
in dem ersten und dem zweiten Bild. Entsprechende Punkte in dem ersten
und dem zweiten Bild sind Punkte, welche die Projektion derselben
Stelle auf einem Flächenausschnitt
auf das erste und zweite Bild wären,
wenn dieser Flächenausschnitt
eine Tiefe und Orientierung hätte
entsprechend der des Tiefe-Orientierungspaares.
-
In
einem fünften
Schritt 35 des Flussdiagramms wird der Pixelinhalt von
den Punkten in dem ersten Bild mit dem Pixelinhalt an entsprechenden Stellen
in dem zweiten Bild für
jedes Paar einer Anzahl Tiefe-Orientierungspaare verglichen.
-
Dies
kann beispielsweise durch Summierung der Absolutwerte der Differenz
zwischen dem Bildinhalt (Grauwert oder Farbvektor) an einer Stelle
in dem ersten Bild und der entsprechenden Stelle in dem zweiten
Bild verwirklicht werden. In diesem Fall ist das Maß der Differenz SUM'R |I1(R) – I2(F(R))|
-
Wobei
die Summe über
eine Anzahl x, y Stellen R in einem Gebiet in dem ersten Bild läuft, wobei I1(R)
der Bildinhalt des ersten Bildes an der Stelle R ist, und wobei
I2(R) der Bildinhalt des zweiten Bildes an einer geradlinig verlagerten
Stelle F(R) ist. Die geradlinig verlagerte Stelle F(R) hat xy Komponenten, die
eine Funktion der ursprünglichen
Stelle R sind und Tiefe und Orientierung des Tiefe-Orientierungspaares,
für das
das Maß der
Differenz berechnet wird.
-
Statt
der Summe der absoluten Werte der Differenzen kann man jedes beliebige
andere Maß der
Differenz summieren, wie die Quadrate der Differenzen. Zum Erhalten
entsprechender Punkte braucht man nicht über vorbestimmte Stellen in
jedem Bild zu summieren, sondern stattdessen kann man über Bezugspunkte
W summieren, die zu entsprechenden Stellen passen R1 = F1(W) und
R2 = F2(W) in dem ersten und zweiten Bild. SUM'W |I1(F1(W)) – I2(F2(W))|
-
Die
Struktur des Flächenausschnitts
ist zwecks der Zuverlässigkeit
der Messung der Differenz. Wenn der Flächenausschnitt keine Struktur
hat, werden die Messungen der berechneten Differenz für mehrere
Tiefe-Orientierungspaare alle sehr klein sein.
-
In
einem sechsten Schritt 36 des Flussdiagramms wird bestimmt,
welches der Tiefe-Orientierungspaare zu einer minimalen Messung
der Differenz führt.
In einem siebenten Schritt 37 wird bestimmt, ob diese Differenz
klein genug ist. Sollte dies nicht der Fall sein, so wird das Tiefe-Orientierungspaar
in dem Schritt 34a benutzt zum Erzeugen neuer Kandidat-Tiefe-Orientierungspaare
auf Basis des Tiefe-Orientierungspaares mit minimaler Differenzmessung
und das Flussdiagramm wird von dem fünften Schritt 35 an
wiederholt.
-
Zum
Schluss kann das Tiefe-Orientierungspaar ggf. weiter optimiert werden,
indem ein Optimum in der Nähe
des besten Kandidaten gesucht wird, beispielsweise unter Verwendung
eines sich wiederholenden Minimum-Suchalgorithmus, der die Gradienten
der Differenzmessung gegenüber
der Tiefe und Orientierung benutzt.
-
Wenn
die Differenzmessung klein genug ist wird getestet, ob alle gewünschten
Gebiete von dem ersten Bild verarbeitet worden sind. Wenn nicht,
so wird das Verfahren für
ein anderes Gebiet in dem ersten Bild wiederholt.
-
Dadurch
werden Tiefe- und Orientierungsschätzungen für eine Anzahl Gebiete in dem
Bild verfügbar
sein.
-
Die
verlagerte Stelle F(R) für
ein bestimmtes Tiefe-Orientierungspaar kann wie folgt berechnet werden.
Zunächst
berechnet man die dreidimensionale Lage P entsprechend dem Bildpunkt
R in dem Bild, genommen aus dem ersten Gesichtspunkt. Dieser Punkt
P wird einzigartig bestimmt, und zwar unter der Annahme, dass der
Punkt P auf dem Flächenausschnitt
mit dem Tiefe-Orientierungspaar ist. Gegeben P und die Translation
und Rotation der Kameraoptik, wenn von dem ersten Gesichtspunkt
zu dem zweiten Gesichtspunkt verlagert wird, wird danach die Projektion
F(R) von P von dem zweiten Gesichtspunkt aus berechnet.
-
Wenn
beispielsweise der Punkt P die Koordinaten (Px,
Py, Pz) gegenüber der
Kameraoptik von dem ersten Gesichtspunkt aus hat, dann wird die
Position R = (x, y) wo dieser Punkt in dem Bild von dem ersten Gesichtspunkt
aus sichtbar ist, gegeben durch: x = S·PX/Pz y = S·Py/Rz S ist ein
bestimmter Parameter der Kameraoptik. Das gegebene Tiefe-Orientierungspaar
schreibt vor, dass P eine Gleichung A·P = C entsprechen soll, wobei A·P das
Skalierungsprodukt von P ist mit einem Vektor A senkrecht zu dem
Flächenausschnitt
mit der gegebenen Orientierung und C ist eine Konstante abhängig von
A und der Tiefe. Auf diese Weise ist das Tiefe-Orientierungspaar
durch A, C dargestellt, (wobei nur zwei Komponenten von A unabhängig variabel
zu sein brauchen).
-
Auf
diese Weise sind drei Gleichungen verfügbar, von denen (Px,
Py, Pz) als eine
Funktion von R gelöst
werden kann.
-
Die
projizierte Position F(R) = (Fx(R), Fy(R)) des Punktes P von dem zweiten Gesichtspunkt
ist eine Funktion von
- – der Position des Gesichtspunktes
(was als ein Vektor D der dreidimensionalen Translation aus dem
ersten Gesichtspunkt ausgedrückt
werden kann),
- – der
Orientierung der Kameraoptik (was mit einer Drehungsmatrix Q ausgedrückt werden
kann, die einen Achsensatz der Kameraoptik in der ersten Position
in diejenigen Achsen der Kameraoptik in dem zweiten Gesichtspunkt
transformiert): Fx(R)
= S[Q(P + D)]x/[Q(P + D)]z Fy(R) = S[Q(P + D)]y/[Q(P + D)]z
-
Gegeben
die Bewegung der Kameraoptik in Termen von Q, D, F(R) folgt dies
leicht aus P. In der Praxis kann diese Berechnung selbstverständlich in einem
algebraischen Ausdruck für
F(R) gesammelt werden, der zum Berechnen des Ausmaßes der
Differenz benutzt wird, so dass P nicht explizit jeweils berechnet
zu werden braucht. Beispielsweise in dem einfachen Fall der Translation
der Kameraoptik parallel zu der Bildebene 18 ohne Drehung
der Kameraoptik F(R) = R + T·(1 + R.N)/ZO
-
In
dieser Formel ist ZO die Tiefe von dem Tiefe-Orientierungspaar für den Flächenaus
schnitt, T (entsprechend D) ist ein Vektor in der Bildebene in einer
Richtung entgegengesetzt zu der Richtung der Translation des Gesichtspunktes
und das Skalierungsprodukt von R und der Vektor N stellt die Orientierung
des Flächenausschnitts
von dem Tiefe-Orientierungspaar
dar; N ist die senkrechte Projektion der Normalen auf dem Flächenausschnitt
auf die Bildebene, geteilt durch die Länge der Komponente dieser Normalen
längs der
optischen Achse der Kameraoptik.
-
Entsprechende
Punkte R1, R2 in dem ersten und dem zweiten Bild können auch
durch Berechnung von R1 sowie R2 aus Px, Py, Pz Werten erhalten
werden, die aus einem Gitter von Px, Py Werten erhalten werden mit
Pz Werten selektiert um dem bestimmten Tiefe-Orientierungspaar zu
entsprechen. In diesem Fall kann man die Differenzen der Pixelwerte I1(R1),
I2(R2) summieren, erhalten für
Punkte auf diesem Gitter von Px, Py Werten, statt der Summierung über ein
Gitter von Punkten von jedem des ersten und des zweiten Bildes.
Die Px, Py Werte auf dem Gitter können in beliebigen Richtungen
in gleichen Abständen
voneinander liegen, beliebig selektiert, oder in gleichen Abständen längs Linien
gleicher Tiefe und der Zwischenraum senkrecht zu denjenigen Linien,
die umgekehrt proportional zu der Tiefe variieren, und zwar zum
Erhalten einer homogenen Verteilung in den Bildern.
-
4 zeigt
ein Gerät
zum Schätzen
der Tiefe. Das Gerät
enthält
eine Kameraoptik und einen Sensor 40, der mit einer ersten
und einer zweiten Bildspeichereinheit 42a, b gekoppelt
ist. Eine Steuereinheit 44 ist mit einer Speichersteuereinheit 45 und einer
Tiefesucheinheit 46 gekoppelt. Gegebenenfalls ist zwischen
der Steuereinheit 44 und der Kameraoptik und dem Sensor 40 eine
Bewegungsmess- und/oder Steuereinheit 41 gekoppelt. Die
Speichersteuereinheit 45 ist mit der ersten und der zweiten Bildspeichereinheit 42a,
b gekoppelt. Die Tiefesucheinheit 46 hat Adressausgänge, die
mit den Bildspeichereinheiten 42a, b gekoppelt sind. Die
Bildspeichereinheiten 42a, b haben Bilddatenausgänge, die
mit einer Differenzberechnungseinheit 47 gekoppelt sind.
-
Im
Betrieb sorgt die Steuereinheit 44 zunächst dafür, dass die Speichersteuereinheit 45 ein erstes
und ein zweiten Bild speichert, das von der Kameraoptik und dem
Sensor 40 erhalten worden ist, um in der Bildspeichereinheit 42a,
b gespeichert zu werden. Daraufhin sorgt die Steuereinheit 44 dafür, dass
die Tiefesucheinheit 46 sich deckende Gebiete in den Bildern
sucht, die in der ersten und zweiten Bildspeichereinheit 42a,
b gespeichert sind. Die Steuereinheit 44 kann auch Bewegungsparameter
zu der Tiefesucheinheit 46 liefern, wobei die Bewegungsparameter
aus der beobachteten oder gesteuerten Bewegung der Kameraoptik und
des Sensors bestimmt werden. Dies ist aber nicht notwendig. In dem letzteren
Fall wird die geschätzte
Tiefe bis zu einem beliebigen Faktor bestimmt, der für alle Stellen in
den Bildern gemeinsam ist.
-
Die
Tiefesucheinheit 46 selektiert Gebiete und Kandidat-Tiefe-Orientierungspaare.
Für ein
bestimmtes Gebiet und Kandidat-Tiefe-Orientierungspaar liefert die
Tiefesucheinheit Adressen von Pixeln an entsprechenden Stellen in
dem ersten und zweiten Bild zu der ersten und zweiten Speichereinheit 42a,
b. Der Bildinhalt an diesen Stellen wird der Differenzberechnungseinheit 47 zugeführt. Die
resultierende Differenz für
ein Gebiet wird der Tiefesucheinheit 46 zugeführt. Der
resultierende Differenzwert wird in die Tiefesucheinheit geladen.
Dies wird für eine
Anzahl Kandidat-Tiefe-Orientierungspaare und Gebiete wiederholt.
Für jedes
Gebiet selektiert die Tiefesucheinheit 46 ein Tiefe-Orientierungspaar,
das zu einer minimalen Differenz führt.
-
Das
Verfahren und die Anordnung können verwendet
werden zum Erhalten von Tiefe und Orientierung von Flächenausschnitten.
Derartige Information kann für
alle oder die meisten Flächenausschnitte
erhalten werden, die in einem Bild sichtbar sind. Diese Information
kann beispielsweise zum Rekonstruieren von Bildern einer Szene aus
verschiedenen Gesichtspunkten verwendet werden. Wenn die Szene einmal
in Termen von Stellen mit bekannter Struktur, Position und Orientierung
beschrieben worden ist, können
herkömmliche
Computer-Graphiktechniken benutzt werden um ein Bild der Szene aus
mehreren Gesichtspunkten aufzubereiten.
-
Andere
Anwendungen von Orientierungs- und Tiefeninformation umfassen Bildkompression. Bei
Kompressionstechniken wie MPEG wird Videoinformation durch Codierung
von Blöcken
mit Pixeln in einem Bild in Termen einer Bewegung gegenüber einem
anderen Bild komprimiert. Dies ordnet jedem Pixel in dem Block dieselbe
Bewegung zu. Weiter Änderungen
der Pixel in dem Block werden dadurch codiert, dass für einzelne
Pixel zusätzliche
Information eingeschlossen wird. In MPEG werden Blöcke nicht allzu
groß gemacht,
u. a. weil dies das Bedürfnis nach
zusätzlicher
Information wesentlich steigern würde, und dadurch das Kompressionsverhältnis verringern
würde.
-
Durch
Codierung von Tiefen- und Orientierungsinformation für einen
Block (an sich oder zusätzlich
zu anderer Information, wie einem Bewegungsvektor) können verschiedenen
Pixeln verschiedene Bewegungen zugeordnet werden, so dass eine bessere
Deckung zwischen Pixeln in dem Block, erhalten durch diese Bewegung,
und den wirklichen Pixeln erzielt werden kann. Mit einer derartigen
Codierung ist weniger zusätzliche
Informa tion erforderlich zum Codieren des Bildes und es können größere Blöcke verwendet
werden, wobei das Bild noch weiter komprimiert wird. Die Verwendung
von Tiefe und Orientierung für
diesen Zweck bietet den zusätzlichen Vorteil,
dass dies Konsistenz derjenigen Aspekte des Bildes gewährleistet,
für die
die menschliche Perzeption am empfindlichsten ist.
-
Es
sei bemerkt, dass für
eine Bildrekonstruktion und Codierung es kein Problem ist, dass
Tiefe- und Orientierungsinformation, erhalten für ein homogenes Bildgebiet
weniger genau ist. Wegen der Homogenität hat dies wenig oder keinen
Effekt auf die Genauigkeit der Rekonstruktion oder Kompression.