DE69434685T2

DE69434685T2 - Bildverarbeitungsverfahren und -gerät

Info

Publication number: DE69434685T2
Application number: DE69434685T
Authority: DE
Inventors: c/o Canon Kabushiki Kaisha Akihiro Ohta-ku Katayama; c/o Canon Kabushiki Kaisha Koichiro Ohta-ku Tanaka
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-08-04
Filing date: 1994-08-02
Publication date: 2006-09-14
Anticipated expiration: 2014-08-03
Also published as: EP0637815A2; EP0637815B1; DE69434685D1; US6191808B1; EP0637815A3

Description

Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsverfahren und ein Bildverarbeitungsgerät, bei welchen eine Vielzahl von Bildern bei verschiedenen Ansichtspunkten bzw. Blickpunkten aufgenommen werden, um ein Bild zur Verfügung zu stellen, welches bei einer Position eines einer gegenwärtigen Position der Augen eines Betrachters bzw. Beobachters entsprechenden Ansichtspunkts bzw. Blickpunkts zu betrachten ist.
Es gibt Stereoanzeigen und linsenförmige Anzeigen, welche als herkömmliche Geräte zur stereoskopischen Anzeige von aus einer Vielzahl von Ansichtspunkten gesehenen Bildern bekannt sind. Bei den Stereoanzeigen werden Videobilder von zwei Kameras mit hoher Geschwindigkeit wechselweise zur Anzeige geschaltet, so dass ein Betrachter die Videobilder unter Verwendung von Blendengläsern oder Polarisationsgläsern, welche mit dem Schalten synchronisiert sind, stereoskopisch betrachten kann. Ferner sind die linsenförmige Anzeigen wie folgt ausgestaltet. Seien beispielsweise A, B, C, D Bilder von vier Kameras und A (1, 1) eine Bildelementposition (1, 1) bei A. Die Bilder A, B, C, D von den Kameras sind in der Bildelementeinheit (x, y) geordnet an einer Flüssigkristallanzeige 191 angeordnet, wie in 11A gezeigt. Wie in 11B gezeigt, ist an der vorderen Fläche ein linsenförmiges Blatt 192 angebracht. Bei einer derartigen Anordnung, können die Videobilder von vier Ansichtspunkten bzw. Blickpunkten stereoskopisch ausgedrückt werden (Veröffentlichungen C, Institute of Electrical Engineers of Japan, Band 112 Nr. 5, 1992, Seiten 281–282; Japanische Patentanmeldungs-Offenlegungsschrift Nr. 3-269680).
Unter Verwendung der herkömmlichen Stereoanzeigeeinrichtungen, wie zuvor beschrieben, kann der Betrachter jedoch nur stereoskopische Bilder betrachten, welche in den Aufnahmerichtungen der Kamera zu der Zeit eines Aufnehmens eines Photos der Bilder gesehen werden. Da im Allgemeinen zwei Kameras zur Aufnahme von Bildern eines Objekts fixiert sind, wird das selbe Bild durch den Betrachter auch betrachtet bzw. wahrgenommen, wenn der Betrachter den Ansichtspunkt (die Position der Augen) ändert, was ein Problem des Fehlens der Gegenwart aufwirft, das heißt die Bewegung des Ansichtspunkts des Betrachters wird nicht reflektiert. Auch wenn die linsenförmigen Anzeigen auf die horizontale Bewegung der Position des Ansichtspunkts des Betrachters antworten können, kann der Betrachter ein von einer der beiden Kameras aufgenommenes Bild unter dazwischen liegenden Bildern betrachten, welche durch eine Vielzahl von Kameras aufgenommen sind. Folglich sind die linsenförmigen Anzeigen weder für eine kontinuierliche Bewegung des Ansichtspunkts noch für eine Vorwärts- und Rückwärtsbewegung des Ansichtspunkts vorbereitet. Die Vorwärts- und Rückwärtsbewegung des Ansichtspunkts kann im Falle einer stereoskopischen Ansicht auf der Grundlage von durch Computergraphiken erzeugten Bildern behandelt werden. Dies ist jedoch nur unter derartigen speziellen Umständen möglich, dass das durch die Computergraphiken behandelte Bild einfach ist und alle entsprechenden Koordinatenwerte in dem dreidimensionalen Raum für Punkte in den Bildern bekannt sind. Für eine stereoskopische Betrachtung der durch die Kameras aufgenommenen Bilder ist es der Fall, dass die Vorwärts- und Rückwärtsbewegung des Ansichtspunkts wenig untersucht wurde.
Es ist ein Anliegen der vorliegenden Erfindung, ein Bildverarbeitungsverfahren und ein Bildverarbeitungsgerät zur Verfügung zu stellen, welche bei einer Bewegung der Position der Augen des Betrachters in eine beliebige Richtung, unter Umständen zurück und vor, Bilder zur Verfügung stellen können, wie sie in Echtzeit bei sich bewegenden Positionen betrachtet werden.
Ein Artikel mit dem Titel „Virtualität" (TM) Entertainment Systems von T. Rowley in der Proceeding Conference on Computer Graphics 1998 offenbart ein System, welches die Position eines Betrachters und insbesondere des Kopfes des Betrachters erfasst, um so die Bewegungen des Betrachters reflektierende Bilder zu erzeugen.
Ein weiterer Artikel mit dem Titel „Low Altitude High Speed Flight Simulation Using Video Disc Technology" von Devanjan und Hooks Company „LTV Aerospace and Defence Company", vom 25. Juli 1985 offenbart Speichern einer Serie von diskreten Photographien auf einer Videodisk. Werden die Daten zur Anzeige benötigt, werden sie von der Videodisk wiedergewonnen, verarbeitet und manipuliert, um die korrekte perspektivische Ansicht des Bodens bzw. Geländes relativ zu der Position und Höhe eines Flugzeugs anzuzeigen.
Die großbritannische Patentanmeldung Nr. GB-A-2256567 offenbart ein Modellsystem zur Erzeugung eines 2-D-Bildes einer 3-D-Szene.
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Bildverarbeitungsgerät nach Anspruch 1 zur Verfügung gestellt.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Bildverarbeitungsverfahren nach Anspruch 4 zur Verfügung gestellt.
Bei der vorangehenden Anordnung wird die Position der Augen des Betrachters erfasst und es wird aus einer Vielzahl von Bildern ein von dem Betrachter zu betrachtendes Bild rekonstruiert, wobei mit einer Bewegung des Ansichtspunkts des Betrachters ein die Bewegung reflektierendes Bild auf eine gleichmäßige Weise zugeführt werden kann.
Die Mehrfach-Ansichtspunktbilddaten, welche aus einer Vielzahl von in der Position des Ansichtspunkts verschiedenen Bildern bestehen, können eine Anzahl von durch eine oder mehr Kameras erlangte Bilder oder eine Anzahl von in einer Datenbank gespeicherten Bildern sein. Um ein Bild zu rekonstruieren, umfassen die Mehrfachansichtspunktbilddaten vorzugsweise mit ausreichend feinen Intervallen der Photoaufnahmeposition aufgenommene Bilder. Jedoch kann ein Bild, auch wenn die Intervalle der Aufnahmeposition grob sind, durch Durchführen eines Interpolationsvorgangs für aufgenommene Bilder, um ein Bild bei einer Position eines Ansichtspunkts zwischen zwei benachbarten Aufnahmepositionen zu erzeugen, und durch Verwenden von Mehrfachansichtspunktbilddaten einschließlich der aufgenommenen Bilder und auf diese Weise erzeugten Bilder rekonstruiert werden.
Die Rekonstruktion eines Bildes wird wie folgt ausgeführt. Aus der Position der Augen des Betrachters und dem Typ einer Bildausgabevorrichtung werden für die Bildrekonstruktion erforderliche Parameter berechnet. Auf der Grundlage der auf diese Weise erlangten Parameter wird berechnet, welches Bildelement in den Bildern in den Mehrfachansichtspunktbilddaten jedem Bildelement in einem zu rekonstruierenden Bild entspricht. Aus den Mehrfachansichtspunktbilddaten werden entsprechende Bildelemente extrahiert, um ein Bild zu rekonstruieren. In diesem Fall kann, auch wenn die Position der Augen des Betrachters nicht mit einer Position eines Ansichtspunkts eines beliebigen Bildes in den Mehrfachansichtspunktbilddaten übereinstimmt, eine Entsprechung zwischen Bildelementen erzielt werden, was folglich ermöglicht, dass ein Bild gut rekonstruiert wird.
Die Bildausgabevorrichtung kann aus Stereoanzeigeeinrichtungen, kopfmontierten Anzeigeeinrichtungen und linsenförmigen Anzeigeeinrichtungen sowie den üblichen Anzeigeeinrichtungen ausgewählt werden.
Es ist ein weiteres Anliegen der vorliegenden Erfindung, ein Bildverarbeitungsverfahren und ein -gerät zur Verfügung zu stellen, welche Bilder mit N Ansichtspunkten aus durch M Bildaufnahmevorrichtungen (Kameras)(M < N) aufgenommenen Bildern erzeugen kann, um es dem Betrachter zu ermöglichen, den Ansichtspunkt in einer gleichmäßigen Weise zu bewegen.
Die Bildeingabeeinrichtung kann eine sein, welche aus einer Vielzahl von Kameras Bilder aufnehmen kann, oder welche aus einer Bilddatenbank Bilder aufnehmen kann.
Entsprechende Punkte zwischen Eingabebildern können durch lineare Erfassung an einer Epipolarebene erlangt werden.
Die Interpolation eines Bildes wird bevorzugterweise für jede Epipolarebene der Eingabebilder durchgeführt.
Die vorliegende Erfindung setzt die vorangehende Anordnung zur Interpolation von aus einer Vielzahl von Ansichtspunkten erlangten Bilder ein, um ein Bild zu erzeugen, welches bei einem Ansichtspunkt betrachtet wird, welcher sich von denjenigen der Eingabebilder unterscheidet.
Durch Interpolation der aus einer Vielzahl von Ansichtspunkten erlangten Bilder und Erzeugen von Bildern, wie sie von Ansichtspunkten betrachtet werden, die von denjenigen der Eingabebilder verschieden sind, ermöglicht es die vorliegende Erfindung, Bilder aus mehr Ansichtspunkten als denjenigen der Eingabebilder zu erlangen. Somit kann der Betrachter den Ansichtspunkt bzw. Blickpunkt gleichmäßig bewegen, während das Bild stereoskopisch angezeigt wird. Darüber hinaus kann eine derartige Zunahme der Anzahl von Ansichtspunkten die Realität eines angezeigten stereoskopischen Bildes verbessern. Da die Anzahl von Eingabebildaufnahmevorrichtungen (Kameras) vermindert werden kann, kann das Gerät in einer kompakten Größe konstruiert werden.
Ferner kann die vorliegende Erfindung zur Erzeugung von Interpolationsbildern zwischen in einer Datenbank oder dergleichen gespeicherten Mehrfachansichtspunktbildern (Bilder, welche während einer feinen Versetzung bzw. Verschiebung des Ansichtspunkts aufgenommen werden) angewendet werden, und die Bilder können an einer linsenförmigen Anzeigeeinrichtung oder einer holographischen Anzeigeeinrichtung mit mehr Ansichtspunkten angezeigt werden. Dies ermöglicht es uns, ein realitätsnaheres stereoskopisches Bild zu erlangen, und der Betrachter kann aufgrund der Zunahme der Anzahl von Ansichtspunkten den Ansichtspunkt auf eine gleichmäßige Weise bewegen.
Nachfolgend werden eine Anzahl von Ausführungsbeispielen der Erfindung unter Bezugnahme auf die beiliegende Zeichnung nur anhand eines Beispiels beschrieben.
1 ist ein Blockschaltbild eines Ausführungsbeispiels eines Bildverarbeitungsgeräts der vorliegenden Erfindung;
2 ist eine Zeichnung des Prinzips einer Berechnung eines Visuelle-Achse-Parameters bei dem Ausführungsbeispiel von 1;
3 ist ein Flussdiagramm eines Vorgangs bei einem Berechnungsabschnitt des Visuelle-Achse-Parameters;
4 ist eine Zeichnung des Prinzips einer Berechnung des Virtuelle-Ansichtspunkt-Parameters und einer Bildelementposition bei dem Ausführungsbeispiel von 1;
5 ist ein Flussdiagramm eines Flusses eines Vorgangs bei einem Zwischen-Ansichtspunkt-Interpolationsverarbeitungsabschnitts bei dem Bildverarbeitungsgerät der vorliegenden Erfindung;
6 ist ein Flussdiagramm eines entsprechenden Punktsuchvorgangs;
7 ist eine Zeichnung der j-ten Epipolarebene;
8 ist eine Zeichnung zur Veranschaulichung eines Interpolationsalgorithmus;
9 ist eine Zeichnung zur Veranschaulichung des Interpolationsalgorithmus;
10 ist eine Zeichnung zur Veranschaulichung des Interpolationsalgorithmus;
11A und 11B sind schematische perspektivische Ansichten zur Darstellung einer herkömmlichen linsenförmigen Anzeigeeinrichtung.
1 ist ein Blockschaltbild der Struktur bzw. des Aufbaus eines Bildverarbeitungsgeräts als das erste Ausführungsbeispiel der vorliegenden Erfindung. Das Bildverarbeitungsgerät dient zur Anzeige eines auf eine nachfolgend beschriebene Weise rekonstruierten Bildes für einen Benutzer (Betrachter) durch einen in einen stationären Zustand gesetzten Anzeigebildschirm 1. Im Detail besteht das Bildverarbeitungsgerät aus einer Ansichtspunkterfassungseinrichtung bzw. einem Ansichtspunktdetektor 2 zur Erfassung einer Position der den Anzeigebildschirm 1 betrachtenden Augen des Benutzers, einer Mehrfach- bzw. Multiansichtspunkte-Bilddatenbank 3, welche eine Mehrfach- bzw. Multiansichtspunktebilddaten haltende Datenbank ist, einem Anzeigeparameter-Halteabschnitt 4 zum Halten eines den Anzeigebildschirm 1 betreffenden Anzeigeparameters, einem Photoaufnahmeansichtspunkt-Koordinatensystem-Halteabschnitt 5 zur Speicherung von Daten eines Koordinatensystems einer Photoaufnahmeposition für jedes Bild in der Multiansichtspunkte-Bilddatenbank 3, einen Mehrfach- bzw. Multiansichtspunkte-Bildparameter-Halteabschnitt 6 zum Halten von Bildparametern von Bildern in der Multiansichtspunkte-Bilddatenbank 3, einem Ansichtspunktparameter-Berechnungsabschnitt 7 zur Berechnung eines Ansichtspunktparameters auf der Grundlage eines Signals von dem Ansichtspunktdetektor 2 und zur Ausgabe eines Aktualisierungssignals 15, wenn der Benutzer die Position des Ansichtspunkts ändert, einem Bilderzeugungsabschnitt 8 zur Erzeugung eines Bildes gemäß dem Ansichtspunkt des Benutzers, einem Bildanzeigeabschnitt 14 zur Anzeige des von dem Bilderzeugungsabschnitt 8 erzeugten Bildes auf dem Anzeigebildschirm, und einem Bildelementwerterzeugungsabschnitt 17 zur Berechnung von Bildelementwerten zur Rekonstruktion eines Bildes, um sie als ein Bildelementwertsignal 16 an den Bilderzeugungsabschnitt 8 auszugeben.
Die Bilder in der Multiansichtspunkte-Bilddatenbank 3 sind Bilder eines anzuzeigenden Objekts bzw. Gegenstands welcher aus einer Vielzahl von mit ausreichend feinen Intervallen in einer Ebene ausgerichteten Ansichtspunkten aufgenommen ist. Entsprechend dazu sind die in dem Photoaufnahmeansichtspunkt-Koordinatensystem-Halteabschnitt 5 Daten über das Koordinatensystem, welches die Ebene der Ausrichtung der Ansichtspunkte angibt, die für die Aufnahme von Photos der Bilder verwendet werden. Außerdem ist der Bilderzeugungsabschnitt 8 dahingehend ausgestaltet, um ein Bild zu erzeugen, wenn er ein Aktualisierungssignal 15 empfängt. Der Bilderzeugungsabschnitt 8 gibt ein Bildindexsignal 9 aus, welches Koordinaten eines interessierenden Bildelements in dem rekonstruierten Bild angibt, das heißt in dem Bild an dem Anzeigebildschirm 1.
Beim Rekonstruieren eines Bildes werden wiederum Bildelementindexsignale 9 über alle Bildelemente in dem zu rekonstruierenden Bild ausgegeben.
Als Nächstes wird der Aufbau bzw. die Struktur des Bildelementwerterzeugungsabschnitts 17 beschrieben. Der Bildelementwerterzeugungsabschnitt 17 ist aus einem Visuelle-Achse-Parameter-Berechnungsabschnitt 10 zur Berechnung einer Richtung der Blickrichtung zu einem durch das Bildelementindexsignal 9 angegebenen Bildelement aus dem Ansichtspunktparameter und Anzeigeparameter, einem Virtueller-Ansichtspunkt-Parameter-Berechnungsabschnitt 11 zur Berechnung eines virtuellen Ansichtspunkts, einem Bildelementpositions-Berechnungsabschnitt 12 zur Berechnung einer Position eines Bildelements, um die Richtung der Blickrichtung in dem Bild bei dem virtuellen Ansichtspunkt zu treffen, und einen Bildelementwert-Berechnungsabschnitt 13 zur Berechnung eines entsprechenden Bildelementwerts aus den Bildern in der Muliansichtspunkte-Bilddatenbank 3 auf der Grundlage der Bildelementposition und dem virtuellen Ansichtspunktparameter. Hier ist der virtuelle Ansichtspunkt eine Kreuzung zwischen der durch den Visuelle-Achse-Parameter angezeigten Blickrichtung und der Ebene der Ausrichtung des Photoaufnahmeansichtspunkts, welcher durch das Photoaufnahmeansichtspunkt-Koordinatensystem angegeben wird. Der Visuelle-Achse-Parameter, das Photoaufnahmeansichtspunkt-Koordinatensystem, der Virtueller-Ansichtspunkt-Parameter, und der Multiansichtspunkt-Bildparameter werden zur Berechnung der Bildelementposition in dem Bildelementpositions-Berechnungsabschnitt 12 verwendet. Ein in dem Bildelementwert-Berechnungsabschnitt 13 berechneter Bildelementwert wird ein Bildelementwertsignal 16.
Als Nächstes wird die Operation bzw. der Betrieb des vorliegenden Ausführungsbeispiels beschrieben. Zuerst wird eine Übersicht über den Betrieb erläutert.
Ändert der den Anzeigebildschirm 1 betrachtende Benutzer die Position des Kopfes, so dass der Ansichtspunkt bewegt wird, ändert sich das aus dem Ansichtspunktdetektor 2 ausgegebene Signal und dann empfängt der Ansichtspunktparameter-Berechnungsabschnitt 7 die Änderung, so dass dem Bilderzeugungsabschnitt 8 ein Aktualisierungssignal 15 zugeführt wird. Empfängt der Bilderzeugungsabschnitt 8 das Aktualisierungssignal 15, beginnt es mit der Erzeugung eines neuen Bildes, welches die Bewegung des Ansichtspunkts reflektiert. Die Erzeugung eines neuen Bildes wird auf eine derartige Weise durchgeführt, dass der Bilderzeugungsabschnitt 8 wiederum für alle Bildelemente Bildelementindexsignale 9 ausgibt und wiederum Bildelementwertsignale 16 für die Bildelemente von dem Bildelementwerterzeugungsabschnitt 17 erlangt. Nachfolgend wird die Operation bzw. der Betrieb des Bildelementwerterzeugungsabschnitts 17 beschrieben.
Bei dem Bildelementwerterzeugungsabschnitt 17 nimmt der Visuelle-Achse-Parameter-Berechnungsabschnitt 10 den Ansichtspunktparameter von dem Ansichtspunktparameter-Berechnungsabschnitt 7 und den Anzeigeparameter von dem Anzeigeparameter-Halteabschnitt 4 zur Berechnung eines Visuelle-Achse-Parameters entsprechend einem eingegebenen Bildelementindexsignal 9. Der Virtueller-Ansichtspunkt-Parameter-Berechnungsabschnitt 11 nimmt das Photoaufnahmeansichtspunkt-Koordinatensystem von dem Photoaufnahmeansichtspunkt-Koordinatensystem-Halteabschnitt 5 zur Berechnung eines Virtueller- Ansichtspunkt-Parameters, welcher einen Schnittpunkt bzw. eine Kreuzung (virtueller Ansichtspunkt) zwischen der durch den Visuelle-Achse-Parameter angegebenen Blicklinie und der durch das Photoaufnahmeansichtspunkt-Koordinatensystem angegebenen Ebene der Ausrichtung der Photoaufnahmeansichtspunkte angibt. Der Bildelementpositions-Berechnungsabschnitt 12 nimmt den Multiansichtspunkte-Bildparameter von dem Multiansichtspunkte-Bildparameter-Halteabschnitt 6 und berechnet eine Position eines Bildelements, welches die Richtung der Blickrichtung in dem Bild bei dem virtuellen Ansichtspunkt aus dem Visuelle-Achse-Parameter, dem Photoaufnahmeansichtspunkt-Koordinatensystem, und dem Virtueller-Ansichtspunkt-Parameter zusätzlich zu dem Multiansichtspunkt-Bildparameter trifft. Dann berechnet der Bildelementwert-Berechnungsabschnitt 13 auf der Grundlage der Bildelementposition und dem Virtueller-Ansichtspunkt-Parameter ein entsprechendes Bildelementwertsignal 16 aus den Bildern in der Multiansichtspunkte-Datenbank 3. Wie beschrieben, berechnet der Bildelementwerterzeugungsabschnitt 17 für jedes eingegebene Bildelementindexsignal 9 ein Bildelementwertsignal 16 und gibt es an den Bilderzeugungsabschnitt 8 aus.
Nachdem der Bilderzeugungsabschnitt 8 für alle Bildelemente aus dem Bildelementwert-Berechnungsabschnitt 13 Bildelementwertsignale 16 erlangt hat, führt er die Signale dem Bildanzeigeabschnitt 14 zu. Der Bildanzeigeabschnitt 14 zeigt das auf diese Weise erzeugte Bild an, welches den neuen Ansichtspunkt auf dem Anzeigebildschirm 1 reflektiert. Diese schließt den seriellen Bilderzeugungsbetrieb ein, welcher mit einer Bewegung des Ansichtspunkts des Benutzers ausgeführt wird. Wie aus der folgenden Beschreibung ersichtlich wird, kann der Benutzer, wenn der Benutzer den Ansichtspunkt vor und zurück, hoch und runter oder links und rechts bewegt, als ein Ergebnis, auch wenn sich der Ansichtspunkt bei einem Ort befindet, der sich von den Ansichtspunkten unterscheidet, bei welchen die in der Multiansichtspunkt-Bilddatenbank 3 gespeicherten Bilder aufgenommen worden sind, ein Bild des Objekts betrachten, bzw. wahrnehmen bzw. beobachten, welches die Bewegung des Ansichtspunkts über den Anzeigebildschirm 1 reflektiert.
Nun werden die Vorgänge ausführlich eins nach dem anderen beschrieben. Zur Vereinfachung der Beschreibung gibt es keine vertikale Parallaxe, sondern bei der folgenden Beschreibung wird nur eine horizontale Parallaxe betrachtet.
Zuerst wird der Vorgang des Berechnens des Visuelle-Achse-Parameters bei dem Visuelle-Achse-Parameter-Berechnungsabschnitt 10 beschrieben. 2 ist eine Zeichnung zur Darstellung des Prinzips einer Berechnung bei dem Visuelle-Achse-Parameter-Berechnungsabschnitt 10, und 3 ist ein Flussdiagramm zur Darstellung des Vorgangs bei dem Visuelle-Achse-Parameter-Berechnungsabschnitt 10.
In 2 seien Xs, Xp, Xv jeweils Positionsvektoren von dem Endpunkt 21 des Anzeigebildschirms 1, einer Bildelementposition 23 eines interessierenden Bildelements auf dem Anzeigebildschirm 1, und einer Position 24 des Ansichtspunkts des Benutzers. Ein Vektor 22 ist ein Vektor, dessen Länge der Bildelementabstand des Anzeigebildschirms 1 und dessen Richtung eine Neigung eines Anzeigebildschirms 1 ist, welcher als ein Anzeigebildschirmvektor p definiert ist. Die Blickrichtung 25 trifft die interessierende Bildelementposition 23, und ein eine Neigung der Blickrichtung 25 angebender Vektor 26 ist als ein Visuelle-Achse-Vektor a definiert.
Der Berechnungsabschnitt 10 ermittelt bzw. fängt zuerst den Ansichtspunktparameter von dem Ansichtspunktparameter-Berechnungsabschnitt 7 ein (Schritt 31). Der Ansichtspunktparameter ist die Position 24 des Ansichtspunkts des Benutzers in 2. Der Berechnungsabschnitt 10 ermittelt bzw. fängt auch den Anzeigeparameter von dem Anzeigeparameter-Halteabschnitt 4 ein (Schritt 32). Der Anzeigeparameter ist der Endpunkt 21 des Anzeigebildschirms 1, welcher durch den Anzeigebildschirmvektor 22 angegeben ist. Der Anzeigebildschirmvektor 22 wird durch die Neigung, die reale Größe und die Bildelementgröße des Anzeigebildschirms 1 bestimmt. Auf der Grundlage der in 2 gezeigten Positionsbeziehung berechnet der Berechnungsabschnitt 10 die interessierende Bildelementposition 23 auf dem Anzeigebildschirm 1 durch die folgende Gleichung (1) gemäß dem Bildelementindexsignal 9 (Schritt 33). Hier ist das Bildelementindexsignal 9 durch i definiert. Xp = Xs + i·p (1)
Nach Erlangen der Bildelementposition 23, erlangt der Berechnungsabschnitt 10 dann einen Visuelle-Achse-Parameter entsprechend der Richtung der Bildelementposition 23, wie sie aus der Blickpunktposition 24 betrachtet bzw. wahrgenommen wird (Schritt 34), und beendet den Vorgang zur Erlangung des Visuelle-Achse-Parameters. Der Visuelle-Achse-Parameter wird durch eine Kombination der Ansichtspunktposition 24 und des Visuelle-Achse-Vektors 26, (Xv, a), ausgedrückt.
Da die Blickrichtung 25 eine durch zwei Punkte der Bildelementposition 23 und der Ansichtspunktposition 24 laufende gerade Linie ist, kann der Visuelle-Achse-Vektor 26 durch die folgende Gleichung (2) berechnet werden. a = Xp – Xv (2)
Als Nächstes werden die Vorgänge bei dem Virtueller-Ansichtspunkt-Parameter-Berechnungsabschnitt 11 und dem Bildelementpositions-Berechnungsabschnitt 12 beschrieben. 4 ist eine Zeichnung zur Darstellung des Prinzips einer Berechnung des Virtueller-Ansichtspunkt-Parameters und der Bildelementposition.
Wie es zuvor beschrieben wurde, sind die Ansichtspunkte bei dem Augenblick der Photoaufnahme der Bilder in der Multiansichtspunkte-Bilddatenbank 3 in der selben Ebene ausgerichtet. Ein Querschnitt der Ebene der Ausrichtung ist in der Zeichnung als eine Ansichtspunktausrichtlinie 41 angegeben. Der virtuelle Ansichtspunkt 42 ist als eine Kreuzung zwischen der Blickrichtung bzw. Blicklinie 25 und der Ansichtspunktausrichtlinie 41 ausgedrückt, wobei ein Positionsvektor davon ein Virtueller-Ansichtspunkt-Positionsvektor X ist. Außerdem ist ein die Neigung einer Ansichtspunktausrichtlinie 41 angebender Vektor 43 als ein Virtueller-Punktausrichtvektor T definiert, und ein Positionsvektor des Endpunkts 44 der Ansichtspunktausrichtlinie 41 ist als Xl definiert. Ein visuelles Gebiet 45 repräsentiert den Winkel eines Gebiets einer Ansicht 8 bei dem virtuellen Ansichtspunkt 42, und ein Vektor 46 ist ein Brennpunktvektor bzw. Fokusvektor f, dessen Länge eine Brennweite der Kameras ist, welche die Bilder in den Multiansichtspunktdaten aufgenommen haben, und dessen Richtung eine Neigung der Kameras ist. Darüber hinaus sind eine virtuelle Aufnahmeebene 47 bei dem virtuellen Ansichtspunkt 42 und eine Bildelementposition 48 als eine Kreuzung zwischen der virtuellen Aufnahmeebene 47 und der Blicklinie 25 definiert. Ein Positionsvektor der Bildelementposition 48 ist durch Xp' ausgedrückt. Ein Vektor 49 ist ein Aufnahmeebenenvektor p', dessen Länge ein Bildelementabstand der virtuellen Aufnahmeebene 47 ist, und dessen Richtung die Neigung der virtuellen Aufnahmeebene 47 ist (welche mit dem Fokusvektor 46 normalerweise rechte Winkel bildet).
Hier hält der Photoaufnahmeansichtspunkt-Koordinatensystem-Halteabschnitt 5 den Ansichtspunktausrichtvektor 43 und den Endpunkt 44 der Ansichtspunktausrichtlinie 41 als das Photoaufnahmeansichtspunkt-Koordinatensystem angebende Werte. Außerdem hält der Multibildparameter-Halteabschnitt 6 den Brennpunktvektor 46 und den Aufnahmeebenenvektor 49 als die Multiansichtspunkt-Bildparameter. Die Größe des Aufnahmeebenenvektors 49 ist gleich der Zellengröße (die Länge eines Bildelements) einer tatsächlichen Bildaufnahmeebene.
Bei Verwendung der zuvor beschriebenen Punkte und Vektoren wird der virtuelle Ansichtspunkt 42 durch die folgenden Gleichungen (3) und (4) ausgedrückt. X = Xl + t·T (3) X = Xv + α – a (4)
Hier bezeichnet t einen virtuellen Ansichtspunktparameter, welcher ein den virtuellen Ansichtspunkt eindeutig ausdrückender Parameter ist. In der Gleichung (4) ist α ein Koeffizient in der Richtung der Blicklinie. Der virtuelle Ansichtspunktparameter- Berechnungsabschnitt 11 berechnet t durch Auflösen der Gleichungen (3) und (4) und erlangt dann X.
Ferner wird die Bildelementposition 48 durch die folgenden Gleichungen (5) und (6) ausgedrückt. Xp' = X + f + i'·p' (5) Xp' = X + β – a (6)
Hier bezeichnet i' einen Bildelementpositionsparameter, welcher ein die Bildelementposition 48 eindeutig ausdrückender Parameter ist. Bei der Gleichung (6) ist β ein Koeffizient in der Richtung der Blicklinie. Der Bildelementpositions-Berechnungsabschnitt 12 berechnet den Bildelementpositionsparameter i' durch Auflösen der Gleichungen (5) und (6), und gibt sie aus.
Nachfolgend wird der Vorgang des Bildelementwert-Berechnungsabschnitts 13 ausführlich beschrieben. Bei dem vorliegenden Ausführungsbeispiel sind die in der Multiansichtspunkte-Bilddatenbank 3 gehaltenen Multiansichtspunktbilder Bilder, welche mit ausreichend feinen Ansichtspunktintervallen aufgenommen wurden. Zuerst wird ein Bild, welches bei einem dem virtuellen Ansichtspunkt 42 am nächsten gelegenen Ansichtspunkt aufgenommen ist, aus den Bildern in der Multiansichtspunkte-Bilddatenbank 3 als ein Bild herausgenommen, welches einem Bild nahe kommt, welches von dem virtuellen Ansichtspunkt 42 aufzunehmen ist, der durch den in dem Virtueller-Ansichtspunkt-Parameter-Berechnungsabschnitt 11 berechneten Virtueller-Ansichtspunkt-Parameter angegeben wird. Von dem aufgenommenen Bild wird ein Wert eines Bildelements, welches der in dem Bildelementpositions-Berechnungsabschnitt 12 berechneten Bildelementposition 48 am nächsten kommt, ausgewählt, und der ausgewählte Wert wird als das Bildelementwertsignal 16 ausgegeben.
Auch wenn die vorangehende Beschreibung die Vorgänge bei den Abschnitten betraf, wobei die vertikale Parallaxe zur Vereinfachung der Beschreibung ausgelassen wurde, kann das selbe Verfahren für Multiansichtspunktbilder in der vertikalen Richtung zum Einsatz kommen, um ein brillenförmiges stereoskopisches Anzeigegerät zu erzielen, welches eine Rückwärts- und Vorwärts-, Hoch- und Runter-, oder Links- und Rechtsbewegung des Ansichtspunkts unter Berücksichtigung der vertikalen Parallaxe ermöglicht. Das brillenförmige stereoskopische Anzeigegerät, welches die Rückwärts- und Vorwärts-, Hoch- und Runter-, oder Links- und Rechtsbewegung des Ansichtspunkts ermöglicht, kann wie folgt konstruiert sein. Der Anzeigebildschirm 1 und der Bildanzeigeabschnitt 8 sind ein stereoskopischer Anzeigebildschirm und ein stereoskopischer Bildanzeigeabschnitt, welche eine brillenförmige stereoskopische Ansicht ermöglichen, wie beispielsweise der linsenförmige Typ oder der Brillentyp. Ferner berechnet der Ansichtspunktparameter-Berechnungsabschnitt 7 Ansichtspunktparameter für Positionen des linken und rechten Auges, und entsprechend dazu erzeugt der Bilderzeugungsabschnitt 8 jeweilige Bilder, welche dem linken und rechten Auge zu präsentieren sind.
Als Nächstes ist ein Bildverarbeitungsgerät beschrieben, welches ein Bild zur Bewegung eines Blickpunkts frei anzeigen kann, auch wenn die Intervalle von Ansichtspunkten nicht so fein für die in der Multiansichtspunkte-Bilddatenbank 3 gespeicherten Bilder sind. Das Bildverarbeitungsgerät ist derart ausgestaltet, dass es einen Zwischen-Ansichtspunkt- Interpolationsverarbeitungsabschnitt zwischen der Multiansichtspunkte-Bilddatenbank 3 und dem Bildelementwert-Berechnungsabschnitt 13 in dem Bildverarbeitungsgerät des ersten Ausführungsbeispiels umfasst, wie zuvor beschrieben. der Zwischen-Ansichtspunkt-Interpolationsverarbeitungsabschnitt erzeugt eine Gruppe von Bildern mit ausreichend feinen Intervallen eines Ansichtspunkts durch einen Interpolationsvorgang unter Verwendung der Bilder in der Multiansichtspunkte-Bilddatenbank 3, welche bei groben Intervallen von Ansichtspunkten aufgenommen worden sind. Unter Verwendung der auf diese Weise erlangten Bilder bei ausreichend feinen Intervallen zwischen Ansichtspunkten kann ein mit einer Änderung des Ansichtspunkts des Benutzers übereinstimmendes Bild auf die selbe Weise wie bei dem ersten Ausführungsbeispiel erzeugt werden.
Im Folgenden wird der Zwischen-Ansichtspunkt-Interpolationsverarbeitungsabschnitt ausführlich beschrieben. Hier wird zur Vereinfachung der Beschreibung die vertikale Parallaxe nicht berücksichtigt. Die Multiansichtspunkte-Bilddatenbank 3 hält Bilder aus jeweiligen Photoaufnahmeansichtspunkten, welche auf einer horizontalen geraden Linie ausgerichtet sind.
5 ist ein Flussdiagramm zur Veranschaulichung eines Flusses des Vorgangs bei dem Zwischen-Ansichtspunkt-Interpolationsverarbeitungsabschnitt. Der Interpolationsabschnitt ermittelt bzw. fängt die mit groben Intervallen eines Ansichtspunkts aufgenommenen Bilder aus der Multiansichtspunkte-Bilddatenbank 3 ein (Schritt 51). Als Nächstes wird eine entsprechende Punktsuche (Bewegungsvektorerfassung) zwischen den ermittelten bzw. eingefangenen Bildern ausgeführt (Schritt 52). Nach Beendigung der entsprechenden Punktsuche wird ein Interpolationsvorgang auf der Grundlage der Photoaufnahmeansichtspunkte ausgeführt, und Bilder mit ausreichend feinen Intervallen zwischen den Ansichtspunkten zu erzeugen (Schritt 53), und der Vorgang ist beendet.
Die entsprechende Punktsuche wird zuerst unter Bezugnahme auf das Flussdiagramm von 6 beschrieben.
Für eine Anfangseinstellung wird ein interessierendes Raster auf ein erstes Raster jedes Bildes gesetzt (Schritt 61). Dann wird das interessierende Raster jedes Bildes in einen (nicht abgebildeten) Arbeitsspeicher gelesen (Schritt 62), um eine erste virtuelle Epipolarebene zu bilden. Hier ist die j-te Epipolarebene eine Gruppe von die folgende Gleichung erfüllenden Punkten EP_j(x, i) in der Bildebene, wie in 7 gezeigt: EPj(x, i) = Ni(x, j).
Bei der Gleichung ist N_i(x, j) ein x-ter Bildelementwert in der j-ten Zeile des i-ten Bilds (wobei i = 1 bis 4 gilt), welches einen Wert eines Bildelements in dem i-ten Bild mit Koordinaten von (x, j) repräsentiert. Die Bildeingabegeräte, wie beispielsweise Kameras, sind mit gleichen Intervallen ausgerichtet, wobei alle entsprechenden Punkte auf einer geraden Linie in der Epipolarebene auszurichten sind. Dementsprechend kann eine Interpolation von Bildern auf dieser geraden Linie vorgenommen werden.
Dann wird eine entsprechende Punkte umfassende Linie extrahiert (Schritt 63), und aus der erlangten Linie werden entsprechende Punkte berechnet und dann gespeichert (Schritt 64). Als Nächstes wird ein spezifischer entsprechender Punktberechnungsalgorithmus beschrieben.
Prozedur A1: Für EP_j(x, 1) als interessierende Bildelemente werden alle die folgende Beziehung erfüllende m's innerhalb des Bereichs von m = k₁ bis k₁ + k₂ erlangt.
Hier ist TH2 ein Grenzwert zur Ermittlung entsprechender Punkte, welcher auf 1200 (= 3 × 20²) gesetzt ist. Außerdem ist k₁ ein Wert abhängig von dem Photoaufnahmeverfahren von eingegebenen Bildern. Wird das Aufnehmen von Photos unter Verwendung von mit gleichen Intervallen und mit parallelen optischen Achsen angeordneten Kameras ausgeführt, gilt k₁ = 0. Darüber hinaus ist k₂ ein durch die Kameraintervalle und eine Entfernung zu einem Objekt bzw. Gegenstand bestimmter Wert, welcher bei diesem Beispiel auf 20 gesetzt ist (wobei angenommen wird, dass keine Bewegung 20 Bildelemente überschreitet).
Prozedur A2: Die Prozedur A1 wird für alle x's wiederholt, wobei x = 1 bis n_x ist, und wobei alle Werte von m entsprechend den Werten von x gespeichert werden. Hier repräsentiert n_x die Anzahl von Bildelementen in der Hauptabtastrichtung an einem Bild. Ist EP_j(x + mx(i – 1), i) nicht vorhanden, wird es entschieden, dass für das m kein entsprechender Punkt vorhanden ist, und der Vorgang wird fortgesetzt.
Prozedur A3: Aus einer durch die Prozeduren A1 und A2 erlangten Linie mit Neigung m wird ein entsprechender Punkt mit Priorität 1 erlangt, und er wird in einem Speicher gespeichert. Sind eine Vielzahl von entsprechenden Punkten ermittelt, werden alle als entsprechende Punkte mit einer Priorität 1, zur Vereinfachung, gespeichert. Als entsprechende Punkte bestimmte Bildelemente werden als verarbeitete Bildelemente bestimmt.
Prozedur A4: Werden die Prozeduren A1 bis A3 als ein Zyklus angesehen, wird der vorangehenden Zyklus für unverarbeitete Bildelemente wiederholt. Ist EP_j(x + mx(i – 1), i) bereits bei der Prozedur A1 verarbeitet, wird der Vorgang durch Setzen von EP_j(x + mx(i – 1), i) – EP_j(x, 1) = 0 fortgesetzt. Ist bei der Prozedur A3 ein von der Linie mit Neigung m erlangter entsprechender Punkt bereits verarbeitet, wird dieser Punkt von dem entsprechenden Punkt ausgenommen. Ein bei dem n-ten Zyklus erlangter entsprechender Punkt wird als ein entsprechender Punkt mit Priorität n gespeichert.
Prozedur A5: Ist die Zahl von unverarbeiteten Bildelementen nach dem Vorgang der Prozedur A4 nicht abnehmend, werden die Prozeduren A1 bis A4 für EP_j(x, 2) als interessierende Bildelemente ausgeführt. Hier gilt x = 1 bis n_x.
Prozedur A6: Ist die Anzahl von unverarbeiteten Bildelementen nach dem Vorgang einer Prozedur A5 nicht abnehmend, werden die Prozeduren A1 bis A4 für EP_j(x, 3) als interessierende Bildelemente ausgeführt. Hier gilt x = 1 bis n_x.
Prozedur A7: Die Prozeduren A1 bis A4 werden auf die selbe Weise wiederholt, während der Wert j eins nach dem anderen erhöht wird.
Prozedur A8: Sind die vorangehenden Vorgänge bis zu letzten Rastern ausgeführt, ist der entsprechende Punktsuchvorgang beendet.
Beim Ausführen der vorangehenden Vorgänge können entsprechende Punkte, welche nicht aus zwei Bildern erlangt werden konnten, erfasst werden und eine Okklusion kann gut behandelt werden, wodurch die Genauigkeit einer entsprechenden Punktsuche verbessert wird. Als Nächstes wird der Zwischen-Ansichtspunkt-Interpolationsvorgang von Bildern (Schritt 43 in 5) beschrieben. Dieser Interpolationsvorgang wird für entsprechende Punkte ausgeführt, welche durch den vorangehenden Suchvorgang des entsprechenden Punkts erlangt sind. Unter Bezugnahme auf ein Beispiel von 8 wird ein spezifischer Algorithmus des Interpolationsvorgangs beschrieben.
8 zeigt die j-te Epipolarebene. In 8 repräsentiert c1 entsprechende Punkte mit Priorität 1 und a2, b2 repräsentieren entsprechende Punkte mit Priorität 2. Es sei ein Fall in Betracht gezogen, bei welchem n Bilder mit gleichen Intervallen zwischen zwei Eingabebildern erzeugt werden. Hier sei zur Vereinfachung der Beschreibung n = 2 angenommen. Wird dies für die j-te Epipolarebene in Betracht gezogen, wie in 9 gezeigt, werden zwei Linien zwischen zwei Linien in der Epipolarebene interpoliert (das heißt, Epipolarlinien j-2, j-3, j-5, j-6, j-8, j-9), und es wird ein Wert eines Bildelements auf einer interpolierten Linie, welche auf einer zwei entsprechende Punkte auf der ursprünglichen Epipolarebene verbindenden Linie vorhanden ist, auf einen Mittelwert von Bildelementwerten für die entsprechenden Punkte gesetzt. Es werden nämlich die folgenden Prozeduren ausgeführt.
Prozedur B1: Wird eine entsprechende Punkte mit Priorität 1 verbindende Linie in Betracht gezogen, wird ein Wert eines Bildelements in einer Interpolationslinie auf der Linie auf einen Mittelwert bzw. Durchschnittswert von Bildelementwerten in dem auf der Linie vorhandenen Originalbild bzw. ursprünglichen Bild gesetzt. Im Falle des Beispiels eines entsprechenden Punkts c1 in 9 werden Bildelementwerte eines Punkts c1 auf der die entsprechenden Punkte verbindenden Linie als Mittelwerte von durch c1 repräsentierten Bildelementwerten bestimmt.
Prozedur B2: Nach Beendigung des Vorgangs für entsprechende Punkte mit Priorität 1, wird der Vorgang als Nächstes für entsprechende Punkte mit Priorität 2 ausgeführt. Dieser Vorgang ist im Wesentlichen der selbe wie die Prozedur B1, jedoch wird der Vorgang nicht für bei der Prozedur B1 bereits interpolierte Bildelemente ausgeführt. Dies wird unter Verwendung von 9 erläutert. Die Bildelemente (3, 8) und (2, 9) werden normalerweise interpolierte durch entsprechende Punkte a2 interpoliert, jedoch sind sie bereits durch die entsprechenden Punkte von c1 mit Priorität 1 interpoliert worden. Daher wird für diese Bildelemente überhaupt kein Vorgang ausgeführt. Dann sind durch die entsprechenden Punkte a2 interpolierte Bildelemente vier Bildelemente von (5, 2), (4, 3), (4, 5), (3, 6). (Bei dem Beispiel von 9 tritt in diesem Abschnitt Okklusion auf, und das Problem von Okklusion kann mit dem vorangehenden Vorgang behandelt werden.)
Prozedur B3: Nach Beendigung des Vorgangs für die entsprechenden Punkte mit Priorität 2, wird der Vorgang als Nächstes für entsprechende Punkte mit Priorität 3 ausgeführt. In ähnlicher Weise wie bei der Prozedur B2 wird kein Vorgang für bereits interpolierte Bildelemente ausgeführt. Dann wird der Vorgang auf die selbe Weise bis zu den entsprechenden Punkten mit letzter bzw. abschließender Priorität wiederholt.
Prozedur B4: Nach Beendigung von Prozeduren B1 bis B3 nicht interpolierte Bildelemente werden aus benachbarten Bildelementen interpoliert. Das Verfahren der Interpolation kann ein Verfahren sein, welches einen Durchschnittswert bzw. Mittelwert von benachbarten Bildelementwerten verwendet, oder ein Verfahren sein, welches einen Wert eines ihm am nächsten liegenden Bildelements unverändert verwendet.
Prozedur B5: Die Vorgänge der Prozeduren B1 bis B4 werden für j = 1 bis n_y ausgeführt, wodurch Interpolationsbilder unter Verwendung der Interpolationslinien j-2, j-3, j-5, j-6, j-8, j-9 erlangt werden. Beispielsweise kann ein in 10 gezeigtes Interpolationsbild #2 durch geordnetes Anordnen der Interpolationslinien j-2 (j = 1 bis n_y) konstruiert werden. Andere Interpolationsbilder #3, #5, #6, #8 oder #9 können auf die selbe Weise konstruiert werden.
Werden die Zwischen-Ansichtspunkt-Interpolationsbilder aus den Bildern in der Multiansichtspunkte-Bilddatenbank 3 erzeugt, wie zuvor erwähnt, werden Bilder aus anderen Ansichtspunkten als den Photoaufnahmeansichtspunkten auf der Linie einer Ausrichtung der Photoaufnahmeansichtspunkte erlangt. Dies kann ein Bild aus einem beliebigen Ansichtspunkt erzeugen. Dementsprechend braucht die Multiansichtspunkte-Bilddatenbank 3 nicht Multiansichtspunktbilder mit ausreichend feinen Intervallen von Ansichtspunkten zu speichern, was vorteilhaft ist, um die Speicherkapazität für die Multiansichtspunkte-Bilddatenbank 3 beträchtlich zu reduzieren.
Auch wenn die vorangehende Beschreibung den Fall betraf, bei welchem die vertikale Parallaxe ausgelassen wurde, kann auch ein die vertikale Parallaxe in Betracht ziehendes Bild wie folgt erzeugt werden. In der Multiansichtspunkte-Bilddatenbank 3 werden Bilder gespeichert, welche aus jeweiligen Photoaufnahmeansichtspunkten mit groben Ansichtspunktintervallen in einem Gittermuster auf einer Ebene aufgenommen sind. Zuerst werden Bilder in der horizontalen Richtung zwischen den Ansichtspunkten interpoliert und dann in der vertikalen Richtung zwischen den Ansichtspunkten interpoliert.
Bei einer Erzeugung von Interpolationsbildern aus einer Vielzahl von eingegebenen Bildern unter Verwendung der zuvor beschriebenen Anordnung und Verfahren können entsprechende Punkte, welche nicht aus zwei Bildern erlangt werden konnten, erfasst werden, was die Genauigkeit einer Interpolation verbessert. Da die entsprechenden Punkte aus einer Vielzahl von Bildern erlangt werden, kann das Problem einer Okklusion gut behandelt werden, wie zuvor beschrieben.
Das Ausführungsbeispiel von 1 war derart ausgestaltet, dass die im Voraus aufgenommenen Bilder in der Multiansichtspunkte-Bilddatenbank 3 gehalten worden sind. Dies kann durch eine Mehrfach- bzw. Multiobjektiv-Fernsehkamera ersetzt werden, welche in Echtzeit Bilder aus mehreren Ansichtspunkten einfangen kann, wodurch ein Echtzeitbildanzeigesystem beliebiger Ansichtspunkte erzielt werden kann.
Die vorliegende Erfindung kann auf das Bildverarbeitungsgerät allein, auf eine Systemanlage, wie beispielsweise ein Mehrfach- bzw. Multiansichtspunkt-Fernsehgerät, ein Mehrfach- bzw. Multiansichtspunkt-Videotelefonendgerät, oder ein Mehrfach- bzw. Multiansichtspunkt-Videokonferenzsystem, oder auf eine zusammengesetzte Vorrichtung in Kombination mit einem Computer oder einem weiteren Bildverarbeitungsgerät angewendet werden.
Die Holographie kann bei dem Verfahren zur stereoskopischen Anzeige eines Bildes bei dem vorangehenden Ausführungsbeispielen eingesetzt werden. Dies ist eine Technik zur Anzeige eines stereoskopischen Bildes auf eine derartige Weise, dass Laserlicht (Bezugslicht) auf Objektlicht eines Objekts angewendet wird, um Interferenzränder zu erzeugen, und das Bezugslicht wird erneut auf die Interferenzränder zur Erzeugung eines stereoskopischen Bildes angewendet. Ist die Anwendung des Laserlichts nicht geeignet, oder ist das Objekt zu groß, kann die Technik eines holographischen Stereogramms zum Einsatz kommen. Diese Technik ist ein Verfahren zur Erlangung eines stereoskopischen Bildes auf eine derartige Weise, dass eine Vielzahl von Photographien aufgenommen wird, was den Ansichtspunkt Stück für Stück ändert, die Photographien auf eine Transmissionsdiffusionsplatte projiziert werden, das Bezugslicht auf die projizierte Ebene angewendet wird, um Interferenzränder zu erzeugen, die erzeugten Interferenzränder ausgeschnitten werden, um ein Interferenzrandmuster zu synthetisieren, und das Bezugslicht wird auf das Interferenzrandmuster angewendet, wodurch ein stereoskopisches Bild erlangt wird. Die Einzelheiten des holographischen Stereogramms sind bei Junpei, Tsujiuchi; Holographische Anzeige, Seiten 191–207 (Sangyo Tosho) beschrieben.
Die Technik von holographischen Stereogrammen benötigt eine große Anzahl von Bildern, welche unter einer Stück für Stück Veränderung des Ansichtspunkts aufgenommen sind, und daher erfordert es viele Kameras. Die Technik eines Bewegens einer einzigen Kamera Stück für Stück kann im Falle eines unbewegten Bildes eingesetzt werden, jedoch muss im Falle eines dynamischen Bildes unvermeidbar eine Zahl von Kameras Verwendung finden. Dieses Problem kann durch Einsatz der Interpolationsbilder der vorliegenden Erfindung gelöst werden. Werden nämlich von ungefähr zehn Kameras erlangte Bilder als die eingegebenen Bilder verwendet, werden durch die Interpolation der vorliegenden Erfindung von Ansichtspunkten zwischen Kameras zu erlangende Bilder erzeugt. Die Verwendung dieses Verfahrens hat einen Vorteil dahingehend, dass eine verminderte Anzahl von Kameras verwendet werden kann. Im Hinblick auf ein das holographische Stereogramm verwendendes Fernsehgerät kann ein Vorteil von Datenkompression genutzt werden, wenn ungefähr zehn Bilder gesendet werden und Interpolationsbilder auf der Empfängerseite erzeugt werden. Wird die Technik von Bildkompression auch beim Senden der eingegebenen Bilder eingesetzt, können die Daten weiter komprimiert werden.

Claims

Bildverarbeitungsgerät, mit einer Einrichtung, welche zur Speicherung einer Vielzahl von Bildern in einer Bilddatenbank (3) ausgestaltet ist, welche von einer Vielzahl von verschiedenen Ansichtspunkten erlangte Ansichten eines Gegenstands repräsentieren, einer Einrichtung (8, 14) zur Erzeugung eines Bildes für ein Anzeigegerät (1) aus der Vielzahl von Bildern, einer Ansichterfassungseinrichtung (2, 7) zur Erfassung der Ansichtspunktposition eines das Anzeigegerät anschauenden Betrachters, und dadurch gekennzeichnet, dass die in der Datenbank gespeicherten Bilder Bilder eines anzuzeigenden Gegenstands sind, welche von einer Vielzahl von verschiedenen in einer einzigen Ebene ausgerichteten Ansichtspunkten aufgenommen sind, und eine Berechnungseinrichtung (10, 11, 12) dahingehend ausgestaltet ist, um aus der Datenbank Teile der gespeicherten Bilder auszuwählen, welche eine Vielzahl von Epipolarebenen definieren, um entsprechende Punkte innerhalb jeder der Epipolarebenen zu erfassen, um eine Interpolation unter Verwendung der erfassten entsprechenden Punkte innerhalb jeder der Epipolarebenen und der erfassten Ansichtspunktposition durchzuführen, um ein Bild von einem Ansichtspunkt zu erzeugen, welcher von dem Ansichtspunkt der eingegebenen Bilder verschieden ist, von welchem die Epipolarebenen aufgenommen worden sind.
Gerät nach Anspruch 1, und mit einem linsenförmigen Anzeigebildschirm zur Anzeige der erzeugten Bilder.
Gerät nach Anspruch 2, wobei die Ansichtserfassungseinrichtung dahingehend ausgestaltet ist, um sowohl die Blickrichtung als auch die Kopfposition eines Betrachters zu erfassen.
Verfahren des Verarbeitens von Bildern, mit Erzeugen eines Bildes für ein Anzeigegerät aus einer Vielzahl von gespeicherten Bildern, welche von einer Vielzahl von verschiedenen Ansichtspunkten erlangte Ansichten eines Gegenstands repräsentieren, Erfassen der Ansichtspunktposition eines das Anzeigegerät anschauenden Betrachters, und dadurch gekennzeichnet, dass die in der Datenbank gespeicherten Bilder Bilder eines anzuzeigenden Gegenstands sind, welche von einer Vielzahl von verschiedenen in einer einzigen Ebene ausgerichteten Ansichtspunkten aufgenommen sind, und durch Auswählen aus der Datenbank von Teilen der gespeicherten Bilder, welche eine Vielzahl von Epipolarebenen definieren, Erfassen von entsprechenden Punkten innerhalb jeder der Epipolarebenen, und Durchführen einer Interpolation unter Verwendung der erfassten entsprechenden Punkte innerhalb jeder der Epipolarebenen und der erfassten Ansichtspunktposition, um ein Bild von einem Ansichtspunkt zu erzeugen, welcher von dem Ansichtspunkt der eingegebenen Bilder verschieden ist, von welchem die Epipolarebenen aufgenommen worden sind.
Verfahren nach Anspruch 4, und mit einem Anzeigen der erzeugten Bilder auf einem linsenförmigen Anzeigebildschirm.
Verfahren nach Anspruch 5, wobei der Erfassungsschritt ein Erfassen von sowohl der Blickrichtung als auch der Kopfposition eines Betrachters umfasst.