DE69734747T2

DE69734747T2 - Verfahren und Gerät zur Bildverarbeitung

Info

Publication number: DE69734747T2
Application number: DE69734747T
Authority: DE
Inventors: Akihiro Ohta-ku Katayama; Shinji Ohta-ku Uchiyama; Masahiro Ohta-ku Shibata
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-03-22
Filing date: 1997-03-18
Publication date: 2006-07-27
Anticipated expiration: 2017-03-19
Also published as: EP0797171B1; US6445807B1; DE69734747D1; EP0797171A3; EP0797171A2

Description

Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitung zur Erzeugung und Ausgabe eines Bildes bei einer Blickpunktposition für einen Betrachter auf der Grundlage einer Vielzahl von Eingabebildern bei verschiedenen Blickpunkten bzw. Standpunkten.
Bei einem herkömmlichen Verfahren wird, zur Erzeugung eines Bildes, welches bei bzw. aus einer anderen Position als der Blickpunktposition bzw. Betrachtungspunktposition des Bildes betrachtet wird, aus einer Vielzahl von Bildern, die dreidimensionale Form oder dergleichen eines Objekts bzw. Gegenstands unter Verwendung von beispielsweise stereoskopischen Abstandmessungen zeitweise rekonstruiert, und unter Verwendung der rekonstruierten Form wird ein von der neuen Blickpunktposition betrachtetes Bild erzeugt.
Jedoch ist es im Allgemeinen schwierig, die dreidimensionale Form eines Objekts aus tatsächlich aufgenommenen Bildern zu berechnen. Weist das Objekt bzw. der Gegenstand eine einfache Form auf, kann seine Form durch Berechnen entsprechender Punkte durch beispielsweise stereoskopische Abstandsmessungen bzw. Entfernungsmessungen rekonstruiert werden, jedoch ist es für natürliche Objekte bzw. Gegenstände, wie beispielsweise Bäume, mit komplexen Formen fast unmöglich, eine derartige Rekonstruktion zu erzielen. Daher kann das Verfahren des Berechnens der dreidimensionalen Form und des Erzeugens eines Bildes bei einer neuen Blickpunktposition auf der Grundlage der berechneten Form nicht für derartige natürliche Objekte bzw. Gegenstände Verwendung finden.
„A Viewpoint Dependent Stereoscopic Display Using Interpolation of Multi-Viewpoint Images" von Katayama et al in Proceedings of SPIE, Band 2409/11 offenbart ein Verfahren des autostereoskopischen Anzeigens, welches blickpunkt- bzw. betrachtungspunktabhängige Bilder gemäß einer Bewegung eines Betrachters zeigen kann. Dieses Anzeigesystem besteht aus einem Computer, einer Kopfortungsvorrichtung, und einer binokularen stereoskopischen Anzeige. Bei dem System stellen Interpolation und Rekonstruktion von Mehrfach-Blickpunktbildern einem Betrachter eine unbeschränkte Anzahl von Bildern gemäß seiner/ihrer ruhigen bzw. gleichmäßigen Bewegung zur Verfügung.
„Quicktime^® – An Image-Based Approach to Virtual Environment Navigation" durch Chen in Computer Graphics Proceedings, Annual Conference Series, 1995, Seiten 29 bis 38 offenbart ein System virtueller Realität, welches zylindrische Panoramabilder von 360 Grad zur Bildung einer virtuellen Umgebung verwendet. Das Panoramabild ist digital fliegend verzerrt, um ein Kameraschwenken und Zoomen zu simulieren. Die Panoramabilder können durch Computerrendering bzw. Computerwiedergabe, Spezialpanoramakameras oder durch „Zusammenheften" überlappender Fotografien, welche mit einer regulären Kamera aufgenommen sind, erzeugt werden. Ein Umhergehen in einem Raum wird durch „Springen" zu verschiedenen Panoramapunkten ausgeführt.
Die vorliegende Erfindung stellt ein Bildverarbeitungsgerät nach Anspruch 1 zur Verfügung.
Die vorliegende Erfindung stellt auch ein Bildverarbeitungsgerät nach Anspruch 5 zur Verfügung.
Die vorliegende Erfindung stellt auch ein Bildverarbeitungsverfahren nach Anspruch 9 zur Verfügung.
Die vorliegende Erfindung stellt auch ein Bildverarbeitungsverfahren nach Anspruch 12 zur Verfügung.
Die vorliegende Erfindung stellt auch ein Computerprogrammprodukt nach Anspruch 15 zur Verfügung.
Optionale Merkmale sind in den anderen Ansprüchen dargelegt.
1 ist ein Blockschaltbild der Anordnung eines Bildverarbeitungsgeräts gemäß einem ersten Beispiel des Standes der Technik;
2 ist ein Flussdiagramm, welches den Fluss der Verarbeitung des Bildverarbeitungsgeräts des ersten Beispiels des Standes der Technik zeigt;
3 ist eine Ansicht des Prinzips einer Rekonstruktion eines Bildes aus Bildern, welche durch eine Bildeingabeeinheit des Bildverarbeitungsgeräts des ersten Beispiels des Standes der Technik eingegeben sind;
4 ist ein Flussdiagramm des Flusses der Bildrekonstruktionsverarbeitung des Bildverarbeitungsgeräts des ersten Beispiels des Standes der Technik;
5 ist eine Ansicht des Prinzips einer Verzerrungskorrektur eines Bildes, welches durch die Bildrekonstruktionsverarbeitung des Bildverarbeitungsgeräts des ersten Beispiels des Standes der Technik rekonstruiert wird;
6A und 6B sind erläuternde Ansichten der Bezugsebene eines Bildverarbeitungsgeräts gemäß einem zweiten Beispiel des Standes der Technik;
7 ist eine erläuternde Ansicht von einen Punkt P durchlaufenden Lichtstrahlen;
8 ist eine erläuternde Ansicht der x-u-Ebene des Bildverarbeitungsgeräts des zweiten Beispiels des Standes der Technik;
9A und 9B sind erläuternde Ansichten der Beziehung des Objekts bzw. Gegenstands und der Projektionsblickpunktposition bei dem Bildverarbeitungsgerät des zweiten Beispiels des Standes der Technik;
10 ist eine erläuternde Ansicht der Pfade von durch die Projektionsblickpunktposition laufenden Lichtstrahlen und der Pfade von durch einen Punkt Q laufenden Lichtstrahlen bei dem Bildverarbeitungsgerät des zweiten Beispiels des Standes der Technik;
11 ist ein Blockschaltbild der Anordnung eines Bildverarbeitungsgeräts gemäß einem ersten Ausführungsbeispiel der vorliegenden Erfindung;
12 ist eine erläuternde Ansicht des Verfahrens des Erlangens von Mehrfach-Blickpunktbildern bei einer Bildeingabeeinheit des Bildverarbeitungsgeräts des ersten Ausführungsbeispiels;
13 ist ein Flussdiagramm, welches den Fluss der Verarbeitung des Bildverarbeitungsgeräts des ersten Ausführungsbeispiels darstellt;
14A und 14B sind erläuternde Ansichten des Falles, welcher vier Bezugsebenen verwendet, welche zum Ausdrücken des Lichtraums des Bildverarbeitungsgeräts des ersten Ausführungsbeispiels radial angeordnet sind;
15 ist eine erläuternde Ansicht einer Erzeugung von Lichtraumdaten bei dem Bildverarbeitungsgerät des ersten Ausführungsbeispiels;
16 ist eine perspektivische Ansicht einer Vielzahl von Bezugsebenen, welche zum Abdecken des Objekts eines Bildverarbeitungsgeräts gemäß einem zweiten Ausführungsbeispiel der vorliegenden Erfindung angeordnet sind; und
17 ist eine Draufsicht auf das Bildverarbeitungsgerät des zweiten Ausführungsbeispiels.
Vor einer Beschreibung von Ausführungsbeispielen der vorliegenden Erfindung werden drei Beispiele des Standes der Technik beschrieben.
(a) Erstes Beispiel des Standes der Technik
1 ist ein Blockschaltbild der Anordnung eines Bildverarbeitungsgeräts des ersten Beispiels des Standes der Technik, und es zeigt die Anordnung des Gesamtsystems des Geräts dieses Beispiels des Standes der Technik. Unter Bezugnahme auf 1 gibt eine Bildeingabeeinheit 11 Mehrfach-Blickpunktbilder ein, welche durch Aufnehmen von Bildern eines Gegenstands aus einer Vielzahl von Blickpunktpositionen erlangt werden. Die Bildeingabeeinheit 11 kann eine Vielzahl von Bilderfassungssystemen aufweisen, oder sie kann Mehrfach-Blickpunktbilder durch Bewegen eines Bilderfassungssystems erlangen. Eine zentrale Verarbeitungseinheit (CPU) 13 umfasst einen Mikroprozessor zur Ausführung verschiedenster Arten von (nachfolgend zu beschreibenden) Verarbeitungen gemäß den Verarbeitungsprozeduren, welche in einer Speichereinheit 14 zuvor gespeichert sind, welche ein ROM, eine Festplatte, oder dergleichen zur Speicherung von Programmen und Daten zur Steuerung der CPU 13 aufweist. Eine Speichermediumleseeinrichtung 15 liest Programme und Daten, welche auf einer FD (Floppy-Disk), auf einer HD (Festplatte), CD-ROM, in einem ROM, auf einem Magnetband, einer optischen Disk, und dergleichen gespeichert sind. Eine Eingabeeinheit 16 gibt Befehle und Daten in die CPU 13 ein. Eine Anzeigeeinheit 17 dient als eine Überwachungseinrichtung zur Anzeige verschiedenster Arten von Informationen und zugehörigen Informationen während oder nach der Verarbeitung der CPU 13. Ein Blickpunktposition- und Richtung-einer-Blickrichtung-Detektor 12 erfasst die Blickpunktposition und die Richtung einer Blickrichtung des Betrachters. Der Blickpunktposition- und Richtung-einer-Blickrichtung-Detektor kann einen Detektor bekannter Art umfassen.
2 ist ein Flussdiagramm der Grundverarbeitung des Bildverarbeitungsgeräts des ersten Beispiels des Standes der Technik. Diese Verarbeitung wird durch die CPU 13 ausgeführt.
Die CPU 13 führt eine Verarbeitung gemäß den in der Speichereinheit 14 gespeicherten Verarbeitungsprozeduren (Programmen) aus.
Bei dem Flussdiagramm in 2 gibt die Bildeingabeeinheit 11, wenn die Verarbeitung beginnt, Mehrfach-Blickpunktbilder ein, welche bei in einer Reihe bzw. Linie angeordneten Mehrfach-Blickpunktpositionen aufgenommen sind, und bei Schritt S21 werden die Blickpunktpositionen der Bildeingabeeinheit 11 erfasst und gelesen, bei welchen diese Mehrfach-Blickpunktbilder aufgenommen sind. Bei Schritt S22 werden diese Mehrfach-Blickpunktbilder und ihre Blickpunktpositionsinformationen einander entsprechend in der Speichereinheit 14 gespeichert.
Bei Schritt S23 und den darauf folgenden Schritten wird die Verarbeitung zum Auslesen der Mehrfach-Blickpunktbilddaten und der Blickpunktpositionsdaten des Betrachters beim Aufnehmen dieser Bilder und zum Rekonstruieren eines von einer beliebigen Blickpunktposition betrachteten Bildes ausgeführt.
Bei Schritt S23 erfasst der Blickpunktposition- und Richtung-einer-Blickrichtung-Detektor 12 die Blickpunktposition und die Richtung einer Blickrichtung des Betrachters, welcher den Bildschirm der Anzeigeeinheit 17 als einen Monitor bzw. eine Bildschirmeinheit betrachtet. Bei Schritt S24 werden auf der Grundlage der erfassten Blickpunktpositionsinformationen Mehrfach-Blickpunktbilddaten aus der Speichereinheit 14 ausgelesen. Bei Schritt S25 wird unter Verwendung der ausgelesenen Mehrfach-Blickpunktbilddaten ein aus der Blickpunktposition zu betrachtendes Bild rekonstruiert. Bei Schritt S26 wird das rekonstruierte, aus der beliebigen Blickpunktposition betrachtete Bild an der Anzeigeeinheit 17 angezeigt.
Es sei erwähnt, dass in diesem Fall ein einzelnes Bild entsprechend der Blickpunktposition des Betrachters rekonstruiert wird. Werden Bilder entsprechend den Positionen des rechten und linken Auges des Betrachters erzeugt, kann ein stereoskopisches Bild angezeigt werden.
Werden eine Vielzahl von Bildern gleichzeitig rekonstruiert, kann ein stereoskopisches Betrachten unter Verwendung einer lentikularen Anzeigeeinrichtung oder dergleichen erzielt werden, auch wenn der Betrachter seine oder ihre Blickpunktposition ändert.
Es sei erwähnt, dass das zuvor erwähnte Programm in bzw. auf einem Speichermedium, wie beispielsweise einer HD (Festplatte), FD (Floppy-Disk), CD-ROM, einem ROM, einem Magnetband, oder dergleichen gespeichert werden kann, durch die Speichermediumleseeinrichtung 15 ausgelesen werden kann, und in der Speichereinheit 14 gespeichert werden kann.
Nachfolgend wird die Bildrekonstruktionsverarbeitung bei Schritt S25 bei dem Flussdiagramm in 2 ausführlich erläutert.
3 zeigt das Prinzip einer Rekonstruktion eines Bildes aus einer beliebigen Blickpunktposition unter Verwendung von Mehrfach-Blickpunktbildern, welche durch die Bildeingabeeinheit 11 des Bildverarbeitungsgeräts gemäß dem ersten Beispiel des Standes der Technik eingegeben werden.
3 veranschaulicht ein Objekt bzw. einen Gegenstand 31, eine Reihe bzw. Linie 32 mit Projektionsblickpunkten, wobei die Linie die Bilderfassungspositionen einer Vielzahl von Eingabebildern (Photoaufnahmepositionen einer Kamera) verbindet, eine virtuelle Kamera 33, welche bei einer beliebigen Betrachtungsposition P (x', z') eingerichtet ist, eine Bilderfassungsebene 34 eines Bilderfassungselements (CCD) der bei der Position P (x', z') eingerichteten virtuellen Kamera 33, und ein Bild 35 bei der Betrachtungsposition P (x', z'), welches bei der Erfassungsebene 34 des virtuellen Bildes, das heißt bei der Blickpunktposition, gebildet bzw. geformt ist.
Es ist zu beachten, dass die Bilderfassungsebene 34 der virtuellen Kamera 33 zur Vereinfachung des Verständnisses als auf der Objektseite im Bezug auf die Betrachtungsposition gedacht veranschaulicht ist, da der Bildschirm beim Betrachten des Objekts 31 bei der Betrachtungsposition P angenommen ist. Wird es in der Praxis jedoch angenommen, dass die Betrachtungsposition P das Zentrum der Kamera ist, befindet sich die Bilderfassungsebene auf der Seite gegenüber dem Objekt bzw. Gegenstand im Bezug auf die Betrachtungsposition P.
3 veranschaulicht auch ein Bild 36 bei einer z-Betrachtungsposition an der aktuellen Linie 32 mit Projektionsblickpunkten, das heißt einer Blickpunktposition R, und ein Bild 37 bei einer Blickpunktposition Q auf der Linie 32 mit Projektionsblickpunkten.
Nachfolgend wird die Bildrekonstruktionsverarbeitung bei Schritt S25 bei dem Flussdiagramm in 2 unter Bezugnahme auf die vorangehende 3 und das Flussdiagramm in 4 beschrieben. Bei der folgenden Beschreibung repräsentiert i das Bildelement in der horizontalen Richtung auf dem Bildschirm und j repräsentiert die Zeile in der vertikalen Richtung. Bei Schritt S41 wird eine Zielzeile j bei der Kopfzeile bzw. obersten Zeile eines Bildes P gesetzt und es wird ein Zielbildelement i bei dem Bildelement bei dem linken Ende bzw. Rand der Linie j gesetzt.
Bei Schritt S42 wird die Position eines Bildes Q in der Linie 32 mit Projektionsblickpunkten entsprechend dem i-ten Bildelement der Zeile j eines Bildes P berechnet. Diese Position kann wie folgt berechnet werden. Es sei angenommen, dass ein bestimmter Punkt A bei einer Bildelementposition Pi der virtuellen Kamera bei der Blickpunktposition P abgebildet wird. Es sei außerdem angenommen, dass Q die Kreuzung zwischen einer die Positionen A und P verbindenden Linie und der Linie 32 mit Projektionsblickpunkten repräsentiert.
Wie aus 3 ersichtlich, ist zu dieser Zeit das bei der Bildelementposition Pi abgebildete Objekt äquivalent zu demjenigen, welches bei einer Bildelementposition Qi des bei der Blickpunktposition Q aufgenommenen Bildes abgebildet ist.
Aus der geometrischen Grenzbedingung in 3 kann die X-Koordinate x der Blickpunktposition Q durch die nachfolgende Gleichung (1) ausgedrückt werden. In diesem Fall sei die zentrale Bildelementposition der Abtastzeile als das 0-te Bildelement angenommen. x = x' + i·d·(g – z')/f (1)wobei d der Bildelementabstand der Erfassungsebene 34 eines virtuellen Bildes der virtuellen Kamera 33 ist, f die Brennweite ist, und g der Abstand von dem Ausgangspunkt zu der Linie 32 mit Projektionsblickpunkten.
In ähnlicher Weise ist das bei einer Bildelementposition Pj der virtuellen Kamera bei der Blickpunktposition P abgebildete Objekt äquivalent zu demjenigen, welches bei einer Bildelementposition Rj eines Bildes bei einer Blickpunktposition R abgebildet ist, welches in der Speichereinheit 14 gespeichert ist.
Mit diesem Verfahren kann ein Bild bei einer beliebigen Blickpunktposition aus bei anderen Blickpunktpositionen aufgenommenen Bildern rekonstruiert werden. Jedoch muss das folgende Problem gelöst werden.
Genauer wird bei diesem Verfahren beispielsweise, wenn ein Bild durch Kopieren des i-ten Bildelementwerts der Zeile j des Bildes Q auf das i-te Bildelement der Zeile j des Bildes P rekonstruiert wird, das rekonstruierte Bild oft verzerrt, das heißt, das Objekt bzw. der Gegenstand in dem Bild streckt sich oder schrumpft vertikal. Um dieses Problem zu lösen, wird bei Schritt S43 die Zeilennummer des Bildes Q entsprechend der Zeile j des Bildes P berechnet. Dieses Verfahren des Berechnens der Zeilennummer des Bildes Q wird nachfolgend unter Bezugnahme auf 5 beschrieben.
5 zeigt das Prinzip des Korrigierens einer Verzerrung des Bildes, welches durch die Verarbeitung bei Schritt S25 bei dem Bildverarbeitungsgerät des ersten Beispiels des Standes der Technik rekonstruiert wird. 5 veranschaulicht ein Objekt bzw. einen Gegenstand 51, ein bei einer beliebigen Blickpunktposition P zu rekonstruierendes Bild 52, und ein Bild 53 bei einer Blickpunktposition S auf der Zeile 32 mit Projektionsblickpunkten.
Es wird ein gegebener Punkt B in dem Gegenstand 51 untersucht. Es sei angenommen, dass der Punkt B nah an der Y-Achse liegt, wobei die Z-Koordinatenwerte Pz und Sz des bei der Blickpunktposition P zu rekonstruierenden Bildes 52 und des Bildes 53 bei der Blickpunktposition S auf der Linie 32 mit Projektionsblickpunkten ausreichend groß sind, oder der Z-Koordinatenwert Pz des bei der Blickpunktposition P zu rekonstruierenden Bildes 52 ungefähr gleich dem Z-Koordinatenwert Sz des Bildes 53 bei der Blickpunktposition S auf der Zeile 32 mit Projektionsblickpunkten ist. In diesem Fall werden von dem Punkt B kommende Lichtstrahlen auf der m-ten Zeile in dem bei der Blickpunktposition P zu rekonstruierenden Bild 52 und der n-ten Zeile des Bildes 53 bei der Blickpunktposition S auf der Zeile 32 mit Projektionsblickpunkten aufgezeichnet. Repräsentiert d die Bildelementabstände der Erfassungsplatte 34 des virtuellen Bildes, repräsentiert f die Brennweite der virtuellen Kamera 33, und repräsentiert N die Anzahl von Zeilen der Erfassungsebene 34 eines virtuellen Bildes, gilt. Pz·tanα = Sz·tanβ (2) tanα = d·(N/2 – m)/f (3) tanβ = d·(N/2 – n)/f (4)aus den Gleichungen (2), (3), (4) ergibt sich: n = N/2 + (m – N/2)·Sz/Pz (5)
Dementsprechend ist der Wert der m-ten Abtastzeile des bei der Blickpunktposition P zu rekonstruierenden Bildes 52 äquivalent zu der durch Gleichung (5) gegebenen n-ten Abtastzeile des Bildes 53 bei der Blickpunktposition S auf der Zeile 32 mit Projektionsblickpunkten. Folglich wird bei Schritt S44 der Wert des i-ten Bildelements der Zeile n des Bildes Q auf das i-te Bildelement der Zeile j des Bildes P kopiert. Mit dieser Verarbeitung kann eine Bildverzerrung bei einer Rekonstruktion des Bildes bei der Blickpunktposition, welche sich nicht auf der Zeile 32 mit Projektionsblickpunkten befindet, bis zu einem gewissen Maß unterbunden werden. Danach setzt sich der Fluss mit Schritt S45 fort, um zu prüfen, ob eine Verarbeitung für alle Bildelemente in der Zielzeile j beendet ist. Lautet die Antwort bei Schritt S45 JA, setzt sich der Fluss mit Schritt S47 fort; andererseits setzt sich der Fluss mit Schritt S46 fort. Bei Schritt S46 wird das Zielbildelement i zu dem rechten Nachbarbildelement bewegt, und der Fluss kehrt zu Schritt S42 zurück. Bei Schritt S47 wird es geprüft, ob die Verarbeitung für alle Zeilen in dem Bild P beendet ist. Lautet die Antwort bei Schritt S47 JA, endet diese Unterroutine und kehrt zu Schritt S26 bei dem Flussdiagramm in 2 zurück; andernfalls wird bei Schritt S48 die Zielzeile j zu der nächsten Zeile bewegt und das Zielbildelement i wird an das linke Ende bzw. den linken Rand der Zeile j gesetzt. Danach kehrt der Fluss zu Schritt S42 zurück.
Auf diese Weise wird, wenn Mehrfach-Blickpunktbilder erlangt werden, die mit sehr kleinen Intervallen auf der Linie 32 mit Projektionsblickpunkten aufgenommen sind, die selbe Verarbeitung auf der Grundlage des zuvor erwähnten Prinzips für alle Abtastzeilen wiederholt, wodurch ein Bild bei der Blickpunktposition rekonstruiert wird, welche sich nicht auf der Zeile 32 mit Projektionsblickpunkten befindet, während eine Bildverzerrung minimiert wird.
(b) Zweites Beispiel des Standes der Technik
Das erste Beispiel des Standes der Technik weist eine Beschränkung dahingehend auf, dass die Blickpunktpositionen von eingegebenen Mehrfach-Blickpunktbildern in einer Linie bzw. Reihe angeordnet sein müssen. Nachfolgend wird ein Verfahren erläutert, welches diese Beschränkung beseitigen kann.
Es wurde eine Technik (dreidimensionaler Raumausdruck durch Lichtraum) zur Annahme einer (nachfolgend als eine Bezugsebene 61 zu bezeichnende) Ebene von z = 0 in einem in 6A und 6B gezeigten Koordinatensystem und zum Ausdrücken eines dreidimensionalen Raums als eine Satz bzw. eine Gruppe von durch diese Ebene laufenden Lichtstrahlen vorgeschlagen.
Bei dieser Technik ist ein Bild, welches von einer innerhalb einen Bereich von z ≥ 0 in dem dreidimensionalen Raum fallenden Blickpunktposition P betrachtet werden kann, äquivalent zu einem Bild, welches durch Abtasten nur von Lichtstrahlen, welche durch P laufen, aus der Gruppe von durch die Bezugsebene 61 laufenden Lichtstrahlen (vergleiche 7) erlangt wird.
Im Allgemeinen wird jeder Lichtstrahl durch eine Position (x, y), wo er durch die Bezugsebene 61 läuft, Winkeln Φ und Ψ zwischen dem Lichtstrahl und der X- und Y-Achse, eine Zeit t, bei welcher der Lichtstrahl durch die Ebene läuft, und eine Farbe (r, g, b) des Lichtstrahls ausgedrückt. Jedoch wird es in der Praxis angenommen, dass das Objekt bzw. der Gegenstand ein feststehender Gegenstand ist, und dass er keine Parallaxe in der Y-Achsrichtung aufweist, da das Berechnungsvolumen und Datenvolumen riesig wird, wenn alle diese Daten Verwendung finden. Unter dieser Annahme werden Lichtstrahlen auf den Lichtraum (in diesem Fall eine x-u-Ebene) unter Verwendung von u = tanΦ projiziert, und wenn der Lichtraum in dem projizierten x-u-Raum zu verarbeiten ist, definieren einen gegebenen Punkt P durchlaufende Lichtstrahlen einen linearen Pfad, wie in 8 gezeigt. Dieser Pfad ist gegeben durch: x = x – Z·u (6) u = tanΦ (7)wobei (X, Z) die Betrachtungsblickpunktposition repräsentiert, und x die Position des Schnittpunkts zwischen jedem Lichtstrahl und der X-Achse in der x-u-Ebene repräsentiert. Außerdem repräsentiert Φ den Winkel zwischen dem Lichtstrahl und der Z-Achse.
Zuerst wird, wie in 9A und 9B gezeigt, auf der Grundlage von bei einer großen Anzahl von Blickpunktpositionen erlangten Bildern ein linearer Pfad berechnet, und es sei angenommen, dass die x-u-Ebene mit hoher Dichte mit diesen Pfaden gefüllt wird. Dann kann ein Bild bei einer in den Bereich von z ≥ 0 fallenden Blickpunktposition Q erlangt werden, indem die Pfade von durch die Position Q laufenden Lichtstrahlen in der x-u-Ebene berechnet werden und die Farben von bereits auf den Pfaden aufgezeichneten Lichtstrahlen erlangt werden, wie in 10 gezeigt. Bei diesem Verfahren kann, da eine Verarbeitung durch Abbilden von Mehrfach- Blickpunktbildern auf der x-u-Ebene erzielt wird, ein Bild rekonstruiert werden, auch wenn die Blickpunktpositionen von Eingabebildern nicht in einer Linie bzw. Reihe angeordnet sind.
(c) Drittes Beispiel des Standes der Technik
Bei dem zweiten Beispiel des Standes der Technik wird eine Verarbeitung in Einheiten von Abtastzeilen wie bei dem ersten Beispiel des Standes der Technik durchgeführt. Das heißt, die erste Zeile eines bei einer gegebenen Blickpunktposition zu erzeugenden Bildes wird unter Verwendung der ersten Zeilen von eingegebenen Mehrfach-Blickpunktbildern erzeugt, und die j-te Zeile des bei der Blickpunktposition zu erzeugenden Bildes wird unter Verwendung der j-ten Zeilen von eingegebenen Mehrfach-Blickpunktbildern erzeugt. Wird auf diese Weise ein Bild erzeugt, wird es verzerrt, da keine Parallaxe in der vertikalen Richtung (Y-Richtung) vorhanden ist.
Um diese Verzerrung zu beseitigen, werden bei dem dritten Beispiel des Standes der Technik beim Erlangen der Farbdaten von bereits auf den zuvor erwähnten Pfaden aufgezeichneten Lichtstrahlen die Entsprechungen zwischen Punkten auf den Pfaden und den eingegebenen Mehrfach-Blickpunktbildern geprüft. Aus dem Abstand Sz von der Fotoaufnahmeposition des Bildes zu der Bezugsebene und dem Abstand Pz von der Position des zu erzeugenden Bilds zu der Bezugsplatte wird gemäß der vorangehenden Gleichung (5) eine entsprechende Zeile berechnet, und das Bild wird unter Verwendung der berechneten Zeile erzeugt. Es sei erwähnt, dass N die Anzahl von Zeilen des Bildes repräsentiert, m die Position der Zielzeile repräsentiert, und n die Zeilenposition in dem entsprechenden Bild repräsentiert. Nimmt n einen nicht vorhandenen Wert an, wird der Wert des zu erzeugenden Bildes auf einen vorbestimmten Wert gesetzt.
Wie zuvor beschrieben, wird bei einer Verarbeitung jeder Zeile die Zeilenposition in einem erforderlichen Mehrfach-Blickpunktbild entsprechend der Position des zu erzeugenden Bildes und der Position eines Mehrfach-Blickpunktbildes berechnet, welches zur Erzeugung des Bildes erforderliche Lichtstrahlen umfasst, und es wird die berechnete Zeile verwendet, wodurch eine Verzerrung des erzeugten Bildes unterbunden wird.
Wie zuvor beschrieben, kann gemäß dem ersten, zweiten und dritten Beispiel des Standes der Technik, da die Blickpunktposition des Betrachters erfasst wird und ein von dem Betrachter betrachtetes Bild unter Verwendung einer Vielzahl von Bildern rekonstruiert wird, wenn sich die Blickpunktposition des Betrachters bewegt, ein der bewegten Blickpunktposition entsprechendes Bild reibungslos bzw. übergangslos ausgegeben werden.
Beim Erzeugen eines Bildes wird die zur Erzeugung des Bildes erforderliche Position einer Abtastzeile auf der Grundlage der Blickpunktposition des Betrachters und der Blickpunktposition eines zur Erzeugung des Bildes erforderlichen Eingabebildes berechnet, und sie wird beim Erzeugen des Bildes verwendet. Auf diese Weise kann ein verzerrungsfreies Bild erzeugt werden.
Unter Verwendung einer Vielzahl von Teilen von bei mehreren Blickpunkten aufgenommenen Bildinformationen kann unter Verwendung von Bildern entsprechend dem rechten und linken Blickpunkt ein stereoskopisches Bild rekonstruiert werden, und es kann ein Bildverarbeitungsgerät mit einem breiten Anwendungsbereich realisiert werden.
Aus einer Vielzahl von Teilen von bei mehreren Blickpunktpositionen bzw. Mehrfach-Blickpunktpositionen aufgenommenen Bildinformationen wird ein aus einer beliebigen Blickpunktposition betrachtetes Bild erzeugt, und es kann eine beim Erzeugen eines Bildes verursachte Verzerrung beseitigt werden, wodurch ein natürliches Bild erlangt wird.
Aus einer Vielzahl von Teilen von bei mehreren Blickpunktpositionen bzw. Mehrfach-Blickpunktpositionen aufgenommenen Bildinformationen kann ein Bild mit einer Ansicht aus einer beliebigen Blickpunktposition einfach erzeugt werden, und es können verschiedenste Arten einer Bildverarbeitung durchgeführt werden, ohne dass das Berechnungsmaß und die erforderliche Speicherkapazität erhöht wird.
Da eine Bildsynthese frei von jeglicher Verzerrung realisiert werden kann, kann ein natürliches Bild mit hoher Qualität erlangt werden.
Beobachtet der Betrachter eine beliebige Position auf dem Anzeigebildschirm des Monitors, kann ein Bild bei der Blickpunktposition einfach erzeugt werden.
Ausführungsbeispiele
Erstes Ausführungsbeispiel
Da das zweite Beispiel des Standes der Technik eine bei z = 0 gesetzte einzige Ebene als die Bezugsebene verwendet, ist der eine Betrachtung zulassende Blickpunktpositionsbereich auf den Bereich z ≥ 0 beschränkt, und daher ist der Betrachtungsbereich schmal, in welchem eine Bewegung der Blickpunktposition zugelassen ist. Wird der dreidimensionale Raum durch einen einzigen x-u-Raum ausgedrückt, divergiert tanΦ, wenn Φ ungefähr gleich ±90° ist (oder wenn die Bezugsebene und durch die Bezugsebene laufende Lichtstrahlen fast parallel zueinander sind), und es ist ein unendlich breiter x-u-Raum, das heißt ein riesiges Datenvolumen, erforderlich.
Bei dem ersten Ausführungsbeispiel kann im Vergleich zu dem zweiten Beispiel des Standes der Technik ein breiter Betrachtungsbereich sichergestellt werden, innerhalb welchem eine Bewegung der Blickpunktposition zulässig ist, und außerdem kann eine Zunahme von erforderlichem Datenvolumen unterbunden werden.
11 ist ein Blockschaltbild des Bildverarbeitungsgeräts gemäß dem ersten Ausführungsbeispiel der vorliegenden Erfindung.
Das in 11 gezeigte Gerät weist im Wesentlichen dieselbe Anordnung wie das in 1 gezeigte Bildverarbeitungsgerät auf. Jedoch speichert in 11 eine Speichereinheit die Anzahl 14b von Bezugsebenen, eine Blickpunktposition 14c, eine Richtung 14d einer Blickrichtung, eine Bildgröße 14e, einen Blickwinkel 14f, einen Bildparameter 14g, ein Bild 14h, und dergleichen zusätzlich zu einem Programm 14a zur Steuerung einer CPU 13.
12 ist eine erläuternde Ansicht des Verfahrens des Erlangens von Mehrfach-Blickpunktbildern bei einer Bildeingabeeinheit 11 des Bildverarbeitungsgeräts des ersten Ausführungsbeispiels. 12 veranschaulicht ein zu photographierendes Objekt bzw. Gegenstand 121, einen drehbaren Tisch 122, welcher sich dreht, während der Gegenstand 121 darauf platziert ist, um so Bilder des Gegenstands 121 aus seinen ihn umgebenden Positionen aufzunehmen, und eine CCD-Kamera 123, welche zur Aufnahme von Bildern des Gegenstands 121 Verwendung findet.
Durch die CCD-Kamera 123 werden Mehrfach-Blickpunktbilder aufgenommen, während der auf dem drehbaren Tisch 122 platzierte Gegenstand 121 gedreht wird. Die durch die CCD-Kamera 123 aufgenommenen Mehrfach-Blickpunktbilder werden in der Speichereinheit 14 gespeichert.
Nachfolgend wird die Operation bzw. der Betrieb des ersten Ausführungsbeispiels erläutert. Aus Gründen der Vereinfachung wird nachfolgend nur ein Fall beschrieben, wobei die Parallaxe in der Y-Achsrichtung ignoriert wird. Jedoch ist es nicht notwendig zu erwähnen, dass dieses Ausführungsbeispiel in ähnlicher Weise angewendet werden kann, auch wenn die Parallaxe in der Y-Achsrichtung vorhanden ist. Im Folgenden wird die Operation bzw. der Betrieb unter Bezugnahme auf 13 kurz beschrieben.
13 ist ein Flussdiagramm, welches den Fluss der Verarbeitung des Bildverarbeitungsgeräts des ersten Ausführungsbeispiels zeigt.
Vor der Verarbeitung werden bei Schritt S131 der Arbeitsbereich, zu verwendende Variablen, und dergleichen in der Speichereinheit 14 initialisiert.
Bei Schritt S132 wird die Anzahl von Bezugsebenen des Lichtraums und ihr Layout bestimmt. In diesem Fall können vorbestimmte Werte Verwendung finden, oder eine Bedienperson kann diese Werte zu Beginn der Verarbeitung von einer Eingabeeinheit 16 eingeben. Ist der betrachtbare Bereich beschränkt, kann die Anzahl von Bezugsebenen entsprechend dem beschränkten Bereich gesetzt werden. Die vorliegende Erfindung ist nicht auf das zuvor erwähnte Verfahren beschränkt.
In diesem Fall werden vier Bezugsebenen derart angeordnet, dass ihre u-Achsen einander überlappen, und die vier Ebenen werden jeweils nacheinander um 90° geschoben, damit sie ihre u-Achsen als das Zentrum aufweisen. Dieses Layout bzw. diese Gestaltung wird nachfolgend als ein Wasserradlayout bzw. eine Wasserradgestaltung bezeichnet, und 14A und 14B zeigen diesen Zustand. Bei diesem Ausführungsbeispiel finden vier Bezugsebenen Verwendung. Jedoch ist die vorliegende Erfindung nicht darauf beschränkt, und die Anzahl n von Bezugsebenen kann irgendeine ganze Zahl sein, welche die Gleichung n > 1 erfüllt.
Nachfolgend wird ein Fall erläutert, bei welchem die radial angeordneten Bezugsebenen Verwendung finden, um den Lichtraum des Bildverarbeitungsgeräts des ersten Ausführungsbeispiels auszudrücken.
Ein radiales Anordnen der Bezugsebenen ist ein Anordnen der Bezugsebenen derart, dass alle Bezugsebenen auf einer einzigen durch einen Gegenstand laufenden Linie (in diesem Fall die Y-Achse) kreuzen, die Winkel benachbarter Bezugsebenen einander gleich gemacht sind, und jede der Bezugsebenen einen Winkel α/2 (wobei α der Winkel zwischen benachbarten Bezugsebenen ist) mit der Z-Achse einnimmt. Dann werden die Winkel zwischen den auf diese Weise angeordneten Bezugsebenen und durch die Bezugsebenen laufenden Lichtstrahlen geprüft, und es werden Lichtstrahlen in einem Lichtraum entsprechend der Bezugsebene aufgezeichnet, zwischen welchen ein einem rechten Winkel am nächsten kommender Winkel gebildet ist. Bei der folgenden Beschreibung wird ein Fall als ein Beispiel veranschaulicht, bei welchem vier radial angeordnete Bezugsebenen Verwendung finden. In 14B entspricht eine erste Bezugsebene 141 einem Lichtraum, welcher den Pfad von Lichtstrahlen aufzeichnet, welche von dem Gegenstand 121 kommen und Winkel aufweisen, welche innerhalb den Bereich von 0° ≤ Φ < 90° fallen. Eine zweite Bezugsebene 142 entspricht einem Lichtraum, welcher die Pfade von Lichtstrahlen aufzeichnet, welche von dem Gegenstand 121 kommen und Winkel aufweisen, welche in die Spanne von 90° ≤ Φ < 180° fallen. Eine dritte Bezugsebene 143 entspricht einem Lichtraum, welcher die Pfade von Lichtstrahlen aufzeichnet, welche von dem Gegenstand 121 kommen und Winkel aufweisen, welche innerhalb den Bereich von 180° ≤ Φ < 270° fallen. Eine vierte Bezugsebene 144 entspricht einem Lichtraum, welcher die Pfade von Lichtstrahlen aufzeichnet, welche von dem Gegenstand 121 kommen und Winkel aufweisen, welche innerhalb den Bereich von 270° ≤ Φ < 360° fallen.
Nach der Verarbeitung bei Schritt S132 wird bei dem Schritt S133 die Blickpunktposition und Richtung einer Blickrichtung durch den Blickpunktposition- und Richtung-einer-Blickrichtung-Detektor 12 erfasst. In diesem Fall findet der Blickpunktposition- und Richtung-einer-Blickrichtung-Detektor 12 Verwendung, da ein Bild, auf welches durch die Blickrichtung und Richtung einer Blickrichtung des Betrachters gezeigt wird, als ein gewünschtes Bild angesehen wird. Jedoch ist die vorliegende Erfindung nicht auf diese spezifische Einrichtung beschränkt, und es kann eine andere Einrichtung zur Eingabe eines gewünschten Bilds (der Blickpunktposition und Richtung einer Blickrichtung) der Bedienperson Verwendung finden.
Danach wird bei Schritt S134 die Größe und der Blickwinkel des zu erzeugenden Bildes bestimmt. Diese Werte können durch die Bedienperson unter Verwendung der Eingabeeinheit 16 eingegeben werden, oder es können in der Speichereinheit 14 im Voraus gespeicherte Werte Verwendung finden. Alternativ können diese Werte entsprechend der Auflösung der Anzeigeeinheit 17 oder der Verarbeitungsleistungsfähigkeit der CPU 13 bestimmt werden, und die vorliegende Erfindung ist nicht auf die vorangehende spezielle Einrichtung beschränkt.
Nachdem die Bildgröße und der Blickwinkel bestimmt sind, setzt sich der Fluss mit Schritt S135 fort, und es werden in der Speichereinheit 14 gespeicherte Mehrfach-Blickpunktdaten und Parameter (die Richtung α der optischen Achse, der Blickwinkel ω, die Anzahl N von Bildelementen in der Abtastzeilenrichtung der CCD, die Anzahl M von Zeilen, und die Photoaufnahmeposition (x, z)) beim Aufnehmen von Bildern extrahiert. Auf der Grundlage der extrahierten Parameter wird die Richtung Φ von durch das Linsenzentrum bzw. Objektivzentrum der Kamera laufenden Lichtstrahlen und die individuellen Bildelemente der CCD berechnet, und auf der Grundlage der Werte Φ wird eine der vier Bezugsebenen bestimmt, in welcher der entsprechende Lichtstrahl aufzuzeichnen ist. Gemäß den Gleichungen (6) und (7) werden die Farben von Lichtstrahlen, die Anzahlen von den Lichtstrahlen entsprechenden ursprünglichen Mehrfach-Blickpunktbildern und die Bildelementanzahlen in dem x-u-Raum entsprechend der bestimmten Bezugsebene aufgezeichnet.
Nachfolgend wird unter Bezugnahme auf 15 eine Erzeugung von Lichtraumdaten bei dem Bildverarbeitungsgerät des ersten Ausführungsbeispiels beschrieben. 15 veranschaulicht eine optische Achse 151 einer Kamera, einen Blickwinkel 152 der Kamera, ein Linsenzentrum bzw. Objektivzentrum 153 der Kamera, eine CCD-Fläche 154 der Kamera, und einen Schnittpunkt 155 zwischen einer das i-te Bildelement auf der CCD-Fläche 154 und das Objektivzentrum 153 verbindenden Linie und der X-Achse.
Nachfolgend wird unter Bezugnahme auf 15 der Betrieb bei Schritt S136 nach Schritt S135 ausführlich beschrieben.
Wie in 15 gezeigt, sei es angenommen, dass für die Photoaufnahmebedingungen eines gegebenen Mehrfach-Blickpunktbildes unter Mehrfach-Blickpunktbildern (x, z) die Position des Objektivzentrums 153 der Kamera ist, α die Richtung der optischen Achse 151 der Kamera ist, ω der Blickwinkel 152 der Kamera ist und N die Anzahl von Bildelementen auf der CCD-Fläche 154 der Kamera ist. Außerdem sind, wie in 15 gezeigt, den individuellen Bildelementen auf der CCD-Fläche 154 der Kamera Nummern zugewiesen.
Zuerst wird eine Bezugsebene bestimmt, von welcher ein Lichtstrahl kommt, der das i-te Bildelement (-N/2 ≤ i < N/2) auf der ersten Zeile der CCD-Fläche 154 der Kamera und das Objektivzentrum 153 der Kamera verbindet. Die Bezugsebene wird auf der Grundlage des Winkels bestimmt, welchen der Lichtstrahl mit der Z-Achse einnimmt, und dieser Winkel Φ ist gegeben durch: Φ = atan(i*tan(ω/2.0)/N/2) + α (8) wobei atan den arctan (Arcustangens) repräsentiert. Zu dieser Zeit wird es bestimmt, wenn der Winkel (die Richtung) Φ des Lichtstrahls innerhalb den Bereich von 0° ≤ Φ < 90° fällt, dass der Lichtstrahl von der ersten Bezugsebene 141 kommt; wenn der Winkel Φ innerhalb den Bereich von 90° ≤ Φ < 180° fällt, von der zweiten Bezugsebene 142; wenn der Winkel Φ innerhalb den Bereich von 180° ≤ Φ < 270° fällt, von der dritten Bezugsebene 143; und wenn der Winkel Φ innerhalb den Bereich von 270° ≤ Φ < 360° fällt, von der vierten Bezugsebene 144 kommt. Die Farbe dieses Lichtstrahls wird bei einer Position aufgezeichnet, welche durch die Gleichungen (6) und (7) in dem x-u-Raum entsprechend der bestimmten Bezugsebene gegeben ist. Es sei erwähnt, dass die Gleichungen (6) und (7) diejenigen sind, welche z = 0 als die Bezugsebene verwenden, und daher wird die folgende Vorverarbeitung durchgeführt.
Wird es bestimmt, dass der Lichtstrahl von der dritten Bezugsebene 143 kommt, wird die Position des Objektivzentrums 153 der Kamera um 225° gedreht, und von der Richtung Φ des Lichtstrahls wird 225° subtrahiert. Mit dieser Verarbeitung wird die dritte Ebene 143 eine Ebene mit z = 0, und es können die Gleichungen (6) und (7) angewendet werden. In ähnlicher Weise werden die erste, zweite und vierte Ebene 141, 142 und 144 der selben Verarbeitung (die Winkel, um welche gedreht wird und welche abgezogen bzw. subtrahiert werden, sind jeweils 45°, 135° und 315°) unterzogen, und es können die Gleichungen (6) und (7) angewendet werden. (Im Allgemeinen werden die Winkel, um welche zu drehen ist, und welche zu subtrahieren sind, durch (c1 + c2)/2 berechnet, wenn c1 ≤ Φ < c2 gilt.)
Die zuvor erwähnte Verarbeitung wird für Lichtstrahlen durchgeführt, welche alle die innerhalb den Bereich von -N/2 ≤ i < N/2 fallenden Bildelemente durchlaufen, und die Bildanzahl bzw. Bildnummer des entsprechenden Mehrfach-Blickpunktbilds und die Bildelementposition (Bildelementnummer bzw. Bildelementanzahl) in der ersten Zeile des Bildes werden in dem entsprechenden x-u-Raum aufgezeichnet. Ferner wird eine derartige Verarbeitung für alle eingegebenen Mehrfach-Blickpunktbilder wiederholt. Mit dieser Verarbeitung können alle aus den eingegebenen Mehrfach-Blickpunktbildern berechneten Lichtstrahlen in den vier x-u-Räumen aufgezeichnet werden. Bei diesem Ausführungsbeispiel wird die Verarbeitung nur für die erste Zeile jedes Mehrfach-Blickpunktbildes durchgeführt, und sie wird nicht für die verbleibenden Zeilen durchgeführt. Ist eine vertikale Parallaxe (in der Y-Richtung) zu ignorieren, wenn die erste Zeile allein verarbeitet wird, können die verbleibenden Zeilen bei der selben Position in dem selben x-u-Raum abgebildet werden. Aus diesem Grund können, nachdem die Verarbeitung für die erste Zeile in jedem Bild durchgeführt worden ist, andere Zeilen in ähnlicher Weise berechnet werden.
Danach wird bei Schritt S137 ein Abschnitt mit einem unentschiedenen Wert in jedem x-u-Raum durch Interpolation berechnet. Diese Verarbeitung kann durch ein Verfahren des Erfassens des nächsten benachbarten Werts oder ein Verfahren des Erfassens entsprechender Punkte in dem x-u-Raum zur Erlangung des Pfads der entsprechenden Punkte, und ein Durchführen einer Interpolation auf der Grundlage des erlangten Pfads erzielt werden. Es können auch andere Interpolationsverfahren Verwendung finden.
Bei Schritt S138 wird ein Bild gemäß der Blickpunktposition und Richtung einer Blickrichtung des Betrachters erzeugt, wodurch eine Reihe von Verarbeitungsbetrieben bzw. Verarbeitungsoperationen beendet werden.
Nachfolgend wird eine Bilderzeugung bei Schritt S138 genauer beschrieben.
Repräsentiert (x, z) die Blickpunktposition des Betrachters, repräsentiert α die Richtung einer Blickrichtung, und repräsentiert ω den Blickwinkel, ist ein von dem Betrachter betrachtbares Bild äquivalent zu einem Bild, welches mit einer virtuellen Kamera mit der Objektivzentrumsposition (x, z) der Richtung α der optischen Achse, und dem Blickwinkel ω aufgenommen wird. Auf diese Weise sei ein durch diese virtuelle Kamera aufgenommenes Bild angenommen, und es werden die Abbildungspositionen in dem x-u-Raum von aus diesem Bild erlangten Lichtstrahlen gemäß dem zuvor erwähnten Verfahren berechnet. Die bei den Berechnungen verwendeten Berechnungsformeln sind die gleichen wie die Gleichungen (6) und (7). Mit diesen Berechnungen wird die Zeilenzahl bzw. Zeilennummer nachfolgend berechnet, da die Bildnummer und Bildelementnummer erfasst werden kann, welche auf der entsprechenden Position in dem x-u-Raum aufgezeichnet sind. Diese Verarbeitung wird im Folgenden unter Bezugnahme auf 5 und 15 beschrieben.
In 5 ist das erste Ausführungsbeispiel im Wesentlichen das selbe wie das erste Beispiel des Standes der Technik, außer dass sich die Blickpunktposition S nicht auf der Linie 32 mit Projektionsblickpunkten befindet, sondern sie ist in Mehrfach-Blickpunktbildern vorhanden, welche von der Bildeingabeeinheit 11 erlangt sind.
Daher werden, wenn d den Bildelementabstand der CCD-Fläche 154 der Kamera repräsentiert, f die Brennweite der CCD-Kamera 123 repräsentiert, und N die Anzahl von Zeilen der CCD-Fläche 154 der Kamera repräsentiert, die vorangehenden Gleichungen (2), (3), und (4) erlangt, und aus den Gleichungen (2), (3), und (4) wird die vorangehende Gleichung (5) erlangt.
Dementsprechend ist der Wert der m-ten Abtastteile des bei der Blickpunktposition P zu rekonstruierenden Bildes 52 äquivalent zu dem durch die Gleichung (5) gegebenen Wert der n-ten Abtastzeile des Bildes 53 bei der Blickpunktposition S in den von der Bildeingabeeinheit 11 erlangten Mehrfach-Blickpunktbildern.
Nachdem die Zeilennummer erlangt ist, können die Bildelemente in den Eingabebildern eindeutig bestimmt werden. Daher wird die Farbe des bestimmten Bildelements derjenigen des virtuellen Kamerabilds entsprechend dem zuvor erwähnten Lichtstrahl zugewiesen. Ist ein eindeutig bestimmtes Bildelement vorhanden, kann stattdessen der nächste Lichtstrahl von denjenigen in dem x-u-Raum aufgezeichneten verwendet werden, oder es kann ein vorbestimmter Wert zugewiesen werden.
Ist die zuvor erwähnte Verarbeitung für alle Bildelemente des Bildes der virtuellen Kamera durchgeführt, kann ein Bild entsprechend der Blickpunktposition und der Richtung einer Blickrichtung des Betrachters erzeugt werden.
Mit der vorangehenden Anordnung kann ein nicht durch eine einzelne Bezugsebene ausdrückbarer Bereich ausgedrückt werden. Da eine Vielzahl von Bezugsebenen Verwendung findet, wird ein Winkel zwischen jeder Bezugsebene und einem durch die Bezugsebene laufenden Lichtstrahl annähernd ein rechter Winkel. Aus diesem Grund kann der Bereich des x-u-Raums entsprechend jeder Bezugsebene klein werden und als Konsequenz davon kann das zu haltende Datenvolumen reduziert werden.
Es sei erwähnt, dass der Blickpunktposition- und Richtung-einer-Blickrichtung-Detektor 12 jede Einrichtung aufweisen kann, welche die Blickpunktposition und die Richtung einer Blickrichtung erfassen kann. Außerdem kann die Anzeigeeinheit 17 eine stereoskopische Anzeigeeinheit verwenden, welche ein binokulares stereoskopisches Ansehen gemäß beispielsweise dem Lentikularverfahren, einem Brillenverfahren, oder dergleichen ermöglicht, und bei Schritt S138 werden Bilder entsprechend den Positionen des rechten und linken Auges des Betrachters erzeugt, wodurch die Bewegung der Blickpunktposition des Betrachters bewältigt wird.
Zweites Ausführungsbeispiel
Nachfolgend wird ein Fall beschrieben, bei welchem das Layout der Bezugsebenen bei dem ersten Ausführungsbeispiel geändert wird.
16 zeigt eine Vielzahl von Bezugsebenen, welche zum Abdecken eines Gegenstands bei einem Bildverarbeitungsgerät gemäß dem zweiten Ausführungsbeispiel angeordnet sind. In 16 ist eine Bezugsebene 161 eine von denjenigen Ebenen, welche zum Umgeben des Gegenstands angeordnet sind. 17 ist eine Draufsicht von 16.
Wie in 17 gezeigt, sei es angenommen, dass θ den Winkel zwischen der von der Y-Achse zu der Bezugsebene a 161 fallenden Senkrechte und der Z-Achse repräsentiert, und r den Abstand zwischen der Bezugsebene a 161 und der Y-Achse repräsentiert.
Wie bei dem ersten Ausführungsbeispiel werden die Bezugsebene und die Richtung des aufzuzeichnenden Lichtstrahls bestimmt. Es sei angenommen, dass Lichtstrahlen, welche einen (in ähnlicher Weise wie θ in 17 gemessenen) Winkel ξ zwischen dem Lichtstrahl und der Z-Achse aufweisen, und innerhalb den Bereich von h1 ≤ ξ < h2 fallen, auf der Bezugsebene a 161 aufzuzeichnen ist. Bei dem ersten Ausführungsbeispiel werden die Gleichungen (6) und (7) verwendbar gemacht, indem die Bezugsebene zu der Position z = 0 gebracht wird, indem die Bezugsebene, die Kameraposition und die Richtung des Lichtstrahls gedreht werden. Auch in diesem Fall wird die Bezugsebene in die Position z = 0 gebracht, indem die Bezugsebene, die Kameraposition und die Richtung des Lichtstrahls -θ gedreht werden und sie zu -r bewegt werden, um so die Gleichungen (6) und (7) zu verwenden. Durch Durchführen dieser Verarbeitung für alle die den Gegenstand umgebenden Bezugsebenen, kann ein Bild bei einer beliebigen Blickpunktposition erzeugt werden, indem die Verarbeitung durch das selbe Verfahren wie bei dem ersten Ausführungsbeispiel durchgeführt wird.
Es sei erwähnt, dass der Abstand zwischen der Y-Achse und der Kamera nach Drehung und Bewegung bzw. Schieben als der Abstand von der Y-Achse zu der Kamera Verwendung findet, welcher beim Berechnen der Zeilen verwendet wird.
Drittes Ausführungsbeispiel
Bei dem ersten Ausführungsbeispiel wird, wenn es keinen Lichtstrahl gibt, welcher bei der durch die Gleichungen (6) und (7) gegebenen Position in dem x-u-Raum aufgezeichnet ist, der auf der Ebene aufgezeichnete am nächsten liegende Lichtstrahl verwendet. Wird ein derartiger Lichtstrahl im Voraus durch Interpolationsverarbeitung berechnet, kann ein Bild mit höherer Präzision erzeugt werden. Nachfolgend wird das Interpolationsverarbeitungsverfahren erläutert.
Auf dem x-u-Raum bezeichnet ein Punkt in einem realen Raum einen linearen Pfad, wie bei Schritt S137. Durch Verwendung dieser Eigenschaft wird eine Linie in dem x-u-Raum gezeichnet bzw. gezogen, und es werden die auf dieser Linie vorhandenen Farben von Lichtstrahlen geprüft. Weisen diese Lichtstrahlen ähnliche Farben auf, kann die Linie als der Pfad eines Punkts in dem realen Raum angesehen werden, und der Durchschnittswert dieser Farben wird einer Position, bei welcher kein Lichtstrahl vorhanden ist, auf der Linie zugewiesen. Diese Verarbeitung wird durchgeführt, während alle Linien angenommen werden, bis dem gesamten Bereich in dem x-u-Raum Werte (Farben) zugewiesen sind.
Mit dieser Interpolationsverarbeitung kann die Qualität eines erzeugten Bildes im Vergleich zu einem Fall verbessert werden, bei dem die Farbe eines benachbarten Lichtstahls Verwendung findet.
Viertes Ausführungsbeispiel
Bei dem ersten Beispiel des Standes der Technik und dem ersten Ausführungsbeispiel werden von der Bildeingabeeinheit 11 bei einer Vielzahl von Blickpunktpositionen aufgenommene Bilder eingegeben.
Jedoch ist die vorliegende Erfindung nicht darauf beschränkt. Beispielsweise können Bilder von einem Speichermedium, wie beispielsweise einer Datenbank, einer CD-ROM, oder dergleichen über die Speichermediumleseeinrichtung 15 in die Speichereinheit 14 eingegeben werden.
Wie zuvor beschrieben, kann bei den Ausführungsbeispielen ein Bereich, welcher nicht durch eine einzelne Bezugsebene ausgedrückt werden kann, ausgedrückt werden, da Mehrfach-Blickpunktbilder in Lichtraumdaten entsprechend einer Vielzahl von Bezugsebenen umgewandelt werden können. Da eine Vielzahl von Bezugsebenen Verwendung findet, wird der Winkel zwischen jeder Bezugsebene und einem durch die Ebene laufenden Lichtstrahl annähernd ein rechter Winkel. Aus diesem Grund kann der Bereich des x-u-Raums entsprechend jeder Bezugsebene klein gehalten werden, und als Konsequenz davon kann das zu haltende Datenvolumen reduziert werden.
Ausführungsbeispiele der Erfindung können ein durch eine Vielzahl von Vorrichtungen gebildetes System oder ein aus einer einzelnen Vorrichtung bestehendes Gerät aufweisen. Ein Ausführungsbeispiel kann außerdem ein Speichermedium aufweisen, welches ein Programm für das System oder das Gerät derart speichert, dass das System oder das Gerät gemäß dem vorbestimmten Verfahren arbeitet, indem das Programm aus dem Speichermedium in das System oder das Gerät ausgelesen wird.

Claims

Bildverarbeitungsgerät, mit einer Bilddatenwandlungseinrichtung (13, 14) zum Empfang von Bildelementdaten für eine Vielzahl von Eingabebildern eines bei verschiedenen Blickpunktpositionen aufgenommenen Gegenstandes zusammen mit die Blickpunktpositionen definierenden Daten und zur Wandlung der Bildelementdaten in Lichtstrahldaten, welche Lichtstrahlen in einem dreidimensionalen Raum definieren, einer Aufzeichnungseinrichtung (13, 14) zur Aufzeichnung von Daten, welche durch Projektion der Lichtstrahlen auf eine Vielzahl von Bezugsebenen (141-144; 161) erlangt sind, wobei die Aufzeichnungseinrichtung dahingehend ausgestaltet ist, um die Daten für jeden jeweiligen Lichtstrahl aufzuzeichnen, indem der Lichtstrahl auf eine Bezugsebene projiziert wird, welche aus der Vielzahl von Bezugsebenen ausgewählt wird, einer Blickpunktposition-Anweisungseinrichtung (12) zur Führung einer Blickpunktposition, einer Auswahleinrichtung (13, 14) zur Auswahl von Daten aus den durch die Aufzeichnungseinrichtung aufgezeichneten Daten auf der Grundlage der von der Blickpunktposition-Anweisungseinrichtung geführten Blickpunktposition, einer Bilderzeugungseinrichtung (13, 14) zur Erzeugung von Bilddaten für ein Bild bei der von der Blickpunktposition-Anweisungseinrichtung geführten Blickpunktposition auf der Grundlage der von der Auswahleinrichtung ausgewählten Daten, und einer Ausgabeeinrichtung (13, 14) zur Ausgabe der von der Bilderzeugungseinrichtung erzeugten Bilddaten an eine Anzeigeeinrichtung (17) zur Anzeige des Bildes.
Gerät nach Anspruch 1, wobei die Bilderzeugungseinrichtung (13, 14) betreibbar ist, um eine Abtastzeile in einem Eingabebild gemäß der von der Blickpunktposition-Anweisungseinrichtung (12) geführten Blickpunktposition zu bestimmen, und um Bilddaten für das Bild bei der von der Blickpunktposition-Anweisungseinrichtung geführten Blickpunktposition auf der Grundlage der Bilddaten auf der bestimmten Abtastzeile zu erzeugen.
Gerät nach Anspruch 1 oder Anspruch 2, wobei die Bilderzeugungseinrichtung (13, 14) betreibbar ist, um Bilddaten für ein stereoskopisches Bild entsprechend der von der Blickpunktposition-Anweisungseinrichtung (12) geführten Blickpunktposition zu erzeugen.
Gerät nach einem der vorangehenden Ansprüche, wobei die Blickpunktposition-Anweisungseinrichtung (12) betreibbar ist, um die Blickpunktposition und die Richtung einer Blickrichtung eines Betrachters zu bestimmen.
Bildverarbeitungsgerät, mit einer Mehrfach-Blickpunkt-Bildeingabeeinrichtung (11, 15, 16) zur Eingabe einer Vielzahl von Bildern mit verschiedenen Blickpunktpositionen als Mehrfach-Blickpunkt-Bilddaten, einer Bildwandlungseinrichtung (13, 14) zur Wandlung der eingegebenen Mehrfach-Blickpunkt-Bilddaten in in einem dreidimensionalen Raum laufende Lichtstrahlen, einer Lichtstrahl-Aufzeichnungseinrichtung (13, 14) zur Aufzeichnung der gewandelten Lichtstrahlen als Lichtraumdaten unter Bezugnahme auf eine Vielzahl von Ebenen (141-144; 161) in dem dreidimensionalen Raum, wobei die Lichtstrahl-Aufzeichnungseinrichtung dahingehend ausgestaltet ist, um Lichtraumdaten für jeden jeweiligen Strahl unter Bezugnahme auf die Ebene aus der Vielzahl von Bezugsebenen aufzuzeichnen, welche einen Winkel aufweist, der einem rechten Winkel mit dem Lichtstrahl am nächsten ist, einer Blickpunktposition- und Richtung-einer-Blickrichtung-Eingabeeinrichtung (12) zur Eingabe einer Blickpunktposition und einer Richtung einer Blickrichtung eines zu erzeugenden Bildes, einer Bildberechnungseinrichtung (13, 14) zur Erzeugung von Bilddaten für die Bildelemente des zu erzeugenden Bildes, indem eine Abtastzeile und Bildelementpositionen für das erforderliche Bild berechnet werden, und indem Werte für die Bildelemente auf der Grundlage der aufgezeichneten Lichtraumdaten bestimmt werden.
Gerät nach Anspruch 5, wobei die Vielzahl von Bezugsebenen (141-144) derart radial angeordnet ist, dass sich die Bezugsebenen auf einer ersten durch einen Gegenstand laufenden Linie miteinander kreuzen, Winkel benachbarter Ebenen einander gleichgemacht sind, und eine der Bezugsebenen bildet einen Winkel, der die Hälfte des Winkels ist, welche benachbarte Bezugsebenen mit einer zweiten Linie bilden, welche sich von der ersten Linie in einer Richtung einer anfänglichen Blickpunktposition erstreckt und die erste Linie senkrecht kreuzt.
Gerät nach Anspruch 6, wobei das Gerät betreibbar ist, um durch die Bezugsebene laufende Lichtstrahlen um einen Drehwinkel bei Drehung der Bezugsebene zu drehen, damit sie mit einer Ebene übereinstimmen, welche die erste Linie umfasst und die zweite Linie senkrecht kreuzt, und um in diesem Zustand die Lichtstrahlen in dem Lichtraum entsprechend der Bezugsebene unter Verwendung der Durchlaufpositionen der gedrehten Lichtstrahlen der Ebene aufzuzeichnen, welche die zweite Linie und Richtungen der Lichtstrahlen zu dieser Zeit senkrecht kreuzt.
Gerät nach Anspruch 5, wobei die Vielzahl von Ebenen (161) derart angeordnet sind, dass sie zumindest einen Teil eines Gegenstandes umgeben.
Bildverarbeitungsverfahren, mit einem Bilddatenwandlungsschritt (S135) des Empfangens von Bildelementdaten für eine Vielzahl von Eingabebildern eines bei verschiedenen Blickpunktpositionen aufgenommenen Gegenstandes zusammen mit die Blickpunktpositionen definierenden Daten und zur Wandlung der Bildelementdaten in Lichtstrahldaten, welche Lichtstrahlen in einem dreidimensionalen Raum definieren, einem Aufzeichnungsschritt (S135, S136, S137) des Aufzeichnens von Daten, welche durch Projektion der Lichtstrahlen auf eine Vielzahl von Bezugsebenen (141-144; 161) erlangt sind, wobei die Daten für jeden jeweiligen Lichtstrahl aufgezeichnet werden, indem der Lichtstrahl auf eine Bezugsebene projiziert wird, welche aus der Vielzahl von Bezugsebenen ausgewählt wird, einem Blickpunktposition-Bestimmungsschritt (S133, S134) des Bestimmens einer Blickpunktposition, einem Auswahlschritt (S138) des Auswählens von Daten aus den bei dem Aufzeichnungsschritt aufgezeichneten Daten auf der Grundlage der bei dem Blickpunktposition-Bestimmungsschritt bestimmten Blickpunktposition, einem Bilderzeugungsschritt (S138) des Erzeugens von Bilddaten für ein Bild bei der bei dem Blickpunktposition-Bestimmungsschritt bestimmten Blickpunktposition auf der Grundlage der bei dem Auswahlschritt ausgewählten Daten, und einem Ausgabeschritt (S138) des Ausgebens der bei dem Bilderzeugungsschritt erzeugten Bilddaten an eine Anzeigeeinrichtung zur Anzeige des Bildes.
Verfahren nach Anspruch 9, wobei der Bilderzeugungsschritt (S138) den Schritt umfasst des Bestimmens einer Abtastzeile in einem Eingabebild gemäß der bei dem Blickpunktposition-Bestimmungsschritt bestimmten Blickpunktposition und des Erzeugens von Bilddaten für das Bild bei der bei dem Blickpunktposition- Bestimmungsschritt bestimmten Blickpunktposition auf der Grundlage der Bilddaten auf der bestimmten Abtastzeile.
Verfahren nach Anspruch 9 oder Anspruch 10, wobei der Bilderzeugungsschritt (S138) den Schritt umfasst des Erzeugens von Bilddaten für ein stereoskopisches Bild entsprechend der bei dem Blickpunktposition-Bestimmungsschritt bestimmten Blickpunktposition.
Bildverarbeitungsverfahren, mit dem Mehrfach-Blickpunkt-Bildeingabeschritt (S135) des Eingebens einer Vielzahl von Bildern mit verschiedenen Blickpunktpositionen als Mehrfach-Blickpunkt-Bilddaten, dem Bildwandlungsschritt (S135) des Wandelns der eingegebenen Mehrfach-Blickpunkt-Bilddaten in in einem dreidimensionalen Raum laufende Lichtstrahlen, dem Lichtstrahl-Aufzeichnungsschritt (S135, S136, S137) des Aufzeichnens der gewandelten Lichtstrahlen als Lichtraumdaten unter Bezugnahme auf eine Vielzahl von Ebenen (141-144; 161) in dem dreidimensionalen Raum derart, dass die Lichtraumdaten für jeden jeweiligen Strahl unter Bezugnahme auf die Ebene aus der Vielzahl von Bezugsebenen aufgezeichnet werden, welche einen Winkel aufweist, der einem rechten Winkel mit dem Lichtstrahl am nächsten ist, dem Blickpunktposition- und Richtung-einer-Blickrichtung-Eingabeschritt (S133, S134) des Eingebens einer Blickpunktposition und einer Richtung einer Blickrichtung eines zu erzeugenden Bildes, dem Bildberechnungsschritt (S138) des Erzeugens von Bilddaten für die Bildelemente des zu erzeugenden Bildes, indem eine Abtastzeile und Bildelementpositionen für das erforderliche Bild berechnet werden, und indem Werte für die Bildelemente auf der Grundlage der aufgezeichneten Lichtraumdaten bestimmt werden.
Verfahren nach Anspruch 12, wobei die Vielzahl von Bezugsebenen (141-144) derart radial angeordnet ist, dass sich die Bezugsebenen auf einer ersten durch einen Gegenstand laufenden Linie miteinander kreuzen, Winkel benachbarter Ebenen einander gleichgemacht sind, und eine der Bezugsebenen einen Winkel bildet, der die Hälfte des Winkels ist, welche benachbarte Bezugsebenen mit einer zweiten Linie bilden, welche sich von der ersten Linie in einer Richtung einer anfänglichen Blickpunktposition erstreckt und die erste Linie senkrecht kreuzt.
Verfahren nach Anspruch 13, wobei durch die Bezugsebene laufende Lichtstrahlen um einen Drehwinkel bei Drehung der Bezugsebene zu drehen, damit sie mit einer Ebene übereinstimmen, welche die erste Linie umfasst und die zweite Linie senkrecht kreuzt, und in diesem Zustand werden die Lichtstrahlen in dem Lichtraum entsprechend der Bezugsebene unter Verwendung der Durchlaufpositionen der gedrehten Lichtstrahlen der Ebene aufgezeichnet, welche die zweite Linie und Richtungen der Lichtstrahlen zu dieser Zeit senkrecht kreuzen.
Computerprogrammprodukt, welches einen Träger aufweist, welcher Anweisungen zur Programmierung eines programmierbaren Verarbeitungsgeräts trägt, damit es betreibbar wird, ein Verfahren nach zumindest einem der Ansprüche 9 bis 14 durchzuführen.