DE69521739T2

DE69521739T2 - Verfahren und Vorrichtung zur Bildverarbeitung

Info

Publication number: DE69521739T2
Application number: DE69521739T
Authority: DE
Inventors: Akihiro Katayama; Takahiro Oshino; Koichiro Tanaka
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-04-25
Filing date: 1995-04-24
Publication date: 2002-05-23
Anticipated expiration: 2015-04-25
Also published as: EP0680014A3; DE69521739D1; EP0680014A2; JPH07294215A; EP0680014B1; US5937105A

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildverarbeitung, und insbesondere ein Verfahren und eine Vorrichtung, die zur Bilddatenkorrektur in der Lage ist.
In einem herkömmlichen Verfahren zum Auffinden entsprechender Punkte unter einer Vielzahl von Bildern gibt es ein Verfahren, bei dem eine epipolare Ebene aufgebaut wird und die zugehörigen Punkte auf der epipolaren Ebene festgestellt werden. Die epipolare Ebene ist dort, wo ein Bild in der Weise erzeugt wird, daß zugehörige Linien einer Vielzahl von Bildern ausgelesen und diese Seite an Seite angeordnet werden. Genauer gesagt, wenn ein Pixel eines n-ten Bildes bei (i, j) bezeichnet ist mit Pn(i, j) und ein Pixel in einer m-ten epipolaren Ebene bei (i, j) bezeichnet ist mit Qm(i, j), dann wird jedes Pixel auf der epipolaren Ebene ausgedrückt mit Qm(i, j) = Pj(i, m). Das Verfahren unter Verwendung der epipolaren Ebene nutzt Eigenschaften dieser, wenn eine Vielzahl von Kameras in einem gleichen Intervall angeordnet sind und ein Bild eines Gegenstands aufnehmen, wobei die zugehörigen Punkte in jedem aufgenommenen Bild eine gerade Linie auf der epipolaren Ebene bilden. Dabei kann das Auffinden der zugehörigen Punkte durch Feststellen der gerade Linie erfolgen.
Wenn nach dem herkömmlichen Beispiel Bildabtastoberflächen (CCD beispielsweise) aller Kameras nicht auf einer einzigen Ebene liegen, bilden jedoch die zugehörigen Punkte keine gerade Linie auf der epipolaren Ebene. In diesem Falle kommt das Problem auf, daß der Prozeß zur Feststellung der zugehörigen Punkte sehr kompliziert wird.
Selbst wenn die Bildabtastoberflächen aller Kameras auf einer einzigen Ebene sind und wenn des weiteren die Bildabtastoberflächen gedreht werden, bilden die zugehörigen Punkte auf der epipolaren Ebene keine gerade Linie. Folglich wird es schwierig, die zugehörigen Punkte festzustellen.
Die obigen Probleme können gelöst werden durch Anordnen einer Vielzahl von Kameras in der Art, daß ihre Bildabtastoberflächen auf einer einzigen Ebene liegen und daß ihre Abtastrichtungen parallel zueinander verlaufen. Jedoch ist es im allgemeinen sehr schwierig, die Vielzahl von Kameras so anzuordnen, daß sie den zuvor genannten Bedingungen genügen.
Die Veröffentlichung "Generation of Intermediate Parallaximages for Holographic Stereograms" von S. Takahashi et al. in Practical Holography VII: Imaging and Materials, Band 1919, ISSN 0277-786X, Proceedings of SPIE, 1993, USA, Seiten 2-8, XP000572471, beschreibt ein Verfahren des Aufbaus von Zwischenparallaxebenen aus parallaxen Bildern mit grobabgetasteten Blickpunkten. Gewonnene Bilddaten stellen eine Vielzahl von Parallaxenbilder dar und sind bei unterschiedlichen Positionen entlang einer geraden Linie mit optischen Achsen aufgezeichnet, die senkrecht auf der Linie stehen. Ein epipolares Bild umfaßt lineare Strukturen, die Orte der zugehörigen Punkte in den aufgezeichneten Parallaxenbildern sind. Die Orte sind eingeteilt in Richtungsfaktoren, und dann werden 3D-Oberflächendaten aus der Anordnung der Richtungsfaktoren in Tiefenreihenfolge gewonnen. Ein 2D-Bild wird dann aus den 3D-Oberflächendaten unter Verwendung von Computergraphiktechniken durch Projizieren der 3D- Oberflächendaten auf eine 2D-Ebene einer virtuellen Kamera erzeugt.
Die Veröffentlichung "Generalizing Epipolar-Plane Image Analysis for Non-Orthogonal and Varying View Directions", von Baker et al. in Image Understanding Workshop, Proceedings, Band 2, 23. Februar 1987, Seiten 843-848, XP000572538, spricht das Problem unbegrenzter Blickrichtung durch hinstellen einer raumzeitlichen Oberfläche für Bilder und Kreuzungen dieser Oberfläche mit einem Stift von passenden epipolaren Ebenen an. Die epipolare Anschlußfähigkeit durch das Raum-Zeit-Volumen folgt den bekannten Richtungsänderungen des Kamerablickpunktes.
In diesen Ebenen werden zukünftige Wege allgemein willkürliche Kurven, sind aber Linien in einem Raum von Sichtlinien. Es ist offenbart, daß diese Annäherung eine Möglichkeit der Beseitigung des Erfordernisses vorschlägt, daß Bilder auf einem linearen Weg aufgezeichnet werden müssen.
Die vorliegende Erfindung ist in Hinsicht auf die obige Situation entstanden.
Die vorliegende Erfindung sieht eine Vorrichtung zur Bildverarbeitung vor, wie sie in Patentanspruch 1 angegeben ist.
Die Erfindung sieht auch ein Verfahren zur Verarbeitung eingegebener Bilddaten vor, wie es im Patentanspruch 11 angegeben ist.
Ein Ausführungsbeispiel sieht ein Verfahren und eine Vorrichtung zur Bildverarbeitung vor, das in der Lage ist, aufgenommene Bilder durch eine Vielzahl von Kameras auf einer einzigen Ebene zu korrigieren und zu projizieren und Abschnitte der Bilder auszulesen, die auf die Ebene projiziert sind, so daß die optischen Achsen der Kameras, die zur Aufnahme der Bilder eines Gegenstands verwendet wurden, parallel zueinander verlaufen.
Mit dem zuvor beschriebenen Aufbau werden die Umsetzparameter errechnet, die eine Entsprechung zwischen Pixelpositionen auf der Bildabtastoberfläche und auf der Bezugsebene zeigen, wenn das Bild, aufgenommen von einer Kamera, auf die Bildabtastoberfläche projiziert wird auf eine vorbestimmte Bezugsebene. Unter Verwendung der Parameter können Werte bei jeder Pixelposition in einem Abschnitt gewonnen werden, der aus der Bezugsebene ausgelesen ist, aus Werten bei zugehörigen Pixelpositionen auf der Bildabtastoberfläche. Ein Bild in einem Bereich auf der Bezugsebene kann folglich erzeugt werden. Wie zuvor beschrieben, ist es möglich, ein Bild auf einer Bildabtastoberfläche einer Kamera zu korrigieren und ein Bild auf einer vorbestimmten Bezugsebene herzustellen.
Wenn eine Vielzahl von Kameras benutzt wird, ist es beispielsweise möglich, durch Errechnen der Umsetzparameter für jede Kamera Bilder eines Gegenstands auf die vorbestimmte Bezugsebene zu projizieren.
Die Bezugsebene kann eine gewünschte Ebene sein, die durch das Koordinatensystem des Gegenstands dargestellt wird. Da die gewünschte Ebene bestimmt werden kann als Bezugsebene, ist es möglich, eine Ebene zu bestimmen, die für eine Vielzahl von Kameras geeignet ist.
Die Bezugsebene kann eine Ebene sein, die die Bildabtastoberfläche einer Bezugskamera einschließt, die an einer gewünschten Bildaufnahmestelle positioniert ist. Durch das Aufbauen auf diese Weise wird die Bezugsebene automatisch durch Einstellen einer gewünschten Kamera als Bezugskamera eingestellt.
Vorzugsweise ist der aus der Bezugsebene ausgelesene Bereich ein solcher, dessen Mitte eine Kreuzung einer Senkrechten aus einer Mitte einer Linse der Bezugsebene ist. Wenn Bilder einer Vielzahl von Kameras korrigiert werden, können folglich optische Achsen korrigierter Bilder parallel zueinander eingerichtet werden.
Vorzugsweise ist der von der Bezugsebene ausgelesene Bereich ein solcher einer Zeile, die zur Bildung einer epipolaren Ebene erforderlich ist.
Ausführungsbeispiele der Erfindung machen es leichter, die zugehörigen Punkte festzustellen durch Bilden einer epipolaren Ebene aus einer Vielzahl von Bildern, die auf eine einzige Ebene korrigiert und projiziert sind, und Feststellen der zugehörigen Punkte als eine gerade Linie.
Ausführungsbeispiele der Erfindung machen es möglich, Bilder zu erzeugen, die aus unterschiedlichen Blickpunkten von jenen der eingegebenen Bilder durch Erzeugen neuer Linien in einer epipolaren Ebene gesehen sind durch Interpolation auf der Grundlage der Anordnung der festgestellten zugehörigen Punkte auf der epipolaren Ebene und unter Verwendung der Linien.
Ausführungsbeispiele der Erfindung machen es möglich, das Auftreten einer Okklusion gemäß der Anordnung in den zugehörigen Punkten zu bestimmen, die auf der epipolaren Ebene festgestellt werden, wodurch interpolierte Bilder höherer Genauigkeit erzielt werden.
Andere Merkmale und Vorteile der vorliegenden Erfindung werden aus der nachstehenden Beschreibung in Verbindung mit der beiliegenden Zeichnung deutlich, in der gleiche Bezugszeichen dieselben oder ähnliche Teile in allen Figuren bedeuten.

KURZE BESCHREIBUNG DER ZEICHNUNG

Die beiliegende Zeichnung, die eingebunden ist und einen Teil der Beschreibung bildet, veranschaulicht Ausführungsbeispiele der Erfindung und dient gemeinsam mit der Beschreibung der Erläuterung des erfinderischen Prinzips.
Fig. 1 ist ein Blockdiagramm, das kurz einen Aufbau einer Vorrichtung zur Bildverarbeitung nach einem Ausführungsbeispiel darstellt;
Fig. 2 ist ein Ablaufdiagramm, das eine Verarbeitungssequenz der Vorrichtung zur Bildverarbeitung nach dem Ausführungsbeispiel darstellt;
Fig. 3 ist ein Ablaufdiagramm, das einen Prozeß der Kalibrierung einer Kamera darstellt;
Fig. 4 ist ei Ablaufdiagramm, das einen zweiten Korrekturprozeß darstellt;
Fig. 5 ist eine erläuternde Ansicht, bei der ein Bild auf einer Bildabtastoberfläche einer Kamera auf eine Bezugsebene projiziert wird;
Fig. 6 ist ein Ablaufdiagramm, das einen Bildinterpolationsprozeß darstellt;
Fig. 7 ist ein Ablaufdiagramm, das eine Verarbeitungssequenz eines zugehörigen Punktfeststellprozesses darstellt;
Fig. 8 ist eine erläuternde Ansicht, in der eine j-te epipolare Ebene gebildet wird aus jedem Bild (i = 1 bis 4);
Fig. 9 ist ein Diagramm, das den Aufbau von Daten in der j-ten epipolaren Ebene erläutert;
Fig. 10 ist ein Ablaufdiagramm, das eine Operationssequenz der Feststellung einer geraden Linie beim Suchen der entsprechenden Punkte darstellt;
Fig. 11 zeigt die j-te epipolare Ebene, in der die zugehörigen Punkte gewonnen werden durch eine zugehörige Punktsuche;
Fig. 12 ist ein Ablaufdiagramm, das eine Verarbeitungssequenz eines Interpolationsprozesses eines Bildes darstellt;
Fig. 13 zeigt eine epipolare Ebene, wenn zwei Bilder zwischen Originalbildern durch Interpolation erzeugt werden; und
Fig. 14 ist eine erläuternde Ansicht der Bildung von Interpolationsbildern aus epipolaren Linien.

DETAILLIERTE BESCHREIBUNG DES BEVORZUGTEN AUSFÜHRUNGSBEISPIELS

Ein bevorzugtes Ausführungsbeispiel der vorliegenden Erfindung ist nachstehend detailliert anhand der beiliegenden Zeichnung beschrieben.
In diesem Ausführungsbeispiel ist eine Vorrichtung zur Bildverarbeitung beschrieben, die in der Lage ist, Bilder durch Interpolation zu erzeugen, die von Blickpunkte gesehen werden, die sich von jenen einer Vielzahl von Kameras auf der Grundlage von Bildern unterscheiden, aufgenommen von der Vielzahl von Kameras. In der Vorrichtung zur Bildverarbeitung nach dem Ausführungsbeispiel werden Bilder aus jeder Kamera korrigiert, um so auf eine einzige Ebene als ein Vorverarbeitungsschritt zum Erzeugen der Interpolationsebenen zu dienen.
Fig. 1 ist ein Blockdiagramm, das kurz einen Aufbau des Bildverarbeitungsgerätes nach dem Ausführungsbeispiel darstellt. In Fig. 1 bedeutet Bezugszeichen 1 eine Bildeingabeeinheit zum Eingeben eines Bildes und besteht in diesem Ausführungsbeispiel aus vier Kameras 1a bis 1d. Bezugszeichen 2 bedeutet eine erste Korrektureinheit zum Ausführen von Korrekturen, wie beispielsweise Linsenverzerrungskorrektur, Schattierungskorrektur, Farbkorrektur und so weiter; Bezugszeichen 3 bedeutet einen Matrixgenerator zum Erzeugen einer Matrix, die zur Korrektur von Projektionsverzerrungen verwendet wird, die durch Spalten in der Position und der Richtung der Kameras verursacht werden; und Bezugszeichen 4 bedeutet eine zweite Korrektureinheit zum Korrigieren der Projektionsverzerrungen eines eingegebenen Bildes unter Verwendung der Matrix zur Korrektur, erzeugt vom Matrixgenerator 3.
Des weiteren bedeutet Bezugszeichen 5 einen Blickpunktdetektor zum Feststellen eines Blickpunkts eines Betrachters. Der Blickpunktdetektor 5 stellt den Blickpunkt unter Verwendung eines magnetischen Sensors, eines Ultraschallsensors oder dergleichen fest. Angemerkt sei, daß das Verfahren zur Feststellung des Blickpunktes nicht auf jene zuvor beschriebene beschränkt ist, sofern der Blickpunkt feststellbar ist. Beispielsweise kann der Blickpunkt durch Feststellen der Position und der Richtung vom Kopf des Betrachters festgestellt werden. Bezugszeichen 6 bedeutet eine Interpolationseinheit, die entsprechende Punkte unter Verwendung von Bildern sucht, die von der zweiten Korrektureinheit 4 korrigiert worden sind, und erzeugt Interpolationsbilder. Eine Anzeige 7 schaltet Bilder um und zeigt sie an, die mit der Interpolation oder Projektionsverzerrungskorrektur gemäß dem vom Blickpunktdetektor 5 festgestellten Blickpunkt angewandt werden. Angemerkt sei, daß diese Prozesse von einer nicht dargestellten CPU gesteuert werden.
Als nächstes beschrieben ist der Ablauf der gesamten Verarbeitung von der Vorrichtung zur Bildverarbeitung. Fig. 2 ist ein Ablaufdiagramm, das eine Verarbeitungssequenz der Vorrichtung zur Bildverarbeitung nach diesem Ausführungsbeispiel darstellt.
Zuerst bestimmt eine CPU in Schritt S1, ob eine Kamera kalibriert ist. Genauer gesagt, es wird bestimmt, ob eine Matrix zur Korrektur von Projektionsverzerrungen erzeugt ist. Wenn die Kamera noch nicht kalibriert ist, kalibriert der Matrixgenerator 3 die Kamera in Schritt S2 und erzeugt eine Matrix zur Korrektur von Projektionsverzerrungen. Wenn die Kamera kalibriert ist, endet der Prozeß in Schritt S3, und ein Bild wird aus der Bildeingabeeinheit 1 eingegeben. Hinsichtlich der Kalibrierung der Kamera in Schritt S2 wird dieser später anhand eines Ablaufdiagramms in Fig. 3 erläutert.
Die eingegebenen Bilddaten werden mit einer ersten Korrektur verwendet, wie einer Linsenverzerrungskorrektur, Schattierungskorrektur, Farbkorrektur und dergleichen, durch die erste Korrektureinheit 2 in Schritt S4. Danach bewegt sich der Prozeß zu Schritt S5, bei dem die Bilddaten mit zweiten Korrekturen unter Verwendung einer Matrix zur Korrektur von Projektionsverzerrungen angewandt werden, erzielt während des Kalibrierens der Kamera durch die zweite Korrektureinheit 4. Die zweite Korrektur dient der Korrektur eines jeden Bildes, das von jeder Kamera der Bildeingabeeinheit 1 unter Verwendung der Matrix zur Korrektur von Projektionsverzerrungen eingegeben wird, wodurch ein jedes Bild in ein Bild auf einer vorbestimmten Bezugsebene umgesetzt wird, nämlich ein Bild auf einer einzigen Oberfläche. Die zweite Korrektur in Schritt S5 wird später anhand eines Ablaufdiagramms in Fig. 4 beschrieben.
Der Prozeß schreitet fort zu Schritt S6, in dem der Blickpunktdetektor 5 einen Blickpunkt eines Betrachters feststellt. In Schritt S7 erzeugt die Interpolationsschaltung 6 Interpolationsbilder auf der Grundlage von Bildern, die von der ersten und zweiten Korrektureinheit 2 und 4 korrigiert worden sind. In diesem Falle werden Bilder, gesehen von den Blickpunkten unterschiedlich von jenen der eingegebenen Bilder, aufgenommen durch die vier Kameras 1a bis 1d, als Ergebnis des Interpolationsprozesses erzeugt. Das Erzeugen von Bildern durch den Interpolationsprozeß ist später anhand der Fig. 6 bis 14 zu beschreiben.
In Schritt S8 werden Bilddaten gemäß dem Blickpunkt des Betrachters ausgewählt, die im Schritt S6 festgestellt worden sind, und zur Anzeige 7 gesandt, wo das Bild dann angezeigt wird. In diesem Ausführungsbeispiel werden zwei eigene Bilder aus den eingegebenen Bildern und die Interpolationsbilder als Paar stereoskopischer Bilder behandelt, und das Paar von Bildern wird durch alternatives Umschalten mit hoher Geschwindigkeit angezeigt. In diesem Falle kann der Betrachter ein stereoskopisches Bild unter Verwendung einer Verschlußbrille sehen, die synchron mit der wechselweisen Umschaltung arbeitet. Wenn die Bilder in einer Richtung polarisiert sind, die sich von der anderen unterscheidet, wenn sie angezeigt werden durch abwechselndes Umschalten mit hoher Geschwindigkeit in der Anzeige 7, kann der Betrachter ein stereoskopisches Bild unter Verwendung einer Polarisationsbrille sehen, die synchron mit der abwechselnden Umschaltung der Bilder für das rechte und das linke Auge arbeitet.
Als nächstes beschrieben ist das Kalibrieren der Kamera in Schritt S2.
Fig. 3 ist ein Ablaufdiagramm, das den Kalibrierprozeß einer Kamera darstellt, der in Schritt S2 ausgeführt wird. Die Projektionsverzerrungen werden verursacht, da jedes Bild ursprünglich auf einer unterschiedlichen Ebene abgetastet wurde. Um die Verzerrungen zu korrigieren, müssen folglich Bilder aus N (in diesem Ausführungsbeispiel ist N = 4) Eingabeeinrichtungen (Kameras) auf dieselbe Ebene projiziert werden. Hier wird eine der Bildabtastoberflächen der Kameras als Bezugsebene angesehen, und die Kamera, deren Bildabtastoberfläche als Bezugsebene verwendet wird, ist als Bezugskamera anzusehen. Dann können durch Projizieren von Bildern, gewonnen von den anderen Kameras auf der Bezugsebene, Bilder auf einer selben Ebene erzielt werden.
Die Bezugskamera, die zuerst in Schritt S1 die gewünschte Kamera (beispielsweise Kamera 1c) der Bildeingabeeinheit 1 ist, wird als zu verarbeitende Kamera eingesetzt. In Schritt S12 nimmt die Bezugskamera ein Bild eines Gegenstands auf. Das in Schritt S12 gewonnene Bild wird dann in Schritt S13 der ersten Korrektur unterzogen. Die Korrektur hier ist dieselbe wie die in Schritt S4 beschriebene, so daß die Erläuterung hier entfallen kann. Als nächstes werden in Schritt S14 Kameraparameter, die die Beziehung zwischen einem Koordinatensystem des Gegenstands (Weltkoordinatensystem) und einem Koordinatensystem der Bildabtastoberfläche von Kameras (Kamerakoordinatensystem) errechnet.
Hinsichtlich der Errechnung der Kameraparameter wird ein allgemein bekanntes Verfahren zum Messen eines dreidimensionalen Bildes verwendet. Genauer gesagt, wenn der Gegenstand ausgedrückt wird im Weltkoordinatensystem (X, Y, Z) und die Bildabtastoberfläche einer jeden Kamera ausgedrückt wird im Kamerakoordinatensystem ((xm, ym), m = 1-4), würde die Beziehung zwischen dem Weltkoordinatensystem und dem Kamerakoordinatensystem ausgedrückt werden können durch Gleichung (1):
Cm ist ein m-ter Kameraparameter. Die Kameraparameter können gefunden werden unter Verwendung des Verfahrens mit dem kleinsten Quadrat, sofern Koordinaten von sechs Punkten wenigstens im Weltkoordinatensystem und entsprechende Koordinaten im Kamerakoordinatensystem bekannt sind. In Schritt S15 werden diese Kameraparameter von der Bezugskamera gemäß der folgenden Gleichung (2) zerlegt:
Eine Matrix Tm der Kamera 1c, die gewonnen wird durch Zerlegen gemäß der Gleichung (2) wird gespeichert als Standardparametermatrix Tb. Angemerkt sei, daß beliebige Parameter mit angehängtem Buchstaben "b" nachstehend mit der Bezugsebene zu tun haben. Die Bezugsparametermatrix Tb wird durch eine Gleichung (3) ausgedrückt:
Wenn die Kameraparameter bekannt sind, wie zuvor beschrieben, dann kann die Beziehung zwischen dem Weltkoordinatensystem und dem Kamerakoordinatensystem gefunden werden. Eine Gleichung für eine Bildabtastoberfläche einer jeden Kamera im Weltkoordinatensystem wird folglich ebenfalls gefunden. Die wie zuvor beschrieben gewonnene Bildabtastoberfläche wird als Bezugsprojektionsebene festgelegt (Schritt S16). Nach Errechnen der Bezugsprojektionsebene der Bezugskamera wird die erste Kamera ein in Schritt S17 zu verarbeitender Gegenstand, dann wird eine Matrix zum Korrigieren von Projektionsverzerrungen in Schritt S18 und den folgenden Schritten erzeugt.
In Schritt S18 wird bestimmt, ob die Kamera, die Gegenstand der Verarbeitung ist (wird nachstehend als "zu verarbeitende Kamera" bezeichnet), die Bezugskamera ist. Wenn dem so ist, bewegt sich der Prozeß zu Schritt S25, da keine Korrektur erforderlich ist. Wenn dem anderenfalls nicht so ist, schreitet der Prozeß fort zu Schritt S19. In den Schritten S19, S20 und S21 werden dieselben Prozesse wie die zuvor beschriebenen Schritte S12, S13 beziehungsweise S14 ausgeführt, und der Prozeß schreitet dann fort zu Schritt S22.
In Schritt S22 werden die Koordinaten der Mitte vom Objektiv der zu verarbeitenden Kamera errechnet. Die Koordinaten der Linsenmitte im Weltkoordinatensystem können errechnet werden unter Verwendung des Verfahrens mit dem kleinsten Quadrat unter Verwendung der Eigenschaften, daß die normierten, durch Normieren der Kameraparameter und eine gerade Linie gewonnenen Kameraparameter, wobei die gerade Linie durch jeden der Punkte in der Bildabtastoberfläche verläuft, sich in der Objektivmitte kreuzen. Nachdem die Koordinaten der Objektivmitte gefunden worden sind, schreitet der Prozeß fort zu Schritt S23, in dem die Koordinaten der Kreuzung einer Senkrechten aus der Objektivmitte auf der Bezugsprojektionsebene, gewonnen in Schritt S15, errechnet wird. Die Weltkoordinaten der Kreuzung sind bezeichnet mit (Um, Vm, Wm). Die Koordinaten der Kreuzung im Kamerakoordinatensystem von der Bezugskamera sind des weiteren bezeichnet mit (Xm, Ym) und werden gespeichert.
Angemerkt sei, daß die Kreuzung nachstehend als "Kreuzung B" bezeichnet ist. In diesem Falle kann die Beziehung durch die nachstehende Gleichung (4) ausgedrückt werden:
Dann bewegt sich der Prozeß fort zu Schritt S24, in dem eine Matrix zum Korrigieren von Projektionsverzerrungen der zu verarbeitenden Kamera errechnet und gespeichert wird. Eine Matrix Km zum Korrigieren der m-ten Kamera kann ausgedrückt werden durch Km = Cm·Tb&supmin;¹. Nachdem das gewonnene Km gespeichert ist, schreitet der Prozeß fort zu Schritt S25, und es wird bestimmt, ob die zu verarbeitende Kamera die letzte Kamera ist (in diesem Ausführungsbeispiel werden vier Kameras berücksichtigt, so daß die letzte Kamera die vierte Kamera ist). Wenn es die letzte Kamera ist, geht der Prozeß zurück zur Hauptroutine (Fig. 2), wohingegen anderenfalls die Kamera, die Gegenstand der Verarbeitung ist, in Schritt S26 geändert wird auf die nächste, und der Prozeß kehrt zu Schritt S18 zurück.
Als nächstes erläutert ist der zweite Korrekturprozeß (der Prozeß in Schritt S5) vom Korrigieren von Bildern, die aus jeder Kamera der Bildeingabeeinheit 1 unter Verwendung der Matrix zur Korrektur von Projektionsverzerrungen eingegeben worden sind, und Umsetzen der Bilder in Bilder einer vorbestimmten Bezugsebene, nämlich in Bilder auf einer einzigen Ebene.
Fig. 4 ist ein Ablaufdiagramm, das einen Ablauf des zweiten Korrekturprozesses darstellt. Zuerst wird in Schritt S31 eine Variable m, die die Ordinalzahl der Kamera angibt, initialisiert. Als nächstes wird in Schritt S32 m um 1 inkrementiert. Der Prozeß schreitet fort zu Schritt S33, in dem ym' = Ym - ny/2 und j = 0 eingestellt werden, und in Schritt S34 wird xm' = Xm - nx/2 und i = 0 eingestellt. Hier sind Xm und Ym X-Koordinate beziehungsweise Y-Koordinate der Kreuzung B, gewonnen in Schritt S23. Des weiteren sind nx und ny Anzahlen von Pixeln in der x-Richtung beziehungsweise in der y-Richtung eines zu verarbeitenden Bildes. Des weiteren sind xm', ym', i und j Variable.
Fig. 5 ist eine erläuternde Ansicht, bei der ein Bild einer Bildabtastoberfläche einer Kamera auf die Bezugsprojektionsebene projiziert wird. In Fig. 5 wird das Koordinatensystem von der Bezugsebene dargestellt durch (X, Y), und das Koordinatensystem eines eingegebenen Bildes wird dargestellt durch (x, y). Unter Verwendung der zuvor genannten Matrizen zur Korrektur kann das eingegebene Bild auf die Bezugsprojektionsebene als projiziertes Bild projiziert werden. In diesem Ausführungsbeispiel wird ein gewünschtes korrigiertes Bild gewonnen durch Auslesen eines Bereichs von nx · ny, einschließlich der Kreuzung B, die in Schritt S23 gefunden worden ist, und der Mitte aus der Bezugsprojektionsebene. Durch Auslesen des obigen Bereichs kann dort ein Bild erhalten werden, das erscheint, um von Kameras aufgenommen zu werden, wobei angenommen wird, daß deren optische Achsen sich senkrecht kreuzen zur Bezugsprojektionsebene und einander parallel sind. Nach Aufbau einer epipolaren Ebene beim Bildinterpolationsprozeß bilden folglich die zugehörigen Punkte eine gerade Linie in der epipolaren Ebene, wodurch es leichter wird, die zugehörigen Punkte festzustellen. Indem man zurück zu Fig. 4 kehrt, werden in den Schritten S33 und S34 die Variablen eingestellt auf ein Pixel vor dem Startpunkt S', der der Startpunkt zum Auslesen eines Bereichs aus der Bezugsprojektionsebene in der x- und y-Richtung ist, so daß die Variablen zu Koordinaten des Startpunktes S' passen, nachdem die Prozesse in den Schritten S35 und S36 ausgeführt worden sind.
In Schritt S35 wird eine Pixelposition des zu korrigierenden Bildes um ein Pixel zur Zeit verschoben, in der in y-Richtung j und ym' um 1 inkrementiert werden. Gleichermaßen wird in Schritt S36 eine Pixelposition des zu korrigierenden Bildes um ein Pixel zu einer Zeit verschoben, in der in x-Richtung i und xm' um 1 inkrementiert werden. Der Prozeß schreitet fort zu Schritt S37, in dem ein Pixel im eingegebenen Bild, dem die Koordinaten (xm', ym') im korrigierten Bild entsprechen, gefunden wird. Die Koordinaten (xm', ym') können erzielt werden durch Lösen der nachstehenden Gleichung (5):
Nachdem die Koordinaten (xm, ym) gefunden worden sind, wird ein Pixelwert des eingegebenen Pixels zur Pixelposition errechnet, und der errechnete Wert ersetzt einen Wert eines Pixels, dessen Pixelposition vom korrigierten Bild ausgedrückt wird durch (i, j). Angemerkt sei, daß in Schritt S38 R(t) eine ganze Zahl ausdrückt, die am nächsten am willkürlichen realen Wert t liegt. Des weiteren stellen Gm(i, j) und Fm(i, j) Pixelwerte dar, deren Pixelpositionen bei (i, j) im korrigierten Bild sind beziehungsweise im eingegebenen Bild. Nachdem Gm(i, j) errechnet ist, bewegt sich der Prozeß fort zu Schritt S39, in dem bestimmt wird, ob i = nx ist. Wenn i = nx ist, dann schreitet der Prozeß fort zu Schritt S40, wohingegen im anderen Falle zurückgegangen wird zu Schritt S36. In Schritt S40 wird bestimmt, ob j = ny ist. Wenn j = ny ist, dann bewegt sich der Prozeß fort zu Schritt S41, wohingegen im anderen Falle zu Schritt S34 zurückgekehrt wird.
Durch Ausführen der zuvor beschriebenen Prozesse in den Schritten 34 bis 40 wird das korrigierte Bild im Bereich von nx · xy gewonnen, zentriert durch Kreuzung B in der Bezugsebene. Nachdem das Auslesen des Bereichs abgeschlossen ist, schreitet der Prozeß fort zu Schritt S41, in dem bestimmt wird, ob m = N ist. Wenn alle Korrekturen bezüglich Bildern aus den Kameras abgeschlossen sind, wenn nämlich m = N ist, dann kehrt der Prozeß zurück zur Hauptroutine in Fig. 2. Wenn es andererseits ein unverarbeitetes Bild gibt, geht der Prozeß zurück zu Schritt S32.
Die korrigierten Bilder, die in der zuvor beschriebenen Weise erzeugt werden, werden projizierte Bilder auf einer einzigen Ebene (Bezugsebene), womit berücksichtigt werden kann, daß die optischen Achse der Kameras einander parallel sind. Wenn optische Achsen einer jeden Kamera in der Praxis nicht zueinander parallel sind oder wenn Drehungen oder dergleichen einer jeden Kamera von der anderen geringfügig unterschiedlich sind, so ist es folglich möglich, die Projektionsverzerrungen der Bilder zu korrigieren.
Als nächstes beschrieben ist das Erzeugen von Interpolationsbildern durch die Interpolationseinheit 6.
Fig. 6 ist ein Ablaufdiagramm, das einen Ablauf des Interpolationsprozesses darstellt. Zuerst werden in Schritt S51 zugehörige Punkte gesucht. In Schritt S52 wird ein Bild, gesehen aus einem Blickpunkt, der sich von den Blickpunkten der eingegebenen Bilder unterscheidet, erzeugt, und dann kehrt der Prozeß zurück zur Hauptroutine in Fig. 2.
Fig. 7 ist ein Ablaufdiagramm, das eine Verarbeitungssequenz eines zugehörigen Punktsuchprozesses in Schritt S51 darstellt. Zuerst wird in Schritt S61 eine Initialisierung ausgeführt, um das erste Raster eines jeden Bildes eines Gegenstandsrasters auszulesen. Als nächstes werden in Schritt S62 die Gegenstandsraster eines jeden Bildes einem Arbeitsspeicher gespeichert, dann wird eine j-te epipolare Ebene (j-EPI) virtuell aufgebaut. Die j-te epipolare Ebene wird hier in der Weise gebildet, daß Daten der j-ten Raster aus jedem Bild (i = 1 ~ 4) ausgelesen und in der in Fig. 8 gezeigten Weise eingerichtet werden.
Fig. 9 ist ein Diagramm, das den Aufbau von Daten in der j-ten epipolaren Ebene erläutert. Die epipolare Ebene ist aufgebaut aus vier epipolaren Linien, die durch Auslesen zugehöriger Raster aus den vier Bildern gewonnen werden.
Die j-te epipolare Ebene ist aufgebaut aus einem Satz von Punkten, EPj(x, i), die der nachstehenden Gleichung genügen:
EPj (x, i) = N1 (x, j)
wobei N1(x, j) einen x-ten Pixelwert in der j-ten Linie vom i-ten Bild (i = 1 ~ 4) bedeutet, nämlich einen Wert eines Pixels, dessen Koordinaten im 1-ten Bild (x, j) sind. Beispielsweise wird bei EPj(x, 2) in Fig. 9 ein Wert bei (x, j) im zweiten Bild gespeichert, nämlich N2(x, j).
Wenn Bildabtastoberflächen von Eingabeeinrichtungen (Kameras) zu einem gleichen Intervall parallel zueinander angeordnet sind, dann bilden die zugehörigen Punkte (gleicher Punkt in jedem Bild) eine gerade Linie auf der epipolaren Ebene. Folglich können die zugehörigen Punkte bestimmt werden durch Bestimmen der geraden Linie, und des weiteren ist eine Interpolation von Bildern bezüglich der bestimmten geraden Linie auszuführen. Somit wird in Schritt S63 die gerade Linie, auf der sich die zugehörigen Punkte befinden, bestimmt auf der j-ten epipolaren Ebene. Dann werden die zugehörigen Punkte aus der bestimmten geraden Linie bestimmt und gespeichert.
Als nächstes beschrieben ist ein Verfahren zum Bestimmen der geraden Linie, um die zugehörigen Punkte auf der epipolaren Ebene zu suchen. Fig. 10 ist ein Ablaufdiagramm, das eine Verarbeitungssequenz zum Bestimmen einer geraden Linie zum Suchen zugehöriger Punkte darstellt.
Zuerst wird in Schritt S71 eine Vorzugsreihenfolgen auf 1 gesetzt und ein Raster eines Gegenstandspixels r wird auf 1 gesetzt. Die bevorzugte Reihenfolgen zeigt die Beziehung zwischen Gegenständen an, die sich in Bildern überlagern. Beispielsweise stellt die Bezugsreihenfolgen = 1 einen Gegenstand des Bildes davor (näher an den Kameras) dar, und wird nicht hinter anderen Gegenständen verborgen, wenn sich der Blickpunkt ändert. Folglich existieren die zugehörigen Punkte auf der Vorzugswertigkeit 1 auf allen epipolaren Linien. Da sich der Vorzugsrang verringert, nämlich die Anzahl der Nummer des Vorzugsranges n sich erhöht, gibt es dann mehr epipolare Linien, auf denen zugehörige Punkte des Vorzugsranges nicht vorhanden sind.
Der Prozeß schreitet fort zu Schritt S72, und EPj(x, r) wird als Gegenstandspixel angesehen, und alle m, die der nachstehenden Gleichung (6) genügen, werden in Bereichen errechnet, m = k1 ~ k1 + k 2, x = 1 ~ nx.
Ej(x, r) = {EPj(x + m · (i - r), i) - EPj(x,r)}² < TH2 ...(6)
Der Wert k1 wird abhängig vom Eingabeverfahren bestimmt, und wenn die Kameras parallel in gleichem Abstand vom Gegenstand der Aufnahme eines Bildes vom Gegenstand angeordnet sind, ist k1 = 1. Der Wert k2 wird bestimmt abhängig vom Abstand zwischen der Kamera und dem Gegenstand und eingestellt auf 20 (es wird angenommen, daß der Blickpunkt sich in diesem Ausführungsbeispiel nicht mehr als 20 Pixel verschiebt). Angemerkt sei, daß nx die Anzahl von Pixeln eines Bildes in Hauptabtastrichtung darstellt.
Angemerkt sei, daß m eine reelle Zahl sein kann, wodurch ein Wert von x + m · (i - r) auf die nächste ganze Zahl aufgerundet werden muß, um die zugehörige x-Koordinate zu bestimmen. TH2 in dieser Gleichung (6) ist der Schwellwert zum Herausfinden der zugehörigen Punkte und ist auf 1 200 in diesem Ausführungsbeispiel eingestellt. Der Grund, weswegen auf 1200 eingestellt wird, ist der, daß sich die epipolare Ebene aus vier Rastern zusammensetzt, womit Differenzen dreimal errechnet werden. Es wird angenommen, daß, wenn die Differenz etwas weniger als 20 ist, die Farben fast dieselben sind, die Zahl 1 200 wird gewonnen aus 3 · 20 · 20.
Wenn es keine Spiegelkomponente in Bildern gibt, die von einer idealen Eingabeeinheit eingegeben werden (entsprechend Punkten in jedem Bild, die denselben Pixelwert haben), ist TH2 = 0 richtig. Jedoch unterscheiden sich in der Praxis Pixelwerte zugehöriger Punkte eines jeden Bildes, womit die Differenz auf 20 eingestellt wird. Je genauer die Eingabeeinheit wird, desto geringer wird folglich auch die Differenz. Im Gegensatz dazu sollte im entgegengesetzten Fall der Unterschied größer eingestellt werden.
Das obige Verfahren wird beschrieben, wenn ein Prozeß bezüglich eines jeden RGB-Pixelwertes ausgeführt wird; jedoch kann es auch angewandt werden in einem Falle, bei dem der Wert umgesetzt wird in YIQ, HSI oder in ein anderes Farbsystem, und der Schwellwert kann eingestellt werden, so daß er zu den Farbsystemen paßt.
Wenn des weiteren Epj(x + m · (i-r), i) nicht existiert (nämlich x + m · (i-r) liegt außerhalb des Bereichs der x-Achse (1 - nx)), dann geht der Prozeß weiter unter der Annahme, daß der Punkt gemäß m nicht vorhanden ist. Wenn jedoch Epj(x + m · (i-r), i) bereits in Schritt S72 verarbeitet worden ist, setzt sich der Prozeß fort unter der Annahme, daß Epj (x + m · (i-r), i) - Epj (x, r) gleich 0 ist.
Dann schreitet der Prozeß fort zu Schritt S73, in dem die zugehörigen Punkte des Vorzugsranges n aus der geraden Linie mit der Steigung m bestimmt werden, die in Schritt S72 gewonnen wird, und gespeichert werden. Wenn eine Vielzahl zugehöriger Punkte gefunden sind, werden alle derartigen Punkte als zugehörige Punkte zum Vorzugsrang n gespeichert, als eine Vereinbarung. Die Pixel werden als zugehörige Punkte bestimmt und als verarbeitet angesehen. Angemerkt sei, daß, wenn ein zugehöriger Punkt sich mit einem anderen zugehörigen Punkt desselben Vorzugsranges überlagert, der Punkt mit dem größeren Wert von m vorgezogen wird (derjenige, dessen Steigung sanfter in Hinsicht auf die epipolaren Linien ist). Dies liegt daran, daß die durch den Versatz des Blickpunktes verursachte Bewegung des Punktes auf den Bildern größer wird, wenn der durch den zugehörigen Punkt dargestellte Gegenstand näher an der Kamera liegt (der Wert von m wird nämlich größer), womit der Punkt mit dem größeren Wert von m unter der Vielzahl zugehöriger Punkte desselben Vorzugsranges vorgezogen wird.
Wenn im Prozeß in Schritt S73 die zugehörigen Punkte, die man aus der geraden Linie der Steigung m gewinnt, verarbeitet werden (sie werden bestimmt als zugehörige Punkte von höherem Vorzugsrang und zugehörige Punkte eines Pixels, die aktuell interessant sind, werden hinter den zugehörigen Punkten einem höher bevorzugten Rang versteckt), werden die Punkte nicht als die zugehörigen Punkte auf der geraden Linie mit der Steigung m angesehen. Dann wird die Anzahl unverarbeiteter Pixel w eingestellt.
Dann schreitet der Prozeß fort zu Schritt S74, bei dem bestimmt wird, ob die Anzahl unverarbeiteter Pixel gleich 0 ist. Wenn sie gleich 0 ist, ist der Prozeß abgeschlossen, und es erfolgt eine Rückkehr zu Schritt S64 (Fig. 7). Wenn die Anzahl nicht gleich 0 ist, bewegt sich der Prozeß fort zu Schritt S75, in dem bestimmt wird, ob das Gegenstandsraster r das letzte Raster R ist. Wenn das Gegenstandsraster r das letzte Raster R ist, dann schreitet der Prozeß fort zu Schritt S76, und das Gegenstandsraster r wird auf 1 gesetzt (erstes Raster). Wenn andererseits das Gegenstandsraster nicht das letzte Raster ist, dann bewegt sich der Prozeß fort zu Schritt S77, in dem der Wert des Rasters um 1 inkrementiert wird. Angemerkt sei, daß R in Schritt S75 die Anzahl von Rasterungen (in diesem Ausführungsbeispiel ist R = 4) aufzeigt, bestehend aus der epipolaren Ebene.
Als nächstes wird im Prozeß, der dem Schritt S78 vorangeht, bestimmt, ob n, das den Vorzugsrang anzeigt, gleich N ist. Mit N wird die Komplexität des Phänomens aufgezeigt, bei dem sich hinter anderen Gegenständen weitere Gegenstände verstecken (die durch Okklusion vorhanden sind). Genauer gesagt, wenn der Wert von N groß ist, wird eine große Anzahl von Gegenständen überlappt, wohingegen sich bei kleinem Wert von N eine geringe Anzahl von Gegenständen überlappt. Die Anzahl von N wird abhängig davon eingestellt, wieviel Okklusion im Detail ausgedrückt ist. Hier wird N auf (R - 1) · 10 gesetzt, nämlich auf 30, als einen empirischen Wert.
Wenn in Schritt S78 bestimmt ist, daß n nicht gleich N ist, schreitet der Prozeß fort zu Schritt S79. Wenn dahingegen in Schritt S78 bestimmt ist, daß n = N ist, wird der Prozeß abgeschlossen. In Schritt S79 wird bestimmt, ob die Anzahl unverarbeiteter Pixel w abgesunken ist verglichen zur Anzahl der unverarbeiteten Pixel U im früheren Prozeß. Wenn die Anzahl unverarbeiteter Pixel gesunken ist, schreitet der Prozeß fort zu Schritt S80. In Schritt S80 wird der Wert von n um 1 inkrementiert, und u wird aktualisiert auf den Wert von w, dann kehrt der Prozeß zurück zu Schritt S72. Wenn andererseits die Anzahl unverarbeiteter Pixel nicht absinkt, dann ist der Prozeß zur Feststellung einer geraden Linie auf der epipolaren j-ten Ebene (j-EPI) abgeschlossen, und der Prozeß kehrt zurück zu Schritt S64 (Fig. 7)
Durch Ausführen des Prozesses gemäß dem zuvor beschriebenen Algorithmus können zugehörige Punkte, die nicht aus zwei Bildern gefunden werden, bestimmt werden. Des weiteren hat der Prozeß mit Okklusion und dergleichen zu tun, womit die Präzision des Suchens zugehöriger Punkte ansteigt.
In Schritt S64 in Fig. 7 wird bestimmt, ob alle Raster der eingegebenen Bilder verarbeitet sind. Wenn es irgendwelche unverarbeitete Raster gibt, schreitet der Prozeß fort zu Schritt S65, in dem der Wert von j um 1 inkrementiert wird, dann kehrt der Prozeß zurück zu Schritt S62. Wenn hingegen bestimmt ist, daß alle Raster verarbeitet sind, ist der Suchprozeß nach zugehörigen Punkten abgeschlossen, und der Prozeß kehrt zurück zum Ablaufdiagramm in Fig. 6. Angemerkt sei, daß ny in Schritt S64 die Gesamtzahl von Rastern der eingegebenen Bilder ist.
Als nächstes beschrieben ist der Prozeß in Schritt S52 in Fig. 6, nämlich ein Bildinterpolationsprozeß. Der Bildinterpolationsprozeß wird unter Verwendung der in Schritt S51 gewonnenen zugehörigen Punkte ausgeführt. Die Verarbeitungssequenz ist anhand der Fig. 11 bis 14 beschrieben.
Fig. 11 zeigt eine epipolare j-te Ebene, von der die vorherigen zugehörigen Punkte bestimmt werden. In Fig. 11 stellen a1 und c1 zugehörige Punkte des Vorzugsranges 1 dar, und b2 stellt zugehörige Punkte des Bezugsranges 2 dar. Ein Fall, bei dem p Bilder zwischen eingegebenen Bildern zu einem gleichen Intervall interpoliert werden, ist nachstehend beschrieben. Angemerkt sei, daß in diesem Ausführungsbeispiel p mit 2 gewählt ist, um die Erläuterung zu vereinfachen.
Fig. 12 ist ein Ablaufdiagramm, das eine Verarbeitungssequenz des Bildinterpolationsprozesses darstellt. In Schritt S90 wird eine Zahl der zu verarbeitenden epipolaren Ebene j auf 1 gesetzt. Dann wird in Schritt S91 der Vorzugsrang n auf 1 gesetzt. In Schritt S92 werden epipolare Linien zur Interpolation von Bildern in die epipolare j-te Ebene eingefügt.
Fig. 13 zeigt eine epipolare Ebene, wenn zwei Bilder durch Interpolation zwischen Originalbildern erzeugt werden. Zwei epipolare Linien werden zwischen benachbarte zwei epipolare Linien auf der epipolaren j-ten Ebene, gezeigt in Fig. 11, eingefügt.
Als nächstes werden in Schritt S93 die zugehörigen Punkte auf der epipolaren Ebenen von Interpolationsbildern gesucht. Hier werden Pixel auf der geraden Linie, die die zugehörigen Punkte verbindet auf der epipolaren Ebene der eingegebenen Bilder, als zugehörige Punkte ausgelesen. In Schritt S94 wird bestimmt, ob ein Pixel, sichergestellt als zugehöriger Punkt, eingestellt ist als zugehöriger Punkt höheren bevorzugten Ranges. Wenn das Pixel nicht als zugehöriger Punkte höheren Vorzugsranges eingestellt ist, schreitet der Prozeß fort zu Schritt S95, dann wird ein Pixelwert in das Pixel als zugehöriger Punkt eingesetzt. Der einzusetzende Pixelwert am zugehörigen Punkt ist ein Durchschnitt von Pixelwerten zugehöriger Punkte der eingegebenen Bilder.
Der Rang der geraden Linie, gewonnen durch Verbinden der zugehörigen Punkte der eingegebenen Bilder, die zu verwenden sind, ist der erhöhte Rang der Steigung m, wenn der Vorzugsrang derselbe ist. Wenn dann die zugehörigen Punkte dasselbe Pixel aufzeigen, wird der Wert des Pixels aktualisiert. Die zugehörigen Punkte auf einer Linie mit größerer Steigung m werden dadurch bevorzugt. Dies liegt daran, weil die Bewegung des Punktes auf den Bildern, verursacht durch Versatz des Blickpunktes, größer ist, wenn der durch den zugehörigen Punkt dargestellte Gegenstand näher an den Kameras ist (der Wert m ist dann nämlich größer. Folglich werden die Punkte auf der Linie mit dem größeren Wert von m unter der Vielzahl zugehöriger Punkte desselben Vorzugsranges, und somit läßt sich mit einer Okklusion zurechtkommen.
In Schritt S95 werden Werte von Pixeln auf der interpolierten epipolaren Linie und auf der geraden Linie, die die zugehörigen Punkte verbindet, wie zuvor beschrieben, auf die Durchschnittswerte der Pixel auf der geraden Linie gesetzt, die die zugehörigen Punkte auf den Originalen verbinden. Zieht man die zugehörigen Punkte a1 und c1 in Fig. 13 in Betracht, dann werden die Pixelwerte von Punkten a und c auf der geraden Linie, die die zugehörigen Punkte verbindet, der Durchschnittswert von Pixeln, dargestellt durch a1 beziehungsweise c1.
Bei Pixel (4, 9) in Fig. 13 wird des weiteren a zuerst eingestellt, jedoch wird es später überschrieben durch den zugehörigen Punkt c auf der Linie mit der größeren Steigung von m.
Wenn die zuvor beschriebenen Prozesse bezüglich aller zugehörigen Punkte mit dem Vorzugsrang 1 ausgeführt sind, wird n um 1 inkrementiert, und zugehörige Punkte mit dem Vorzugsrang 2 beginnen verarbeitet zu werden (Schritte S96 bis S97). Die Prozesse, die dann auf die zugehörigen Punkte des Vorzugsranges 2 anzuwenden sind, sind dieselben wie jene, die in den zuvor genannten Schritten S93 bis S97 ausgeführt wurden. Jedoch gibt es einige Pixel, die bereits interpoliert sind, wenn die zugehörigen Punkte des Vorzugsranges 1 verarbeitet werden, womit jene interpolierten Pixel in Schritt S94 nicht verarbeitet werden.
Dies wird anhand Fig. 13 erläutert. Ein Pixel (5, 8) ist auf derselben Position, wenn es zu interpolieren ist, in Hinsicht auf die zugehörigen Punkte b2, jedoch bereits interpoliert, wenn die zugehörigen Punkte c1 des Vorzugsranges 1 verarbeitet werden, womit das Pixel (5, 8) nicht verarbeitet wird. Da die zugehörigen Punkte b2 nicht auf dem ersten Raster der epipolaren Ebene des Originals existieren (siehe Fig. 11), existieren sie auch nicht an den zugehörigen Punkten b2 auf der ersten bis dritten epipolaren Linie in Fig. 13. Im Beispiel von Fig. 13 tritt an den Punkten (4, 9) und (5, 8) eine Okklusion auf, und diese wird in der zuvor beschriebenen Weise behandelt.
Wenn die zugehörigen Punkte mit dem Vorzugsrang 2 vollständig verarbeitet sind, beginnt die Verarbeitung zugehöriger Punkte des Vorzugsranges 3. Die zuvor genannten Prozesse werden wiederholt, bis alle zugehörigen Punkte des letzten Bezugsranges verarbeitet sind.
Nachdem die zugehörigen Punkte des letzten Vorzugsranges verarbeitet worden sind, schreitet der Prozeß von Schritt S96 zu Schritt S98, in dem die Pixel, die während der zuvor genannten Prozesse nicht interpoliert worden sind, unter Bezug auf benachbarte Pixel interpoliert werden. Hinsichtlich der Interpolation zu dieser Zeit gibt es Verfahren der Anwendung eines Durchschnittswertes benachbarter Pixel unter Verwendung eines Wertes des Pixels, das dem zu interpolierenden am nächsten liegt.
In Schritt S99 und in Schritt S100 werden die zuvor genannten Prozesse der Schritt S91 bis 599 bezüglich der epipolaren Ebenen von j = 1 ~ ny ausgeführt. Wenn die Prozesse bezüglich aller epipolaren Ebenen von j ausgeführt sind, werden die epipolaren Linien von j2, j3, j5, j6, j8 und j9 durch die in Fig. 13 gezeigte Interpolation erzeugt. In diesem Ausführungsbeispiel werden sechs Interpolationsbilder gewonnen. Dann wird in Schritt S101 ein Interpolationsbild aus den interpolierten epipolaren Linien erzeugt, wie zuvor.
Beispielsweise wird ein Interpolationsbild 2 in Fig. 14 erzeugt durch Anordnen der interpolierten epipolaren Linien j2 (j = 1 ~ ny). Interpolationsbilder 3, 5, 6, 8 und 9 können in derselben Weise erzeugt werden.
Durch Erzeugen von Interpolationsbildern aus einer Vielzahl eingegebener Bilder unter Verwendung der zuvor genannten Konfiguration und dem Verfahren können zugehörige Punkte, die aus den beiden eingegebenen Bildern nicht erhalten werden könnten, gewonnen werden, womit die Qualität der Interpolation verbessert ist. Zugehörige Punkte werden des weiteren gefunden unter Verwendung einer Vielzahl eingegebener Bilder, womit das Problem der Okklusion, wie es zuvor beschrieben wurde, gelöst ist.
Angemerkt sei, daß die Erläuterung über die Parallaxe in Vertikalrichtung im obigen Ausführungsbeispiel fortgelassen ist, jedoch kann ein Bild, das die Parallaxe in Vertikalrichtung berücksichtigt, in einer solchen Weise erzeugt werden, daß mit Vielfachblickpunkt aufgenommene Bilder aus Bildaufnahmegesichtspunkten, angeordnet an Kreuzungen großer Maschen auf einer Ebene, gespeichert werden, und Bilder werden zwischen den Vielfachblickpunktbildern in Rechts- und Linksrichtung interpoliert, und dann in Vertikalrichtung. Hier können Interpolationsbilder in Vertikalrichtung durch Auslesen einer geraden Linie erzeugt werden, die durch Pixel gebildet ist, die in Vertikalrichtung angeordnet sind und eine epipolare Ebene aufbauen.
Des weiteren gibt es eingegebene Bilder, die mit einer Vielzahl von Kameras aus unterschiedlichen Blickpunkten aufgenommen werden, jedoch können die eingegebenen Bilder mit einer einzigen Kamera aufgenommen werden durch Gleiten derer Position, um so äquivalente Bilder zu erhalten, wie sie aus einer Vielzahl von Kameras aufgenommen werden, die sich an feststehenden Orten befinden. In diesem Falle muß die Richtung des Gleitens der Kamera in X-Richtung (Hauptabtastrichtung) der Bildabtastoberfläche der Kamera parallel verlaufen, und zugehörige Punkte bilden keine gerade Linie auf einer epipolaren Ebene. Jedoch kann die im obigen Ausführungsbeispiel beschriebene Kalibrierung auch in diesem Falle angewandt werden. Somit ist es offensichtlich, daß es möglich ist, zugehörige Punkte auf einer geraden Linie anzuordnen.
Wenn eine Vielzahl von Bildern durch Gleiten einer Position einer einzigen Kamera aufgenommen werden, erfolgt zuerst das Aufnehmen der Bilder von Gegenständen an zwei Positionen. Dann wird eine gerade Linie, die die Ursprünge der Kamerakoordinatensysteme an zwei Stellen verbinden, als X-Achse einer Bezugsprojektionsebene festgelegt, und eine Y-Achse eines beliebigen Kamerakoordinatensystems wird als Y-Achse der Bezugsprojektionsebene festgelegt. Da es möglich ist, die Beziehung zwischen dem Koordinatensystem dieser Bezugsprojektionsebene und dem Weltkoordinatensystem herauszufinden, kann die Beziehung als Bezugsparametermatrix Tb bezeichnet werden. Unter Verwendung der solchermaßen gewonnenen Bezugsparametermatrix Tb kann ein interpoliertes Bild aus der Gleichung (5) gewonnen werden, ebenso wie im obigen Ausführungsbeispiel.
In diesem Ausführungsbeispiel ist eine der Kameras des weiteren als die Bezugskamera festgelegt, und die Bezugsprojektionsebene ist durch die Bildabtastoberfläche der Bezugskamera festgelegt, jedoch ist die vorliegende Erfindung nicht hierauf beschränkt. Eine willkürliche Ebene kann als die Bezugsprojektionsebene festgelegt werden. In einem solchen Falle kann durch Erzielen der Bezugsparameter durch Herausfinden der Beziehung zwischen dem Weltkoordinatensystem und dem Koordinatensystem der willkürlichen Ebene ein Kalibrieren in derselben Weise wie im zuvor beschriebenen Ausführungsbeispiel ausgeführt werden. Angemerkt sei, daß die Beziehung leicht erzielbar ist, da die Gleichung von der Bezugsprojektionsebene im Weltkoordinatensystem bekannt ist.
Im obigen Ausführungsbeispiel wird des weiteren aus der Bezugsprojektionsebene ein rechteckiger Bereich ausgelesen, bevor die Bildinterpolationsprozesse durchgeführt werden; das Verfahren des Auslesens vom rechteckigen Bereich ist jedoch nicht hierauf beschränkt. Beispielsweise kann ausgelesen werden durch Erzielen von Pixelwerten einer Linie, die erforderlich ist zum Erzeugen einer epipolaren Ebene, und Projizieren der Bezugsprojektionsebene. Genauer gesagt, im obigen Ausführungsbeispiel wird die epipolare j-te Ebene durch Auslesen von j Rastern der auf die Bezugsprojektionsebene projizierten Bilder aufgebaut. Statt dessen können Pixelwerte der Koordinatenpunkte gemäß nur den j-ten Rastern, projiziert auf die Bezugsebene, erzielt werden, dann Aufbauen der epipolaren j-ten Ebene. Wenn beispielsweise die y-Komponente eines jeden Pixels auf dem j-ten Raster gleich yj ist, dann kann die epipolare j-te Ebene unter Verwendung von Werten der durch (xm', yj) ausgedrückten Pixel gebildet werden.
Nach diesem zuvor beschriebenen Ausführungsbeispiel können die eingegebenen Bilder auf Bildabtastoberflächen korrigiert werden zu Bildern auf einer einzigen Ebene, womit das Suchen von zugehörigen Punkten zum Bildinterpolationsprozeß durch Finden einer geraden Linie auf einer epipolaren Ebene ausgeführt werden kann. Folglich wird es leichter, zugehörige Punkte zu suchen, wodurch Interpolationsbilder erzeugt werden.
Ausführungsbeispiele der vorliegenden Erfindung können gebildet werden durch eine Vielzahl von Einrichtungen oder durch ein Gerät, das nur eine einzige Einrichtung enthält. Des weiteren können die Ausführungsbeispiele erzielt werden durch Anliefern eines Programms an ein System oder an ein Gerät.
Wie zuvor beschrieben, können von einer Vielzahl von Kameras aufgenommene Bilder korrigiert und auf eine einzige Ebene projiziert werden.
Des weiteren ist es möglich, ein gewünschtes Bild aus Bildern auszulesen und auszugeben, die auf dieselbe Ebene projiziert sind.
Des weiteren ist es möglich, einen Teil von Bildern auszulesen, die auf eine einzige Ebene projiziert sind, so daß optische Achsen der Vielzahl von Kameras, die Bilder aufnehmen, als parallel zueinander angesehen werden.
Im Ausführungsbeispiel wird eine epipolare Ebene aus einer Vielzahl von Bildern erzeugt, die zu Bildern auf einer einzigen Ebene korrigiert sind, wodurch zugehörige Punkte als gerade Linie feststellbar sind. Folglich wird es leicht, die zugehörigen Punkte festzustellen.
Des weiteren werden neue Linien durch Interpolation einer epipolaren Ebene auf der Grundlage der Anordnung der zugehörigen Punkte erzeugt, die auf der epipolaren Ebene festgestellt worden sind, und ein neues Bild wird unter Verwendung der erzeugten Linien erzeugt. Folglich ist es möglich, Bilder zu schaffen, die aus unterschiedlichen Gesichtspunkten von jenen der eingegebenen Bilder erzeugt werden.
Des weiteren wird das Auftreten einer Okklusion von der Anordnung von den festgestellten zugehörigen Punkten auf einer epipolaren Ebene erkannt, womit akkurate Interpolationsbilder erzeugt werden können.
Da viele weitestgehend unterschiedliche Ausführungsbeispiele der vorliegenden Erfindung möglich sind, versteht es sich, daß die Erfindung nicht auf die speziellen Ausführungsbeispiele beschränkt ist, sondern wie durch die anliegenden Patentansprüche festgelegt ist.

Claims

1. Vorrichtung (3, 4, 5, 6) zur Verarbeitung eingegebener Bilddaten, die Bilder eines mit einer Vielzahl unterschiedlicher Blickpunkte auf Kamerabild-Abtastoberflächen in verschiedenen Ebenen aufgezeichneter Gegenstands darstellen, um Ausgangsbilddaten für ein Bild des Gegenstands mit einem gewünschten Blickpunkt zu erzeugen, mit:

einem Rechenmittel (3) zum Errechnen von Umsetzparametern, die die Beziehung zwischen Pixelpositionen auf der Vielzahl von Kamerabild-Abtastoberflächen und einer Bezugsebene darstellen, wobei das Rechenmittel (3) eingerichtet ist, die Umsetzparameter für jede jeweilige Kamerabild-Abtastoberfläche auf der Grundlage eines Kameraparameters zu errechnen, der die Entsprechung zwischen einem Koordinatensystem des Gegenstands und dem Koordinatensystem der gemäß dem vom Gegenstand aufgenommenen Bild errechneten Kamerabild-Abtastoberfläche darstellt, und einem Bezugsparameter, der die Entsprechung zwischen dem Koordinatensystem des Gegenstands und dem Koordinatensystem der Bezugsebene darstellt;

einem Projektionsmittel (4) zum Projizieren der Vielzahl eingegebener Bilder auf die Bezugsebene auf der Grundlage der errechneten Umsetzparameter, um projizierte Bilddaten zu erzeugen;

einem Auslesemittel (6) zum Auslesen von Daten aus den projizierten Bilddaten, die eine Vielzahl partieller Bilder darstellen; und mit

einem Bilddaten-Erzeugungsmittel (5, 6) zum Erzeugen von Ausgangsbilddaten für ein Bild aus einem gewünschten Blickpunkt unter Verwendung der ausgelesen Daten.

2. Vorrichtung nach Anspruch 1, bei der die Bezugsebene eine durch das Koordinatensystem des Gegenstands dargestellte Ebene ist.

3. Vorrichtung nach Anspruch 1, bei dem die Bezugsebene eine Ebene ist, die eine der Kamerabild-Abtastoberflächen enthält, und bei der das Rechenmittel (3) eingerichtet ist zum Errechnen des Bezugsparameters aus dem Kameraparameter für die Kamerabild- Abtastoberfläche, die in der Bezugsebene liegt.

4. Vorrichtung nach einem der vorstehenden Ansprüche, bei der die aus der Bezugsebene durch das Auslesemittel (6) ausgelesenen partiellen Bilder ein Bild eines Bereichs enthalten, dessen Mitte die Kreuzung der Senkrechten von der Mitte der Kameralinse auf der Bezugsebene ist.

5. Vorrichtung nach einem der vorstehenden Ansprüche, bei der die vom Auslesemittel (6) ausgelesenen partiellen Bilder epipolare Ebenen enthalten.

6. Vorrichtung nach Anspruch 5, bei der das Bilddaten- Erzeugungsmittel (5, 6) ausgestattet ist mit:

einem epipolaren Ebenenerzeugungsmittel zum Erzeugen einer epipolaren Ebene auf der Grundlage von vom Auslesemittel (6) ausgelesenen epipolaren Linien;

einem Bestimmungsmittel zum Bestimmen von durch jeweilige zugehörige Punkte auf der epipolaren Ebene erzeugten geradenen Linien; und

einem epipolaren Linienerzeugungsmittel zum Erzeugen einer interpolierten epipolaren Linie, die zwischen ein Paar der epipolaren Linien der epipolaren Ebene durch Plazieren von Punkten in die epipolare Linie einzufügen ist, die auf der Grundlage der vom Bestimmungsmittel bestimmten geraden Linien einzufügen ist; und

bei dem das Bilddaten-Erzeugungsmittel (5, 6) eingerichtet ist zum Erzeugen der Ausgangsbilddaten für das Bild aus dem gewünschten Blickpunkt unter Verwendung der vom epipolaren Linien-Erzeugungsmittel erzeugten eingefügten epipolaren Linien.

7. Vorrichtung nach Anspruch 6, bei der das Bestimmungsmittel eingerichtet ist, eine höhere Priorität einer geraden Linien zu geben als derjenigen, die nicht durch eine andere gerade Linie unterbrochen ist, und eine geringere Priorität für eine gerade Linie zu vergeben, die durch eine andere gerade Linie unterbrochen ist, und bei der das epipolare Linienerzeugungsmittel eingerichtet ist zum Bestimmen von Pixelwerten der eingefügten epipolaren Linie unter Verwendung der geraden Linien in absteigender Reihenfolge der Priorität.

8. Vorrichtung nach Anspruch 6 oder Anspruch 7, bei der das Bestimmungsmittel so eingerichtet ist, daß, wenn eine Vielzahl von kreuzenden geraden Linien bestimmt ist, die geraden Linie die höchste Priorität erhält, deren Steigung einer Horizontallinie am nächsten ist.

9. Vorrichtung nach einem der vorstehenden Ansprüche, die des weiteren ausgestattet ist mit wenigstens einer Kamera (1a-1d) zum Erzeugen der Ausgangsbilddaten.

10. Vorrichtung nach einem der vorstehenden Ansprüche, die des weiteren über ein Anzeigemittel (7) zum Anzeigen eines Bildes unter Verwendung der vom Bilddaten-Erzeugungsmittel (5, 6) erzeugten Ausgangsbilddaten verfügt.

11. Verfahren zur Verarbeitung eingegebener Bilddaten, die Bilder eines Gegenstands darstellen, der in einer Vielzahl unterschiedlicher Blickpunkte auf Kamerabild-Abtastoberflächen in unterschiedlichen Ebenen aufgezeichnet ist, um Ausgangsbilddaten für ein Bild des Gegenstands mit einem gewünschten Blickpunkt zu erzeugen, mit den Verfahrensschritten:

Errechnen von Umsetzparametern, die die Beziehung zwischen Pixelpositionen auf der Vielzahl von Kamerabild- Abtastoberflächen und einer Bezugsebene darstellen, wobei die Umsetzparameter für jede jeweilige Kamerabild-Abtastoberfläche auf der Grundlage eines Kameraparameters errechnet wird, der die Entsprechung zwischen einem Koordinatensystem eines Gegenstands und dem gemäß dem aufgenommenen Bild des Gegenstands errechneten Koordinatensystem der Bildabtastoberfläche der Kamera darstellt, und eines Kameraparameters, der die Entsprechung zwischen dem Koordinatensystem des Gegenstands und dem Koordinatensystem der Bezugsebene darstellt;

Projizieren der Vielzahl eingegebener Bilder auf die Bezugsebene auf der Grundlage der errechneten Umsetzparameter zum Erzeugen von Bilddaten;

Auslesen von Daten aus den projizierten Bilddaten, die eine Vielzahl partieller Bilder darstellen; und

Erzeugen von Ausgangsbilddaten für ein Bild aus einem gewünschten Blickpunkt unter Verwendung der ausgelesenen Daten.

12. Verfahren nach Anspruch 11, bei dem die Bezugsebene eine durch das Koordinatensystem des Gegenstands dargestellte Ebene ist.

13. Verfahren nach Anspruch 11, bei dem die Bezugsebene eine Ebene ist, die eine der Bildabtastoberflächen enthält, und wobei im Verfahrensschritt des Errechnens von Umsetzparametern das Errechnen des Bezugsparameters aus dem Kameraparameter für die Bildabtastoberfläche erfolgt, die in der Ebene der Bezugsebene liegt.

14. Verfahren nach einem der Ansprüche 11 bis 13, bei dem die im Verfahrensschritt des Auslesens aus der Bezugsebene ausgelesenen partiellen Bilder ein Bild eines Bereichs enthalten, dessen Mitte die Kreuzung zwischen der Senkrechten von der Mitte einer Kameralinse auf der Bezugsebene ist.

15. Verfahren nach einem der Ansprüche 11 bis 14, bei dem die im Verfahrensschritt des Auslesens ausgelesenen partiellen Bilder epipolare Ebenen enthalten.

16. Verfahren nach Anspruch 15, bei dem der Verfahrensschritt der Bilddatenerzeugung die Verfahrensschritte umfaßt:

Erzeugen einer epipolaren Ebene auf der Grundlage vom im Verfahrensschritt des Auslesens ausgelesener epipolarer Linien;

Bestimmen von durch jeweilige zugehörige Punkte auf der epipolaren Ebene erzeugten geraden Linien; und

Erzeugen einer interpolierten epipolaren Linie, die einzufügen ist zwischen ein Paar der epipolaren Linien der epipolaren Ebene durch Plazieren von Punkten in die epipolare Linie, die einzufügen ist auf der Grundlage der im Verfahrensschritt des Bestimmens bestimmten geraden Linien; und

wobei im Verfahrensschritt des Bilddatenerzeugens die Ausgangsbilddaten für das Bild aus dem gewünschten Blickpunkt erzeugt werden unter Verwendung der im Verfahrensschritt des Epipolarlinienerzeugens erzeugten eingefügten epipolaren Linien.

17. Verfahren nach Anspruch 16, bei dem im Verfahrensschritt des Bestimmens eine gerade Linie, die nicht durch eine andere gerade Linie unterbrochen ist, eine höhere Priorität erhält, und eine gerade Linie eine geringere Priorität erhält, die durch eine andere gerade Linie unterbrochen ist, und im Verfahrensschritt des Epipolarlinienerzeugens Pixelwerte auf der eingefügten epipolaren Ebene bestimmt werden unter Verwendung der geraden Linien in absteigender Prioritätsreihenfolge.

18. Verfahren nach Anspruch 16 oder 17, bei dem im Verfahrensschritt des Bestimmens eine gerade Linie die höchste Priorität erhält, deren Steigung einer Horizontallinie am nächsten liegt, wenn eine Vielzahl von kreuzenden geraden Linien bestimmt sind.

19. Verfahren nach einem der Ansprüche 11 bis 18, mit dem weiteren Verfahrensschritt des Erzeugens der Eingangsbilddaten unter Verwendung einer Vielzahl von Kameras.

20. Verfahren nach einem der Ansprüche 11 bis 18, mit dem weiteren Verfahrensschritt des Erzeugens der eingegebenen Bilddaten unter Verwendung einer einzigen Kamera und Bewegen der Kamera zwischen Bildern.

21. Verfahren nach einem der Ansprüche 11 bis 20, mit dem weiteren Verfahrensschritt des Erzeugens eines Bildes unter Verwendung der im Verfahrensschritt des Bilddatenerzeugens erzeugten ausgegebenen Bilddaten.

22. Computerprogrammprodukt mit Befehlen, die eine programmierbaren Verarbeitungsvorrichtung veranlassen, zum Ausführen eines Verfahrens nach einem der Ansprüche 11 bis 21 betriebsbereit zu sein.