DE69113889T2 - Passive Abstandsmessung und schnelle Autofokussierung. - Google Patents

Description

• Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Bestimmen des Abstandes eines Gegenstandes von einer Kamera, die einen Satz von Kameraparametern besitzt, wobei das Verfahren enthält: Einstellen der Kameraparameter auf einen ersten Satz von Kameraparameterwerten, Erzeugen eines Bildes des Gegenstandes in der Kamera und Aufzeichnen eines ersten Bildes; Einstellen der Kameraparameter auf einen zweiten Satz von Kameraparameterwerten, Erzeugen eines Bildes des Gegenstandes in der Kamera und Aufzeichnen eines zweiten Bildes.
• Die Erfindung bezieht sich außerdem auf eine Vorrichtung zum Bestimmen des Abstandes eines Gegenstandes von einer Kamera, wobei die Vorrichtung eine Kamera mit einem Satz von Kameraparametern, eine Kamerasteuereinrichtung, die den Satz von Kameraparametern auf gewünschte Werte einstellt, ein Bildnormierungsmittel, das verschiedene Bilder, die mit unterschiedlichen Werten für den Satz von Kameraparametern aufgezeichnet worden sind, normiert, ein Gleichungslösungsmittel, das die Werte von unterschiedlichen Ableitungen von normierten Bildern und Kameraparameterwerte in eine Gleichung einsetzen und diese nach dem Abstand des Gegenstandes vom Kamerasystem auflösen kann, sowie ein Mengendurchschnittsmittel enthält, das aus zwei Sätzen von Lösungen des Abstandes den Durchschnitt bildet und die gemeinsame Lösung bestimmt.
• Ein solches Verfahren und eine solche Vorrichtung sind in EP-A-0 318 188 offenbart.
• Die vorliegende Erfindung bezieht sich allgemeiner auf eine Vorrichtung und ein Verfahren, die auf Signalverarbeitungstechniken für die passive Abstandsmessung von Gegenständen durch eine Kamera, d. h. die Bestimmung des Abstandes von Gegenständen von der Kamera ohne Verwendung aktiver Verfahren wie etwa des Aussendens von Infrarotstrahlen, Laserstrahlen oder Strahlen anderen Typs oder aber von Schallwellen zu den Gegenständen, sondern unter ausschließlicher Verwendung von Umgebungsbeleuchtung. Die vorliegende Erfindung bezieht sich außerdem auf eine Vorrichtung und auf passive Verfahren für die schnelle Autofokussierung einer Kamera und für die Gewinnung verbesserter scharfer Bilder aus von einer Kamera erzeugten unscharfen Bildern. Im allgemeinen bezieht sich diese Erfindung auf eine Systemparameter-Schätzung und Signalwiederherstellung in irgendeinem linearen, verschiebungsinvarianten System, d. h. einem System, das am Eingangssignal eine Faltungsoperation ausführt.
• Das Ermitteln des Abstandes von Gegenständen von einem Kamerasystem hat Anwendungen in den Gebieten der Robotervision, der Maschinenvision, der selbständigen Fahrzeugnavigation und der schnellen Autofokussierung von Kamerasystemen. Es sind viele Verfahren und Vorrichtungen für die Bestimmung des Abstandes von Gegenständen von einem Kamerasystem bekannt. Ein Überblick über die für die vorliegende Erfindung relevanten Verfahren finden sich in EP-A-0 318 188 und in US-A-5, 193, 124 (eingereicht am 29. Juni 1988, die der EP-A-0 408 224, veröffentlicht am 16.01.91, entspricht).
• Im gesamten Stand der Technik (z. B. den beiden obenerwähnten Veröffentlichungen) und im japanischen Patent Nr. 62-284314 und im japanischen Patent Nr. 63-127217 sind viele gemeinsame, große Nachteile vorhanden. Im relevanten Stand der Technik basieren die Verfahren für die Bestimmung des Abstandes alle auf der Berechnung der Fourier- Transformationen von zwei oder mehr aufgezeichneten Bildern und auf der anschließenden Berechnung des Verhältnisses dieser zwei Fourier-Transformationen. Die Berechnung der zweidimensionalen Fourier-Transformationen von aufgezeichneten Bildern ist rechentechnisch sehr aufwendig. Sie macht eine komplexe und teuere Hardware erforderlich.
• Ein weiterer Nachteil der Verfahren des Standes der Technik besteht darin, daß sie nicht dazu verwendet werden können, den Abstand kleiner Gegenstände zu bestimmen. Sie können nur für die Bestimmung des Abstandes von großen Gegenständen verwendet werden. Der Grund hierfür besteht darin, daß die zuverlässige Berechnung von Fourier- Koeffizienten des Bildes eines Gegenstandes erforderlich macht, daß das Bild des Gegenstandes groß ist.
• Die Bestimmung des Abstandes eines Gegenstandes ist ein wesentlicher Schritt in jedem Autofokussierungsverfahren und außerdem in jedem Verfahren, mit dem aus unscharfen Bildern des Gegenstandes scharfe Bilder erhalten werden. Daher finden die obenerwähnten Nachteile auch Anwendung auf den Stand der Technik bezüglich der Autofokussierung sowie auf Verfahren, mit denen aus unscharfen Bildern verbesserte scharfe Bilder erhalten werden.
• Eine weitere Veröffentlichung des Standes der Technik findet sich in IEEE Transactions on Pattern Analysis and Machine Intelligence, Bd. PAMI-9, Nr. 4, Juli 1987, S. 523-531; A.P. Pentland: "A new sense for depth of field", insbesondere die Seiten 525-526, Abschnitt B. Dieser Artikel offenbart ein Verfahren zum Bestimmen des Abstandes eines Gegenstandes von einer Kamera, wobei das Verfahren enthält: Vorverarbeiten des ersten Bildes, um ein erstes normiertes Bild zu erhalten, derart, daß das erste normierte Bild gleich der Faltung eines scharfen Bildes des Gegenstandes mit einer ersten Punktstreufunktion der Kamera ist, die den ersten Satz von Kameraparameterwerten besitzt; Vorverarbeiten des zweiten Bildes, um ein zweites normiertes Bild zu erhalten, derart, daß das zweite normierte Bild gleich der Faltung einer zweiten Punktstreufunktion der Kamera ist, die den zweiten Satz von Kameraparameterwerten besitzt; Berechnen eines Satzes von Ableitungen des ersten Bildes, um einen ersten Satz von Bildableitungen zu erhalten; Berechnen eines Satzes von Ableitungen des zweiten normierten Bildes, um einen zweiten Satz von Bildableitungen zu erhalten; Einstellen der Kameraparameter auf einen dritten Satz von Kameraparameterwerten, Erzeugen eines Bildes des Gegenstandes in der Kamera und Aufzeichnen eines dritten Bildes; und Bestimmen desjenigen Elementes eines Satzes von Lösungen für den Abstand, das mit dem dritten Satz von Kameraparameterwerten und dem dritten Bild konsistent ist, um den Abstand des Gegenstandes vom Kamerasystem zu erhalten. Jedoch wird auch gemäß diesem bekannten Verfahren ein Satz von Lösungen durch die Berechnung von Fourier-Transformationen erhalten.
• Eine Aufgabe der vorliegenden Erfindung ist, ein Verfahren zu schaffen zum Ermitteln des Abstandes eines Gegenstandes von einem Kamerasystem durch Aufzeichnen und Verarbeiten von wenigstens zwei Bildern des Gegenstandes. Es können mehr als zwei Bilder verwendet werden, um Mehrdeutigkeit zu vermeiden und um die Robustheit zu erhöhen.
• Eine weitere Aufgabe der vorliegenden Erfindung ist, ein Verfahren zu schaffen für die schnelle Autofokussierung von Kameras durch Erfassen und Verarbeiten von drei oder mehr Bildern.
• Eine zusätzliche Aufgabe der vorliegenden Erfindung ist, ein Verfahren zu schaffen zum Erhalten verbesserter scharfer Bilder aus unscharfen Bildern.
• Eine weitere Aufgabe der vorliegenden Erfindung ist, ein Verfahren zu schaffen für die Schätzung von Systemparametern und für die Wiederherstellung eines Eingangssignals in irgendeinem Instrument, das als lineares, verschiebungsinvariantes System, d. h. als System, das eine Faltungsoperation ausführt, entworfen werden kann.
• Um diese Aufgaben zu lösen, ist das Verfahren gemäß dem Oberbegriff des Anspruches 1 gekennzeichnet durch:
• (c) Vorverarbeiten des ersten Bildes, um ein erstes normiertes Bild zu erhalten, derart, daß das erste normierte Bild gleich der Faltung eines scharfen Bildes des Gegenstandes mit einer ersten Punktstreufunktion der Kamera ist, die einen ersten Satz von Kameraparameterwerten besitzt;
• (d) Vorverarbeiten des zweiten Bildes, um ein zweites normiertes Bild zu erhalten, derart, daß das zweite normierte Bild gleich der Faltung einer zweiten Punktstreufunktion der Kamera ist, die den zweiten Satz von Kameraparameterwerten besitzt;
• (e) Berechnen eines Satzes von Ableitungen des ersten normierten Bildes, um einen ersten Satz von Bildableitungen zu erhalten;
• (f) Berechnen eines Satzes von Ableitungen des zweiten normierten Bildes, um einen zweiten Satz von Bildableitungen zu erhalten;
• (g) Einsetzen der Werte des ersten Satzes von Kameraparameterwerten, des zweiten Satzes von Kameraparameterwerten, des ersten Satzes von Bildableitungen und des zweiten Satzes von Bildableitungen in eine Gleichung, die durch Gleichsetzen eines ersten Ausdrucks für das scharfe Bild, der durch den ersten Satz von Kameraparameterwerten und durch den ersten Satz von Bildableitungen gegeben ist, mit einem zweiten Ausdruck für das scharfe Bild, der durch den zweiten Satz von Kameraparameterwerten und den zweiten Satz von Bildableitungen gegeben ist, um dadurch eine Gleichung zu erhalten, in der der Abstand des Gegenstandes die einzige unbekannte Variable ist; wobei der erste Ausdruck das Ergebnis der Multiplikation jedes Elementes des ersten Satzes von Bildableitungen mit einem Gewichtungsparameter, um einen ersten Satz von gewichteten Bildableitungen zu erhalten, und der Summation sämtlicher Elemente des ersten Satzes von gewichteten Bildableitungen ist und wobei der zweite Ausdruck das Ergebnis der Multiplikation jedes Elementes des zweiten Satzes von Bildableitungen mit einem Gewichtungsparameter, um einen zweiten Satz von gewichteten Bildableitungen zu erhalten, und der Summation sämtiicher Elemente des zweiten Satzes von gewichteten Bildableitungen ist, und wobei die Gewichtungsparameter in der Weise definiert sind, daß der erste und der zweite Ausdruck gleich dem scharfen Bild des Gegenstandes sind, das durch den ersten und den zweiten Satz von Kameraparameterwerten bzw. den ersten und den zweiten Satz von Bildableitungen gegeben ist;
• (h) Lösen der im Schritt (g) erhaltenen Gleichung, um einen ersten Satz von Lösungen für den Abstand des Gegenstandes zu erhalten, wobei für die Auflösung nach dem Abstand keine Fourier-Transformationen berechnet werden;
• (i) Einstellen der Kameraparameter auf einen dritten Satz von Kameraparameterwerten, Erzeugen eines Bildes des Gegenstandes in der Kamera und Aufzeichnen eines dritten Bildes; und
• (j) Bestimmen des Elementes des ersten Satzes von Lösungen für den Abstand, der im Schritt (h) erhalten wurde und mit dem dritten Satz von Kameraparameterwerten und dem dritten Bild konsistent ist, um den Abstand des Gegenstandes vom Kamerasystem zu erhalten.
• Die Vorrichtung gemäß der Erfindung ist gemäß einer ersten Ausführungsform gekennzeichnet durch ein Ableitungs-Berechnungsmittel, das Ableitungen von normierten Bildern berechnet, und durch ein Fokussierungsparameter-Bestimmungsmittel, das einen Wert für den Satz von Kameraparametern auf der Grundlage des Abstandes des Gegenstandes von der Kamera bestimmt, so daß der Gegenstand durch Einstellen des Satzes von Kameraparametern auf den durch das Fokussierungsparameter-Bestimmungsmittel bestimmten Wert scharfgestellt wird, und gemäß einer zweiten Ausführungsform gekennzeichnet durch ein Ableitungs-Berechnungsmittel, das Ableitungen von normierten Bildern berechnet, und durch ein Bestimmungsmittel für fokussiertes Bild, das als Eingang einen Satz von Ableitungen eines unscharfen Bildes des Gegenstandes, Werte des Satzes von Kameraparametern und den Abstand des Gegenstandes von der Kamera nimmt und eine Entfaltungsformel verwendet, um als Ausgang das scharfe Bild des Gegenstandes auszugeben, ohne irgendwelche Fourier-Transformationen zu berechnen.
• Die Vorrichtung der vorliegenden Erfindung enthält ein Kamerasystem, das (i) ein optisches System für die Abbildung von Bildern, (ii) einen Bilddetektor für die Aufzeichnung von Bildern, (iii) eine Kamerablende, durch die Licht in die Kamera eintritt, sowie (iv) ein Lichtfilter enthält, das den spektralen Gehalt des in das Kamerasystem eintretenden Lichts steuert. Das optische System besitzt eine erste Hauptebene und eine zweite Hauptebene. Die zweite Hauptebene befindet sich näher am Bilddetektor als die erste Hauptebene.
• Das Kamerasystem besitzt einen Satz von Kameraparametern, der umfaßt:
• (i) den Abstand zwischen der zweiten Hauptebene und dem Biddetektor,
• (ii) den Durchmesser der Kamerablende,
• (iii) die Brennweite des optischen Systems und
• (iv) die spektrale Durchlaßkennlinie des Lichtfilters.
• Die Vorrichtung enthält außerdem eine Kamerasteuereinrichtung, die die Werte der Kameraparameter auf gewünschte Werte setzt, sowie ein Bildnormierungsmittel. Das Bildnormierungsmittel wird dazu verwendet, verschiedene Bilder eines Gegenstandes, wovon jedes mit unterschiedlichen Einstellungen von Kameraparameterwerten aufgezeichnet wird, in ein Standardformat umzusetzen. Das Standardformat ist so beschaffen, daß ein Bild eines Gegenstandes, das in diesem Format dargestellt ist, als Ergebnis der Faltung eines fokussierten Standardbildes des Gegenstandes mit der Punktstreufunktion mit der Kamera ausgedrückt werden kann. Ein im Standardformat dargestelltes Bild wird auch als normiertes Bild bezeichnet.
• Die Vorrichtung enthält ferner ein Ableitungs-Berechnungsmittel, das Ableitungen von normierten Bildern berechnet, ein Gleichungslösungsmittel sowie ein Mengendurchschnittsmittel. Das Gleichungslösungsmittel kann in eine Gleichung die Werte von verschiedenen Ableitungen von normierten Bildern und Kameraparameterwerte einsetzen und die sich ergebende Gleichung lösen, um einen Satz von Lösungen für den Abstand des Gegenstandes von der Kamera zu erhalten. Das Mengendurchschnittsmittel wird dazu verwendet, zwei Sätze von Lösungen für den Abstand des Gegenstandes von der Kamera zu nehmen und den Durchschnitt dieser zwei Sätze zu bilden, um die gemeinsame Lösung des Abstandes vom Gegenstand zu ermitteln.
• In der Vorrichtung für schnelle Autofokussierung ist zusätzlich zu der Vorrichtung für die Bestimmung des Abstandes vom Gegenstand ein Fokussierungsparameter- Bestimmungsmittel enthalten. Das Fokussierungsparameter-Bestimmungsmittel wird dazu verwendet, die Werte für die Kameraparameter auf der Grundlage des Abstandes von dem zu fokussierenden Gegenstand zu bestimmen, so daß der Gegenstand fokussiert ist, wenn die Kameraparameter auf die auf diese Weise bestimmten Werte eingestellt sind.
• Das Verfahren zum Bestimmen des Abstandes eines Gegenstandes von einer Kamera enthält die folgenden Schritte.
• Die Kameraparameter der Kamera werden durch die Kamerasteuereinrichtung auf einen ersten Satz von Kameraparametern eingestellt. Dann wird ein erstes Bild des Gegenstandes aufzeichnet. Die Kameraparameter werden anschließend durch die Kamerasteuereinrichtung auf einen zweiten Satz von Kameraparameterwerten eingestellt, woraufhin ein zweites Bild des Gegenstandes aufzeichnet wird.
• Das erste Bild wird vorverarbeitet, um ein erstes normiertes Bild zu erhalten. Das erste normierte Bild ist von der Art, daß es gleich der Faltung eines fokussierten Bildes des Gegenstandes mit einer ersten Punktstreufunktion der Kamera ist, die durch den ersten Satz von Kameraparameterwerten gekennzeichnet ist. Das zweite Bild wird auf ähnliche Weise wie das erste Bild vorverarbeitet, um ein zweites normiertes Bild zu erhalten.
• Ein Satz von Ableitungen des ersten normierten Bildes wird berechnet, um einen ersten Satz von Bildableitungen zu erhalten. Ähnlich wird ein Satz von Ableitungen des zweiten normierten Bildes berechnet, um einen zweiten Satz von Bildableitungen zu erhalten.
• Die Werte des ersten Satzes von Kameraparameterwerten, des zweiten Satzes von Kameraparameterwerten, des ersten Satzes von Bildableitungen und des zweiten Satzes von Bildableitungen werden sämtlich in eine vorgegebene Gleichung eingesetzt. Diese Gleichung wird im voraus festgelegt, indem ein erster Ausdruck mit einem zweiten Ausdruck gleichgesetzt wird, wobei der erste Ausdruck das fokussierte Bild des Gegenstandes durch den ersten Satz der Kameraparameterwerte und den ersten Satz der Bildableitungen angibt und der zweite Ausdruck ebenfalls das fokussierte Bild des Gegenstandes, jedoch durch den zweiten Satz von Kameraparameterwerten und den zweiten Satz von Bildableitungen angibt. Nach dem Einsetzen in die im voraus bestimmte Gleichung enthält die resultierende Gleichung nur eine Unbekannte, die der Abstand des Gegenstandes von der Kamera ist. Diese Gleichung wird anschließend gelöst, um einen ersten Satz von Lösungen für den Abstand zu erhalten. Dieser Satz enthält typischerweise zwei Elemente. Wenn der erste Satz von Lösungen für den Abstand erhalten wird, werden keine Fourier-Transformationen berechnet. Im Vergleich dazu erfordert der Stand der Technik die Berechnung von Fourier- Transformationen, die eine komplexe und aufwendige Operation ist. Somit besitzt das Verfahren der vorliegenden Erfindung gegenüber dem Stand der Technik einen großen Vorteil.
• Dann werden die Kameraparameter durch die Kamerasteuereinrichtung auf einen dritten Satz von Kameraparameterwerten eingestellt, außerdem wird in der Kamera ein drittes Bild erzeugt. Dieses dritte Bild wird aufgezeichnet. Dann wird das Element des ersten Satzes von Lösungen, das mit dem dritten Bild und mit dem dritten Satz von Kameraparameterwerten konsistent ist, bestimmt, um den Abstand des Gegenstandes von der Kamera zu bestimmen. Die Konsistenzprüfung kann auf viele Arten ausgeführt werden. Zum Beispiel können das zweite und das dritte Bild verwendet werden, um einen zweiten Satz von Lösungen für den Abstand zu erhalten, woraufhin vom ersten Satz von Lösungen und vom zweiten Satz von Lösungen der Durchschnitt gebildet wird, um eine gemeinsame Lösung zu erhalten, die den Abstand des Gegenstandes angibt.
• In dem Verfahren der schnellen Autofokussierung wird zunächst der Abstand des zu fokussierenden Gegenstandes gemäß dem obigen Verfahren bestimmt. Dann wird auf der Grundlage des Abstandes des Gegenstandes und einer Bildfokussierungsformel ein neuer Satz von Kameraparameterwerten bestimmt. Die Kameraparameter werden durch die Kamerasteuereinrichtung auf den neuen Satz von Kameraparameterwerten eingestellt, wodurch der Gegenstand autofokussiert wird.
• Das Verfahren zur Bestimmung eines Bildes mit verbesserter Schärfe eines Gegenstandes aus dessen unscharfen Bildern, die mit unterschiedlichen Kameraeinstellungen aufgezeichnet wurden, wird durch Verwenden des früher angegebenen Verfahrens bestimmt. Auf der Grundlage dieses Abstandes werden die Momentparameter der Punktstreufunktion, die einem der aufgezeichneten Bilder des Gegenstandes entsprechen, bestimmt. Dieses Bild und dessen Ableitungen werden anschließend in eine Entfaltungsformel eingegeben, um ein Bild mit verbesserter Schärfe des Gegenstandes zu erhalten.
• Ein wichtiger Vorteil der vorliegenden Erfindung besteht darin, daß sie die Berechnung von Fourier-Transformationen nicht erfordert, während der Stand der Technik die Berechnung von Fourier-Transformationen erfordert. Die Berechnung von Fourier-Transformationen ist rechentechnisch sehr aufwendig. Diese Operation ist langsam und erfordert teuere Hardware. Daher ist die Vorrichtung der vorliegenden Erfindung billiger, einfacher und schneller als die Vorrichtung des Standes der Technik.
• Ein weiterer wichtiger Vorteil der vorliegenden Erfindung besteht darin, daß sie dazu verwendet werden kann, den Abstand von sehr kleinen Gegenständen zu bestimmen. Dieses Vermögen fehlt im Stand der Technik. In der vorliegenden Erfindung ist die Bestimmung des Abstandes von kleinen Gegenständen möglich, weil die Berechnungen auf den Ableitungen von Bildern basieren. Die Ableitungen der Bilder eines Gegenstandes können selbst dann berechnet werden, wenn das Bild des Gegenstandes verhältnismäßig klein ist. Das Fehlen dieses Vermögens im Stand der Technik beruht auf der Tatsache, daß die Verfahren des Standes der Technik auf der Berechnung von Fourier-Transformationen beruhen. Die zuverlässige Berechnung der Fourier-Transformation des Bildes eines Gegenstandes macht erforderlich, daß der Gegenstand vernältnismäßig groß ist.
• Die vorliegende Erfindung hat viele wichtige Merkale mit der Erfindung gemeinsam, die in der US-A-5,193,124 vom selben Erfinder offenbart ist. Zum Beispiel ist die vorliegende Erfindung nicht auf die Form der Punktstreufunktion der Kamera eingeschränkt. Sie ist auf jedes beliebige Kamerasystem anwendbar, das als lineares, verschiebungsinvariantes System (d. h. als System, das eine Faltung ausführt) entworfen werden kann. Daher ist sie selbst bei Vorhandensein von erheblichen optischen Aberrationen und einer durch Beugung bewirkten Bildverzerrung anwendbar. Insbesondere ist die vorliegende Erfindung auf Gaußsche und zylindrisch geformte Punktstreufunktionen anwendbar, jedoch nicht auf diese eingeschränkt. In der vorliegenden Erfindung ist die Punktstreufunktion vollständig durch die relevanten Kameraparameter gekennzeichnet und ist somit für Beugungswirkungen und Linsenaberrationen verantwortlich.
• Die vorliegende Erfindung ist außerdem allgemein, weshalb anstelle der Änderung lediglich eines Kameraparameters zu einer Zeit viele Kameraparameter gleichzeitig geändert werden können. Ferner verallgemeinert sie das Verfahren der Bestimmung des Abstandes auf die Bestimmung anderer Kameraparameter. Es verallgemeinert außerdem das Verfahren auf irgendein lineares, verschiebungsinvariantes System, um irgendeine Anzahl von Systemparametern und das Eingangssignal zu schätzen.
• Weitere Vorteile der vorliegenden Erfindung werden im folgenden für den Fachmann deutlich, den die vorliegende Erfindung betrifft.
• Für ein weiteres Verständnis der Aufgaben der vorliegenden Erfindung wird auf die folgende Beschreibung der bevorzugten Ausführungsform Bezug genommen, die in Verbindung mit den beigefügten Zeichnungen gegeben wird.
• Fig. 1 ist Blockschaltbild des Kamerasystems der bevorzugten Ausführungsform. Es erläutert eine Brennweiten-Steuereinrichtung, eine Bilddetektorposition-Steuereinrichtung, eine Kamerablendendurchmesser-Steuereinrichtung sowie ein Filter für die Steuerung des Spektralgehaltes des in die Kamera eintretenden Lichts;
• Fig. 2 veranschaulicht die Kameraparameter und den Bildabbildungsprozeß in der bevorzugten Ausführungsform des Kamerasystems.
• Fig. 3 ist ein Blockschaltbild einer alternativen Kameraausführung mit zwei Kameras (anstelle einer Kamera) mit unterschiedlichen Kameraparameterwerten und einer Strahlteileranordnung für die Beobachtung einer Szene durch eine gemeinsame Blende.
• Fig. 4a ist eine schematische Zeichnung der Vorrichtung der vorliegenden Erfindung für die Ermittlung des Abstandes eines Gegenstandes von einer Kamera. Fig. 4b ist eine Fortsetzung dieser Figur.
• Fig. 4b ist eine Fortsetzung von Fig. 4a. Dieses Diagramm veranschaulicht das Verfahren zum Erhalten einer eindeutigen Lösung für den Abstand eines Gegenstandes durch Bilden des Durchschnitts zweier Sätze von Lösungen sowie die Verfahren für die schnelle Autofokussierung und für die Erhaltung des scharfen Bildes eines Gegenstandes aus dessen unscharfem Bild.
• Fig. 5 zeigt ein Beispiel, in dem ein digitaler Bildverarbeitungscomputer bei der Verwirklichung der Vorrichtung der vorliegenden Erfindung verwendet worden ist.
• Fig. 6 zeigt das Gesichtsfeld der Kamera, das in viele kleinere Untergesichtsfelder unterteilt worden ist, sowie die entsprechenden Unterbilder, in die das Bild unterteilt worden ist.
• Fig. 7 zeigt eine Verwirklichung einer neuen Entfaltungsformel, um das fokussierte Bild eines Gegenstandes aus dessen unscharfem Bild zu erhalten.
• Fig. 8 zeigt die Punktstreufunktion (oder die Impulsansprechfunktion) einer fehlfokussierten Kamera mit kreisförmiger Blende.
• Fig. 1 zeigt das Kamerasystem der bevorzugten Ausführungsform. Es enthält ein Lichtfilter LF, einen Blendenstopp AS, ein optisches System OS und einen Bilddetektor ID. Das Lichtfilter LF steuert den spektralen Gehalt des in die Kamera eintretenden Lichts. Zum Beispiel läßt ein rotes Filter nur rotes Licht durch und fängt Licht jeder anderen Wellenlänge ab. Die Menge des in die Kamera eintretenden Lichts wird durch den Blendenstopp AS gesteuert. In der bevorzugten Ausführungsform ist die Blende des Blendenstopps kreisförmig. Daher wird die Menge des Lichts durch Verändern des Durchmessers der Blende des Blendenstopps gesteuert. Die Blende des Blendenstopps wird auch als Kamerablende bezeichnet. In der bevorzugten Ausführungsform besteht das optische System OS aus L.insen. Das optische System OS bildet ein Bild der Szene auf den Bilddetektor ID ab. Das auf den Bilddetektor ID abgebildete Bild wird in ein elektronisches Videosignal umgesetzt, das den Ausgang des Kamerasystems bildet.
• Das Kamerasystem ist durch einen Satz von Kameraparametern gekennzeichnet. Die Kameraparameter sind (siehe Fig. 2): (i) der Abstand s zwischen der zweiten Hauptebene P2 des optischen Systems und dem Bilddetektor ID, (ii) der Durchmesser D der Kamerablende, (iii) die Brennweite f des optischen Systems und (iv) die spektrale Durchlaßkennlinie λ des Lichtfilters LF. Die Werte der Kameraparameter s, f und D werden durch die drei Steuereinrichtungen gesteuert: Die Bilddetektorpositions-Steuereinrichtung, die Brennweiten-Steuereinrichtung bzw. die Blendensteuereinrichtung. Diese Steuereinrichtungen können dazu verwendet werden, die Werte der Kameraparameter s, f und D auf gewünschte Werte einzustellen. Die drei Steuereinrichtungen bilden zusammen die Kamerasteuereinrichtung.
• Eine alternative Ausführungsform des Kamerasystems wird durch eine geringe Abwandlung der oben beschriebenen bevorzugten Ausführungsform erhalten. In dieser abgewandelten Ausführungsform werden anstelle der Verwendung eines einzigen Kamerasystems, das ein Mittel für die Änderung der Kameraparameter darstellt, mehrere Kameras verwendet. Diese mehreren Kameras sind so beschaffen, daß sich die Kameraparameterwerte jeder einzelnen Kamera in wenigstens einem der Kameraparameter im Vergleich zu allen anderen Kameras unterscheiden. Das heißt, daß keine zwei Kameras unter den mehreren Kameras übereinstimmende Kameraparameterwerte für sämtliche Kameraparameter besitzen. In dieser Vorrichtung ist es nicht notwendig, irgendwelche der Kameraparameter der einzelnen Kameras zu verändern. Sämtliche Kameraparameter jeder Kamera können fest sein, wodurch die Notwendigkeit von irgendwelchen sich bewegenden Teilen im Kamerasystem vermieden wird. Daher kann die Vorrichtung unempfindlich ausgebildet werden. Jede Kamera wird dazu verwendet, ein Bild, das einem Satz von Werten von Kameraparametern entspricht, zu erfassen. Jede der einzelnen Kameras betrachtet die Szene mit Hilfe einer Strahlteileranordnung durch eine gemeinsame Blende. Mit Ausnahme der obigen Unterschiede ist die alternative Ausführungsform der bevorzugten Ausführungsform gleich. Fig. 3 zeigt ein Beispiel, in dem zwei Kameras mit unterschiedlichen Kameraparameterwerten die Szene durch einen Strahlteiler betrachten, der aus einem halbversilberten Spiegel und einem Vollspiegel besteht.
• Die Fig. 4a und 4b zeigen die Vorrichtung der bevorzugten Ausführungsform der vorliegenden Erfindung. In diesen Figuren ist der Eingang von der Szene zur Kamera durch das fokussierte Bild f(x,y) der Szene und durch die Geometrie r(x,y) der Szene gegeben. Das fokussierte Bild f(x,y) spezifiziert die Menge des Lichts, das aus einer bestimmten Richtung der Szene, die durch (x,y) spezifiziert ist, empfangen wird. Die Geometrie r(x,y) spezifiziert den Abstand des Gegenstandes von der Kamera in der durch (x,y) spezifizierten Richtung. Die Werte des Satzes von Kameraparametern {λ,s,f,D} werden durch die Kamerasteuereinrichtung eingestellt. Der Ausgang der Kamera ist ein aufgezeichnetes Bild g(x,y). In Fig. 4a ist der Ausgang der Kamera, der drei verschiedenen Werten ea1 = {λ&sub1;,s&sub1;,f&sub1;,D&sub1;}, ea2= {λ&sub2;,s&sub2;,f&sub2;,D&sub2;} und ea3 = {λ&sub3;,s&sub3;,f&sub3;,D&sub3;} des Satzes von Kameraparametern {λ,s,f,D} entspricht, durch g&sub1;(x,y), g&sub2;(x,y) bzw. g&sub3;(x,y) bezeichnet.
• Die Vorrichtung enthält außerdem ein Bildnormierungsmittel. Das Bildnormierungsmittel wird dazu verwendet, verschiedene Bilder, die mit verschiedenen Werten für den Satz von Kameraparametern {λ,s,f,D} aufgezeichnet werden, in ein Standardformat umzusetzen. Dieser Umsetzungsprozeß wird Bildnormierung genannt.
• Die Bildnormierung erfolgt in der Weise, daß das Bild eines Gegenstandes nach der Normierung als Ergebnis der Faltung eines fokussierten Standardbildes des Gegenstandes mit der Punktstreufunktion der Kamera, die durch die entsprechenden Kameraparameterwerte gekennzeichnet ist, ausgedrückt werden kann. Zum Beispiel werden in Fig. 4a die Bilder g&sub1;(x,y), g&sub2;(x,y) und g&sub3;(x,y) mit unterschiedlichen Werten ea1, ea2 und ea3 für den Satz von Kameraparameterwerten {λ,s,f,D} aufgezeichnet.
• Die Punktstreufunktion der Kamera ist mit h(x,y;ea,r&sub0;) bezeichnet, wobei (x,y) eine Position im Bild eines Gegenstandes bezeichnet, ea= {λ,s,f,D} die Werte des Satzes von Kameraparametern bezeichnet und r&sub0; den Abstand des Gegenstandes in der durch (x,y) spezifizierten Richtung bezeichnet. Ein fokussiertes Standardbild oder normiertes Bild fn(x,y), das einem fokussierten Bild f(x,y) entspricht, kann definiert werden durch
• fn(x,y) = 1/Ef(x,y), wobei (1)
• Intuitiv gibt fn(x,y) den Bruchteil des gesamten Lichts an, das aus der durch (x,y) spezifizierten Richtung auf die Kamerablende auftrifft.
• Die drei Bilder g&sub1;(x,y), g&sub2;(x,y) und g&sub3;(x,y) nach der Normierung werden mit gn1(x,y), gn2(x,y) bzw. gn3(x,y) bezeichnet. Daher gilt gemäß der Definition der Bildnormierungsoperation
• wobei * die Faltungsoperation bezeichnet. Die Faltungsoperation kann ausgeschrieben unter Verwendung von Gleichung (3) als Beispiel folgendermaßen definiert werden:
• Die Vorrichtung enthält außerdem ein Ableitungs-Berechnungsmittel, das verschiedene Ableitungen von normierten Bildern berechnet. Zum Beispiel sind einige der Ableitungen von gn1(x,y) gegeben durch
• Die Vorrichtung enthält ferner ein Gleichungslösungsmittel, das eine Gleichung in der Form
• lösen kann, wobei w1,i,k-i,(h,ea1,r&sub0; und w2,i,k-i(h,ea2,r&sub0;) Ausdrücke für Gewichtungsparameter darstellen und gn1i,k-i und gn2i,k-i partielle Ableitungen sind, die definiert sind durch
• In Gleichung (8) sind sämtliche Größen mit Ausnahme des Abstandes des Gegenstandes r&sub0;, der dem Bildpunkt (x,y) entspricht, bekannt. Daher wird durch Lösen dieser Gleichung ein Satz von Lösungen für r&sub0; erhalten. Typischerweise enthält der Satz von Lösungen für r&sub0; zwei Elemente.
• Die Vorrichtung enthält ein Mengendurchschnittsmittel (siehe Fig. 4b), das den Durchschnitt von zwei Sätzen bildet und die den beiden Sätzen gemeinsamen Elemente ermittelt. Fails z. B. rs1 = {r&sub1;&sub1;,r&sub1;&sub2;} und rs2 = {r&sub2;&sub1;,r&sub2;&sub2;} zwei Sätze sind und r&sub1;&sub2;=r&sub2;&sub2;, kann das Mengendurchschnittsmittel rs1 und rs2 schneiden, um {r&sub1;&sub2;} zu ergeben, d. h.
• rs1 rs2 = {r&sub1;&sub2;} = {r&sub2;&sub2;} (11)
• Die Vorrichtung für schnelle Autofokussierung (Fig. 4a und Fig. 4b) ist der Vorrichtung für die Bestimmung des Abstandes eines Gegenstandes ähnlich. Der Hauptunterschied besteht darin, daß die Vorrichtung für schnelle Autofokussierung eine zusätzliche Komponente besitzt, die durch das Fokussierungsparameter-Bestimmungsmittel gegeben ist, das in Fig. 4b gezeigt ist. Das Fokussierungsparameter-Bestimmungsmittel verwendet als Eingang den Abstand des zu fokussierenden Gegenstandes und gibt als Ausgang einen Satz von Werten {λf,sf,ff,Df} für den Satz von Kameraparametern {λ,s,f,D} für die Fokussierung des Gegenstandes aus. Die Kameraparameter der Kamera sind auf {λf,sf,ff,Df} eingestellt, so daß der Gegenstand in der Kamera fokussiert wird.
• Die Vorrichtung, mit der das fokussierte Bild eines Gegenstandes aus dessen unscharfem Bild erhalten wird (Fig. 4a und Fig. 4b), ist ebenfalls der Vorrichtung für die Bestimmung des Abstandes eines Gegenstandes ähnlich. Der einzige Unterschied besteht darin, daß die Vorrichtung, mit der das scharfe Bild erhalten wird, eine zusätzliche Komponente besitzt, die Mittel für die Bestimmung des fokussierten Bildes genannt wird. Diese Komponente verwendet als Eingang die verschiedenen Ableitungen des unscharfen Bildes des Gegenstandes, die Kameraparameterwerte und den Abstand des Gegenstandes und setzt diese Eingangsgrößen in eine Entfaltungsformel ein, um als Ausgang das fokussierte Bild des Gegenstandes auszugeben.
• Jede Komponente der Vorrichtung der vorliegenden Erfindung kann als Spezialhardware implementiert werden, die analoge und digitale elektronische Schaltungen verwendet. Insbesondere kann ein digitaler Computer wie etwa ein Mikroprozessor dazu verwendet werden, das Bildnormierungsmittel, das Ableitungs-Berechnungsmittel, das gleichungslösungsmittel und das Mengendurchschnittsmittel zu implementieren. Das Fokussierungsparameter-Bestimmungsmittel und das Mittel für die Bestimmung des fokussierten Bildes können ebenfalls unter Verwendung eines digitalen Computers implementiert werden. Fig. 5 zeigt ein Beispiel, in dem ein digitaler Bildverarbeitungscomputer dazu verwendet worden ist, die Vorrichtung der vorliegenden Erfindung zu implementieren.
• Nachdem nun die Vorrichtung der vorliegenden Erfindung beschrieben worden ist, wird als nächstes das Verfahren der vorliegenden Erfindung beschrieben. Die Fig. 4a und 4b sind für das Verständnis des Verfahrens der vorliegenden Erfindung nützlich.
• Um den Abstand eines Gegenstandes von einer Kamera zu bestimmen, wird der Satz von Kameraparametern ea = {λ,s,f,D} durch die Kamerasteuereinrichtungen auf einen ersten Satz von Kameraparameterwerten ea1 = {λ&sub1;,s&sub1;,f&sub1;,D&sub1;} eingestellt, d. h. die Kamerasteuereinrichtung stellt die Kameraeinstellung so ein, daß λ = λ&sub1;, s = s&sub1;, f = f&sub1;, und D = D&sub1;. Dann wird in der Kamera ein erstes Bild g&sub1;(x,y) des Gegenstandes erzeugt, ferner wird das Bild aufgezeichnet. Der Satz von Kameraparametern ea wird anschließend durch die Kamerasteuereinrichtung geändert und auf einen zweiten Satz von Kameraparameterwerten ea2 = {λ&sub2;,s&sub2;,f&sub2;,D&sub2;} gesetzt, d. h. die Kamerasteuereinrichtung ändert die Kameraeinstellung, so daß λ = λ&sub2;, s = s&sub2;, f = f&sub2; und D = D&sub2;. Der zweite Satz von Kameraparameterwerten ea2 ist so beschaffen, daß er sich vom ersten Satz von Kameraparameterwerten in wenigstens einem Element unterscheidet, d. h. ea1 ≠ ea2, also (λ&sub1; ≠ λ&sub2;) oder (s&sub1; ≠ s&sub2;) oder (f&sub1; ≠ f&sub2;) oder (D&sub1; ≠ D&sub2;). Dann wird in der Kamera ein zweites Bild g&sub2;(x,y) des Gegenstandes erzeugt, ferner wird das Bild aufgezeichnet.
• Das erste Bild g&sub1;(x,y) wird vorverarbeitet, um ein erstes normiertes Bild gn1(x,y) zu erhalten. Das erste normierte Bild ist so beschaffen, daß es gleich der Faltung eines scharfen Standardbildes fn(x,y) des Gegenstandes mit einer Punktstreufunktion h&sub1;(x,y;ea1,r&sub0;) ist, die durch den ersten Satz von Kameraparameterwerten ea1 (und den Abstand r&sub0; des Gegenstandes) gekennzeichnet ist. Das heißt
• gn1(x,y) = h(x,y;ea1,r&sub0;) * fn(x,y) (12)
• Die Umsetzung des ersten Bildes g&sub1;(x,y) in das erste normierte Bild gn1(x,y) wird unter Verwendung des Bildnormierungsmittels erzielt. Dieser Umsetzungsprozeß wird Bildnormierung genannt. Der Bildnomierungsprozeß kann viele Operationen wie etwa die Korrektur des Ansprechverhaltens von Sensorelementen im Bilddetektor der Kamera, die Korrektur eines ungleichmäßigen Lichtdurchlasses der Kamera, die Korrektur von Änderungen der Vergrößerung sowie die Korrektur von Änderungen der Helligkeit umfassen. Diese Operationen sind im Stand der Technik bekannt und werden daher hier nicht entwickelt. Beispielsweise kann eine genaue Beschreibung der Bildnormierungsoperationen in einer gleichzeitig anhängigen Patentanmeldung gefunden werden, die vom selben Erfinder eingereicht worden ist (US-Patentanmeldung Nr. 07/373996, 29. Juni 1989).
• Das zweite Bild g&sub2;(x,y) wird auf ähnliche Weise wie das erste Bild g&sub1;(x,y) vorverarbeitet, um ein zweites normiertes Bild gn2(x,y) zu erhalten. Daher ist das zweite normierte Bild gn2(x,y) so beschaffen, daß es gleich der Faltung des fokussierten Standardbildes fn(x,y) mit einer zweiten Punktstreufunktion h(x,y;ea2,r&sub0;) ist, die durch den zweiten Satz von Kameraparameterwerten ea2 (und den Abstand r&sub0; des Gegenstandes) gekennzeichnet ist. Das heißt
• gn2(x,y) = h(x,y;ea2,r&sub0;) * fn(x,y). (13)
• Die Umsetzung des zweiten Bildes g&sub2;(x,y) in das zweite normierte Bild gn2(x,y) wird unter Verwendung des Bildnormierungsmittels erzielt.
• Ein Satz von Ableitungen des ersten normierten Bildes gn1(x,y) wird berechnet, um einen ersten Satz von Bildableitungen zu erhalten:
• wobei gn1i,k-1 wie in Gleichung (9) definiert ist. Falls z. B. N = 2 ist, gilt
• Auf ähnliche Weise wird ein Satz von Ableitungen des zweiten normierten Bildes gn2(x,y) berechnet, um einen zweiten Satz von Bildableitungen zu erhalten,
• wobei gn2i,k-i wie in Gleichung (10) definiert ist. Falls z. B. N = 2 ist, gilt
• Die Berechnung des ersten und des zweiten Satzes von Bildableitungen η&sub1; und η&sub2; wird unter Verwendung des Ableitungs-Berechnungsmittels ausgeführt.
• Die Werte des ersten Satzes von Kameraparameterwerten ea1, des zweiten Satzes von Kameraparameterwerten ea2, des ersten Satzes von Bildableitungen η&sub1; und des zweiten Satzes von Bildableitungen η&sub2; werden sämtlich in Gleichung (8) eingesetzt (siehe Fig. 4a).
• Im folgenden wird die Art der Gleichung (8) beschrieben.
• Als ein erster Satz von Gewichtungsparametern, die dem ersten Satz von Bildableitungen η&sub1; entsprechen, wird definiert:
• während als ein zweiter Satz von Gewichtungsparametern, der dem zweiten Satz von Bildableitungen η&sub2; entspricht, definiert wird:
• Falls z. B. N = 2 ist, gilt
• Für jeden Gewichtungsparameter wj,i,k-i gibt es eine entsprechende Bildableitung gnji,k-i. Zum Beispiel entsprechen die Gewichtungsparameter w1,0,0, w1,0,1, w1,0,2 bzw. w1,2,0 den Bildableitungen gn10,0, gn10,1, gn10,2, gn12,0. Ebenso entsprechen die Gewichtungsparameter w2,0,0, w2,0,1, w2,0,2 bzw. w2,2,0 den Bildableitungen, gn20,0, gn20,1, gn20,2 bzw. gn22,0. Durch Multiplikation jedes Elements des ersten Satzes von Bildableitungen η&sub1; mit dessen entsprechenden Gewichtungsparameter kann ein erster Satz von gewichteten Bildableitungen,
• erhalten werden.
• Ebenso kann durch Multiplikation jedes Elements des zweiten Satzes von Bildableitungen η&sub2; mit dessen entsprechenden Gewichtungsparameter ein zweiter Satz von gewichteten Ableitungen
• erhalten werden.
• Die Summation sämtlicher Elemente des ersten Satzes von gewichteten Ableitungen W&sub1; ergibt einen ersten Ausdruck, der gleich der linken Seite von Gleichung (8) ist. Ähnlich ergibt die Summation sämtlicher Elemente des zweiten Satzes von gewichteten Ableitungen W&sub2; einen zweiten Ausdruck, der gleich der rechten Seite von Gleichung (8) ist. Daher kann Gleichung (8) tatsächlich durch Gleichsetzen des ersten Ausdrucks mit dem zweiten Ausdruck erhalten werden. Die Gewichtungsparameter w1,i,k-i sind in der Weise definiert, daß der erste Ausdruck gleich dem fokussierten Bild des Gegenstandes ist, ausgedrückt durch den ersten Satz von Kameraparameterwerten ea1 und den ersten Satz von Bildableitungen η&sub1;. Das heißt, daß die Gewichtungsparameter w1,i,k-i in der Weise definiert sind, daß
• Ebenso sind die Gewichtungsparameter w2,i,k-i in der Weise definiert, daß der zweite Ausdruck gleich dem fokussierten Bild des Gegenstandes ist, ausgedrückt durch den zweiten Satz von Kameraparameterwerten ea2 und den zweiten Satz von Bildableitungen η&sub2;. Das heißt, daß die Gewichtungsparameter w2,i,k-i in der Weise definiert sind, daß
• Wenn aus Gleichung (12) übernommen wird, daß gn1(x,y) gleich der Faltung der ersten Punktstreufunktion h(x,y;ea1,r&sub0;) mit dem fokussierten Bild fn(x,y) ist, sollte deutlich werden, daß Gleichung (24) tatsächlich eine Entfaltungsformel ist. Das unscharfe Bild, das gn1(x,y) entspricht, wird entfaltet, um das fokussierte Bild fn(x,y) wiederherzustellen. Eine ähnliche Beobachtung gilt für die Gleichungen (13) und (25). Diese Entfaltungsformel ist im Stand der Technik nicht bekannt. Diese Formel wurde zuerst abgeleitet und offenbart in der EP-A-0 466 252, eingereicht am 3. Juni 1990, mit dem Titel "Method and apparatus for restoring convolution degraded images and signals". In dieser Veröffentlichung wird ebenfalls eine Prozedur beschrieben, um die Gewichtungsparameter w1,i,k-i und w2,i,k-i zu definieren.
• Jeder der Gewichtungsparameter w1,i,k-i kann durch einen ersten Satz von Momentparametern M&sub1; ausgedrückt werden, der folgendermaßen definiert ist:
• wobei
• Der erste Satz von Momentparametern M&sub1; kennzeichnet eine erste Punktstreufunktion h(x,y;ea1,r&sub0;). Die erste Punktstreufunktion ist die Punktstreufunktion der Kamera, wenn die Kameraparameter gleich dem ersten Satz von Kameraparameterwerten gesetzt sind, d. h. ea = ea1. Ebenso kann jeder der Gewichtungsparameter w2,i,k-i durch einen zweiten Satz von Momentparametern M&sub2; ausgedrückt werden, der folgendermaßen definiert ist:
• wobei
• Der zweite Satz von Momentparametern M&sub2; kennzeichnet eine zweite Punktstreufunktion h(x,y;ea2,r&sub0;). Die zweite Punktstreufunktion ist die Punktstreufunktion der Kamera, wenn die Kameraparameter gleich dem zweiten Satz von Kameraparameterwerten gesetzt werden, d. h. ea = ea2.
• Ein Verfahren zum Ableiten algebraischer Ausdrücke für die Gewichtungsparameter w1,i,k-i durch den ersten Satz von Momentparametern M&sub1; ist in der früher erwähnten US-Patentanmeldung beschrieben, die vom selben Erfinder am 3. Juli 1990 eingereicht worden ist. Das gleiche Verfahren kann dazu verwendet werden, algebraische Ausdrücke für die Gewichtungsparameter w2,i,k-i durch den zweiten Satz von Momentparametern M&sub2; abzuleiten. Daher kann der algebraische Ausdruck für einen Gewichtungsparameter w1,i,k-i in Kurzform mit w1,i,k-i(M&sub1;) bezeichnet werden. Ähnlich kann der algebraische Ausdruck für einen Gewichtungsparameter w2,i,k-i in Kurzform mit w2,i,k-i(M&sub2;) bezeichnet werden. Wenn beispielsweise N = 2 genommen wird, können für w1,i,k-i und w2,i,k-i die folgenden algebraischen Ausdrücke abgeleitet werden:
• Gemäß den Gleichungen (26), (27) ist jedoch der erste Satz von Momentparametern M&sub1; selbst durch die Form der Punktstreufunktion h, den ersten Satz von Kameraparameterwerten ea1 und den Abstand r&sub0; des Gegenstandes von der Kamera bestimmt. Daher kann der algebraische Ausdruck w1,i,k-i mit w1,i,k-i(h,ea1,r&sub0;) bezeichnet werden, um expliziter die Tatsache zu vermitteln, daß die Gewichtungsparameter w1,i,k-i durch die Punktstreufunktion h, den ersten Satz von Kameraparameterwerten ea1 und den Abstand r&sub0; des Gegenstandes von der Kamera ausgedrückt werden können. Aus dem gleichen Grund kann der algebraische Ausdruck w2,i,k-i(M&sub2;) mit w2,i,k-i(h,ea2,r&sub0;) bezeichnet werden.
• Zusammengefaßt wird Gleichung (8) formuliert, um eine Gleichung zu erhalten, die nur eine Unbekannte enthält, die der Abstand r&sub0; des Gegenstandes von der Kamera ist. Diese Gleichung wird gelöst, um einen ersten Satz von Lösungen rs1 zu erhalten. Typischerweise enthält rs1 zwei Elemente und kann daher dargestellt werden durch
• rs1 = {r&sub1;&sub1;,r&sub1;&sub2;}. (31)
• Es wird angemerkt, daß im Gegensatz zum Stand der Technik der erste Satz von Lösungen rs1 ohne Berechnung irgendeiner Fourier-Transformation erhalten worden ist. Dies stellt einen wichtigen Vorteil der vorliegenden Erfindung dar.
• Um eine eindeutige Lösung für den Abstand des Gegenstandes zu erhalten, ist zusätzliche Information erforderlich. In dem Verfahren der vorliegenden Erfindung wird zusätzliche Information dadurch erhalten, daß die Kamera auf einen dritten Satz von Kameraparameterwerten ea3 = {λ&sub3;,s&sub3;,f&sub3;,D&sub3;} eingestellt wird, derart, daß ea3 ≠ ea1 und ea3 ≠ ea2 (d. h. wenigstens einer der Kameraparameter ist unterschiedlich), daß ein Bild des Gegenstandes in der Kamera erzeugt wird und daß ein drittes Bild g&sub3;(x,y) aufgezeichnet wird. Von den Elementen des ersten Satzes von Lösungen rs1 wird nur ein einziges Element mit dem dritten Satz von Kameraparameterwerten ea3 und dem dritten Bild g&sub3;(x,y) konsistent sein. Dieses Element, das mit ea3 und g&sub3;(x,y) konsistent ist, wird bestimmt, um den Abstand des Gegenstandes von der Kamera zu erhalten.
• Es gibt viele Verfahren zum Prüfen der Konsistenz einer Lösung mit ea3 und g&sub3;(x,y). Ein Verfahren besteht darin, das dritte Bild g&sub3;(x,y) und das zweite Bild g&sub2;(x,y) zu verwenden und einen zweiten Satz von Lösungen rs2 für den Abstand des Gegenstandes von der Kamera zu bestimmen. Das Verfahren für die Bestimmung von rs2 unter Verwendung von g&sub3;(x,y) und g&sub2;(x,y) ist dem Verfahren, das oben für die Bestimmung des ersten Satzes von Lösungen rs1 unter Verwendung des ersten Bildes g&sub1;(x,y) und des zweiten Bildes g&sub2;(x,y) beschrieben worden ist, sehr ähnlich. Der zweite Satz von Lösungen rs2 wird typischerweise zwei Elemente enthalten. Eines der Elemente von rs2 ist auch ein Element von rs1. Dieses Element wird dadurch bestimmt, daß der Durchschnitt der zwei Mengen rs1 und rs2 gebildet wird. Dieses gemeinsame Element ergibt eine eindeutige Lösung für den Abstand des Gegenstandes von der Kamera. Somit kann der Abstand r&sub0; eines Gegenstandes von einer Kamera bestimmt werden.
• Im Prinzip sind die Erfassung und die Verarbeitung von genau drei Bildern eines Gegenstandes ausreichend, um den Abstand des Gegenstandes zu bestimmen. Eine robustere Schätzung des Abstandes kann jedoch dadurch erhalten werden, daß mehrere verschiedene Dreiergruppen von Bildern des Gegenstandes verarbeitet werden. Jede verschiedene Dreierguppe von Bildern wird verarbeitet, um eine unabhängige Schätzung des Abstandes zu erhalten. Ein gewichteter Mittelwert sämtlicher unabhängiger Schätzungen von Abständen ergibt eine robuste Schätzung des Abstandes. Im allgemeinen kann der mit dem oben beschriebenen Verfahren geschätzte Abstand des Gegenstandes mit anderen unabhängigen Abstandsschätzungen (die entweder mit dem gleichen Verfahren oder mit einem anderen Verfahren erhalten wurden) kombiniert werden, indem ein gewichteter Mittelwert genommen wird, um eine robustere Schätzung des Abstandes zu erhalten.
• Das obige Verfahren zum Bestimmen des Abstandes eines Gegenstandes von einer Kamera kann gleichzeitig auf sämtliche Gegenstände im Gesichtsfeld der Kamera angewendet werden, um den Abstand sämtlicher Gegenstände im Gesichtsfeld zu erhalten. Zum Beispiel kann das Gesichtsfeld der Kamera in viele kleinere Untergesichtsfelder unterteilt werden, wobei in jedem Untergesichtsfeld der Abstand des Gegenstandes in diesem Untergesichtsfeld bestimmt werden kann. Die Unterteilung des Gesichtsfeldes der Kamera in viele Untergesichtsfelder entspricht der Unterteilung des auf dem Bilddetektor erzeugten Bildes in viele kleinere Unterbilder, wobei jedes Unterbild einem Untergesichtsfeld entspricht. Fig. 6 veranschaulicht dieses Konzept. Jedes Unterbild kann parallel mit anderen Unterbildern verarbeitet werden, um den Abstand des Gegenstandes im entsprechenden Untergesichtsfeld zu bestimmen. Auf diese Weise kann der Abstand sämtlicher Gegenstände im Gesichtsfeld einer Kamera gleichzeitig aus nur drei Bildern bestimmt werden. Dieses Verfahren hat wichtige Anwendungen in der Robotervision, wo es erforderlich ist, die Position sämtlicher Gegenstände in einer Szene sehr schnell mit minimalem Rechenaufwand zu ermitteln. Eine Anordnung von Zahlen, die den Abstand (oder die Tiefe) von Gegenstandspunkten in einer Szene in kleinen Untergesichtsfeldern einer Kamera repräsentieren, wird Tiefenabbildung der Szene genannt. Daher ist das Verfahren der vorliegenden Erfindung nützlich, um die Tiefenabbildung einer Szene auf effiziente Weise zu erhalten.
• Die vorliegende Erfindung umfaßt außerdem ein Verfahren für die schnelle Autofokussierung einer Kamera (siehe Fig. 4a und 4b). In diesem Verfahren wird zunächst der Abstand des zu fokussierenden Gegenstandes unter Verwendung des obigen Verfahrens für die Bestimmung des Abstandes r&sub0; eines Gegenstandes von der Kamera bestimmt. Auf der Grundlage des Abstandes r&sub0; und einer Bildfokussierungsformel wird ein Satz von Kameraparameterwerten eaf = {λf,sf,ff,Df} bestimmt, der der Fokussierung des gewünschten Gegenstandes entspricht. Ein Beispiel der Bildfokussierungsformel ist die wohlbekannte Linsenformel 1/f = 1/u + 1/v (siehe Fig. 2), die die Brennweite der Kamera mit dem Abstand des Gegenstandes und dem Abstand seines fokussierten Bildes in Beziehung setzt. Die Beziehung zwischen dieser Bildfokussierungsformel und dem Satz von Kameraparametern eaf ist durch Gleichung (58) gegeben, die später erläutert wird. Die Kamera wird dann in der Weise eingestellt, daß die Kameraparameter gleich den Werten sind, die durch eaf bestimmt sind. Dadurch wird die Autofokussierung erzielt.
• In dem Verfahren zum Erhalten des fokussierten Bildes eines Gegenstandes aus seinem unscharfen Bild (siehe Fig. 4a und 4b) wird zunächst der Abstand r&sub0; des Gegenstandes unter Verwendung des oben beschriebenen Verfahrens bestimmt. Dann wird diese Abstandsinformation dazu verwendet, die Gewichtungsparameter w1,i,k-i zu berechnen. Als nächstes werden die Bildableitungen gn1i,k-i des ersten normiertes Bildes berechnet. Die Werte der Gewichtungsparameter w1,i,k-i und der Bildableitungen gn1i,k-i werden anschließend in die durch Gleichung (24) gegebene Entfaltungsformel eingesetzt, um das fokussierte Bild des Gegenstandes zu erhalten. Alternativ kann Gleichung (25) ebenfalls verwendet werden. Fig. 7 veranschaulicht eine Implementierung von Gleichung (24) für die Entfaltung, mit N = 2, g(x,y) = gn1(x,y), wi,j = w1,i,j und f(x,y) = fn(x,y).
• Für die Punktstreufunktion einer Kamera gibt es viele Modelle. Das Verfahren der vorliegenden Erfindung ist auf sämtliche Modelle anwendbar. Um das Verfahren der vorliegenden Erfindung zu veranschaulichen, wird ein Modell der Punktstreufunktion betrachtet, das aus der paraxialen geometrischen Optik abgeleitet ist.
• Im Stand der Technik ist bekannt, daß gemäß der paraxialen geometrischen Optik die Punktstreufunktion einer Kamera in einem Bereich, dessen Fläche gleich A ist, einen von Null verschiedenen, konstanten Wert besitzt, der gleich 1/A ist, während außerhalb dieses Bereichs der Wert der Punktstreufunktion gleich Null ist. Die Form des Bereichs ist bis auf einen Vergrößerungsfaktor gleich der Form der Blende der Kamera. Eine Diskussion der Punktstreufunktion einer Kamera auf der Grundlage der Prinzipien der paraxialen geometrischen Optik kann in dem folgenden technischen Bericht gefunden werden: "Determining distance from defocussed images and simple objects", TR 89.07.20, Computer Vision Laboratory, Department of Electrical Engineering, State University of New York, Stony Brook, NY 11794-2350, 20. Juli 1989, verfaßt vom selben Erfinder.
• In der bevorzugten Ausführungsform der vorliegenden Erfindung ist die Kamerablende kreisförmig. Daher besitzt die Punktstreufunktion innerhalb eines kreisförmigen Bereichs einen von Null verschiedenen, konstanten Wert und außerhalb des kreisförmigen Bereichs den Wert null. Fig. 8 veranschaulicht die Punktstreufunktion in diesem Fall. Dieser kreisförmige Bereich wird auch als "Unschärfekreis" bezeichnet. Die Punktstreufunktion in diesem Fall ist kreissymmetrisch um den Mittelpunkt des Unschärfekreises. Falls die Kamera auf den ersten Satz von Kameraparameterwerten eingestellt ist, ea1 = {λ&sub1;,s&sub1;,f&sub1;,D&sub1;} und r&sub0; der Abstand des Gegenstandes ist, ist im Stand der Technik bekannt, daß der Radius des Unschärfekreises Δ&sub1; in reduzierten Einheiten ausgedrückt werden kann durch
• Falls Δ&sub1;' der Radius des in absoluten Einheiten ausgedrückten Unschärfekreises ist, lautet die Beziehung zwischen Δ&sub1; und Δ&sub1;'
• Siehe z. B. den technischen Bericht: "On the depth information in the point spread function of a defocused optical system", TR 90.02.07, Computer Vision Laboratory, Department of Electrical Engineering, State University of New York, Stony Brook, NY 11794-2350, 7. Februar 1990, verfaßt vom selben Erfinder.
• Für diesen Fall ist die erste Punktstreufunktion h(x,y;ea1,r&sub0;) gegeben durch (siehe Fig. 8)
• In der obigen Gleichung können wir Δ&sub1; aus Gleichung (32) ersetzen, um für h(x,y;ea1,r&sub0;) einen expliziteren Ausdruck direkt ausgedrückt durch den Satz von Kameraparametern ea1 und den Abstand r&sub0; des Gegenstandes zu erhalten.
• Das (m,n)-te Moment der ersten Punktstreufunktion h(x,y;ea1,r&sub0;) wird mit h1,m,n bezeichnet und ist definiert durch
• Es kann gezeigt werden, daß sämtliche ungeraden Momente von h(x,y;ea1,r&sub0;) null sind, d. h.
• h1,m,n = 0 für (m ungerade) oder (n ungerade). (36)
• Es kann nämlich einfach gezeigt werden, daß sämtliche ungeraden Momente irgendeiner kreissymmetrischen Funktion null sind (eine Funktion h(x,y) ist kreissymmetrisch, falls h(x,y) konstant ist, wenn x² + y² konstant bleibt. Von den geraden Momenten der Punktstreufunktion h(x,y;ea1,r&sub0;) kann gezeigt werden, daß für sie gilt
• wobei p und q ganze Zahlen sind. Daher erhalten wir
• h1,0,0 = 1,
• h1,0,1 = h1,1,0 = h1,1,1 = 0
• h1,0,2 = h1,2,0, = Δ²&sub1;/4, usw. (38)
• Ebenso erhalten wir, falls die Kamera auf den zweiten Satz von Kameraparameterwerten ea2 = {λ&sub2;,s&sub2;,f&sub2;,D&sub2;} eingestellt ist und der entsprechende Unschärfekreis-Radius mit Δ&sub2; bezeichnet ist:
• h2,0,0 = 1,
• h2,0,1 = h2,1,0 = h2,1,1 = 0
• h2,0,2 = h2,2,0, = Δ²&sub2;/4, usw. (39)
• Durch Einsetzen der obigen Werte in die Gleichungen (30) erhalten wir
• Durch Einsetzen der Ergebnisse von Gleichung (40) in Gleichung (24) und Gleichung (25) und Setzen von N = 2 erhalten wir:
• Unter Verwendung von Gleichung (32) kann das fokussierte Bild direkt durch den Satz von Kameraparameterwerten ea1, ea2 und den Abstand r&sub0; des Gegenstandes ausgedrückt werden durch
• Durch Gleichsetzen der rechten Seiten der Gleichungen (43) und (44) erhalten wir
• Die obige Gleichung hat die gleiche Form wie diejenige von Gleichung (8). In der obigen Gleichung ist der Abstand r&sub0; des Gegenstandes die einzige unbekannte Variable. Daher bildet Gleichung (45) eine Gleichung in einer Unbekannten. Diese Gleichung kann benutzt werden, um einen ersten Satz von Lösungen rs1 für den Abstand r&sub0; des Gegenstandes zu erhalten.
• Ein Verfahren zum Lösen von Gleichung (45) wird im folgenden beschrieben. Aus Gleichung (32) erhalten wir
• Ebenso erhalten wir für die zweite Kameraeinstellung, die durch ea2 spezifiziert ist:
• Durch Gleichsetzen der rechten Seite von Gleichung (45) mit der rechten Seite von Gleichung (46) und Vereinfachung erhalten wir
• Δ&sub2; = α Δ&sub1; + β, (47)
• wobei
• Die Werte von α und β können unmittelbar aus dem Satz von Kameraparametern ea1 und ea2 berechnet werden. Daher kann Gleichung (45) folgendermaßen geschrieben werden
• Die obige Gleichung ist eine quadratische Gleichung in Δ&sub1;, die in der Form
• a Δ²&sub1; +bΔ&sub1; + c = 0 (50)
• geschrieben werden kann, wobei
• Falls die zwei Lösungen für Δ&sub1; mit Δ&sub1;&spplus; und Δ&sub1;&supmin; bezeichnet werden, können sie folgendermaßen erhalten werden:
• Entsprechend jeder Lösung für Δ&sub1; kann aus Gleichung (45) eine Lösung für den Abstand r&sub0; folgendermaßen erhalten werden:
• Der erste Satz von Lösungen ist dann gegeben durch
• rs1 = {r&sub1;&sub1;,r&sub1;&sub2;} (57)
• Um eine eindeutige Lösung für den Abstand r&sub0; des Gegenstandes zu ermitteln, wird das dritte Bild g&sub3;(x,y) verwendet, um einen zweiten Satz von Lösungen rs1 = {r&sub1;&sub1;,r&sub2;&sub2;} wie früher beschrieben zu ermitteln. Das Element, das sowohl rs1 als auch rs2 gemeinsam ist, ist die tatsächliche Lösung für den Abstand des Gegenstandes von der Kamera.
• In dem Autofokussierungsverfahren wird zunächst der Abstand des zu fokussierenden Gegenstandes unter Verwendung des obigen Verfahrens zur Bestimmung des Abstandes r&sub0; bestimmt. Auf der Grundlage des Abstandes r&sub0; und einer Bildfokussierungsformel wird ein Satz von Kameraparameterwerten eaf = {λf,sf,ff,Df} bestimmt, der der Fokussierung des gewünschten Gegenstandes entspricht. Ein Beispiel für die Autofokussierungsformel ist die wohlbekannte Linsenformel 1/f = 1/u + 1/v (siehe Fig. 2), die die Brennweite der Kamera mit der Position des Gegenstandes und mit seinem fokussierten Bild in Beziehung setzt. Die Beziehung zwischen dieser Bildfokussierungsformel und dem Satz von Kameraparametern eaf kann durch die Forderung spezifiziert werden, daß der Radius des entsprechenden Unschärfekreises gleich Null ist. Falls Δf den Radius des Unschärfekreises bezeichnet, der der durch eaf spezifizierten Kameraeinstellung entspricht, und r&sub0; der Abstand des Gegenstandes ist, kann eaf einfach dadurch bestimmt werden, daß im Ausdruck für Δf die Größe Δf = 0 wie folgt gesetzt wird:
• In der Praxis sind die beiden Kameraparameter ff und sf jeweils freie Parameter. Zuerst wird der Wert eines dieser Parameter festgehalten, anschließend wird Gleichung (58) nach dem anderen Parameter aufgelöst. Die Kamera wird dann so eingestellt, daß die Kameraparameter gleich den durch eaf bestimmten Werten sind. Dadurch wird die Autofokussierung erzielt.
• In dem Verfahren zum Erhalten des fokussierten Bildes eines Gegenstandes aus seinem unscharfen Bild wird zunächst der Abstand r&sub0; des Gegenstandes unter Verwendung des obenbeschriebenen Verfahrens bestimmt. Wenn der Abstand r&sub0; bestimmt ist, wird das fokussierte Bild des Gegenstandes unter Verwendung entweder von Gleichung (43) oder von Gleichung (44) berechnet. Dieses Verfahren der Berechnung des fokussierten Bildes ist tatsächlich äquivalent damit, daß zuerst die Gewichtungsparameter unter Verwendung der Gleichungen (40) berechnet werden, dann die Bildableitungen gn1i,k-i (oder gn2i,k-i) berechnet werden und dann die resultierenden Werte in die durch Gleichung (24) oder Gleichung (25) gegebene Entfaltungsformel eingesetzt werden.
• Es wird darauf hingewiesen, daß in dem obenbeschriebenen Verfahren zur Abstandsbestimmung der Abstand r&sub0; genau einer der Parameter zusammen mit den anderen Kameraparametern s, f, D, λ ist, von denen die Punktstreufunktion abhängt. Von einem mathematischen Gesichtspunkt aus, spielen alle diese Parameter einschließlich r&sub0; in Gleichung (8) die gleiche Rolle. Keiner von ihnen weist eine Besonderheit auf. Daher kann ein Verfahren, das dem obigen Verfahren sehr ähnlich ist, dazu verwendet werden, irgendwelche andere Parameter s, f, D, λ, von denen die Punktstreufunktion abhängt, zu ermitteln. Um z. B. die Brennweite f des Kamerasystems zu bestimmen, wird angenommen, daß der Abstand r&sub0; gegeben ist und Gleichung (8) wie oben nach f aufgelöst wird.
• Das obige Verfahren zum Bestimmen eines unbekannten Parameters kann dahingehend erweitert werden, daß ein Verfahren für die Bestimmung von mehr als einer Unbekannten erhalten wird. In diesem Fall benötigen wir mehr als zwei Bilder. Falls im allgemeinen n Unbekannte enthalten sind, sind n+1 Bilder erforderlich. Falls wir z. B. zwei Parameter, z. B. r&sub0; und f bestimmen müssen, verwenden wir drei Bilder g&sub1;(x,y), g&sub2;(x,y) und g&sub3;(x,y), die zusammen mit den Kameraeinstellungen ea1, ea2 bzw. ea3 verwendet werden, wobei
• ea1 = {s&sub1;,D&sub1;,λ&sub1;}, (59)
• ea2 = {s&sub2;,D&sub2;,λ&sub2;}, (60)
• ea3 = {s&sub3;,D&sub3;,λ&sub3;}. (61)
• Die zwei folgenden Gleichungen, die Gleichung (8) ähnlich sind, können für die drei Bilder folgendermaßen geschrieben werden:
• Die Gleichungen (62), (63) werden gleichzeitig gelöst, um die zwei Unbekannten f, r&sub0; zu erhalten. Es können Verfahren verwendet werden, die dem früheren Fall ähnlich sind, um die Gleichungen zu lösen.
• Die zwei obigen Gleichungen implizieren, daß die Unbekannten r&sub0; und f für alle drei Bilder gleich bleiben sollten. Dies muß jedoch solange nicht der Fall sein, wie die Änderung ihrer Werte bekannt sind. Es seien z. B. die Brennweiten für die drei Bilder gegeben durch f + δ&sub1;, f + δ&sub2; und f + δ&sub3;,wobei die Werteänderungen δ&sub1;, δ&sub2; und δ&sub3; sämtlich bekannt sind. Dann gilt
• Die zwei obigen Gleichungen enthalten nur zwei Unbekannte (f und r&sub0;) und können daher wie oben gelöst werden. Wenn mehr als eine Lösung erhalten wird, können zusätzliche Bilder verwendet werden, um falsche Lösungen zu eliminieren, so daß eine eindeutige Lösung erhalten werden kann.
• Nach der Bestimmung der unbekannten Parameter kann die Entfaltungsformel (24) dazu verwendet werden, das fokussierte Bild zu erhalten.
• Eine Kamera ist ein besonderes Beispiel einer größeren Klasse von Instrumenten, die als lineare, verschiebungsinvariante Systeme entworfen werden können. Das Verfahren zur Bestimmung der unbekannten Kameraparameter unter Verwendung eines Satzes von Bildern zusammen mit verschiedenen Kameraparameterwerten kann auf sämtliche linearen, verschiebungsinvarianten Systeme verallgemeinert werden. Das Eingangssignal und die Ausgangssignale des linearen, verschiebungsinvarianten Systems können mehrdimensionale Signale sein. Ein allgemeines, lineares, verschiebungsinvariantes System ist gekennzeichnet durch einen Satz von Systemparametern, so wie eine Kamera durch einen Satz von Kameraparametern gekennzeichnet ist. Ein Satz von Ausgangssignalen des linearen, verschiebungsinvarianten Systems wird für verschiedene Werte der Systemparameter erhalten. Ein Paar von Ausgangssignalen kann dazu verwendet werden, eine Gleichung ähnlich wie Gleichung (8) zu formulieren. Es werden wenigstens so viele derartige Gleichungen für verschiedene Paare von Ausgangssignalen formuliert, wie unbekannte Systemparameter vorhanden sind. Die resultierenden Gleichungen können gelöst werden, um sämtliche unbekannten Systemparameter zu bestimmen. Dann kann eine Entfaltungsformel ähnlich Gleichung (24) dazu verwendet werden, das Eingangssignal für das lineare, verschiebungsinvariante System zu erhalten. Die relevante Entfaltungsformel ist vom selben Erfinder in einer kürzlich eingereichten weiteren Patentanmeldung "A method and apparatus for restoring convolution degraded signals", US-Patentanmeldung, eingereicht am 3. Juli 1990, offenbart.
• Das oben in Übersicht gebrachte allgemeine Verfahren könnte für viele verschiedene Instrumente nützlich sein. Ein Kamerasystem ist lediglich ein Beispiel eines Instrumentes, an dem die Anwendung dieses Verfahrens in allen Einzelheiten dargelegt worden ist.
• Die vorliegende Erfindung ist hauptsächlich im Zusammenhang von Maschinenvisionsanwendungen wie etwa der Robotervision, der selbständigen Fahrzeugnavigation, der Ermittlung des ungefähren Abstandes von Gegenständen als Teil eines Stereovisionssystems usw. entwickelt worden. Es gibt auch andere Anwendungen, wo diese Erfindung mit geringen Abwandlungen verwendet werden kann. Zum Beispiel ist sie bei der Fernsehmikroskopie nützlich, um verbesserte scharfe Bilder von dreidimensionalen Proben zu erhalten. Eine weitere Anwendung ist eine vollständig elektronische Kamera, wo die Aufnahme eines Bildes die direkte Speicherung des Bildsignals auf einer Magnetplatte für zwei oder mehr Kameraeinstellungen umfaßt und dann dieses Bildsignal in einen Computer in Verbindung mit Kameraeigenschaften verarbeitet wird, um Bilder mit gewünschter Feldtiefe zu erhalten.
• Obwohl die Beschreibung in diesem Bericht bezüglich des Verfahrens, der Vorrichtung und der Anwendungen viele Besonderheiten enthält, sollten diese nicht als Einschränkungen des Umfangs der Erfindung, sondern lediglich als beispielhafte Darstellungen von bevorzugten Ausführungsformen hiervon angesehen werden. Dem von der vorliegenden Erfindung betroffenen Fachmann werden sich weitere Abwandlungen und Erweiterungen der hier offenbarten vorliegenden Erfindung ergeben, wobei all diese Abwandlungen als im Umfang der vorliegenden Erfindung, wie er durch die beigefügten Ansprüche definiert ist, liegend angesehen werden.
• Die Hilfe von Nalini Agarwal und Sanjay Sethi bei der Vorbereitung dieser Anmeldung wird dankend anerkannt. Diese Arbeit wurde ermöglicht durch die Mitwirkung meiner Frau.

Claims (14)

1. Verfahren zum Bestimmen des Abstandes eines Gegenstandes von einer Kamera, die einen Satz von Kameraparametern besitzt, wobei das Verfahren enthält:

(a) Einstellen der Kameraparameter auf einen ersten Satz von Kameraparameterwerten, Erzeugen eines Bildes des Gegenstandes in der Kamera und Aufzeichnen eines ersten Bildes;

(b) Einstellen der Kameraparameter auf einen zweiten Satz von Kameraparameterwerten, Erzeugen eines Bildes des Gegenstandes in der Kamera und Aufzeichnen eines zweiten Bildes; wobei das Verfahren gekennzeichnet ist durch:

(c) Vorverarbeiten des ersten Bildes, um ein erstes normiertes Bild zu erhalten, so daß das erste normierte Bild gleich der Faltung eines fokussierten Bildes des Gegenstandes mit einer ersten Punktstreufunktion der Kamera ist, die den ersten Satz von Kameraparameterwerten besitzt;

(d) Vorverarbeiten des zweiten Bildes, um ein zweites normiertes Bild zu erhalten, so daß das zweite normierte Bild gleich der Faltung einer zweiten Punktstreufunktion der Kamera ist, die den zweiten Satz von Kameraparameterwerten besitzt;

(e) Berechnen eines Satzes von Ableitungen des ersten normierten Bildes, um einen ersten Satz von Bildableitungen zu erhalten;

(f) Berechnen eines Satzes von Ableitungen des zweiten normierten Bildes, um einen zweiten Satz von Bildableitungen zu erhalten;

(g) Einsetzen der Werte des ersten Satzes von Kameraparameterwerten, des zweiten Satzes von Kameraparameterwerten, des ersten Satzes von Bildableitungen und des zweiten Satzes von Bildableitungen in eine Gleichung, die durch Gleichsetzen eines ersten Ausdrucks für das fokussierte Bild, der durch den ersten Satz von Kameraparameterwerten und den ersten Satz von Bildableitungen gegeben ist, mit einem zweiten Ausdruck für das fokussierte Bild, der durch den zweiten Satz von Kameraparameterwerten und den zweiten Satz von Bildableitungen gegeben ist, wodurch eine Gleichung erhalten wird, in der der Abstand des Gegenstandes die einzige unbekannte Variable ist; wobei der erste Ausdruck das Ergebnis der Multiplikation jedes Elementes des ersten Satzes von Bildableitungen mit einem Gewichtungsparameter, um einen ersten Satz von gewichteten Bildableitungen zu erhalten, und der Summation sämtlicher Elemente des ersten Satzes von gewichteten Bildableitungen ist und wobei der zweite Ausdruck das Ergebnis der Multiplikation jedes Elements des zweiten Satzes von Bildableitungen mit einem Gewichtungsparameter, um einen zweiten Satz von gewichteten Bildableitungen zu erhalten, und der Summation sämtlicher Elemente des zweiten Satzes von gewichteten Bildableitungen ist, und wobei die Gewichtungsparameter in der Weise definiert sind, daß der erste und der zweite Ausdruck gleich dem fokussierten Bild des Gegenstandes sind, das durch den ersten bzw. den zweiten Satz von Kameraparameterwerten und den ersten bzw. den zweiten Satz von Bildableitungen gegeben ist;

(h) Auflösen der im Schritt (g) erhaltenen Gleichung, um einen ersten Satz von Lösungen für den Abstand des Gegenstandes zu erhalten, wobei bei der Auflösung nach dem Abstand keine Fourier-Transformationen berechnet werden;

(i) Einstellen der Kameraparameter auf einen dritten Satz von Kameraparameterwerten, Erzeugen eines Bildes des Gegenstandes in der Kamera und Aufzeichnen eines dritten Bildes; und

(j) Bestimmen desjenigen Elementes des im Schritt (h) erhaltenen ersten Satzes von Lösungen für den Abstand, das mit dem dritten Satz von Kameraparameterwerten und mit dem dritten Bild konsistent ist, um den Abstand des Gegenstandes vom Kamerasystem zu erhalten.

2. Verfahren nach Anspruch 1, bei dem die Kamera einen Bilddetektor (10) für die Aufzeichnung von Bildern, eine Kamerablende, durch die Licht eintritt, ein optisches System (OS) mit einer ersten Hauptebene und einer zweiten Hauptebene, wobei sich die zweite Hauptebene näher am Bilddetektor als die erste Hauptebene befindet, sowie ein Lichtfilter enthält.

3. Verfahren nach Anspruch 2, bei dem der Satz von Kameraparametern wenigstens eine der folgenden Größen enthält:

(a) den Abstand zwischen der zweiten Hauptebene und dem Bilddetektor,

(b) den Durchmesser der Kamerablende,

(c) die Brennweite des optischen Systems und

(d) die spektrale Lichtdurchlässigkeits-Kennlinie des Lichtfilters.

4. Verfahren nach Anspruch 3, bei dem die Vorverarbeitungsoperationen in den Schritten (c) und (d) wenigstens eine der folgenden Operationen enthalten:

(a) Korrektur der Sensoransprechcharakteristik des Bilddetektors,

(b) Korrektur des ungleichmäßigen Lichtdurchlasses des optischen Systems,

(c) Normierung der Vergrößerung des ersten Bildes und des zweiten Bildes,

(d) Normierung der Helligkeit des ersten Bildes und des zweiten Bildes und

(e) Rauschfilterung, um die Rauschwirkungen zu verringern.

5. Verfahren nach Anspruch 1, bei dem jeder der Gewichtungsparameter von einem ersten Satz von Momentparametern abhängt, die zusammen die erste Punktstreufunktion im Schritt (c) von Anspruch 1 kennzeichnen.

6. Verfahren nach Anspruch 1, bei dem jeder der Gewichtungsparameter von einem zweiten Satz von Momentparametern abhängt, die zusammen die zweite Punktstreufunktion im Schritt (d) von Anspruch 1 kennzeichnen.

7. Verfahren nach Anspruch 5, bei dem die erste Punktstreufunktion symmetrisch ist und daher sämtliche ungeraden Momentparameter im ersten Satz von Momentparametern Null sind.

8. Verfahren nach Anspruch 5, bei dem die erste Punktstreufunktion innerhalb eines Bereichs, der bis auf einen Vergrößerungsfaktor dieselbe Form wie die Kamerablende besitzt, einen von Null verschiedenen, konstanten Wert und außerhalb des Bereichs den Wert Null besitzt.

9. Verfahren nach Anspruch 8, bei dem die Kamerablende Kreisform besitzt und daher die erste Punktstreufunktion in einem kreisförmigen Bereich einen von Null verschiedenen, konstanten Wert und außerhalb des kreisförmigen Bereichs den Wert Null besitzt.

10. Verfahren nach Anspruch 1, bei dem der Schritt (j) die folgenden Schritte enthält:

(l) Vorverarbeiten des Bildes, um ein drittes normiertes Bild zu erhalten, das gleich der Faltung einer dritten Punktstreufunktion der Kamera ist, die den dritten Satz von Kameraparameterwerten besitzt;

(m) Berechnen eines Satzes von Ableitungen des dritten normierten Bildes, um einen dritten Satz von Bildableitungen zu erhalten;

(n) Einsetzen der Werte des zweiten Satzes von Kameraparameterwerten, des dritten Satzes von Kameraparameterwerten, des zweiten Satzes von Bildableitungen und des dritten Satzes von Bildableitungen in eine Gleichung, die durch Gleichsetzen des zweiten Ausdrucks mit dem dritten Ausdruck für das fokussierte Bild erhalten wird, das durch den dritten Satz von Kameraparameterwerten und durch den dritten Satz von Bildableitungen gegeben ist, wodurch eine Gleichung erhalten wird, in der der Abstand des Gegenstandes die einzige unbekannte Variable ist;

(o) Auflösen der im Schritt (n) erhaltenen Gleichung, um einen zweiten Satz von Lösungen für den Abstand des Gegenstandes zu erhalten; und

(p) Bilden des Durchschnitts des ersten Satzes von Lösungen und des zweiten Satzes von Lösungen, um eine gemeinsame Lösung zu erhalten, die den Abstand des Gegenstandes von der Kamera ergibt.

11. Verfahren zum Autofokussieren einer Kamera auf einen Gegenstand, wobei die Kamera einen Satz von Kameraparametern besitzt, wobei das Verfahren enthält:

(a) das Verfahren nach irgendeinem der Ansprüche 1-10; und

(b) Berechnen eines neuen Satzes von Kameraparameterwerten für die Fokussierung des Gegenstandes auf der Grundlage des im Schritt j von Anspruch 1 bestimmten Abstandes des Gegenstandes und Einstellen des Satzes von Kameraparametern auf den neuen Satz von Kameraparameterwerten, um dadurch die Kamera auf den Gegenstand zu autofokussieren.

12. Verfahren zum Erhalten des fokussierten Bildes eines Gegenstandes aus einem unscharfen Bild des Gegenstandes, wobei das unscharfe Bild in einer Kamera erzeugt wird, das einen Satz von Kameraparametern besitzt, wobei das Verfahren enthält:

(a) das Verfahren nach irgendeinem der Ansprüche 1-10; und

(b) Einsetzen der Werte des ersten Satzes von Kameraparameterwerten, des ersten Satzes von Bildableitungen und des im Schritt j von Anspruch 1 bestimmten Abstandes des Gegenstandes von der Kamera in den ersten Ausdruck, um das fokussierte Bild des Gegenstandes zu erhalten.

13. Vorrichtung zum Bestimmen des Abstandes eines Gegenstandes von einer Kamera, wobei die Vorrichtung versehen ist mit einer Kamera, die einen Satz von Kameraparametern besitzt, einer Kamerasteuereinrichtung, die den Satz von Kameraparametern auf gewünschte Werte einstellt, einem Bildnormierungsmittel, das verschiedene Bilder, die mit unterschiedlichen Werten für den Satz von Kameraparametern aufgezeichnet worden sind, normiert, einem gleichungslösungsmittel, das in eine Gleichung die Werte der verschiedenen Ableitungen von normierten Bildern und die Kameraparameterwerte einsetzen kann und nach dem Abstand des Gegenstandes vom Kamerasystem auflösen kann, und einem Mengendurchschnittsmittel, das den Durchschnitt zweier Sätze von Lösungen für den Abstand bildet und die gemeinsame Lösung bestimmt, wobei die Vorrichtung gekennzeichnet ist durch ein Ableitungs-Berechnungsmittel, das Ableitungen von normierten Bildern berechnet, sowie durch ein Fokussierungsparameter- Bestimmungsmittel, das einen Wert für den Satz von Kameraparametern auf der Grundlage des Abstandes des Gegenstandes von der Kamera bestimmt, so daß der Gegenstand durch Einstellen des Satzes von Kameraparametern auf den durch das Fokussierungsparameter-Bestimmungsmittel bestimmten Wert fokussiert wird.

14. Vorrichtung für die Bestimmung des Abstandes eines Gegenstandes von einer Kamera, wobei die Vorrichtung versehen ist mit einer Kamera, die einen Satz von Kameraparametern besitzt, einer Kamerasteuereinrichtung, die den Satz von Kameraparametern auf gewünschte Wert einstellt, einem Bildnormierungsmittel, das verschiedene Bilder, die mit unterschiedlichen Werten für den Satz von Kameraparametern aufgezeichnet worden sind, normiert, einem gleichungslösungsmittel, das in eine Gleichung die Werte der verschiedenen Ableitungen der normierten Bilder und Kameraparameterwerte einsetzen kann und nach dem Abstand des Gegenstandes vom Kamerasystem auflösen kann, und einem Mengendurchschnittsmittel, das den Durchschnitt von zwei Sätzen von Lösungen für den Abstand bildet und die gemeinsame Lösung bestimmt, wobei die Vorrichtung gekennzeichnet ist durch ein Ableitungs-Berechnungsmittel, das Ableitungen von normierten Bildern berechnet, und durch ein Fokussierungsparameter-Bestimmungsmittel, das als Eingang einen Satz von Ableitungen eines unscharfen Bildes des Gegenstandes, Werte des Satzes von Kameraparametern sowie den Abstand des Gegenstandes von der Kamera benutzt und eine Entfaltungsformel verwendet, um als Ausgang das fokussierte Bild des Gegenstandes auszugeben, ohne irgendwelche Fourier-Transformationen zu berechnen.