DE69922706T2

DE69922706T2 - 3d- bilderzeugungssystem

Info

Publication number: DE69922706T2
Application number: DE69922706T
Authority: DE
Inventors: J. Gavriel IDDAN; Giora Yahav; J. Ori BRAUN
Original assignee: 3DV Systems Ltd
Current assignee: Microsoft International Holdings BV
Priority date: 1999-09-08
Filing date: 1999-09-08
Publication date: 2005-12-08
Anticipated expiration: 2019-09-09
Also published as: EP1214609B1; WO2001018563A1; EP1214609A1; AU5646299A; ATE285079T1; US7224384B1; DE69922706D1

Description

GEBIET DER ERFINDUNG
Die Erfindung betrifft Kameras, die ein Bild einer Szene liefern, und Messungen von Abständen zu Gebieten in der Szene.
HINTERGRUND DER ERFINDUNG
3D-Kameras, die Abstandsmessungen zu Objekten und Punkten auf Objekten liefern, die sie abbilden, sind im Stand der Technik wohlbekannt. Torgesteuerte 3D-Kameras umfassen eine photoempfindliche Oberfläche, wie z.B. eine CCD- oder CMOS-Kamera, die nachstehend als eine "Photooberfläche" bezeichnet wird, und eine Torsteuereinrichtung, um die Kamera auf und zu zu steuern, wie z.B. eine elektrooptische Verschlussblende oder einen torgesteuerten Bildverstärker. Um eine Szene abzubilden und Entfernungen von der Kamera zu Objekten in der Szene zu bestimmen, wird die Szene im Allgemeinen mit einem Zug von Lichtimpulsen beleuchtet, die von einer geeigneten Lichtquelle ausgestrahlt werden. Im Allgemeinen sind die ausgestrahlten Lichtimpulse Infrarot(IR)-Lichtimpulse. Für jeden ausgestrahlten Lichtimpuls im Zug wird im Anschluss an eine genau bestimmte Verzögerung von dem Zeitpunkt, in dem der Lichtimpuls ausgestrahlt wird, die Kamera für eine Zeitspanne auf torgesteuert, die nachstehend als ein "Durchlass" bezeichnet wird. Licht von dem Lichtimpuls, der von einem Objekt in der Szene reflektiert wird, wird auf der Photooberfläche der Kamera abgebildet, wenn er die Kamera während des Durchlasses erreicht. Da die Zeit, die zwischen Ausstrahlen eines Lichtimpulses und dem Durchlass verstreicht, der ihm folgt, bekannt ist, ist die Zeit, die abgebildetes Licht brauchte, um sich von der Lichtquelle zu dem reflektierenden Objekt in der Szene und zurück zur Kamera auszubreiten, bekannt. Die verstrichene Zeit wird verwendet, um den Abstand zum Objekt zu bestimmen.
In einigen von diesen 3D-Kameras wird nur der Zeitverlauf zwischen Lichtimpulsen und Durchlässen verwendet, um einen Abstand von der 3D-Kamera bis zu einem Gebiet in der Szene, das auf einem Bildelement der Photooberfläche der 3D-Kamera abgebildet wird, zu bestimmen. In anderen wird die Menge von Licht, die durch das Bildelement während der Zeit registriert wird, in der die Kamera auf torgesteuert wird, auch verwendet, um den Abstand zu bestimmen. In 3D-Kameras, in denen die Menge von Licht verwendet wird, um Abstände zum abgebildeten Gebiet zu bestimmen, wird die Menge von Licht, die auf einem Bildelement registriert wird, manchmal hinsichtlich Reflexionsvermögen des abgebildeten Gebiets, Dunkelstrom und Hintergrundlicht korrigiert. Die Genauigkeit von Messungen, die mit diesen 3D-Kameras durchgeführt werden, ist eine Funktion der Anstiegs- und Abfallzeiten und des Jitters der Lichtimpulse und ihrer Flachheit und hängt davon ab, wie schnell die Torsteuereinrichtungen die Kamera auf und zu torsteuern können.
Torgesteuerte 3D-Kameras, die Abstände zu Objekten in einer Szene, die sie abbilden, ansprechend auf Mengen von Licht bestimmen, die auf Bildelementen von in den 3D-Kameras enthaltenen Photooberflächen registriert werden, werden in den PCT-Veröffentlichungen WO 97/01111, WO 97/01112 und WO 97/01113 beschrieben.
Eine torgesteuerte 3D-Kamera, wie in der WO 97/01111 dargestellt, umfasst eine erste und zweite homologe Photooberfläche und eine Lichtquelle, die eine Szene, die mit der Kamera abgebildet wird, mit einem Zug von vorzugsweise IR-Lichtimpulsen beleuchtet. Die erste Photooberfläche, die nachstehend als eine "Abstandsphotooberfläche" bezeichnet wird, wird im Anschluss an den Zeitpunkt, in dem jeder Lichtimpuls im Impulszug ausgestrahlt wird, mit einem kurzen Durchlass auf torgesteuert. Der Teil des Lichts von jedem Lichtimpuls im Impulszug, der durch ein Gebiet der Szene reflektiert wird und in die 3D-Kamera eintritt, der auf einem Bildelement der Abstandsphotooberfläche registriert wird, ist eine Funktion des Abstands des Gebiets vom Bildelement. Die zweite Photooberfläche, die nachstehend als eine "Normierungsphotooberfläche" bezeichnet wird, wird vorzugsweise nicht torgesteuert. Der Teil des Lichts von jedem Lichtimpuls im Impulszug, der durch ein Gebiet der Szene reflektiert wird und in die 3D-Kamera eintritt, der auf einem Bildelement der Normierungsphotooberfläche registriert wird, ist unabhängig von dem Abstand des Gebiets vom Bildelement. Die Menge von Licht, die auf dem Bildelement registriert wird, ist ein Maß für die Gesamtmenge von Licht, die die Kamera von dem abgebildeten Gebiet erreicht. Eine Menge von reflektiertem Licht, die auf einem Bildelement der Abstandsphotooberfläche registriert wird, von sämtlichen Lichtimpulsen im Impulszug wird auf eine Menge von reflektiertem Licht von sämtlichen Lichtimpulsen normiert, die auf einem entsprechenden Bildelement in der Normierungsphotooberfläche registriert wird. Normierte Mengen von Licht werden verwendet, um Abstände zu Gebieten in der Szene zu bestimmen.
Das US-Patent 5,434,612 an Nettleton beschreibt eine torgesteuerte 3D-Kamera, umfassend eine erste, zweite und dritte Photooberfläche. Eine mit dieser Kamera abgebildete Szene wird nicht mit einem Zug von Lichtimpulsen sondern mit einem einzigen Lichtimpuls von einem Laser beleuchtet, und die drei Photooberflächen werden in Bezug zu dem Zeitpunkt torgesteuert, zu dem der Lichtimpuls ausgestrahlt wird. Die erste Photooberfläche ist eine Abstandsphotooberfläche. Sie wird mit einem kurzen Durchlass torgesteuert, so dass ein Teil des Lichtimpulses, der durch ein Gebiet der Szene reflektiert wird, der durch die Kamera gesammelt wird und auf einem Bildelement der Photooberfläche registriert wird, eine Funktion des Abstands des Gebiets vom Bildelement ist. Die zweite Photooberfläche ist eine Normierungsphotooberfläche. Sie wird mit einem langen Durchlass torgesteuert, so dass die auf einem Bildelement der Photooberfläche registrierte Menge von reflektiertem Laserlicht von einem abgebildeten Gebiet ein Maß für die Gesamtmenge von Licht ist, die die Kamera von dem abgebildeten Gebiet erreicht. Die dritte Photooberfläche wird verwendet, um Hintergrundlicht zu messen, indem die Menge von Licht gemessen wird, die die Kamera in einem Wellenlängenband in der Nähe von Wellenlängen von durch den Laser ausgestrahltem Licht erreicht. Ein Filter, das Licht in dem Wellenlängenband in der Nähe der Wellenlänge des Laserlichts durchlässt, aber Licht blockiert, das eine Wellenlänge aufweist, die dieselbe wie eine Wellenlänge von Licht ist, das durch den Laser ausgestrahlt wird, schirmt die dritte Photooberfläche ab. Die dritte Photooberfläche wird gleichzeitig mit der Normierungsphotooberfläche durch einen langen Durchlass mit einer selben Durchlassbreite wie der Durchlass torgesteuert, der die zweite Photooberfläche torsteuert. Eine Photooberfläche, die verwendet wird, um Hintergrundlicht zu messen, wird nachstehend als eine "Hintergrundsphotooberfläche" bezeichnet.
Mengen von Licht, die auf der Hintergrundsphotooberfläche registriert werden, werden verwendet, um die Mengen von Licht, die auf Bildelementen der Abstands- und Normierungsphotooberfläche registriert werden, hinsichtlich Hintergrundlicht zu korrigieren. Hintergrund-korrigierte Mengen von Licht, die durch Bildelemente auf der Normierungsphotooberfläche registriert werden, werden verwendet, um Hintergrund-korrigierte Mengen von Licht zu normieren, die durch Bildelemente auf der Abstandsphotooberfläche registriert werden. Abstände zu Gebieten in der Szene werden von den Hintergrund-korrigierten normierten Mengen von Licht bestimmt, die durch Bildelemente auf der Abstandsphotooberfläche registriert werden.
Im Allgemeinen werden in 3D-Kameras verwendete Photooberflächen durch eine äußere schnelle Verschlussblende torgesteuert. Gewisse Typen von CCD-Kameras ermöglichen ein Ein- und Aus-Torsteuern einer Bilderfassung während eines Rahmens, indem die Photooberflächen ein- und ausgeschaltet werden. Jedoch sind die Einschalt- und Ausschaltzeiten von diesen Photooberflächen im Allgemeinen viel zu lang, um ein Torsteuern der Photooberflächen zwecks genauer Entfernungsmessungen durch ihr Ein- und Ausschalten zu ermöglichen. Typischerweise sind Einschalt- und Ausschaltzeiten für CCD-Photooberflächen in der Größenordnung von Mikrosekunden, während ein Torsteuern für genaue Abstandsmessungen Einschalt- und Ausschaltzeiten in der Größenordnung von Nanosekunden oder weniger erfordert.
Eine elektrooptische Verschlussblende, die zur Verwendung in 3D-Kameras geeignet ist, wie z.B. diejenigen, die in dem zitierten Patent und Patentan meldungen beschrieben sind, wird in der PCT-Veröffentlichung WO 99/40478 beschrieben.
Im Allgemeinen wird eine 3D-Kamera in Verbindung mit einer Abbildungskamera, wie z.B. einer Videokamera, verwendet, die ein Bild, das nachstehend als ein "Bild" einer Szene bezeichnet wird, die mit der 3D-Kamera abgebildet wird, ansprechend auf sichtbares Licht von der Szene liefert. Die 3D-Kamera liefert eine "Tiefenabbildung" der Szene, während die Abbildungskamera ein Bild der Szene liefert. Abstände, die durch die Tiefenabbildung geliefert werden, sind mit sichtbaren Merkmalen im Bild verbunden. In einigen Anwendungen werden Abstände, die mit einem Bild einer Szene verbunden sind, verwendet, um die Szene "mit Fenstern zu bearbeiten" und unerwünschte Merkmale und/oder Objekte in der Szene, wie z.B. einen Hintergrund, von dem Bild zu entfernen. Solche Anwendungen sind in der PCT-Veröffentlichung in WO 97/01111, die oben zitiert ist, beschrieben.
Die PCT-Patentanmeldung PCT/IL98/00476, mit dem Titel "Distance Measurement with a Camera" von einigen derselben Erfinder wie die Erfinder der vorliegenden Erfindung, beschreibt eine Photooberfläche, umfassend Bildelemente, von denen jedes seinen eigenen Kreis aufweist, der steuerbar ist, um das Bildelement ein oder aus torzusteuern. Eine einzige Photooberfläche dieses Typs ist verwendbar, um gleichzeitig die Funktionen einer Abstands-, Hintergrunds- und Normierungsphotooberfläche einer 3D-Kamera sowie einer Abbildungskamera zu liefern. Jedoch, wenn sich die Anzahl von Funktionen, die die Photooberfläche ausführt, erhöht, nimmt die Auflösung der Photooberfläche ab.
Es ist vorteilhaft, ein einfaches robustes optisches System zu besitzen, das eine 3D-Kamera und eine Abbildungskamera umfasst, das leicht einstellbar ist, um gleichzeitig Lichtmengen zu optimieren, die von einer durch das System abgebildeten Szene erhältlich sind, die die Kameras erreichen.
ZUSAMMENFASSUNG DER ERFINDUNG
Ein Aspekt von einigen bevorzugten Ausführungsformen der vorliegenden Erfindung betrifft eine Bereitstellung eines verbesserten optischen Systems, das nachstehend als eine "3D-Abbildungsvorrichtung" bezeichnet wird, umfassend eine 3D-Kamera und eine Abbildungskamera, um Tiefenabbildungen und Bilder einer Szene zu erfassen.
Ein Aspekt von einigen bevorzugten Ausführungsformen der vorliegenden Erfindung betrifft eine Bereitstellung einer 3D-Abbildungsvorrichtung, die verhältnismäßig leicht eingestellt wird, so dass ihre 3D- und Abbildungskamera gleichzeitig optimale Mengen von Licht empfangen können, die von einer Szene erhältlich sind, die mit der 3D-Abbildungsvorrichtung abgebildet wird.
Ein Aspekt von einigen bevorzugten Ausführungsformen der vorliegenden Erfindung betrifft eine Bereitstellung einer 3D-Abbildungsvorrichtung, umfassend ein verbessertes Torsteuersystem, um in ihrer 3D-Kamera enthaltene Photooberflächen torzusteuern.
Eine 3D-Abbildungsvorrichtung gemäß einigen bevorzugten Ausführungsformen der vorliegenden Erfindung umfasst eine einzige Aufnahmelinse, die mit einer torgesteuerten 3D-Kamera und einer Abbildungskamera justiert ist. Vorzugsweise ist die Abbildungskamera eine Farbkamera. Vorzugsweise umfasst die 3D-Kamera drei photoempfindliche Oberflächen, eine Abstandsphotooberfläche, eine Normierungsphotooberfläche und eine Hintergrundsphotooberfläche. Vorzugsweise wird die 3D-Abbildungsvorrichtung mit einer Impuls-IR-Lichtquelle verwendet, die eine Szene, die mit der 3D-Abbildungsvorrichtung abgebildet wird, mit einem Zug von vorzugsweise IR-Lichtimpulsen beleuchtet. Licht von den Lichtimpulsen, das durch Objekte in der Szene reflektiert wird, wird durch die 3D-Kamera verwendet, um eine Tiefenabbildung der Szene zu liefern. Sichtbares Licht von der Szene wird durch die Abbildungskamera verwendet, um ein Bild der Szene zu liefern.
Während es normalerweise mehr als reichliche Mengen von sichtbarem Licht gibt, die erhältlich sind, um ein Qualitätsbild der Szene zu bilden, ist die Lichtmenge, die zwecks Bereitstellung einer Tiefenabbildung der Szene erhältlich ist, normalerweise klein. Infolgedessen erfordert die 3D-Abbildungsvorrichtung normalerweise, dass die Aufnahmelinse auf eine viel höhere Blendenzahl eingestellt wird, um ein Qualitätsbild der Szene zu erzeugen, als eine Blendenzahl, die erforderlich ist, um genaue Abstandsmessungen zur Szene zu liefern.
Um eine richtige Steuerung der Mengen von Licht, die die 3D-Kamera und die Abbildungskamera erreichen, zu liefern, umfasst die 3D-Abbildungsvorrichtung ein System, das die Menge von Licht, die die Abbildungskamera von der Aufnahmelinse erreicht, unabhängig von der Menge von Licht, die die 3D-Kamera erreicht, steuert.
Vorzugsweise umfasst die 3D-Kamera mindestens zwei Irisblenden. Eine erste Irisblende der mindestens zwei Irisblenden steuert die Menge von durch die Aufnahmelinse gesammeltem sichtbarem Licht, die die Abbildungskamera erreicht. Eine zweite Irisblende steuert entweder die Menge von durch die Aufnahmelinse gesammeltem IR-Licht, die die 3D-Kamera erreicht, oder die Gesamtmenge von durch die Aufnahmelinse gesammeltem IR- und sichtbarem Licht, die in die 3D-Abbildungsvorrichtung eintritt. Infolgedessen kann die 3D-Abbildungsvorrichtung eingestellt werden, um Mengen von Licht unabhängig zu steuern, die die Abbildungskamera und die 3D-Kamera von einer mit der 3D-Abbildungsvorrichtung abgebildeten Szene erreichen. Deshalb ist, abhängig von einem Beleuchtungspegel der Szene, eine 3D-Abbildungsvorrichtung gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung einstellbar, um gleich zeitig die Mengen von Licht von der Szene zu optimieren, die ihre 3D- und Abbildungskamera erreichen.
Gemäß einigen bevorzugten Ausführungsformen der vorliegenden Erfindung werden alle in der 3D-Kamera enthaltenen Photooberflächen mit einer selben einzelnen schnellen Verschlussblende torgesteuert. Dies vereinfacht die Konstruktion und Steuerung der 3D-Abbildungsvorrichtung wesentlich. Vorzugsweise umfasst die 3D-Kamera drei Photooberflächen, eine Abstandsphotooberfläche, eine Hintergrundsphotooberfläche und eine Normierungsphotooberfläche. Die drei Photooberflächen sind unabhängig steuerbar, um ein- und ausgeschaltet zu werden. Vorzugsweise tritt sämtliches Licht, das von der Aufnahmelinse zur 3D-Kamera durchgelassen wird, durch die einzelne schnelle Verschlussblende hindurch. Nach Hindurchtreten durch die Verschlussblende werden Teile des Lichts z.B. durch ein Prisma zu jeder der drei Photooberflächen gelenkt. Vorzugsweise ist das Prisma ein Prisma vollständiger innerer Reflexion (TIR). Zu jedem gegebenen Zeitpunkt werden, um zu bestimmen, welche der Photooberflächen durch die schnelle Verschlussblende torgesteuert wird, alle Photooberflächen, außer einer Photooberfläche, die durch die schnelle Verschlussblende torzusteuern ist, ausgeschaltet.
Es muss angemerkt werden, dass, während die Photooberflächen steuerbar sind, um ein- oder ausgeschaltet zu werden, die Geschwindigkeit, mit der eine Photooberfläche zwischen Ein- und Auszuständen geschaltet werden kann, im Allgemeinen nicht schnell genug ist, um die Photooberflächen zwecks genauer Abstandsmessungen torzusteuern. Deshalb ist für 3D-Kameras ein Torsteuern von Photooberflächen durch deren Ein- und Ausschalten im Allgemeinen nicht praktisch.
In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung werden die 3D-Kamera und zugehörige optische Komponenten als eine Einblockeinheit untergebracht, die nachstehend als ein "3D-Modul" bezeichnet wird. Das 3D-Modul umfasst Eingänge zum optischen Koppeln einer Aufnahmelinse und Abbildungskamera mit dem 3D-Modul unter Verwendung von Verfahren und Techniken, die im Stand der Technik bekannt sind. In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung werden die 3D-Kamera, Abbildungskamera und zugehörige elektrische und optische Komponenten miteinander als eine Einblockeinheit integriert, mit der eine Aufnahmelinse optisch gekoppelt wird.
Es wird deshalb gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung ein optisches Abbildungssystem bereitgestellt, umfassend: ein Aufnahmelinsensystem, das Licht von einer Szene sammelt, die mit dem optischen Abbildungssystem abgebildet wird; eine 3D-Kamera, umfassend mindestens eine Photooberfläche, die gleichzeitig von allen Punkten in der Szene Licht vom Aufnahmelinsensystem empfängt und ansprechend auf das Licht Daten zur Erzeugung einer Tiefenabbildung der Szene liefert; und eine Abbildungskamera, umfassend mindestens eine Photooberfläche, die Licht vom Aufnahmelinsensystem empfängt und ansprechend auf das Licht ein Bild der Szene liefert.
Vorzugsweise sind die 3D-Kamera und die Abbildungskamera mit dem Aufnahmelinsensystem ausgerichtet. Zusätzlich oder alternativ sind die mindestens eine Photooberfläche der 3D-Kamera und die mindestens eine Photooberfläche der Abbildungskamera vorzugsweise homolog.
In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung umfasst ein optisches Abbildungssystem einen Lichtkontroller, der einstellbar ist, um die Menge von Licht vom Aufnahmelinsensystem zu steuern, das die Abbildungskamera erreicht, ohne dass die Menge von Licht vom Aufnahmelinsensystem beeinflusst wird, das die 3D-Kamera erreicht. Vorzugsweise umfasst der Lichtkontroller eine Irisblende. Alternativ umfasst der Lichtkontroller vorzugsweise ein Neutraldichtefilter.
In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung umfasst ein optisches Abbildungssystem einen Lichtkontroller, der einstellbar ist, um die Menge von durch das Aufnahmelinsensystem gesammeltem Licht zu steuern, das in das Abbildungssystem eintritt. Vorzugsweise umfasst der Lichtkontroller eine Irisblende.
In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung umfasst ein optisches Abbildungssystem einen Lichtkontroller, der einstellbar ist, um die Menge von Licht vom Aufnahmelinsensystem zu steuern, die die 3D-Kamera erreicht, ohne dass die Menge von Licht von der Aufnahmelinse beeinflusst wird, die die Abbildungskamera erreicht. Vorzugsweise umfasst der Lichtkontroller eine Irisblende.
Die 3D-Kamera in einem optischen Abbildungssystem gemäß einigen bevorzugten Ausführungsformen der vorliegenden Erfindung ist eine torgesteuerte 3D-Kamera. Vorzugsweise umfasst das optische Abbildungssystem eine Impulslichtquelle, die einen Lichtimpulszug ausstrahlt, um eine Szene zu beleuchten, die mit dem optischen Abbildungssystem abgebildet wird. Vorzugsweise strahlt die Impulslichtquelle IR-Licht aus.
Gemäß einigen bevorzugten Ausführungsformen der vorliegenden Erfindung umfasst die 3D-Kamera mindestens 2 Photooberflächen. Vorzugsweise umfasst die 3D-Kamera eine Lichtführung, die Licht vom Aufnahmelinsensystem empfängt und Teile des Lichts, das sie empfängt, zu jeder der mindestens zwei Photooberflächen lenkt. Vorzugsweise umfasst die 3D-Kamera eine einzelne Verschlussblende, die, wenn sie auf torgesteuert wird, ermöglicht, dass Licht vom Aufnahmelinsensystem die Lichtführung erreicht.
Das optische Abbildungssystem umfasst vorzugsweise einen Kontroller, der die einzelne Verschlussblende auf und zu torsteuert. Vorzugsweise steuert der Kontroller jede von den Photooberflächen, um aktiviert und deaktiviert zu werden, und bei dem, wenn eine Photooberfläche aktiviert ist, sie für darauf auffallendes Licht empfindlich ist. Vorzugsweise steuert der Kontroller die einzelne Verschlussblende durch Torimpuls auf, aktiviert er eine und nur eine von den mindestens zwei Photooberflächen.
Vorzugsweise umfassen die mindestens zwei Photooberflächen drei Photooberflächen. Vorzugsweise steuert im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls ausgestrahlt wird, der Kontroller die einzelne Verschlussblende für einen ersten Durchlass durch Torimpuls auf und schaltet eine erste Photooberfläche ein, und der erste Durchlass wird zeitlich so abgestimmt, dass Licht, das von dem mindestens einen Lichtimpuls durch ein Gebiet in der Szene reflektiert wird, durch die erste Photooberfläche registriert wird.
Im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls im Lichtimpulszug ausgestrahlt wird, steuert der Kontroller vorzugsweise die einzelne Verschlussblende für einen zweiten Durchlass durch Torimpuls auf und aktiviert eine zweite der Photooberflächen, und der zweite Durchlass wird zeitlich so abgestimmt, dass während des zweiten Durchlasses kein Licht von dem mindestens einen Lichtimpuls, das durch das Gebiet reflektiert wird, durch die zweite Photooberfläche registriert wird.
Vorzugsweise steuert im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls im Lichtimpulszug ausgestrahlt wird, der Kontroller die einzelne Verschlussblende für einen dritten Durchlass durch Torimpuls auf und aktiviert eine dritte von den Photooberflächen, und der Kontroller steuert die Durchlassbreite und Zeitsteuerung des dritten Durchlasses so, dass während des dritten Durchlasses im Wesentlichen sämtliches Licht von dem mindestens einen Impuls, das durch das Gebiet reflektiert wird, das durch das Aufnahmelinsensystem gesammelt wird, durch die dritte Photooberfläche registriert wird.
In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung ist die Lichtführung der 3D-Kamera ein Dreiwegeprisma.
Einige optische Abbildungssysteme gemäß bevorzugten Ausführungsformen der vorliegenden Erfindung umfassen einen Strahlteiler, der Licht vom Aufnahmelinsensystem empfängt und einen Teil des empfangenen Lichts in Richtung auf die 3D-Kamera und einen Teil des empfangenen Lichts zur Abbildungskamera lenkt.
In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung ist die Lichtführung der 3D-Kamera ein Vierwegeprisma, das Licht vom Aufnahmelinsensystem empfängt und einen Teil des empfangenen Lichts zur Abbildungskamera lenkt.
In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung umfasst die Abbildungskamera eine Farbkamera.
In einigen optischen Abbildungssystemen gemäß bevorzugten Ausführungs formen der vorliegenden Erfindung ist die Abbildungskamera eine Farbkamera, umfassend separate R-, G- und B-Photooberflächen, und das Abbildungssystem umfasst ein Vierwegeprisma, das Licht von dem Aufnahmelinsensystem empfängt und einen Teil des empfangenen Lichts zu jeder von der R-, G- und B-Photooberfläche und zu der einzelnen Verschlussblende der 3D-Kamera lenkt.
Es wird weiter gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung eine torgesteuerte 3D-Kamera bereitgestellt, umfassend: ein Aufnahmelinsensystem, das Licht von einer mit der 3D-Kamera abgebildeten Szene sammelt; mindestens 2 Photooberflächen; eine Lichtführung, die Licht von der Aufnahmelinse empfängt und Teile des Lichts, das sie empfängt, zu jeder von den mindestens zwei Photooberflächen lenkt; und eine einzelne Verschlussblende, die, wenn sie auf torgesteuert wird, ermöglicht, dass Licht von dem Aufnahmelinsensystem die Lichtführung erreicht.
Vorzugsweise steuert der Kontroller jede von den Photooberflächen, um aktiviert und deaktiviert zu werden, und wobei, wenn eine Photooberfläche aktiviert wird, sie für darauf auffallendes Licht empfindlich ist. Vorzugsweise aktiviert jedes Mal, wenn der Kontroller die einzelne Verschlussblende auf torsteuert, er eine und nur eine von den mindestens zwei Photooberflächen. Vorzugsweise umfassen die mindestens zwei Photooberflächen drei Photooberflächen.
Die 3D-Kamera umfasst vorzugsweise eine Impulslichtquelle, die einen Zug von Lichtimpulsen ausstrahlt, um eine Szene zu beleuchten, die mit der 3D-Kamera abgebildet wird. Vorzugsweise steuert im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls ausgestrahlt wird, der Kontroller die einzelne Verschlussblende für einen ersten Durchlass durch Torimpuls auf und schaltet eine erste Photooberfläche ein, und der erste Durchlass wird zeitlich so abgestimmt, dass Licht, das von dem mindestens einen Lichtimpuls durch ein Gebiet in der Szene reflektiert wird, durch die erste Photooberfläche registriert wird.
Vorzugsweise steuert im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls im Zug von Lichtimpulsen ausgestrahlt wird, der Kontroller die einzelne Verschlussblende für einen zweiten Durchlass durch Torimpuls auf, und aktiviert eine zweite der Photooberflächen, und der zweite Durchlass wird zeitlich so abgestimmt, dass während des zweiten Durchlasses kein Licht von dem mindestens einen Lichtimpuls, das durch das Gebiet reflektiert wird, durch die zweite Photooberfläche registriert wird.
Vorzugsweise steuert im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls im Zug von Lichtimpulsen ausgestrahlt wird, der Kontroller die einzelne Verschlussblende für einen dritten Durchlass durch Torimpuls auf und aktiviert eine dritte der Photooberflächen, und der Kontroller steuert die Durchlassbreite und Zeitsteuerung des dritten Durchlasses, so dass während des dritten Durchlasses im Wesentlichen alles Licht von dem mindestens einen Impuls, das durch das Gebiet reflektiert wird, das durch das Aufnahmelinsensystem gesammelt wird, durch die dritte Photooberfläche registriert wird.
KURZE BESCHREIBUNG DER FIGUREN
Die Erfindung wird durch Bezug auf die folgende Beschreibung von ihren bevorzugten Ausführungsformen, gelesen in Verbindung mit den Figuren, die daran angefügt sind, deutlicher verstanden. In den Figuren sind identische Strukturen, Elemente oder Teile, die in mehr als einer Figur erscheinen, mit demselben Bezugszeichen in sämtlichen Figuren, in denen sie erscheinen, bezeichnet. Abmessungen von Komponenten und Merkmalen, die in den Figuren dargestellt sind, werden zur Bequemlichkeit und Klarheit einer Darstellung gewählt und sind nicht notwendigerweise maßstabsgerecht dargestellt. Die Figuren sind unten aufgeführt.
1 stellt schematisch eine 3D-Abbildungsvorrichtung dar, umfassend ein 3D-Modul gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung;
2A stellt schematisch eine 3D-Abbildungsvorrichtung dar, umfassend ein 3D-Modul gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung;
2B stellt ein Zeitdiagramm zur Verschlussblendensteuerung von Photooberflächen dar, die in der in 2A dargestellten 3D-Abbildungsvorrichtung enthalten sind, gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung;
3 stellt schematisch eine 3D-Abbildungsvorrichtung dar, umfassend ein 3D-Modul, gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung; und
4 stellt schematisch eine 3D-Abbildungsvorrichtung dar, umfassend ein 3D-Modul und eine Farbabbildungsvorrichtung, die in einer Einblockeinheit integriert ist, gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung.
AUSFÜHRLICHE BESCHREIBUNG VON BEVORZUGTEN AUSFÜHRUNGSFORMEN
1 stellt schematisch eine 3D-Abbildungsvorrichtung 20 dar, umfassend ein 3D-Modul 22 gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung, das im Innern einer gestrichelten Grenze 24 dargestellt ist. Das 3D-Modul 22 umfasst einen Strahlteiler 26, zwei Refokussierungslinsensysteme 28 und 30, die als "Refokussierer" 28 und 30 bezeichnet werden, und eine 3D-Kamera 32 mit Komponenten, die im Innern einer gestrichelten Grenze 34 dargestellt sind. Das 3D-Modul 22 ist mit einem Aufnahmelinsensystem 35 und einer Abbildungskamera 36 gekoppelt, die beispielhaft als eine Videokamera dargestellt ist. Vorzugsweise ist die Videokamera 36 eine Farbvideokamera. Die Aufnahmelinse 35 und die Videokamera 36 können jegliche geeignete Aufnahmelinse und Videokamera sein, z.B. eine CCD- oder CMOS-Kamera, die im Handel leicht erhältlich sind. Eine Impulslichtquelle 38 strahlt Impulszüge von vorzugsweise IR-Lichtimpulsen aus, um Szenen zu beleuchten, die mit der 3D-Abbildungsvorrichtung 20 abgebildet werden. Die 3D-Abbildungsvorrichtung 20 ist beispielhaft dargestellt, wobei eine Szene 40 mit zwei Elefanten 42 und 44 abgebildet wird.
Sichtbares Licht und IR-Licht von der IR-Quelle 38, das von der Szene 40 reflektiert und durch die Aufnahmelinse 35 gesammelt wird, wird durch große Pfeile 46 dargestellt. Gesammeltes Licht 46 wird durch die Aufnahmelinse 35 zum Strahlteiler 26 durchgelassen. Durch Pfeile 48 dargestelltes sichtbares Licht in gesammeltem Licht 46 wird durch den Strahlteiler 26 durchgelassen und tritt in den Refokussierer 28 ein. Der Refokussierer 28 umfasst im Allgemeinen eine Feldlinse 50, eine Irisblende 52 und eine Relaislinse 54. Der Refokussierer 28 ist mit der Aufnahmelinse 35 justiert und vorzugsweise so positioniert, dass ein Bild der Szene 40, das durch die Aufnahmelinse 35 von dem sichtbaren Licht 48 gebildet wird, im Wesentlichen an der Stelle der Feldlinse 50 lokalisiert ist. Licht von der Feldlinse 50 tritt durch die Irisblende 52 hindurch und pflanzt sich in Richtung auf die Relaislinse 54 fort, die das Licht zur Videokamera 36 durchlässt. Die Videokamera 36 ist mit dem Refokussierer 28 und der Aufnahmelinse 35 justiert. Die Menge von Licht, die durch die Video 36 von dem Refokussierer 28 empfangen wird, wird durch die Irisblende 52 gesteuert. Das empfangene sichtbare Licht 48 wird durch die Video 36 abgebildet, um ein Bild der Szene 40 zu bilden.
Durch gestrichelte Pfeile 60 dargestelltes IR-Licht in gesammeltem Licht 46, das auf den Strahlteiler 26 auffällt, wird durch den Strahlteiler 26 zum Refokussierer 30 reflektiert, der mit der Aufnahmelinse 35 justiert ist. Der Refokussierer 30 ähnelt im Allgemeinen dem Refokussierer 28 und umfasst vorzugsweise eine Feldlinse 62, eine Irisblende 64 und eine Relaislinse 66. Der Refokussierer 30 ist vorzugsweise so positioniert, dass ein im IR-Licht 60 durch die Aufnahmelinse 35 gebildetes Bild der Szene 40 an der Stelle der Feldlinse 62 lokalisiert ist. Der Refokussierer 30 lässt das IR-Licht, das er empfängt, in Richtung auf die 3D-Kamera 32 durch, die mit dem Refokussierer 30 und der Aufnahmelinse 35 justiert ist. Die Menge von IR-Licht 60, die durch den Refokussierer 30 zur 3D-Kamera 32 durchgelassen wird, wird durch die Irisblende 64 gesteuert.
Die Irisblenden 52 und 64 sind unabhängig voneinander steuerbar und ermöglichen deshalb, dass die Mengen von IR- und sichtbarem Licht, die die 3D-Kamera 32 bzw. Videokamera 36 erreichen, unabhängig voneinander gesteuert werden, gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung. Die 3D-Abbildungsvorrichtung 20 kann deshalb leicht eingestellt werden, um gleichzeitig die Mengen von die 3D-Kamera 32 erreichendem IR-Licht und die Videokamera 36 erreichendem sichtbarem Licht von der Aufnahmelinse 35 zu optimieren, um gleichzeitig Qualitätstiefenabbildungen und Bilder der Szene 40 zu liefern.
Es muss angemerkt werden, dass handelsüblich erhältliche Aufnahmelinsen im Allgemeinen mit einer Irisblende geliefert werden und die Aufnahmelinse 35 mit einer Irisblende 67 dargestellt ist. Im Betrieb der 3D-Abbildungsvorrichtung 20 ist die Irisblende 67 vorzugsweise permanent auf maximal offen eingestellt, und die Mengen von Licht, die die 3D-Kamera 32 und Videokamera 36 erreichen, werden durch die Irisblenden 64 bzw. 32 gesteuert. Jedoch wird in einigen bevorzugten Ausführungsformen der vorliegenden Erfindung die Irisblende 67 an Stelle von einer von den Irisblenden 52 oder 64 verwendet. Z.B. wird im Allgemeinen ein größerer Bruchteil von durch die Aufnahmelinse 35 gesammeltem IR-Licht benötigt, um eine Qualitätstiefenabbildung einer Szene zu erzeugen, als der Bruchteil, der von durch die Aufnahmelinse 35 gesammeltem sichtbarem Licht benötigt wird, um ein Qualitätsbild der Szene zu liefern. Infolgedessen kann die Irisblende 67 bequem an Stelle der Irisblende 64 verwendet werden, um das die 3D-Kamera 32 erreichende IR-Licht zu modulieren.
Die 3D-Kamera 32 umfasst vorzugsweise ein Dreiwegeprisma 68 und vorzugsweise drei Photooberflächen 71, 72 und 73. Das Dreiwegeprisma 68 empfängt das von dem Refokussierer 30 durchgelassene IR-Licht 60 und lenkt Teile des empfangenen IR-Lichts zu jeder von den Photooberflächen 71, 72 und 73. Die Photooberflächen 71, 72 und 73 werden jeweils durch schnelle Verschlussblenden 81, 82 und 83 blendengesteuert. Die schnellen Verschlussblenden 81, 82 und 83 und schnellen Verschlussblenden in anderen bevorzugten Ausführungsformen der vorliegenden Erfindung sind vorzugsweise entweder torgesteuerte Bildverstärker oder schnelle Festkörperverschlussblenden von einem Typ, der in der oben zitierten PCT-Patentanmeldung PCT/IL98/00060 beschrieben ist. In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung, in denen 3D-Photooberflächen einzeln durch ihre eigenen schnellen Verschlussblenden blendengesteuert werden, wie es für die Photooberflächen 71, 72 und 73 zutrifft, sind die Verschlussblenden in den Photooberflächen enthalten. Photooberflächen, die eine Verschlussblendensteuervorrichtung umfassen, sind in der PCT-Patentanmeldung PCT/IL98/00476 beschrieben, die oben zitiert ist. Ein Kontroller (nicht dargestellt) steuert die Verschlussblenden 81, 82 und 83.
Die Photooberflächen 71, 72 und 73 funktionieren jeweils als eine Abstandsphotooberfläche, eine Hintergrundsphotooberfläche und eine Normierungsphotooberfläche und sind dementsprechend in 1 mit "D", "N" und "B" bezeichnet. Die Wahl, welche von der Photooberfläche 71, 72 oder 73 eine Abstands-, Hintergrund- oder Normierungsphotooberfläche ist, ist willkürlich, und die Wahlen, die in 1 dargestellt sind, sind Wahlen der Bequemlichkeit. Der Kontroller steuert die Verschlussblenden 81, 82 und 83, um die Photooberflächen 71, 72 und 73 im Anschluss an jeden IR-Impuls, der durch die IR-Quelle 38 ausgestrahlt wird, mit einer Sequenz von Durchlässen torzusteuern, ähnlich zu den Stand-der-Technik-Sequenzen, die in torgesteuerten 3D-Kameras verwendet werden. Stand-der-Technik-Torsteuersequenzen werden in den obigen zitierten Bezugsstellen, den PCT-Veröffentlichungen WO 97/01111, WO 97/01112, WO 97/01113, dem US-Patent 5,434,612 und der PCT-Anmeldung PCT/IL98/00476 beschrieben.
Während es im vorhergehenden Abschnitt impliziert ist, dass die Photooberflächen 71, 72 und 73 ähnlich oder im Wesentlichen identisch sind, und dies im Allgemeinen der Fall ist, sind in einigen bevorzugten Ausführungsformen der vorliegenden Erfindung unterschiedliche der Photooberflächen in den 3D-Kameras 32 verschieden. Z.B. kann eine Photooberfläche, die verwendet wird, um Hintergrundlicht oder Normierungslicht zu messen, eine geringere Auflösung als eine Auflösung einer Photooberfläche besitzen, die als eine Abstandsphotooberfläche verwendet wird, und dies kann vorteilhaft sein.
Die Verschlussblende 81 wird gesteuert, um respektive die Abstandsphotooberfläche 71 mit einem verhältnismäßig kurzen Durchlass und die Normierungsphotooberfläche 73 mit einem verhältnismäßig langen Durchlass torzusteuern. Vorzugsweise weist der kurze Durchlass eine Durchlassbreite auf, die gleich der Impulsbreite von durch die Impuls-IR-Quelle 38 ausgestrahlten IR-Impulsen ist. Vorzugsweise stimmen die Zeitmitten der kurzen Durchlässe und langen Durchlässe überein. Der Kontroller steuert vorzugsweise die Verschlussblende 83, um die Hintergrundsphotooberfläche 72 mit einem kurzen Durchlass torzusteuern. Der kurze Durchlass der Hintergrundsphotooberfläche 72 wird zeitlich so abgestimmt, dass er auftritt, wenn kein IR-Licht von der Impuls-IR-Quelle 38, das von der Szene 40 reflektiert wird, auf die Aufnahmelinse 35 auffällt. Vorzugsweise sind die kurzen Durchlässe der Abstandsphotooberfläche 71 und Hintergrundsphotooberfläche 72 gleich. Während des kurzen Durchlasses der Hintergrundsphotooberfläche 72 werden im Wesentlichen nur Hintergrundlicht und Dunkelstromeffekte durch die Hintergrundsphotooberfläche 72 registriert.
Die Mengen von Licht, die auf Bildelementen der Abstandsphotooberfläche 71, Hintergrundsphotooberfläche 72 und Normierungsphotooberfläche 73 registriert werden, werden erfasst und unter Verwendung von im Stand der Technik bekannten Verfahren zu einem Prozessor (nicht dargestellt) übertragen und verarbeitet, wie im Stand der Technik, um eine Tiefenabbildung der Szene 40 zu liefern.
Die Photooberflächen, die in den 3D-Kameras und Abbildungskameras ent halten sind, die in 3D-Abbildungsvorrichtungen verwendet werden, gemäß bevorzugten Ausführungsformen der vorliegenden Erfindung, sind vorzugsweise homolog. Zwei Photooberflächen werden als homolog bezeichnet, wenn es eine Eins-zu-Eins-Abbildung von Gebieten von einer der Photooberflächen auf die andere gibt und die Positionen von jeglichen zwei Gebieten, die sich aufeinander abbilden lassen, in ihren respektiven Photooberflächen ähnlich sind.
2 stellt eine andere 3D-Abbildungsvorrichtung 100 dar, die die Szene 40 abbildet. Die 3D-Abbildungsvorrichtung 100 umfasst ein 3D-Modul 102, das mit der Aufnahmelinse 35 und Videokamera 36 optisch gekoppelt ist.
Das 3D-Modul 102, das Komponenten aufweist, die im Innern einer gestrichelten Grenze 104 dargestellt sind, ist ähnlich zum 3D-Modul 22. Das 3D-Modul 102 umfasst einen Strahlteiler 26 und Refokussierer 28, der sichtbares Licht 48 von der Aufnahmelinse 35 zur Videokamera 36 durchlässt, die ein Bild der Szene 40 ansprechend auf das sichtbare Licht, das sie empfängt, erzeugt. Das 3D-Modul 102 umfasst eine 3D-Kamera 106, die Komponenten aufweist, die im Innern einer gestrichelten Grenze 108 dargestellt sind.
Jedoch umfasst anders als das 3D-Modul 22 das 3D-Modul 22 keinen Refokussierer 30, der IR-Licht vom Strahlteiler 26 zur 3D-Kamera 106 mittels Irisblende steuert und durchlässt. Stattdessen tritt das IR-Licht 60 vom Strahlteiler 26 durch eine schnelle Verschlussblende 110 und eine Relaislinse 112 hindurch, die das IR-Licht zur 3D-Kamera 106 lenkt. Vorzugsweise steuert eine Irisblende 111 die Menge von Licht von der Aufnahmelinse 35, das zur 3D-Kamera 106 durchgelassen wird. Die 3D-Kamera 106 ähnelt der in 1 dargestellten 3D-Kamera 32 und umfasst ein Dreiwegeprisma 68, das Teile des IR-Lichts 60, das auf das Dreiwegeprisma 68 auffällt, zu einer Abstandsphotooberfläche 121, einer Hintergrundsphotooberfläche 122 und einer Normierungsphotooberfläche 123 lenkt. Jedoch sind anderes als die Photooberflächen 71, 72 und 73 in der 3D-Kamera 32 die Photooberflächen 121, 122 und 123 nicht durch ihre eigenen schnellen Verschlussblenden einzeln torgesteuert, wie es die Photooberflächen 71, 72 und 73 in der 3D-Kamera 32 sind. Ein schnelles Torsteuern für alle Photooberflächen 121, 122 und 123 wird durch die schnelle Verschlussblende 110 ausgeführt, die für alle Photooberflächen 121, 122 und 123 gemeinsam ist. Die Photooberflächen 121, 122 und 123 werden ein- und ausgeschaltet, um zu bestimmen, welche Photooberfläche Licht während eines Durchlasses der schnellen Verschlussblende 110 registriert. Vorzugsweise wird nur eine Photooberfläche während eines Durchlasses der schnellen Verschlussblende 110 eingeschaltet.
Die schnelle Verschlussblende 110 wird durch einen Kontroller (nicht dargestellt) so gesteuert, dass sie mit einer Sequenz von kurzen und langen Durchlässen synchron mit durch die IR-Quelle 38 ausgestrahlten IR-Impulsen auf torgesteuert wird. Vorzugsweise folgen zwei sequenzielle kurze Durchlässe mit einer selben Durchlassbreite jedem zweiten IR-Lichtimpuls in einem Zug von Lichtimpulsen, die durch die IR-Lichtquelle 38 ausgestrahlt werden, um die Szene 40 zu beleuchten. Vorzugsweise folgt ein langer Durchlass jedem IR-Impuls, dem nicht die zwei sequenziellen kurzen Durchlässe folgen.
Während des ersten kurzen Durchlasses wird von der Szene 40 reflektiertes IR-Licht durch die Aufnahmelinse 35 gesammelt und zur 3D-Kamera 106 durchgelassen, und nur die Abstandsphotooberfläche 121 ist eingeschaltet. Nur die Abstandsphotooberfläche 121 registriert Mengen von auf die 3D-Kamera 106 auffallendem Licht während des ersten kurzen Durchlasses. Die auf der Abstandsphotooberfläche 121 registrierte Menge von reflektiertem IR-Licht von einem Gebiet der Szene 40, verglichen mit der die Aufnahmelinse 35 erreichenden Gesamtmenge von reflektiertem IR-Licht von dem Gebiet, ist verwendbar, um den Abstand des Gebiets von der 3D-Kamera 106 zu bestimmen.
Die Zeitsteuerung des ersten kurzen Durchlasses in Bezug zu einem IR-Lichtimpuls, von dem reflektiertes Licht durch die Abstandsphotooberfläche 121 registriert wird, und die Durchlassbreite des kurzen Durchlasses bestimmen eine Mitte für einen Bereich von Abständen, für den die 3D-Kamera 106 Abstandsmessungen zu Gebieten in der Szene 40 liefern kann. Die Breite des Bereichs wird durch die Impulsbreite der IR-Impulse und die Durchlassbreite des kurzen Durchlasses bestimmt.
Der zweite kurze Durchlass wird zeitlich so abgestimmt, dass er auftritt, wenn kein IR-Licht, das von der Szene 40 reflektiert wird, die Aufnahmelinse 35 erreicht. Während des zweiten kurzen Durchlasses wird nur Hintergrundlicht durch die Aufnahmelinse 35 gesammelt und zur 3D-Kamera 106 durchgelassen. Nur die Hintergrundsphotooberfläche 122 ist eingeschaltet und registriert Licht, das auf die 3D-Kamera 106 auffällt. Die Hintergrundsphotooberfläche 106 erfasst ausschließlich Hintergrundlichtinformation von der Szene 40.
Die Zeitmitten der langen Durchlässe und der ersten kurzen Durchlässe sind vorzugsweise um dieselbe Zeit in Bezug zu ihren respektiven IR-Lichtimpulsen verzögert. Während der langen Durchlässe ist nur die Normierungsphotooberfläche 123 eingeschaltet. Die Normierungsphotooberfläche 123 registriert Mengen von IR-Licht, die auf Gesamtmengen von reflektiertem IR-Licht reagieren, das die Aufnahmelinse 35 von Gebieten der Szene 40 erreicht.
Es sollte angemerkt werden, dass, während die Photooberflächen 121, 122 und 123 ein- und ausgeschaltet werden, um die 3D-Kamera 106 torzusteuern, eine Torsteuerung der 3D-Kamera 106 für genaue Abstandsmessungen nicht ohne den schnellen Durchlass 110 und nicht lediglich durch Ein- und Ausschalten der Photooberflächen 121, 122 und 123 erreicht werden kann. Genaue Abstandsmessungen erfordern, dass die Photooberflächen 121, 122 und 123 in Zeiten in der Größenordnung von Nanosekunden oder weniger ein und aus torgesteuert werden. Photooberflächen, wie z.B. CCD-Photooberflächen können im Allgemeinen in Zeiten in der Größenordnung von Mikrosekunden ein- und ausgeschaltet werden.
Jedoch, während ein Ein- und Ausschalten von Photooberflächen zur schnellen Verschlussblendensteuerung von Photooberflächen nicht allgemein verwendet werden kann, kann es zur Irisblendensteuerung von Photooberflächen verwendet werden. Z.B. kann eine Photooberfläche in einigen Videokameras für einen Bruchteil einer Rahmenzeit ausgeschaltet werden, um eine Menge von Licht zu steuern, die die Photooberfläche registriert. In einigen bevorzugten Ausführungsformen der vorliegenden Erfindung wird eine Irisblendensteuerung einer Abbildungskamera erreicht, indem die Länge einer Zeit gesteuert wird, die eine in der Abbildungskamera enthaltene Photooberfläche während einer Rahmenzeit ein ist.
Wie im Stand der Technik werden Mengen von Licht, die auf Bildelementen der Abstandsphotooberfläche 121 registriert werden, hinsichtlich Hintergrund korrigiert und normiert, wobei Mengen von Licht verwendet werden, die auf entsprechenden Bildelementen von eingeschalteter Hintergrundsphotoberfläche 122 und Normierungsphotooberfläche 123 registriert werden. Die korrigierten und normierten Mengen von Licht werden verwendet, um Entfernungen zu reflektierenden Gebieten der Szene 40 zu bestimmen, in diesem Fall als Beispiel Entfernungen zu Elefanten 42 und 44.
2B stellt eine grafische Darstellung 130 von Durchlässen der schnellen Verschlussblende 110 und zugehörigen Zeitspannen als eine Funktion der Zeit dar, die nachstehend als "Ein-Zeiten" bezeichnet werden, während welcher die Photooberflächen 121, 122 und 123 eingeschaltet sind, gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung. Die Durchlässe und Ein-Zeiten sind beispielhaft mit vier IR-Impulsen synchronisiert dargestellt, die durch die Rechtecke 131, 132, 133 und 134 auf einer Zeitlinie 136 eines Impulszugs von IR-Impulsen dargestellt sind, die durch die in 2A dargestellte IR-Quelle 38 ausgesandt werden, um die Szene 40 zu beleuchten. Die Wahl von vier IR-Impulsen im Impulszug erfolgt nur beispielhaft und ist eine Wahl der Bequemlichkeit.
Die Durchlässe des schnellen Durchlasses 110 sind durch gestrichelte Rechtecke 141, 142 und 143 dargestellt. Die Durchlässe 141 sind kurze "Abstandsdurchlässe" und die Durchlässe 142 sind kurze "Hintergrundsdurchlässe". Ein Abstandsdurchlass 141 und ein Hintergrundsdurchlass 142 folgen jedem zweiten IR-Impuls (die ungeradzahligen IR-Impulse in 2B) im durch die IR-Quelle 38 ausgestrahlten Impulszug. Die Durchlässe 143 sind lange "Normierungs"-Durchlässe, die vorzugsweise jedem IR-Impuls folgen (die gradzahligen IR-Impulse in 2B), dem kein Abstandsdurchlass 141 und kein Hintergrunddurchlass 142 folgt.
Die Ein-Zeiten von Abstands-, Hintergrunds- und Normierungsphotooberfläche 121, 122 und 123 sind als Trapezoide 150 auf Zeitlinien 151, 152 bzw. 153 dargestellt. Die Abstandsphotooberfläche 121 ist nur während der kurzen Abstandsdurchlässe 141 ein. Die Hintergrundsphotooberfläche 122 ist nur während der kurzen Hintergrundsdurchlässe 142 ein, und die Normierungsphotooberfläche 123 ist nur während der langen Normierungsdurchlässe 143 ein. Die geneigten Seitenränder der Trapezoide zeigen die relativ langen Zeitspannen an, die erforderlich sind, um eine Photooberfläche ein- und auszuschalten, verglichen mit den kurzen Einschalt- und Ausschaltzeiten, die erforderlich sind, um Photooberflächen schnell genug torzusteuern, um genaue Abstandsmessungen bereitzustellen.
Eine Intensität von durch die Aufnahmelinse 35 empfangenem Licht vom Elefanten 42 als eine Funktion der Zeit wird durch die Höhe einer "Intensitäts"-Linie 160 über einer Basislinie 162 dargestellt. Rechteckige "Peaks" 164 in der Höhe der Intensitätslinie 160 treten auf, wenn IR-Licht, das von einem IR-Impuls durch den Elefanten 42 reflektiert wird, die Aufnahmelinse 35 erreicht. Die Höhe der Intensitätslinie 160 außerhalb der Peaks 164 stellt Hintergrundlicht dar, das vom Elefanten 42 empfangen wird. Mengen von Licht, die vom Elefanten 42 empfangen werden, die durch die Photooberflächen 121, 122 und 123 während der Durchlässe 141, 142 und 143 registriert werden, sind durch gestrichelte Flächen 171, 172 bzw. 173 dargestellt.
Ähnlich wird eine Intensität von durch die Aufnahmelinse 35 empfangenem Licht vom zweiten Elefanten 44 durch die Höhe einer Intensitätlinie 180 als eine Funktion der Zeit dargestellt, die IR-"Reflexionspeaks" 184 über einer Basislinie 182 aufweist. Gestrichelte Flächen 181, 182 und 183 stellen Mengen von Licht von dem zweiten Elefanten 44 dar, das während der Durchlässe 141, 142 bzw. 143 durch die Photooberflächen 121, 122 und 123 registriert wird.
Für den Elefanten 42 wird durch die Abstandsphotooberfläche 121 registriertes Hintergrund-korrigiertes Licht durch eine Fläche dargestellt, die gleich der Summe der Flächen 171 minus der Summe der Flächen 172 ist. Durch die Normierungsphotooberfläche 123 registriertes Hintergrund-korrigiertes Licht wird durch eine Fläche dargestellt, die gleich der Summe der Flächen 173 minus dem Produkt des Verhältnisses der Durchlassbreite der langen Durchlässe 143 zu der Durchlassbreite der kurzen Durchlässe 142 mal der Summe der Flächen 173 ist. Für den Elefanten 44 wird durch die Abstandsphotooberfläche 121 registriertes Hintergrund-korrigiertes Licht durch eine Fläche dargestellt, die gleich der Summe der Flächen 181 minus der Summe der Flächen 182 ist. Durch die Normierungsphotooberfläche 123 registriertes Hintergrund-korrigiertes Licht für den Elefanten 44 wird durch eine Fläche dargestellt, die gleich der Summe der Flächen 183 minus dem Produkt des Verhältnisses der Durchlassbreite der langen Durchlässe 143 zur Durchlassbreite der kurzen Durchlässe 142 mal der Summe der Flächen 183 ist.
Der Elefant 44 ist weiter von der 3D-Abbildungsvorrichtung 100 entfernt als der Elefant 42. Infolgedessen ist die Menge von durch die Abstandsphotooberfläche 121 registriertem Hintergrund-korrigiertem Licht, normiert auf durch die Normierungsphotooberfläche 123 registriertes Hintergrund-gesammeltes Licht für den Elefanten 44 kleiner als für den Elefanten 42.
3 stellt eine andere 3D-Abbildungsvorrichtung 200 dar, die die Szene 40 abbildet, gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung.
Die Abbildungsvorrichtung 200 umfasst ein 3D-Modul 202 mit Komponenten, die im Innern einer gestrichelten Grenze 204 dargestellt sind, das mit der Aufnahmelinse 35 und der Videokamera 36 gekoppelt ist. Das 3D-Modul 202 umfasst eine 3D-Kamera 206 mit Komponenten, die im Innern einer gestrichelten Grenze 208 dargestellt sind. Die 3D-Kamera 206 umfasst ein Vierwegeprisma 210, das Teile des IR-Lichts 60 im Licht 46, das durch die Aufnahmelinse 35 von der Szene 40 gesammelt ist, zur Abstands-, Hintergrunds- und Normierungsphotooberfläche 71, 72 bzw. 73 lenkt. Jede der Photooberflächen 71, 72 und 73 wird durch ihre eigene schnelle Verschlussblende 81, 82 bzw. 83 torgesteuert. Die Photooberflächen 71, 72 und 73 werden ähnlich zu der Weise torgesteuert, in der die in der in 1 dargestellten 3D-Kamera 206 enthaltenen Photooberflächen 71, 72 und 73 torgesteuert werden. Mengen von durch die Aufnahmelinse 35 gesammeltem IR-Licht 60, das die 3D-Kamera 206 erreicht, wird durch die in der Aufnahmelinse 35 enthaltenen Irisblende 67 gesteuert.
Das Vierwegeprisma 210 lenkt auch durch die Aufnahmelinse 35 gesammeltes sichtbares Licht 48 im Licht 46 zu einem Refokussierer 28, der vorzugsweise eine Feldlinse 50, eine Irisblende 52 und eine Relaislinse 54 umfasst. Der Refokussierer 28 lässt sichtbares Licht 48, das er vom Vierwegeprisma 210 empfängt, zur Videokamera 36 durch.
4 stellt schematisch eine andere 3D-Abbildungsvorrichtung 220 dar, die die Szene 40 abbildet, gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung. Die 3D-Abbildungsvorrichtung 220 umfasst eine Einheit 222, die nachstehend als eine "Kombinationseinheit" bezeichnet wird, die Komponenten aufweist, die in einer Grenze 224 lokalisiert sind. Die Kombinationseinheit 222 umfasst eine 3D-Kamera 226 mit Komponenten, die im Innern einer gestrichelten Grenze 228 dargestellt sind, und drei Farbkameras, eine rote (R) Kamera 230, eine grüne (G) Kamera 232 und eine blaue (B) Kamera 234. Die Kombinationseinheit 222 ist mit einer Aufnahmelinse 35 gekoppelt, die mit der 3D-Kamera 226 und den Farbkameras 230, 232 und 234 justiert ist.
Die Kombinationseinheit 222 umfasst ein Vierwegeprisma 236, das durch die Aufnahmelinse 35 gesammeltes sichtbares Licht 48 zu jeder der Farbkameras 230, 232 und 234 lenkt, und das durch die Aufnahmelinse 35 gesammelte IR-Licht 60 zu einer schnellen Verschlussblende 110 lenkt, die die 3D-Kamera 226 blendensteuert. Vorzugsweise umfasst die Kombinationseinheit 222 eine Irisblende 111, die die Menge von Licht 60 steuert, die von der Aufnahmelinse 35 zur 3D-Kamera 226 durchgelassen wird. Das IR-Licht 60, das die schnelle Verschlussblende 110 durchlässt, fällt auf eine Relaislinse 238, die das Licht zu einem Dreiwegeprisma 68 weiterleitet, das Teile des IR-Lichts 60, das es empfängt, zu einer Abstandsphotooberfläche 121, einer Hintergrundsphotooberfläche 122 und einer Normierungsphotooberfläche 123 lenkt. Die 3D-Kamera 226 ist im Wesentlichen dieselbe wie die in 2A dargestellte 3D-Kamera 106 und wird torgesteuert, indem die schnelle Verschlussblende 110 und die Photooberflächen 121, 122 und 123 auf dieselbe Weise torgesteuert werden, auf die die 3D-Kamera 106 torgesteuert wird.
Während die Kombinationseinheit 222 so dargestellt ist, dass sie eine 3D-Kamera umfasst, in der sämtliche Photooberflächen durch eine einzelne Verschlussblende blendengesteuert werden, umfasst in einigen bevorzugten Ausführungsformen der vorliegenden Erfindung die Kombinationseinheit 222 eine 3D-Kamera, die der in 1 dargestellten 3D-Kamera 32 ähnelt, in der jede Photooberfläche der 3D-Kamera durch ihre eigene Verschlussblende blendengesteuert wird.
Die Kombinationseinheit 222 umfasst vorzugsweise ein einstellbares Neutraldichtefilter 240, das zwischen der Aufnahmelinse 35 und dem Vierwegeprisma 236 lokalisiert ist. Das Neutraldichtefilter 240 wird so gewählt, dass es das IR-Licht nicht wesentlich schwächt. Das Neutraldichtefilter 240 wird verwendet, um die Menge von durch die Aufnahmelinse 35 gesammeltem sichtbarem Licht 48 zu steuern, das die Farbkameras 230, 232 und 234 erreicht. Die Menge von IR-Licht 60, die die 3D-Kamera 226 erreicht, wird durch die Irisblende 67 gesteuert, die in der Aufnahmelinse 35 enthalten ist.
In der Beschreibung und den Ansprüchen der vorliegenden Anmeldung wird jedes der Verben "umfassen", "einschließen" und "aufweisen" und Konjugate derselben verwendet, um anzuzeigen, dass das Objekt oder die Objekte des Verbs nicht notwendigerweise eine vollständige Auflistung der Komponenten, Elemente oder Teile des Subjekts oder der Subjekte von dem Verb darstellen.
Die vorliegende Erfindung ist unter Verwendung von ausführlichen Beschreibungen von bevorzugten Ausführungsformen derselben beschrieben worden, die als Beispiel bereitgestellt werden und den Bereich der Erfindung nicht beschränken sollen. Die beschriebenen bevorzugten Ausführungsformen umfassen unterschiedliche Merkmale, von denen nicht sämtliche in allen Ausführungsformen der Erfindung erforderlich sind. Einige Ausführungsformen der vorliegenden Erfindung verwenden nur einige von den Merkmalen oder mögliche Kombinationen der Merkmale. Variationen von Ausführungsformen der vorliegenden Erfindung, die beschrieben sind, und Ausführungsformen der vorliegenden Erfindung, die unterschiedliche Kombinationen von Merkmalen umfassen, die in den beschriebenen Ausführungsformen angemerkt sind, kommen Fachleuten in den Sinn. Der Bereich der Erfindung wird nur durch die folgenden Ansprüche beschränkt.

Claims

Optisches Abbildungssystem, umfassend: ein Aufnahmelinsensystem, das Licht von einer Szene sammelt, die mit dem optischen Abbildungssystem abgebildet wird; eine 3D-Kamera, umfassend mindestens eine Photooberfläche, die gleichzeitig von allen Punkten in der Szene Licht vom Aufnahmelinsensystem empfängt und ansprechend auf das Licht Daten zur Erzeugung einer Tiefenabbildung der Szene liefert; und eine Abbildungskamera, umfassend mindestens eine Photooberfläche, die Licht vom Aufnahmelinsensystem empfängt und ansprechend auf das Licht ein Bild der Szene liefert; und ein Lichtsteuersystem, das eine Menge von Licht von der Aufnahmelinse steuert, das mindestens eine von der 3D-Kamera und der Abbildungskamera erreicht, ohne dass eine Menge von Licht beeinflusst wird, das die andere von der 3D-Kamera und der Abbildungskamera erreicht.
Optisches Abbildungssystem nach Anspruch 1, bei dem die 3D-Kamera und die Abbildungskamera mit dem Aufnahmelinsensystem justiert sind.
Optisches Abbildungssystem nach Anspruch 1 oder Anspruch 2, bei dem die mindestens eine Photooberfläche der 3D-Kamera und die mindestens eine Photooberfläche der Abbildungskamera homolog sind.
Optisches Abbildungssystem nach einem der vorangehenden Ansprüche, bei dem das Lichtsteuersystem einen Lichtkontroller umfasst, der einstellbar ist, um die Menge von Licht vom Aufnahmelinsensystem zu steuern, das die Abbildungskamera erreicht, ohne dass die Menge von Licht vom Aufnahmelinsensystem beeinflusst wird, das die 3D-Kamera erreicht.
Optisches Abbildungssystem nach Anspruch 4, bei dem der Lichtkontroller eine Irisblende umfasst.
Optisches Abbildungssystem nach Anspruch 4, bei dem der Lichtkontroller ein Neutraldichtefilter umfasst.
Optisches Abbildungssystem nach einem der vorangehenden Ansprüche, bei dem das Lichtsteuersystem einen Lichtkontroller umfasst, der einstellbar ist, um die Menge von durch das Aufnahmelinsensystem gesammeltem Licht zu steuern, das in das Abbildungssystem eintritt.
Optisches Abbildungssystem nach Anspruch 7, bei dem der Lichtkontroller, der die Menge von durch das Aufnahmelinsensystem gesammeltem Licht steuert, das in das Abbildungssystem eintritt, eine Irisblende umfasst.
Optisches Abbildungssystem nach einem der vorangehenden Ansprüche und umfassend einen Lichtkontroller, der einstellbar ist, um die Menge von Licht vom Aufnahmelinsensystem zu steuern, das die 3D-Kamera erreicht, ohne dass die Menge von Licht von der Aufnahmelinse beeinflusst wird, das die Abbildungskamera erreicht.
Optisches Abbildungssystem nach Anspruch 9, bei dem der Lichtkontroller, der die Menge von Licht vom Aufnahmelinsensystem steuert, das die 3D-Kamera erreicht, eine Irisblende umfasst.
Optisches Abbildungssystem nach einem der vorangehenden Ansprüche, bei dem die 3D-Kamera eine torgesteuerte 3D-Kamera ist.
Optisches Abbildungssystem nach Anspruch 11 und umfassend eine Impulslichtquelle, die einen Lichtimpulszug ausstrahlt, um eine Szene zu beleuchten, die mit dem optischen Abbildungssystem abgebildet wird.
Optisches Abbildungssystem nach Anspruch 12, bei dem die Impulslichtquelle IR-Licht ausstrahlt.
Optisches Abbildungssystem nach einem der Ansprüche 11–13, bei dem die 3D-Kamera mindestens 2 Photooberflächen umfasst.
Optisches Abbildungssystem nach Anspruch 14, bei dem die 3D-Kamera eine Lichtführung umfasst, die Licht vom Aufnahmelinsensystem empfängt und Teile des Lichtes, das sie empfängt, zu jeder der mindestens zwei Photooberflächen lenkt.
Optisches Abbildungssystem nach Anspruch 15 und umfassend eine einzelne Verschlussblende, die, wenn sie auf torgesteuert wird, ermöglicht, dass Licht vom Aufnahmelinsensystem die Lichtführung erreicht.
Optisches Abbildungssystem nach Anspruch 16 und umfassend einen Kontroller, der die einzelne Verschlussblende auf und zu torsteuert.
Optisches Abbildungssystem nach Anspruch 17, bei dem der Kontroller jede von den Photooberflächen steuert, um aktiviert und deaktiviert zu werden, und bei dem, wenn eine Photooberfläche aktiviert ist, sie für darauf auffallendes Licht empfindlich ist.
Optisches Abbildungssystem nach Anspruch 18, bei dem jedes Mal, wenn der Kontroller die einzelne Verschlussblende auf torsteuert, er eine und nur eine der mindestens zwei Photooberflächen aktiviert.
Optisches Abbildungssystem nach Anspruch 19, bei dem die mindestens zwei Photooberflächen drei Photooberflächen umfasst.
Optisches Abbildungssystem nach Anspruch 20, bei dem im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls ausgestrahlt wird, der Kontroller die einzelne Verschlussblende für einen ersten Durchlass auf torsteuert und eine erste Photooberfläche einschaltet und bei dem der erste Durchlass so getaktet wird, dass Licht, das von dem mindestens einen Lichtimpuls durch ein Gebiet in der Szene reflektiert wird, durch die erste Photooberfläche registriert wird.
Optisches Abbildungssystem nach Anspruch 21, bei dem im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls im Lichtimpulszug ausgestrahlt wird, der Kontroller die einzelne Verschlussblende für einen zweiten Durchlass auf torsteuert und eine zweite der Photooberflächen aktiviert und bei dem der zweite Durchlass so getaktet wird, dass während des zweiten Durchlasses kein Licht von dem mindestens einen Lichtimpuls, das durch das Gebiet reflektiert wird, durch die zweite Photooberfläche registriert wird.
Optisches Abbildungssystem nach Anspruch 22, bei dem im Anschluss an eine Zeit, in der mindestens ein Lichtimpuls im Lichtimpulszug ausgestrahlt wird, der Kontroller die einzelne Verschlussblende für einen dritten Durchlass auf torsteuert und eine dritte von den Photooberflächen aktiviert und bei dem der Kontroller die Durchlassbreite und Zeitsteuerung des dritten Durchlasses steuert, so dass während des dritten Durchlasses im Wesentlichen sämtliches Licht von dem mindestens einen Impuls, das durch das Gebiet reflektiert wird, das durch das Aufnahmelinsensystem gesammelt wird, durch die dritte Photooberfläche registriert wird.
Optisches Abbildungssystem nach einem der Ansprüche 15–23, bei dem die Lichtführung ein Dreiwegeprisma ist.
Optisches Abbildungssystem nach einem der Ansprüche 1–24 und umfassend einen Strahlteiler, der Licht vom Aufnahmelinsensystem empfängt und einen Teil des empfangenen Lichts in Richtung auf die 3D-Kamera und einen Teil des empfangenen Lichts zur Abbildungskamera lenkt.
Optisches Abbildungssystem nach einem der Ansprüche 7–23, bei dem die Lichtführung ein Vierwegeprisma ist, das Licht vom Aufnahmelinsensystem empfängt und einen Teil des empfangenen Lichts zur Abbildungskamera lenkt.
Optisches Abbildungssystem nach einem der vorangehenden Ansprüche, bei dem die Abbildungskamera eine Farbkamera umfasst.
Optisches Abbildungssystem nach einem der Ansprüche 1–24, bei dem die Abbildungskamera eine Farbkamera ist, umfassend separate R-, G- und B-Photo-Oberflächen und umfassend ein Vierwegeprisma, das Licht vom Aufnahmelinsensystem empfängt und einen Teil des empfangenen Lichts zu jeder von der R-, G- und B-Photooberfläche und zu der einzelnen Verschlussblende der 3D-Kamera lenkt.