WO2013026825A1

WO2013026825A1 - Abbildungsvorrichtung und verfahren für eine abbildungsvorrichtung

Info

Publication number: WO2013026825A1
Application number: PCT/EP2012/066186
Authority: WO
Inventors: Thomas Schweiger; Harald Neubauer; Frank Wippermann; Andreas Brückner; Alexander Oberdörster
Original assignee: Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V.
Priority date: 2011-08-23
Filing date: 2012-08-20
Publication date: 2013-02-28
Also published as: DE102011081408A1

Abstract

Eine Abbildungsvorrichtung weist eine Mehrkanaloptik und einen Bildsensor mit einer ersten Gruppe von Bilddetektoren und einer zweiten Gruppe von Bilddetektoren auf. Die Mehrkanaloptik ist ausgebildet, um in einem ersten Kanal ein erstes Bildfeld auf die erste Gruppe von Bilddetektoren abzubilden und um in einem zweiten Kanal ein zweites Bildfeld auf die zweite Gruppe von Bilddetektoren abzubilden. Eine Empfindlichkeit der ersten Gruppe von Bilddetektoren ist unabhängig von einer Empfindlichkeit der zweiten Gruppe von Bilddetektoren einstellbar und das erste Bildfeld und das zweite Bildfeld überlagern sich nicht oder nur weniger als 50%.

Description

Abbildungsvorrichtung und Verfahren für eine Abbildungsvorrichtung Technisches Gebiet der Erfindung

Ausführungsbeispiele der vorliegenden Erfindung schaffen eine Abbildungsvorrichtung mit einer Mehrkanaloptik. Weitere Ausführungsbeispiele der vorliegenden Erfindung schaffen ein Verfahren zum Betreiben einer solchen Abbildungsvorrichtung. Hintergrund der Erfindung

Es gibt zahlreiche Verfahren zur Erhöhung des Dynamikumfangs von Kameras. Eine gute Übersicht bieten Fowler (B. Fowler: High dynamic ränge image sensor architectures, SPIE Electronic Imaging 201 1, Digital Photography VII, Proceedings Vol. 7876) und Wetzstein (G. Wetzstein, I. Ihrke, D. Lanman, W. Heidrich: State Oberfläche the Art in Computational Plenoptic Imaging, EUROGRAPHICS 201 1).

Fowler beschreibt Verfahren, die innerhalb des Bildsensors implementiert sind; Ziel ist hier jeweils, den Dynamikumfang jedes einzelnen Pixels zu erhöhen. Die Verfahren unterscheiden sich hinsichtlich der zusätzlichen Fläche/Kosten pro Pixel und dem Rauschverhalten und hinsichtlich der Bildstörungen, die sie verursachen, etwa durch Bewegung (der Szene oder der Kamera) oder durch Inhomogenität der Pixel eines Sensors untereinander (Fixed Pattern Noise). Einige Verfahren erfordern einen hohen Kalibrieraufwand, der sie für Anwendungen im Massenmarkt disqualifiziert. Als Beispiel seien Pixel mit logarithmischer Empfindlichkeitskennlinie genannt; Kameras mit solchen Pixeln sind in Spezialan Wendungen im Einsatz (z. B. zur Kontrolle von Schweiß Vorgängen). Sie haben eine sehr hohe Dynamik, aber die Kennlinien der Pixel untereinander sind stark unterschiedlich. Diese Unterschiede müssen für einen homogenen Bildeindruck gemessen und korrigiert werden.

Wetzstein bietet eine gute Übersicht von Verfahren, die mit herkömmlichen Bildsensoren zu implementieren sind. Vorgeschlagen werden zum Beispiel zusätzliche optische Elemente wie Masken mit ND-Filtern oder dynamische Lichtmodulatoren (etwa Mikrospiegel). Eine weitere Möglichkeit sind Mehrfachbelichtungen oder Multi- Kamerasysteme mit gestaffelten Belichtungszeiten, ND-Filtern oder Blenden. Von diesen Verfahren ist lediglich die Mehrfachbelichtung mit gestaffelten Belichtungszeiten außerhalb des Labors üblich. Dieses Verfahren funktioniert nur für statische Szenen zuverlässig, sonst entstehen Geisterbilder. Es ist eine Aufgabe der vorliegenden Erfindung, ein Konzept zu schaffen, welches eine verbesserte Aufnahme von bewegten Szenen mit einem hohen Dynamikumfang ermöglicht.

Diese Aufgabe wird gelöst durch eine Abbildungsvorrichtung gemäß Anspruch 1, ein Verfahren gemäß Anspruch 13 und ein Computerprogramm gemäß Anspruch 14.

Ausführungsbeispiele der vorliegenden Erfindung schaffen eine Abbildungsvorrichtung mit einer Mehrkanaloptik und einem Bildsensor mit einer ersten Gruppe von Bilddetektoren und einer zweiten Gruppe von Bilddetektoren. Die Mehrkanaloptik ist ausgebildet, um in einem ersten (optischen) Kanal ein erstes Bildfeld auf die erste Gruppe von Bilddetektoren abzubilden und um in einem zweiten (optischen) Kanal ein zweites Bildfeld auf die zweite Gruppe von Bilddetektoren abzubilden. Eine Empfindlichkeit der ersten Gruppe von Bilddetektoren ist dabei unabhängig von einer Empfindlichkeit der zweiten Gruppe von Bilddetektoren einstellbar. Ferner überlappen sich das erste Bildfeld und das zweite Bildfeld nicht oder nur weniger als 50 %.

Es ist eine Idee von Ausführungsbeispielen, das eine verbesserte Aufnahme einer bewegten Szene mit einem hohen Dynamikumfang erreicht werden kann, wenn bei einer Abbildungsvorrichtung Empfindlichkeiten zweier verschiedener Gruppen von Bilddetektoren unabhängig voneinander einstellbar sind. Durch die unabhängige Wahl der Empfindlichkeiten der Gruppen von Bilddetektoren für die zwei verschiedenen Bildfelder wird dem Umstand Rechnung getragen, dass in einer typischen Szene typischerweise sowohl helle als auch dunkle Bereiche auftreten. Durch die unabhängige Wahl der Empfindlichkeiten der Gruppen von Bilddetektoren des Bildsensors wird ermöglicht, dass sowohl die hellen Bereiche als auch die dunklen Bereiche optimal (mit der optimalen Empfindlichkeit) belichtet werden. Durch diese Anpassung der Empfindlichkeiten der Bilddetektoren in den Einzelkanälen wird der Dynamikumfang im kompletten Bild erhöht, wodurch helle und dunkle Bereiche eines Bildes besser belichtet werden und damit mehr Zeichnung haben (mit anderen Worten, Kontraste sind besser zu erkennen). Ausführungsbeispiele schaffen es damit, pro Gruppe von Bilddetektoren die richtige Belichtungszeit einzustellen. Die richtige Belichtungszeit kann dabei für jede Gruppe spezifisch sein, da jede Gruppe von Bilddetektoren, aufgrund der Wahl der Mehrkanaloptik durch die sich das erste und das zweite Bildfeld nicht oder nur weniger als 50 % überlagern, einen anderen Bereich der Szene sieht (die Blickrichtungen der Gruppen weichen voneinander ab) und in verschiedenen Bildbereichen unterschiedlich helle Bereiche auftreten können. Ein Vorteil von Ausführungsbeispielen der vorliegenden Erfindung ist damit, dass ein Bild mit einem hohen Dynamikumfang erzielt werden kann, ohne dass zwei Einzelaufnahmen nacheinander aufgenommen werden müssen, da unterschiedlich helle Bereiche im Bild bereits durch eine entsprechende Wahl der Empfindlichkeiten der Gruppen von Bilddetektoren optimal belichtet werden können. Da nicht wie bei konventionellen Systemen zwei Einzelaufnahmen nacheinander aufgenommen werden müssen, ermöglichen Ausführungsbeispiele der vorliegenden Erfindung auch eine Aufnahme von bewegten Szenen mit einem hohen Dynamikumfang, ohne dabei Geisterbilder zu generieren.

Die Einstellung der Empfindlichkeit der Gruppen von Bilddetektoren kann dabei über verschiedene Möglichkeiten erfolgen. Beispielsweise können bei einigen Ausführungsbeispielen der erste Kanal und der zweite Kanal jeweils ein Filter mit einstellbarer Transparenz zur Einstellung der Empfindlichkeit der jeweiligen Gruppe von Bilddetektoren aufweisen, wobei die Transparenz der Filter in diesen Kanälen jeweils unabhängig voneinander einstellbar ist. Gemäß weiteren Ausführungsbeispielen kann die Belichtungszeit der ersten Gruppe von Bilddetektoren unabhängig von der Belichtungszeit der zweiten Gruppe von Bilddetektoren eingestellt werden. Auch durch die Variation der Belichtungszeiten der Bilddetektoren können die Empfindlichkeiten der Bilddetektoren eingestellt werden. Beispielsweise kann für die erste Gruppe von Bilddetektoren eine erste Belichtungszeit eingestellt werden und für die zweite Gruppe von Bilddetektoren eine zweite Belichtungszeit eingestellt werden. Unterschiedliche Bereiche einer Szene (die unterschiedlichen Bildfelder) werden damit unterschiedlich lange belichtet, beispielsweise in Abhängigkeit von Lichtverhältnissen in diesen jeweiligen Bereichen oder Bildfeldern. Gemäß weiteren Ausführungsbeispielen kann eine Rücksetzspannung der Bilddetektoren der ersten Gruppe von Bilddetektoren verschieden zu einer Rücksetzspannung der Bilddetektoren der zweiten Gruppe von Bilddetektoren gewählt werden. Beispielsweise kann zur Einstellung einer hohen Empfindlichkeit für eine Gruppe von Bilddetektoren eine niedrige Rücksetzspannung für diese Gruppe von Bilddetektoren gewählt werden und zur Einstellung einer niedrigen Empfindlichkeit kann eine hohe Rücksetzspannung für diese Gruppe von Bilddetektoren gewählt werden.

Kurzbeschreibung der Figuren Ausfuhrungsbeispiele der vorliegenden Erfindung werden im Folgenden anhand der beiliegenden Figuren detailliert beschrieben. Es zeigen: Fig. 1 eine Seitenansicht auf eine Abbildungs Vorrichtung gemäß

Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 2 ein Fluss-Diagramm eines Verfahrens gemäß einem Ausfuhrungsbeispiel der vorliegenden Erfindung;

Fig. 3a ein Beispiel für nicht überlappende Kanäle bei AusführungsbeispieL

vorliegenden Erfindung;

Fig. 3b ein Beispiel für überlappende Kanäle bei Ausführungsbeispiel

vorliegenden Erfindung;

Fig. 4a ein Beispiel wie eine Szene mit hohem Kontrast durch ein aufgeteiltes bis 4b Bildfeldabgelichtet werden kann; Fig. 5a ein Beispiel zur Verdeutlichung der Verschmierung von Kontrastsprüngen bis 5c durch Streueffekte in einem Objektiv; und

Fig. 6 ein Diagramm zur Verdeutlichung des in Fig. 5c gezeigten Effekts.

Detaillierte Beschreibung von Ausführungsbeispielen

der vorliegenden Erfindung

Bevor im folgenden Ausführungsbeispiele der vorliegenden Erfindung anhand der beiliegenden Figuren detailliert beschrieben werden, wird darauf hingewiesen, dass gleiche Elemente oder Elemente gleicher Funktion mit denselben Bezugszeichen versehen sind und dass auf eine wiederholte Beschreibung von Elementen, die mit denselben Bezugszeichen versehen sind, verzichtet wird. Beschreibungen von Elementen mit gleichen Bezugszeichen sind daher untereinander austauschbar. Fig. 1 zeigt eine Schnittansicht einer Abbildungsvorrichtung 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Abbildungsvorrichtung 100 weist einen Bildsensor 101 mit einer ersten Gruppe 101 a von Bilddetektoren 105 auf. Ferner weist der Bildsensor 101 eine zweite Gruppe 101b von Bilddetektoren 105 auf. Die erste Gruppe 101a von Bilddetektoren und die zweite Gruppe 101b von Bilddetektoren können beispielsweise auf einem gemeinsamen Chip oder Substrat des Bildsensors 101 angeordnet sein.

Ferner weist die Abbildungsvorrichtung 100 eine Mehrkanal optik 103 auf, die ausgebildet ist, um in einem ersten (optischen) Kanal 107a ein erstes Bildfeld 109a auf die erste Gruppe 101a von Bilddetektoren abzubilden und um in einem zweiten (optischen) Kanal 107b ein zweites Bildfeld 109b auf die zweite Gruppe 101b von Bilddetektoren abzubilden.

Eine Empfindlichkeit der ersten Gruppe 101a von Bilddetektoren ist dabei unabhängig von einer Empfindlichkeit der zweiten Gruppe 101b von Bilddetektoren einstellbar. Ferner überlappen sich in dem in Fig. 1 gezeigten Ausführungsbeispiel das erste Bildfeld 109a und das zweite Bildfeld 109b nicht, das heißt die erste Gruppe von Bilddetektoren 101a und die zweite Gruppe von Bilddetektoren 101b haben unterschiedliche Blickrichtungen. Eine Blickrichtung des ersten Kanals 107a ist daher verschieden (beispielsweise versetzt) zu einer Blickrichtung des zweiten Kanals 107b. Es existiert daher kein Überlappbereich zwischen den Erfassungsbereichen der Kanäle 107a, 107b.

Gemäß weiteren Ausführungsbeispielen können sich aber auch das erste Bildfeld 109a und das zweite Bildfeld 109b bis zu maximal 50 % überlappen.

Wie in Fig. l gezeigt, kann die Mehrkanaloptik 103 eine Mehrzahl von Linsen 103a, 103b aufweisen. Eine erste Linse 103 a oder eine erste Gruppe von Linsen aus der Mehrzahl von Linsen 103a, 103b kann zusammen mit der ersten Gruppe 101a von Bilddetektoren den ersten Kanal 107a bilden, so dass Licht, welches durch die erste Linse 103a oder Linsen der ersten Gruppe von Linsen fällt, nur auf Bilddetektoren 105 der ersten Gruppe 101a von Bilddetektoren 105 trifft. Eine zweite Linse 103b oder eine zweite Gruppe von Linsen aus der Mehrzahl von Linsen 103a, 103b kann zusammen mit der zweiten Gruppe 101b von Bilddetektoren den zweiten Kanal 107b bilden, so dass Licht, welches durch die zweite Linse 103 b oder die zweite Gruppe von Linsen fällt, nur auf Bilddetektoren der zweiten Gruppe 101b von Bilddetektoren trifft. Gemäß einigen Ausführungsbeispielen kann die Abbildungsvorrichtung 100 ausgebildet sein, um die Empfindlichkeit der ersten Gruppe 101a von Bilddetektoren in Abhängigkeit von Lichtverhältnissen im ersten Bildfeld 109a einzustellen und, um die Empfindlichkeit der zweiten Gruppe 101b von Bilddetektoren in Abhängigkeit von Lichtverhältnissen im zweiten Bildfeld 109b und unabhängig von den Lichtverhältnissen im ersten Bildfeld 109a einzustellen. Mit anderen Worten kann die Abbildungsvorrichtung 100 ausgebildet sein, um die Empfindlichkeiten der Gruppen 101a, 101b von Bilddetektoren lediglich in Abhängigkeit von den Lichtverhältnissen in den Bildfeldern 109a, 109b einzustellen. Somit wird ermöglicht, dass sowohl helle als auch dunkle Bereiche (oder Bildfelder) jeweils optimal belichtet werden. Beispielsweise kann die Abbildungsvorrichtung 100 ausgebildet sein, um für einen Belichtungszyklus des Bildsensors 101 (in dem beispielsweise sowohl die erste Gruppe 101a als auch die zweite Gruppe 101b von Bilddetektoren belichtet werden) die Empfindlichkeiten der ersten Gruppe 101a von Bilddetektoren und der zweiten Gruppe 101b von Bilddetektoren so einzustellen, dass in diesem Belichtungszyklus kein Bilddetektor der ersten Gruppe 101a von Bilddetektoren und kein Bilddetektor der zweiten Gruppe 101b von Bilddetektoren überbelichtet oder unterbelichtet wird. Mit anderen Worten kann die Abbildungsvorrichtung 100 ausgebildet sein, um die Empfindlichkeiten der Gruppen 101a, 101b von Bilddetektoren so einzustellen, dass die Bilddetektoren der Gruppen 101a, 101b in ihrem optimalen Wirkungsbereich arbeiten, beispielsweise so, dass diese in dem Belichtungszyklus weder über- noch unterbelichtet werden.

Wie bereits eingangs beschrieben, existieren verschiedene Möglichkeiten, um die Empfindlichkeiten der Gruppen 101a, 101 b von Bilddetektoren einzustellen.

So kann die Mehrkanal optik 103 beispielsweise in einem der Kanäle 107a, 107b ein Filter mit einstellbarer Transparenz aufweisen.

In dem in Fig. 1 gezeigten Beispiel weist der erste Kanal 107a ein erstes Filter l i la mit einstellbarer Transparenz zur Einstellung der Empfindlichkeit der ersten Gruppe 101a von Bilddetektoren auf. Ferner weist die Mehrkanaloptik 103 im zweiten Kanal 107b ein zweites Filter 1 1 1b mit einstellbarer Transparenz zur Einstellung der Empfindlichkeit der zweiten Gruppe 101b von Bilddetektoren auf. Die Transparenz des ersten Filters l i la im ersten Kanal 107a ist dabei unabhängig von der Transparenz des zweiten Filters 11 1b im zweiten Kanal 107b einstellbar.

Die Filter l i la, 1 11b können beispielsweise so genannte ND-Filter (ND - Neutraldichte) sein. Gemäß weiteren Ausführungsbeispielen können die Filter l i la, 1 1 1b auch so genannte SLM-Filter (SLM-Spatial Light Modulator, ortsaufgelöster Lichtmodulator) sein. Durch die Variation der Transparenz der Filter l i la, 1 1 1b unabhängig voneinander, kann die Abbildungsvorrichtung 100 die Empfindlichkeit für die erste Gruppe 101a von Bilddetektoren unabhängig von der Empfindlichkeit für die zweite Gruppe 101b von Bilddetektoren einstellen.

Gemäß weiteren Ausführungsbeispielen kann die Abbildungsvorrichtung 100 auch ausgebildet sein, um die Empfindlichkeit der ersten Gruppe 101a von Bilddetektoren unabhängig von der Empfindlichkeit der zweiten Gruppe 101b von Bilddetektoren durch eine unterschiedliche Einstellung der Belichtungszeiten für die erste Gruppe 101a von Bilddetektoren und die zweite Gruppe 101b von Bilddetektoren durchzuführen. Mit anderen Worten kann die Abbildungsvorrichtung 100 ausgebildet sein, um eine Belichtungszeit der ersten Gruppe 101a von Bilddetektoren unabhängig von einer Belichtungszeit der zweiten Gruppe 101b von Bilddetektoren einzustellen. Dies kann zusätzlich oder anstatt der Nutzung der Filter l i la, 1 11b mit einstellbarer Transparenz geschehen.

Wie bereits oben erläutert, ist eine weitere Möglichkeit zur Einstellung der Empfindlichkeiten der Gruppen 101a, 101b von Bilddetektoren eine unterschiedliche Rücksetzspannung für die erste Gruppe von Bilddetektoren 101a und die zweite Gruppe 101b von Bilddetektoren.

Zusammenfassend ermöglichen Ausführungsbeispiele der vorliegenden Erfindung die Empfindlichkeiten der Gruppen 101a, 101b von Bilddetektoren über verschiedene Möglichkeiten unabhängig voneinander einstellen, wie beispielsweise durch die Nutzung der Filter mit einstellbarer Transparenz, die Variation der Belichtungszeiten oder die Variation der Rücksetzspannungen. Ausführungsbeispiele können dabei eine dieser Möglichkeiten oder auch eine Kombination dieser Möglichkeiten verwenden, um die Empfindlichkeiten der ersten Gruppe 101a von Bilddetektoren und der zweiten Gruppe 101b von Bilddetektoren unabhängig voneinander einzustellen.

Gemäß weiteren Ausführungsbeispielen kann die Abbildungsvorrichtung 100 in dem ersten Kanal 107a ein erstes Farbfilter 1 13a aufweisen, welches beispielsweise zwischen der Mehrkanaloptik 103 und der ersten Gruppe 101a von Bilddetektoren angeordnet ist. Ferner kann die Abbildungsvorrichtung 100 in dem zweiten Kanal 107b ein zweites Farbfilter 113b aufweisen, welches beispielsweise zwischen der Mehrkanaloptik 103 und der zweiten Gruppe 101b von Bilddetektoren angeordnet ist. Die Farbfilter 1 13a, 113b können beispielsweise unterschiedliche Farben aufweisen und können dazu dienen, um mit Hilfe der Abbildungsvorrichtung 100 Farbaufnahmen aufnehmen zu können.

Das erste Farbfilter 1 13a kann dabei für alle Bilddetektoren der ersten Gruppe 101a von Bilddetektoren dieselbe Farbe aufweisen und das zweite Farbfilter 1 13b kann für alle Bilddetektoren der zweiten Gruppe 101b von Bilddetektoren dieselbe Farbe aufweisen.

Die gruppenspezifische Einstellung der Empfindlichkeiten der Bilddetektoren ist vorteilhaft, wenn wie in Fig. 1 gezeigt pro Gruppe ein gleichfarbiger Filter 113a, 1 13b verwendet wird, da die Empfindlichkeiten der Gruppen 101a, 101b variieren. Diese Variation der Empfindlichkeiten ist abhängig von der Beleuchtung, der Absorption der Farbfiltermaterialien und der spektralen Empfindlichkeiten der Fotodioden. Mit der gruppenspezifischen Einstellung der Empfindlichkeiten können diese unterschiedlichen Empfindlichkeiten ausgeglichen werden. Dies führt zu einer besseren Regelung der Farbe und die Farben im Bild werden natürlicher.

Mit anderen Worten: Sind die Pixelgruppen oder Gruppen 101a, 101b von Bilddetektoren mit Farbfiltern 113a, 1 13b versehen (homogene Filterung innerhalb eines Kanals), so passt sich die Empfindlichkeit (beispielsweise die Belichtungszeit) außerdem automatisch der Lichtfarbe an. Zum einen sorgt dies für einen automatischen Weißabgleich; zum anderen kann ein lokaler Farbstich ausgeglichen werden (etwa durch Mischlicht, das heißt Tagesund Kunstlicht innerhalb einer Szene).

Gemäß weiteren Ausführungsbeispielen kann die Abbildungsvorrichtung 100 ausgebildet sein, um die Empfindlichkeit der ersten Gruppe 101a von Bilddetektoren in Abhängigkeit von einer Lichtfarbe im ersten Bildfeld 109a einzustellen und die Empfindlichkeit der zweiten Gruppe 101b von Bilddetektoren in Abhängigkeit von einer Lichtfarbe im zweiten Bildfeld 109b und unabhängig von der Lichtfarbe im ersten Bildfeld 109a einzustellen. Die in Fig. 1 gezeigte Abbildungsvorrichtung 100 lässt sich beispielsweise bei Bildsensoren mit aufgeteiltem Bildfeld einsetzen. Solche Bildsensoren lassen sich im Prinzip überall dort einsetzen, wo herkömmliche Bildsensoren eingesetzt werden, vor allem in solchen Anwendungen, wo es auf geringe Bauhöhe ankommt. Dies ist z. B. der Fall bei Kameras in Unterhaltungs- und Kommunikationselektronik (wie beispielsweise Mobiltelefone, Laptops, Tablet PCs) und bei der Material- und Bauteiluntersuchung in engen Platzverhältnissen (wie beispielsweise in Schlitzen und Bohrungen). Zusammenfassend schaffen Ausführungsbeispiele der vorliegenden Erfindung eine Abbildungsvorrichtung, bei der die Empfindlichkeiten verschiedener Gruppen von Bilddetektoren für unterschiedliche Bildfelder unterschiedlich eingestellt werden können, so dass in einem Belichtungszyklus des Bildsensors der Abbildungsvorrichtung verschiedene Bildfelder mit unterschiedlicher Empfindlichkeit abgetastet werden, in Abhängigkeit von Lichtverhältnissen in diesen Bildfeldern. Dies ermöglicht die Aufnahme eines Bildes mit hohem Dynamikumfang, sogar bei bewegten Szenen, ohne dabei Geisterbilder zu erzeugen. Fig. 2 zeigt ein Flussdiagramm 200 eines Verfahrens 200 zum Betreiben einer Abbildungsvorrichtung mit einer Mehrkanaloptik und einem Bildsensor mit einer ersten Gruppe von Bilddetektoren und einer zweiten Gruppe von Bilddetektoren, wobei die Mehrkanaloptik ausgebildet ist, um in einem ersten Kanal ein erstes Bildfeld auf die erste Gruppe von Bilddetektoren abzubilden und um in einem zweiten Kanal ein zweites Bildfeld auf die zweite Gruppe von Bilddetektoren abzubilden und wobei sich das erste Bildfeld und das zweite Bildfeld nicht oder nur weniger als 50 % überlagern.

Das Verfahren 200 weist einen Schritt 201 des Einstellens einer Empfindlichkeit der ersten Gruppe von Bilddetektoren unabhängig von einer Empfindlichkeit der zweiten Gruppe von Bilddetektoren auf.

Das Verfahren 200 kann beispielsweise von der Abbildungsvorrichtung 100, wie sie in Fig. 1 gezeigt ist, durchgeführt werden. Fig. 3a zeigt ein zusätzliches Beispiel für drei Kanäle 801a, 801b, 801c, wie sie bei einer Abbildungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung angeordnet sein können. Bei dem in Fig. 3a gezeigten Beispiel weisen die drei Kanäle 801a, 801b und 801c aneinander anschließende Bildfelder auf. Ein Objektpunkt des zu betrachtenden Objekts wird daher maximal von einem der drei Kanäle 801a, 801b, 801c erfasst und insbesondere nicht mehrfach erfasst. Ein resultierendes Gesamtbild lässt sich dann durch Aneinandersetzen der Einzelbilder der Kanäle 801a, 801b, 801c erreichen.

Ferner zeigt Fig. 3b ein Beispiel für drei Kanäle 803a, 803b, 803c mit überlappendem Bildfeld wie sie bei Ausführungsbeispielen der vorliegenden Erfindung Verwendung finden können. Aus Fig. 3b ist ersichtlich, dass ein Bildfeld des ersten Kanals 803a sich nicht mit einem Bildfeld des dritten Kanals 803c überlappt. Jedoch überlappt sich ein Bildfeld des zweiten Kanals 803b sowohl mit dem Bildfeld des ersten Kanals 803a als auch mit dem Bildfeld des dritten Kanals 803c. Zumindest die Objektbereiche B, C werden daher von zwei Kanälen gleichzeitig erfasst. So wird der Objektbereich B von dem ersten Kanal 803a und dem zweiten Kanal 803b erfasst und der Objektbereich C wird von dem zweiten Kanal 803b und dem dritten Kanal 803c erfasst. Obwohl bei dem in Fig. 3b gezeigten Ausführungsbeispiel die Randkanäle 803a, 803c ein genauso großes Gesichtsfeld wie der zweite Kanal 803b aufweisen, so ist gemäß weiteren Ausführungsbeispielen auch möglich, dass diese Randkanäle 803a, 803b ein Gesichtsfeld mit anderer Größe (beispielsweise halb so groß wie das des zweiten Kanals 803b) aufweisen. In diesem Fall würden mit der in Fig. 3b gezeigten Abbildungsvorrichtung nur die Objektbereiche B und C betrachtet werden, wobei selbst dann nach wie vor eine teilweise Überlappung der Bildfelder benachbarter Kanäle vorliegt (das Bildfeld des zweiten Kanals 803b überlappt sich jeweils teilweise (weniger als 50%) mit den Bildfeldern des ersten Kanals 803a und des dritten Kanals 803c). Ferner ermöglicht die in Fig. 3b gezeigte teilweise Überlappung der Bildfelder der Kanäle 803a, 803b, 803c, dass Abtastlücken zwischen benachbarten Kanälen (wie beispielsweise zwischen dem ersten Kanal 803a und dem dritten Kanal 803c) von einem weiteren Kanal (in dem Fall von dem zweiten Kanal 803b) erfasst werden. Ein resultierendes Gesamtbild lässt sich dann durch ein überlappendes Anordnen der Einzelbilder der Kanäle 803a bis 803c erhalten.

Im Folgenden sollen noch zwei Anwendungsbeispiele für Ausführungsbeispiele der vorliegenden Erfindung gegeben werden. Fig. 4a zeigt ein Bild einer natürlichen Szene mit einer großen Helligkeitsdynamik, als Beispiel eine Bergkette mit einem Ausschnitt des Himmels. Der Himmel ist einige Größenordnungen heller als die Bergkette (hat also eine erheblich größere Leuchtdichte). Wird die Szene mit einem konventionellen digitalen Bildsensor mit einheitlicher Belichtungszeit oder Empfindlichkeit aufgezeichnet, so werden tendenziell Pixel, welche den Himmel aufnehmen, gesättigt, während Pixel, welche die Berge aufzeichnen, nur ein geringes Signal aufnehmen. Dadurch können Details verloren gehen, wie beispielsweise ein Haus in den Bergen.

Wie bereits beschrieben, kann gemäß Ausführungsbeispielen der vorliegenden Erfindung die Empfindlichkeit (beispielsweise mittels verschiedener Belichtungszeiten) für verschiedene Kanäle getrennt eingestellt werden. Ausführungsbeispiele der vorliegenden Erfindung ermöglichen daher eine verbesserte Aufnahme der in Fig. 4a gezeigten Szene. Fig. 4b zeigt daher die Aufnahme der gleichen Szene wie in Fig. 4a, jedoch diesmal mit einer Abbildungsvorrichtung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung, bei der die Empfindlichkeiten zwischen verschiedenen Kanälen getrennt einstellbar sind. Bei der in Fig. 4b gezeigten Anordnung überlappen sich die Gesichtsfelder der einzelnen Kanäle nicht (jedes Quadrat stellt das Gesichtsfeld eines Kanals dar). Die Belichtungszeit jedes Kanals (oder jeder Gruppe von Bilddetektoren) kann nun automatisch so angepasst werden, dass innerhalb eines Kanals möglichst weder Sättigung noch ein geringes Signal auftritt. So wird bei dem in Fig. 4b gezeigten Beispiel ermöglicht, dass die Belichtungszeit für Kanäle, die hauptsächlich den Himmel erfassen, kürzer gewählt wird als für Kanäle, die die Berge erfassen. Mit anderen Worten wird die Empfindlichkeit der Kanäle, die hauptsächlich den Himmel erfassen, niedriger gewählt wird als für Kanäle, die die Berge erfassen

Dadurch wird ermöglicht, dass Details, welche noch in der Aufnahme von Fig. 4a nicht erkennbar waren, in der Aufnahme von Fig. 4b zu erkennen sind (wie beispielsweise das Haus vor den Bergen).

Insbesondere bei scharfen Kontrastübergängen (z.B. am Horizont) ist es dennoch möglich, dass Kanäle mit gesättigten Pixeln und/oder Pixel mit geringem Signal existieren.

Dieser Effekt kann einerseits dadurch vermieden oder reduziert werden, dass eine möglichst hohe Anzahl von einzelnen Kanälen verwendet wird oder andererseits kann man sich den Effekt zunutze machen, dass Kontrastsprünge durch Streueffekte in einem Objektiv verschmiert werden und dass daher eben doch eine endliche Anzahl an Kanälen ausreicht, um auch Szenen mit hohem Kontrast abzubilden.

Dazu soll anhand der Figuren 5a bis 5c ein weiteres Beispiel gegeben werden, das illustriert, wie Kontrastsprünge durch Streueffekten in einem Objektiv verschmiert werden und dass daher eine endliche Anzahl an Kanälen ausreicht, um auch Szenen mit hohem Kontrast abzubilden, ohne dass Pixel in die Sättigung gehen oder ein zu geringes Signal erhalten wird.

Fig. 5a zeigt eine Szene mit einem Fenster. Die in Fig. 5a gezeigte Innenraumszene enthält Bereiche hoher Leuchtdichte (außen) und Bereiche niedriger Leuchtdichte (innen).

Fig. 5b zeigt wie das durch das Fenster kommende Licht in der Optik der Kamera gestreut wird, was dazu führt, dass der Kontrast am Fensterrahmen sinkt. Aus Fig. 5b wird daher ersichtlich, dass Kontrastsprünge durch Streueffekte in einem Kameraobjektiv verschmiert werden.

Fig. 5c zeigt eine Aufnahme der gleichen Szene wie in Fig. 5b mit einem Mehrkanalsystem gemäß einem Ausführungsbeispiel der vorliegenden Erfindung, bei dem die Empfindlichkeit (beispielsweise durch Steuerung der Belichtungszeit) jedes Kanals unabhängig voneinander gesteuert werden kann. Obwohl einige Kanäle sowohl Fenster als auch Innenraum sehen, führt das Streulicht dazu, dass in diesen Kanälen keine Über- oder Unterbelichtung auftritt. Aus Fig. 5 c wird daher ersichtlich, dass eine endliche Anzahl von Kanälen ausreicht, um auch Szenen mit hohem Kontrast abzubilden, da durch objektivbedingte Streueffekte hohe Kontrastsprünge vermieden werden.

Fig. 6 zeigt diesen Effekt in zwei Diagrammen, wobei in einem oberen Diagramm eine Kontrastkante ohne Streulicht dargestellt ist und in einem unteren Diagramm eine Kontrastkante mit Streulicht dargestellt ist. Auf der Ordinatenachse ist daher bei den Diagrammen die Helligkeit L eingetragen, während auf der Abszissenachse die Gesichtsfeldbreite x eingetragen ist. Die Gesichtsfeldbreite x ist aufgeteilt auf drei Kanäle A, B, C. Aus dem oberen Diagramm wird ersichtlich, dass in dem Kanal A eine hohe Helligkeit vorliegt, eine Empfindlichkeit kann daher niedrig bzw. eine Belichtungszeit kurz gewählt werden. In dem Kanal C liegt eine niedrige Helligkeit vor, so dass eine Empfindlichkeit hoch bzw. eine Belichtungszeit lang gewählt werden kann. Im Gegensatz dazu existiert in dem Kanal B eine Kontrastkante mit einem schlagartigen Übergang von Hell zu Dunkel. Dies kann dazu führen, dass, wenn in dem Kanal B die Empfindlichkeit zu hoch, also beispielsweise die Belichtungszeit zu lang gewählt wird, aufgrund der hellen Anteile die Pixel, die diese hellen Anteile erfassen, überbelichtet werden. Wird im Gegensatz dazu die Empfindlichkeit zu niedrig, also beispielsweise die Belichtungszeit zu kurz gewählt, so kann dies dazu führen, dass aufgrund der dunklen Anteile die Pixel, welche die dunklen Anteile erfassen, ein zu geringes Signal erhalten. Bei dem in dem oberen Diagramm gezeigten scharfen Kontrastübergang (wie er im Beispiel von Fig. 4a am Horizont vorliegt) kann es daher dennoch Kanäle mit gesättigten Pixeln und/oder Pixeln mit geringem Signal geben.

Das untere Diagramm in Fig. 6 zeigt dagegen eine Kontrastkante mit Streulicht, wie es bereits anhand von Figuren 5a bis 5c beschrieben wurde. Der Helligkeitsgradient dL/dx im Kanal B ist daher deutlich kleiner als in dem oberen Diagramm, so dass es vermieden werden kann, dass in dem Kanal B gesättigte Pixel und/oder Pixel mit geringem Signal vorliegen, da durch den Streueffekt der Kontrast in dem Kanal B gesenkt wird. Mit anderen Worten reduziert die Verwaschung der Kontrastkante durch Streulicht den Kontrastumfang dL, den jeder einzelne der drei Kanäle A, B, C abbilden muss. Je größer die Streuung, desto geringer der maximale Kontrast innerhalb eines Kanals. Die Streuung bestimmt daher den maximalen Helligkeitsgradienten dL/dx. Wenn ein Kanal beispielsweise einen bestimmten Maximalkontrast dLmax darstellen kann, so lässt sich dazu eine maximale Gesichtsfeldbreite xmax des Kanals bestimmen.

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar.

Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein. Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird. Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft. Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.

Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist. Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft. Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist. Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.

Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.

Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist. Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC. Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.

Claims

Patentansprüche

Abbildungsvorrichtung (100) mit folgenden Merkmalen: einer Mehrkanaloptik (103); einem Bildsensor (101) mit einer ersten Gruppe (101a) von Bilddetektoren (105) und einer zweiten Gruppe (101b) von Bilddetektoren (105); wobei die Mehrkanaloptik (103) ausgebildet ist, um in einem ersten Kanal (107a) ein erstes Bildfeld (109a) auf die erste Gruppe (101a) von Bilddetektoren (105) abzubilden und um in einem zweiten Kanal (107b) ein zweites Bildfeld (109b) auf die zweite Gruppe (101b) von Bilddetektoren (105) abzubilden; wobei eine Empfindlichkeit der ersten Gruppe (101a) von Bilddetektoren (105) unabhängig von einer Empfindlichkeit der zweiten Gruppe (101b) von Bilddetektoren (105) einstellbar ist; und wobei sich das erste Bildfeld (109a) und das zweite Bildfeld (109b) nicht oder nur weniger als 50% überlagern.

Abbildungsvorrichtung (100) gemäß Anspruch 1 , wobei das erste Bildfeld (109a) und das zweite Bildfeld (109b) aneinander anschließen.

Abbildungsvorrichtung (100) gemäß einem der Ansprüche 1 oder 2, die ausgebildet ist, um die Empfindlichkeit der ersten Gruppe (101a) von Bilddetektoren (105) in Abhängigkeit von Lichtverhältnissen im ersten Bildfeld (109a) einzustellen und, um die Empfindlichkeit der zweiten Gruppe (101b) von Bilddetektoren (105) in Abhängigkeit von Lichtverhältnissen im zweiten Bildfeld (109b) und unabhängig von den Lichtverhältnissen im ersten Bildfeld (109a) einzustellen.

Abbildungsvorrichtung (100) gemäß einem der Ansprüche 1 bis 3, die ausgebildet ist, um für einen Belichtungszyklus des Bildsensors (101) die Empfindlichkeiten der ersten Gruppe (101a) von Bilddetektoren (105) und der zweiten Gruppe (101b) von Bilddetektoren (105) so einzustellen, dass in dem Belichtungszyklus kein Bilddetektor der ersten Gruppe (101a) von Bilddetektoren (105) und kein Bilddetektor der zweiten Gruppe (101b) von Bilddetektoren (105) überbelichtet oder unterbelichtet wird.

5. Abbildungsvorrichtung (100) gemäß einem der Ansprüche 1 bis 4, wobei die Mehrkanaloptik (103) zumindest in dem ersten Kanal (107a) ein Filter (l i la) mit einstellbarer Transparenz zur Einstellung der Empfindlichkeit der ersten Gruppe (101a) von Bilddetektoren (105) aufweist.

6. Abbildungsvorrichtung (100) gemäß Anspruch 5, wobei die Mehrkanaloptik (103) ferner im zweiten Kanal (107b) ein weiteres Filter (111b) mit einstellbarer Transparenz zur Einstellung der Empfindlichkeit der zweiten Gruppe (101b) von Bilddetektoren (105) aufweist; und wobei die Transparenz des Filters (l i la) im ersten Kanal (107a) unabhängig von der Transparenz des weiteren Filters (1 1 lb) im zweiten Kanal (107b) einstellbar ist.

7. Abbildungsvorrichtung (100) gemäß einem der Ansprüche 1 bis 6, wobei eine Belichtungszeit der ersten Gruppe (101a) von Bilddetektoren (105) unabhängig von einer Belichtungszeit der zweiten Gruppe (101b) von Bilddetektoren (105) einstellbar ist.

8. Abbildungsvorrichtung (100) gemäß einem der Ansprüche 1 bis 7, wobei ein Zeitpunkt eines Rücksetzpulses der ersten Gruppe (101a) von Bilddetektoren (105) unabhängig von einem Zeitpunkt eines Rücksetzpulses der zweiten Gruppe (101b) von Bilddetektoren (105) einstellbar ist.

9. Abbildungsvorrichtung (100) gemäß einem der Ansprüche 1 bis 8, wobei der erste Kanal (107a) ein erstes Farbfilter (113a) aufweist und der zweite Kanal (107b) ein zweites Farbfilter (1 13b) aufweist.

10. Abbildungsvorrichtung gemäß Anspruch 9, die ausgebildet ist, um die Empfindlichkeit der ersten Gruppe (101a) von Bilddetektoren (105) in Abhängigkeit von einer Lichtfarbe im ersten Bildfeld (109a) einzustellen und um die Empfindlichkeit der zweiten Gruppe (101b) von Bilddetektoren (105) in Abhängigkeit von einer Lichtfarbe im zweiten Bildfeld (109b) und unabhängig von der Lichtfarbe im ersten Bildfeld (109a) einzustellen.

Abbildungsvorrichtung (100) gemäß einem der Ansprüche 1 bis 10, wobei die erste Gruppe (101a) von Bilddetektoren (105) und die zweite Gruppe (101b) von Bilddetektoren (105) auf einem gemeinsamen Chip des Bildsensors angeordnet sind.

Abbildungsvorrichtung (100) gemäß einem der Ansprüche 1 bis 11, wobei die Mehrkanal optik (103) eine Mehrzahl von Linsen aufweist; wobei eine erste Linse (103 a) oder eine erste Gruppe von Linsen aus der Mehrzahl von Linsen zusammen mit der ersten Gruppe (101a) von Bilddetektoren (105) den ersten Kanal (107a) bilden, so dass Licht, welches durch die erste Linse (103a) oder Linsen der ersten Gruppe von Linsen fällt, nur auf Bilddetektoren der ersten Gruppe (101a) von Bilddetektoren (105) trifft; und wobei eine zweite Linse (103b) oder eine zweite Gruppe von Linsen aus der Mehrzahl von Linsen zusammen mit der zweiten Gruppe (101b) von Bilddetektoren (105) den zweiten Kanal (107b) bilden, so dass Licht, welches durch die zweite Linse (103b) oder die zweite Gruppe von Linsen fällt, nur auf Bilddetektoren der zweiten Gruppe (101b) von Bilddetektoren (105) trifft.

Verfahren (200) zum Betreiben einer Abbildungsvorrichtung (100) mit einer Mehrkanaloptik (103) und einem Bildsensor (101) mit einer ersten Gruppe (101a) von Bilddetektoren (105) und einer zweiten Gruppe (101b) von Bilddetektoren (105), wobei die Mehrkanaloptik (103) ausgebildet ist, um in einem ersten Kanal (107a) ein erstes Bildfeld (109a) auf die erste Gruppe (101a) von Bilddetektoren (105) abzubilden und, um in einem zweiten Kanal (107b) ein zweites Bildfeld (109b) auf die zweite Gruppe (101b) von Bilddetektoren (105) abzubilden und wobei sich das erste Bildfeld (109a) und das zweite Bildfeld (109b) nicht oder nur weniger als 50% überlagern, mit dem folgenden Schritt: Einstellen (201) einer Empfindlichkeit der ersten Gruppe (101a) von Bilddetektoren (105) unabhängig von einer Empfindlichkeit der zweiten Gruppe (101b) von Bilddetektoren (105).

Computerprogramm mit einem Programmcode zur Durchführung des Verfahrens nach Anspruch 13, wenn das Programm auf einem Computer abläuft.