DE102012106584A1

DE102012106584A1 - Verfahren und Vorrichtung zur Bildrekonstruktion

Info

Publication number: DE102012106584A1
Application number: DE102012106584.5A
Authority: DE
Inventors: Norbert Kerwien; Michael KIEWEG
Original assignee: Carl Zeiss AG
Current assignee: Carl Zeiss AG
Priority date: 2012-07-20
Filing date: 2012-07-20
Publication date: 2014-01-23
Anticipated expiration: 2032-07-21
Also published as: US9516242B2; US20150181131A1; DE102012106584B4; WO2014013021A1

Abstract

Eine Vorrichtung (1) zur Bildrekonstruktion umfasst ein optisches System (10) und eine Steuerung (21) zum Steuern des optischen Systems (10), die eingerichtet ist, um das optische System (10) zum Erfassen mehrerer Einzelbilder so zu steuern, dass wenigstens ein Parameter des optischen Systems (10) beim Erfassen von wenigstens zwei Einzelbildern unterschiedlich ist. Die Vorrichtung umfasst eine Verarbeitungseinrichtung (22) zum digitalen Rekonstruieren eines Bildes abhängig von den mehreren Einzelbildern und abhängig von Informationen über optische Übertragungsfunktionen des optischen Systems (10) beim Erfassen der mehreren Einzelbilder.

Description

Die Erfindung betrifft Verfahren und Vorrichtungen zur Bildrekonstruktion. Die Erfindung betrifft insbesondere derartige Verfahren und Vorrichtungen, bei denen aus mehreren Einzelbildern, die dasselbe Objekt zeigen, rechnerisch ein Bild rekonstruiert wird.
Moderne optische Systeme sollen heutzutage immer höheren Anforderungen an die Bildqualität genügen. Dies kann zum durch hochgenaue und qualitativ hochwertige Optiken (z.B. im Spiegelreflexkamerabereich) erfolgen. Bei alternativen Ansätzen werden günstigere Optiken in Kombination mit anschließender Nachverarbeitung verwendet. Letztere Ansätze werden beispielsweise bei in Mobiltelefonen integrierten Kameras eingesetzt. Hochwertige Optiken zeigen zwar eine bessere Bildqualität, sind aber im Anschaffungspreis wesentlich teurer. Aber auch bei dem Ansatz, billigere Optiken mit anschließender Nachverarbeitung zu verwenden, gibt es Limitierungen, da sich bei herkömmlichen Ansätzen optische Aberrationen oft nur mit Einbußen an Bildqualität kompensieren lassen. Wie effektiv sich optische Aberrationen entfalten lassen, hängt im Wesentlichen vom Kontrast der Modulationsübertragungsfunktion („Modulation Transfer Function“, MTF) und vom Signal-zu-Rausch Verhältnisses (SNR) des Bildes ab. Ist bei bestimmten Ortsfrequenzen der durch die MTF angegebene Kontrast im Verhältnis zum SNR gering, so lassen sich diese Ortsfrequenzen nicht oder nur unter gewissen Zusatzannahmen rekonstruieren. Dies ist insbesondere für Ortsfrequenzbereiche der Fall, bei denen die MTF aberrationsbedingt Nullstellen aufweist. Derartige Nullstellen in der MTF können beispielsweise bei Astigmatismus oder Defokus auftreten.
Darüber hinaus können bei einfacheren Optiken auch wellenlängenabhängige optische Aberrationen auftreten. Ein Beispiel hierfür sind Farbquerfehler und Farblängsfehler, die mit herkömmlichen Ansätzen zur digitalen Nachverarbeitung nicht oder nur schwer kompensierbar sind.
Die folgenden Ansätze wurden herkömmlich verfolgt, um eine höhere Bildqualität zu erreichen:
Hochwertigere Optiken können eingesetzt werden. Dies kann jedoch neben Kostennachteilen auch zu hohem Bauraum und hohem Gewicht führen. Darüber hinaus kann mit größerer Anzahl von Linsen die Reflexanfälligkeit des Systems erhöht und/oder die Transmission verringert werden. Für viele Anwendungen im Endbenutzerbereich, aber auch im Bereich teurer Spezialgeräte ist dies von Nachteil.
Es können einfachere Optiken verwendet und Entfaltungsverfahren eingesetzt werden. Optische Aberrationen, die von günstigeren Optiken erzeugt werden, können durch Simulationen oder Messungen nach der Fertigung bestimmt werden und anschließend mit Hilfe von bekannten Entfaltungsverfahren, beispielsweise dem Wienerfilter, entfaltet werden. Allerdings sind mit derartigen Techniken Aberrationen nur bis zu einer gewissen Grenze kompensierbar. Insbesondere wenn die Kontraste der MTF in Relation zum Rauschen klein sind, können je nach Entfaltungsverfahren verschiedene Bildartefakte, beispielsweise Bildrauschen oder so genannte Ringing-Artefakte, entstehen.
Wenn die Sensitivität eines Bildsensors einen größeren Wellenlängenbereich überdeckt, kann sich die Punktspreizfunktion („Point Spread Function“, PSF) bzw. MTF wellenlängenabhängig ändern. Dies gilt beispielsweise, wenn jeder von mehreren Farbkanälen des Bildsensors ein größeres Wellenlängenintervall überdeckt. Dies erschwert die Bildrekonstruktion, da wellenlängenabhängig eine Faltung mit unterschiedlichen PSFs erfolgt. Eine Entfaltung kann beispielsweise mit einer polychromatischen PSF erfolgen, mit der die Variation der PSF mit der Wellenlänge zumindest in einem gewissen Umfang berücksichtigt werden kann. Jedoch bleibt eine digitale Kompensation beispielsweise von Farbquerfehlern nur bedingt möglich. Mit polychromatischen PSFs kann bei herkömmlichen Ansätzen nur die Verschiebung zwischen zwei Farbkanälen kompensiert werden. Die nicht kompensierten Farbquerfehler innerhalb des Sensitivitätsbereichs eines Farbkanals bleiben zumindest teilweise bestehen. Eine Einschränkung dahingehend, dass sich die PSF für eine anschließende Bildrekonstruktion nicht oder nur wenig innerhalb des Spektralbereiches eines Farbkanals ändern darf, stellt eine große Einschränkung für das Optikdesign dar und erfordert teurere und genauere Optiken. Darüber hinaus ist bei herkömmlichen Ansätzen eine wellenlängenaufgelöste Rekonstruktion nur bedingt möglich und häufig auf die Anzahl der Farbkanäle des Bildsensors beschränkt.
Um Verbesserungen im Hinblick auf die genannten Nachteile zu realisieren, können Rekonstruktionsverfahren so genannte Image Priors verwenden. Dies ist beispielhaft in J.-H. Lee, Y.-S. Ho. Non-blind image deconvolution with adaptive regularization. Advances in Multimedia Information Processing – PCM 2010, Lecture Notes in Computer Science, 2010, Volume 6297/2010, Seiten 719–730, Springer-Verlag Berlin Heidelberg 2010 beschrieben. Bei Verfahren unter Verwendung von Image Priors wird versucht, typische Eigenschaften eines guten, d.h. scharfen und rauschfreien, Bildes zu modellieren. Die Image Priors können bei der Entfaltung als Regularisierung verwendet und „bestrafen“ Ergebnisse mit starken Artefakten. Image Priors sind aber nur eine beschränkte Modellierung des perfekten Bildes, denn die Eigenschaften eines guten Bildes sind auch vom Objekt abhängig. Deshalb können bei Rekonstruktion unter Verwendung von Image Priors unscharfe rekonstruierte Bilder resultieren. Die Qualität des resultierenden Bilds kann je nach Objekt von stark unterschiedlicher Qualität sein.
Kodierte Aperturen oder Phasenmasken können beispielweise verwendet werden, um Bilder mit erweiterter Tiefenschärfe zu erzeugen. Es werden Aberrationen eingeführt, die die Eigenschaft haben, dass sie gut entfaltbar sind, wobei andere Aberrationen (wie beispielsweise ein Defokus) darin untergehen. Nach der Entfaltung erhält man ein Bild mit einer hohen Tiefenschärfe. Die optimale Form der kodierten Apertur hängt von den Aberrationen ab, so dass sie für jedes optische System speziell optimiert und gefertigt werden muss. Eine vorgegebene kodierte Apertur ist bei dem entsprechenden optischen System häufig nur für eine ganz bestimmte Zoom- und Fokusstellung optimal.
Darüber hinaus gibt es Schärfungsverfahren, die keine oder nur eingeschränkte Informationen über das optische System benötigen. So beschreibt beispielsweise die WO 05/031645 A ein Verfahren, bei dem aus einem fokussiert aufgenommenen Bild rechnerisch ein unschärferes Bild erzeugt und diese Bilder dann rechnerisch kombiniert werden, wobei keine Informationen über das optische System benötigt werden. Bei Verfahren, die optischen Abbildungseigenschaften nicht berücksichtigen, kann die resultierende Bildqualität im Vergleich zu Entfaltungsverfahren eingeschränkt sein. Rauschen kann ausgeprägt sein. Starke Aberrationen können mit Verfahren, die keine Informationen über das optische System verwenden, nicht kompensiert werden.
Der Erfindung liegt die Aufgabe zugrunde, Verfahren und Vorrichtungen anzugeben, die Verbesserungen im Hinblick auf wenigstens einige der oben beschriebenen Nachteile herkömmlicher Verfahren bieten. Der Erfindung liegt insbesondere die Aufgabe zugrunde, Verfahren und Vorrichtungen anzugeben, die auch bei schlechteren Abbildungseigenschaften, die beispielsweise zu Nullstellen der Modulationsübertragungsfunktion und/oder zu einer starken Wellenlängenabhängigkeit der optischen Übertragungsfunktion führen, durch digitale Verarbeitung ein qualitativ hochwertiges Bild zu rekonstruieren. Der Erfindung liegt insbesondere die Aufgabe zugrunde, Verfahren und Vorrichtungen anzugeben, die auch bei Verwendung einer einfachen Optik, wellenlängenabhängiger Aberration und bei extremen Zoomstellungen die Rekonstruktion eines qualitativ hochwertigen Bildes erlauben.
Nach Ausführungsbeispielen werden ein Verfahren und eine Vorrichtung mit den in den unabhängigen Ansprüchen angegebenen Merkmalen bereitgestellt. Die abhängigen Ansprüche definieren Ausführungsformen.
Bei einigen Ausführungsbeispielen wird wenigstens ein Parameter eines optischen Systems gezielt so geändert, dass mehrere Einzelbilder mit unterschiedlichen optischen Übertragungsfunktionen (OTFs), insbesondere auch mit unterschiedlichen Modulationsübertragungsfunktionen (MTFs) erfasst werden. Beispielsweise kann eine Pupillenaberration gezielt geändert werden, bevor ein zweites Einzelbild erfasst wird, um zwei Einzelbilder desselben Objekts mit unterschiedlichen optischen Übertragungsfunktionen zu erfassen. Es erfolgt eine rechnerische Rekonstruktion, die sowohl von den zwei Einzelbildern als auch den optischen Übertragungsfunktionen des optischen Systems bei der Erfassung der Einzelbilder abhängt. Bei einigen Ausführungsbeispielen kann die Pupillenaberrationen derart manipuliert werden, dass die Ortsfrequenzbereiche, in denen die Modulationsübertragungsfunktion bei der ersten Bilderfassung zu einem niedrigen Signal-Rausch-Verhältnis (SNR) führt, bei der zweiten Bilderfassung in andere Ortsfrequenzbereiche geschoben werden. Somit werden auch diejenigen Ortsfrequenzbereiche im rekonstruierten Bild zugänglich, die aufgrund des schlechten Signal-Rausch-Verhältnisses bei nur einer Einzelbilderfassung verborgen bleiben würden. Die Pupillenaberrationen können dabei für die Aufnahme der Einzelbilder so manipuliert werden, dass für jede Ortsfrequenz mindestens ein Einzelbild ein hinreichend großes Signal-Rausch-Verhältnis aufweist.
Alternativ oder zusätzlich zur Änderung der Aberration des optischen Systems können, beispielsweise durch Verwendung eines periodischen Beleuchtungsmusters, Ortsfrequenzen des Objekts in den Einzelbildern relativ zueinander verschoben werden, um die Ortsfrequenzbereiche des Objektes, die zu niedrigen Werten der Modulationsübertragungsfunktion des optischen Systems korrespondieren und dadurch ein niedriges Signal-Rausch-Verhältnis aufweisen, in Ortsfrequenzbereiche zu verschieben, bei denen die Modulationsübertragungsfunktion größer ist und somit einem höheren Kontrast entspricht.
Bei Ausführungsbeispielen der Erfindung werden mindestens zwei Einzelbilder desselben Objektes mit unterschiedlichen, aber bekannten Parametern des optischen Systems aufgenommen, beispielsweise mit unterschiedlichen Pupillenaberrationen. Diese Aberrationen können beispielsweise durch einen schnell schaltbaren Pupillenfilter eingeführt werden, der Einrichtungen wie Zuschaltelemente, mikro-elektromechanische Systeme (MEMS), digitale Mikrospiegel (DMDs), deformierbare Spiegel, räumliche Lichtmodulatoren etc. umfassen kann. Insbesondere kann beispielsweise gezielt ein Defokus eingeführt werden, um eines der Einzelbilder zu erfassen. Die Einführung eines Defokus kann zum einen durch ein multifokales Aufnahmesystem in einem Schuss oder durch die schnell aufeinander folgende Aufnahme zweier Bilder mit leichtem Defokus geschehen. Ersteres erlaubt, dass die beiden leicht defokussierten Bilder in einem Schuss aufgenommen werden können und deshalb das Objekt in beiden Aufnahmen auf jeden Fall konstant ist. Letzteres kann so realisiert werden, dass man die Bilder so schnell hintereinander aufnehmen kann, dass sich das Objekt nicht ändert. Da eine Defokussierung beispielsweise durch Verschiebung des Sensors realisiert werden kann, stehen derartige Systeme zur Einführung eines Defokus mit rascher Bildaufnahmefolge zur Verfügung. Ausführungsbeispiele der vorliegenden Erfindung sind allerdings unabhängig von der spezifischen Realisierung der Defokussierung und genauso verwendbar, wenn mit anderen Methoden defokussiert oder die Pupille auf andere Art und Weise manipuliert wird.
Bei Ausführungsbeispielen kann die Pupillenaberrationen derart manipuliert werden, dass sich die optische Übertragungsfunktion abhängig von der Lichtwellenlänge ändert. Es können wiederum mehrere Einzelbilder erfasst werden. In einer Optimierungsprozedur kann spektral aufgelöst rekonstruiert werden. Auf Grund der unterschiedlichen Sensitivitäten der einzelnen Farbkanäle für die einzelnen Wellenlängen können unterschiedliche Spektren, die an sich in einem Farbkanal gemischt vorliegen, getrennt werden. Es wird somit durch die gezielte Änderung eines Parameters des optischen Systems zusätzliche Information gewonnen, nämlich ein oder mehrere weitere Einzelbilder, die mit anderer optische Übertragungsfunktion erfasst wurden. Diese zusätzliche Information kann zur spektral aufgelösten Rekonstruktion verwendet werden, d.h. es kann spektral aufgelöst entfaltet werden. Farbquerfehler können digital kompensiert werden.
Bei einem Verfahren zur Bildrekonstruktion nach einem Ausführungsbeispiel werden mehrerer Einzelbilder unter Verwendung eines optischen Systems erfasst, wobei wenigstens ein Parameter des optischen Systems automatisch so geändert wird, dass er beim Erfassen von wenigsten zwei Einzelbildern unterschiedlich ist. Ein Bild wird abhängig von den mehreren Einzelbildern und abhängig von Informationen über optische Übertragungsfunktionen des optischen Systems beim Erfassen der mehreren Einzelbilder rekonstruiert.
Bei dem Verfahren werden durch mehrere Bildaufnahmen mit gleichem Sichtfeld zusätzliche Informationen über das Objekt gewonnen, auch wenn das optische System so einfach ausgestaltet ist, dass es beispielsweise Nullstellen in der optischen Übertragungsfunktion aufweist. Durch Verwendung von Informationen über die optischen Übertragungsfunktionen, die das optische System beim Erfassen der mehreren Einzelbilder jeweils aufweist und die voneinander unterschiedlich sein können, zur Rekonstruktion des Bildes kann ein qualitativ hochwertiges Bild auch aus mehreren Einzelbildern rekonstruiert werden, die jeweils nur eine geringe Qualität, beispielsweise aufgrund eines hohen Astigmatismus und/oder eines Defokus, aufweisen.
Die Änderung des wenigstens einen Parameters kann beispielsweise eine Änderung einer Aperration des Systems, eine Pupillenmanipulation, insbesondere eine Einstellung eines Defokus für eines der Einzelbilder, eine Änderung einer periodisch räumlich modulierten Beleuchtung und/oder eine gezielte Relativbewegung zwischen Objekt und optischem System umfassen.
Eine Änderung des wenigstens einen Parameters kann abhängig von wenigstens einer der optischen Übertragungsfunktionen, die das optische System beim Erfassen der Einzelbilder aufweist, gewählt werden. Die entsprechende Änderung des Parameters kann für das jeweilige optische System in einer Vorverarbeitung vorab berechnet und in einem Speicher einer Steuerung abgelegt werden. Die Änderung des wenigstens einen Parameters kann basierend auf einer Optimierungsprozedur festgelegt werden, beispielsweise so, dass für jede Ortsfrequenz, die mit einem Bildsensor des optischen Systems erfassbar ist, wenigstens eine der unterschiedlichen Modulationsübertragungsfunktionen einen Wert aufweist, der größer als ein vorgegebener Schwellenwert ist.
Die Änderung des wenigstens einen Parameters kann eine Änderung einer Aberration des optischen Systems umfassen.
Ein erstes Einzelbild kann mit einer ersten optischen Übertragungsfunktion erfasst werden. Ein zweites Einzelbild kann mit einer davon verschiedenen zweiten optischen Übertragungsfunktion erfasst werden. Das Bild kann abhängig von sowohl Informationen über die erste optische Übertragungsfunktion als auch Informationen über die zweite optische Übertragungsfunktion rekonstruiert werden. Insbesondere kann der wenigstens eine Parameter so geändert werden, dass nicht nur eine Phasenverschiebung zwischen den Übertragungsfunktionen vorliegt, sondern auch der Absolutbetrag der ersten optischen Übertragungsfunktion (d.h. eine erste Modulationsübertragungsfunktion bei der Aufnahme des ersten Einzelbildes) von dem Absolutbetrag der zweiten optischen Übertragungsfunktion (d.h. einer zweiten Modulationsübertragungsfunktion bei der Aufnahme des zweiten Einzelbildes) verschieden ist.
Die Änderung des wenigstens einen Parameters kann abhängig davon gewählt werden, bei welchen Ortsfrequenzen eine erste Modulationsübertragungsfunktion, die ein Absolutbetrag der ersten optischen Übertragungsfunktion ist, kleiner als ein Schwellenwert ist, oder abhängig davon, bei welchen Ortsfrequenzen eine zweite Modulationsübertragungsfunktion, die ein Absolutbetrag der zweiten optischen Übertragungsfunktion ist, kleiner als der Schwellenwert ist. Dadurch kann eine gezielte Parameteränderung derart erreicht werden, dass auch Ortsfrequenzen mit schlechtem Signal-Rausch-Verhältnis, d.h. kleinem Wert der Modulationsübertragungsfunktion, bei der Aufnahme des ersten Einzelbildes bei der Aufnhame des zweiten Einzelbildes mit höherem Kontrast erfasst werden.
Die Änderung des wenigstens einen Parameters kann so gewählt werden, dass die zweite Modulationsübertragungsfunktion bei denjenigen Ortsfrequenzen, bei denen die erste Modulationsübertragungsfunktion kleiner als der Schwellenwert ist, größer als der Schwellenwert ist. Die Bestimmung der entsprechenden Änderung des Parameters kann in einer rechnerischen Vorverarbeitung erfolgen, und die Änderung des Parameters kann als entsprechende Steuerinformation in einem eingebetteten Speicher der Vorrichtung hinterlegt sein, die das Verfahren ausführt.
Das Rekonstruieren des Bildes kann abhängig davon erfolgen, bei welchen Ortsfrequenzen die erste Modulationsübertragungsfunktion größer als die zweite Modulationsübertragungsfunktion ist. Insbesondere können (Frequenzraum-)Daten desjenigen Einzelbilds zur Rekonstruktion verwendet werden, für die die zugeordnete Modulationsübertragungsfunktion bei der entsprechenden Ortsfrequenz den größten Wert hat. D.h., für diejenigen Ortsfrequenzen, bei denen die erste Modulationsübertragungsfunktion größer als die zweite Modulationsübertragungsfunktion ist, können die (Frequenzraum-)Daten des ersten Einzelbildes stärker gewichtet werden als die des zweiten Einzelbildes und umgekehrt. Zur Rekonstruktion kann für jede Ortsfrequenz die Information aus demjenigen Einzelbild verwendet werden, das für die entsprechende Ortsfrequenz das beste Signal-Rausch-Verhältnis aufweist.
Die Änderung des wenigstens einen Parameters kann so gewählt werden, dass bei jeder Ortsfrequenz wenigstens eine der Modulationsübertragungsfunktionen größer als ein Schwellenwert ist.
Falls mehr als zwei Einzelbilder erfasst werden, können die oben genannten Kriterien entsprechend verallgemeinert werden. Beispielsweise kann das Rekonstruieren des Bildes abhängig davon erfolgt, welche der Modulationsübertragungsfunktionen für die unterschiedlichen Bildaufnahmen der Einzelbilder bei einer Ortsfrequenz den größten Wert aufweist. Die Änderung des wenigstens einen Parameters für die unterschiedlichen Bildaufnahmen der Einzelbilder kann so gewählt werden, dass bei jeder Ortsfrequenz wenigstens eine der Modulationsübertragungsfunktionen größer als ein Schwellenwert ist. Die Änderung des wenigstens einen Parameters für die unterschiedlichen Bildaufnahmen der Einzelbilder kann so gewählt werden, dass bei jeder Ortsfrequenz wenigstens eine der Modulationsübertragungsfunktionen größer als ein vom Rauschen bei der entsprechenden Ortsfrequenz abhängiger Schwellenwert ist.
Die Aufnahme der Einzelbilder bzw. die Änderung des wenigstens einen Parameters kann so erfolgen, dass ein Maximum der einzelnen Modulationsübertragungsfunktionen bei allen Ortsfrequenzen einen möglichst großen Wert hat. Die Aufnahme der Einzelbilder bzw. die Änderung des wenigstens einen Parameters kann so erfolgen, dass ein Maximum der einzelnen Modulationsübertragungsfunktionen bei allen Ortsfrequenzen möglichst groß ist.
Die erste optische Übertragungsfunktion kann relativ zu der zweiten optischen Übertragungsfunktion eine Phasenverschiebung aufweisen. Eine entsprechende Änderung des wenigstens einen Parameters des optischen Systems, der zu einer Phasenverschiebung führt, kann insbesondere zur multispektralen, d.h. wellenlängenaufgelösten, Rekonstruktion verwendet werden.
Das Rekonstruieren des Bildes kann abhängig von einer Wellenlängenabhängigkeit der optischen Übertragungsfunktionen beim Erfassen der Einzelbilder erfolgen. Dadurch können Farbquerfehler digital kompensiert und/oder eine multispektrale Rekonstruktion vorgenommen werden.
Das optische System kann einen Bildsensor mit einer Mehrzahl von Farbkanälen umfassen. Das Rekonstruieren des Bildes kann abhängig von einer Wellenlängenabhängigkeit einer Sensitivität des Bildsensors für die Mehrzahl von Farbkanälen erfolgen.
Das Bild kann multispektral rekonstruiert werden. D.h., es kann eine separate Rekonstruktion für mehrere Lichtwellenlängen erfolgen. Dabei kann die Anzahl der Wellenlängen, für die das Bild rekonstruiert wird, größer als die Zahl der Farbkanäle des Bildsensors sein. Die für eine derartige multispektrale Rekonstruktion erforderlichen Informationen werden durch Erfassung mehrerer Bilder, die entsprechenden optischen Übertragungsfunktionen sowie Kenntnis der Wellenlängenabhängigkeit der optischen Übertragungsfunktionen gewonnen.
Eine Anzahl der Einzelbilder, die erfasst wird, kann abhängig von einer Anzahl von Wellenlängen, für die das Bild rekonstruiert werden soll, automatisch festgelegt werden. Es kann eine umso größere Anzahl von Einzelbildern erfasst werden, je größer die Anzahl von Wellenlängen ist, für die das Bild rekonstruiert werden soll. Um ausreichende Information für die multispektrale Rekonstruktion zu erhalten, kann eine Anzahl J von Einzelbildern, die erfasst und rechnerisch verarbeitet werden, so gewählt sein, dass J L K, wobei L die Anzahl von Farbkanälen des Bildsensors und K die Anzahl von Wellenlängen, für die das Bild rekonstruiert werden soll, ist.
Die Änderung des wenigstens einen Parameters kann dahingehend optimiert gewählt werden, dass aus den mit mehreren unterschiedlichen optischen Übertragungsfunktionen erfassten Bildern möglichst viel Information rekonstruierbar ist. Unterschiedliche Optimierungskriterien können verwendet werden. Beispielsweise kann die Änderung des wenigstens einen Parameters so gewählt werden, dass für jede Ortsfrequenz wenigstens eine der Modulationsübertragungsfunktionen ausreichend groß ist, um ein gutes Signal-Rausch-Verhältnis bei der entsprechenden Ortsfrequenz zu erreichen. Für eine multispektrale Rekonstruktion unter Verwendung einer Optimierungsprozedur, die aus den mehreren erfassten Einzelbildern und den zugehörigen optischen Übertragungsfunktionen das Objekt wellenlängenaufgelöst rekonstruiert, kann die Änderung des wenigstens einen Parameters so gewählt sein, dass die Optimierungsprozedur in numerischem Sinn gut konditioniert ist. Für eine Matrizenformulierung des Optimierungsproblems kann die Änderung des wenigstens einen Parameters so gewählt werden, dass die entsprechende Matrix gut konditioniert ist, also eine möglichst gute Kondition aufweist.
Die optischen Übertragungsfunktionen, die zur digitalen Rekonstruktion aus den Einzelbildern verwendet werden, können durch rechnerische Simulation des optischen Systems und/oder durch Messungen am optischen System ermittelt werden. Die optischen Übertragungsfunktionen können für unterschiedlichen Einstellungen, beispielsweise unterschiedliche Zoomeinstellungen, unterschiedlichen Defokus etc., ermittelt werden. Die Bestimmung der Parameteränderung, beispielsweise eines Defokus oder einer anderen Aberrationsänderung, kann basierend auf den durch rechnerische Simulation des optischen Systems und/oder durch Messungen am optischen System ermittelten optischen Übertragungsfunktionen erfolgen.
Bei einer rechnerischen Simulation des optischen Systems können unterschiedliche Modelle zugrunde gelegt werden, beispielsweise ein inkohärentes optisches Modell, ein kohärentes optisches Modell, ein partiell kohärentes optisches Modell oder eine lineare Approximation an ein partiell kohärentes optisches Modell.
Die Ausnutzung der Variation wenigstens eines Parameters des optischen Systems zur Erfassung der Einzelbilder kann auf einer spektralen Kodierung basieren. Dabei werden spektrale Unterschiede der optischen Aberrationen genutzt. Eine Aberration bei einer ersten Lichtwellenlänge kann von einer Aberration bei einer zweiten Lichtwellenlänge unterschiedlich sein. Werden Einzelbilder mit diesen unterschiedlichen Aberrationen erfasst, beispielsweise durch einen Bildsensor mit mehreren Farbkanälen, können die Einzelbilder zu einem Bild höherer Qualität fusioniert werden. Die optische Aberration kann beispielsweise einen Farblängsfehler umfassen oder ein Farblängsfehler sein. Ein Farblängsfehler bedeutet, dass die unterschiedlichen Farben unterschiedliche Fokuslagen haben. In diesem Fall macht man sich zunutze, dass Ortsfrequenzen, die in einem der Farbkanäle auf einen niedrigen Modulationsübertragungsfunktion-Kontrast treffen in einem der anderen Farbkanäle auf einen anderen, möglichst großen Kontrast treffen. Die Information die in einem Farbkanal fehlt wird also aus anderen Farbkanälen gewonnen. Gute Ergebnisse werden hierbei insbesondere erzielt, wenn das Objekt bezüglich den einzelnen Wellenlängen relativ konstant ist, d.h. das Objekt beispielsweise für die mehreren relevanten Wellenlängen dasselbe geometrische Abstrahlungsmuster aufweist. Für das Optikdesign bedeutet ein derartiger Ansatz, dass man sich beispielsweise Farblängsfehler, die eigentlich möglichst vermieden werden sollten, zunutze machen kann.
Das optische System kann eine Beleuchtungseinrichtung zum Beleuchten des Objekts umfassen. Die Manipulation des optischen Systems kann ein Steuern der Beleuchtungseinrichtung derart, dass ein Ortsfrequenzbereich des Objekts verschoben wird, umfassen. Dazu kann beispielsweise ein räumlich periodisch moduliertes Beleuchtungsmuster erzeugt und auf das Objekt eingestrahlt werden. Die Aufnahme der Einzelbilder kann dann jeweils mit derselben optischen Übertragungsfunktion erfolgen. Die Steuerung der Beleuchtungseinrichtung für die unterschiedlichen Bildaufnahmen von Einzelbildern, beispielsweise die jeweils eingestellte Periodizität des räumlich periodisch modulierten Beleuchtungsmusters, kann von der optischen Übertragungsfunktion abhängig sein. Die Steuerung der Beleuchtungseinrichtung, beispielsweise die Periode des räumlich periodisch modulierten Beleuchtungsmusters, für die unterschiedlichen Bildaufnahmen von Einzelbildern, kann von der Ortsfrequenz bzw. den Ortsfrequenzen, bei denen die optische Übertragungsfunktion eine Nullstelle aufweist, abhängen. Der Ortsfrequenzbereich des Objekts kann durch schräge Beleuchtung verschoben werden.
Eine Steuerung kann eine Einstellung des optischen Systems beim Erfassen eines ersten Einzelbildes erkennen, abhängig von der erkannten Einstellung kennfeldbasiert die Änderung des wenigstens einen Parameters ermitteln und das optische System so steuern, dass ein zweites Einzelbild mit dem geänderten wenigstens einen Parameter erfasst wird. Dies kann so geschehen, dass eine optische Übertragungsfunktion des optischen Systems beim Erfassen des zweiten Einzelbildes von einer optischen Übertragungsfunktion beim Erfassen des ersten Einzelbildes verschieden ist. Alternativ oder zusätzlich kann beispielsweise durch eine Steuerung einer Beleuchtung, die von dem optischen System zur Erfassung der Einzelbilder verwendet wird, geändert werden.
Die Änderung des wenigstens einen Parameters kann eine oder mehrere der folgenden Maßnahmen umfasst:

– Einstellen einer Pupille des optischen Systems,
– Einstellen eines Defokus oder eines Fokalpunkts,
– Einstellen eines Farblängsfehlers,
– polarisationskodierte Manipulation, insbesondere durch Einstellen einer Jones-Pupille,
– Einstellen einer räumlichen Lichtmodulation,
– Einstellen einer Verschiebung von Ortsfrequenzen des Objekts durch Beleuchtung,
– Einstellen einer zweidimensionalen Orientierung der optischen Übertragungsfunktion,
– Einstellen eines Abbildungsmaßstabes, und/oder
– Einstellen einer Pixelgröße eines Bildsensors.

Falls eine Jones-Pupille eingestellt wird, kann die Jones-Pupille Eigenschaften aufweisen, die mit elektrischen Befehlen steuerbar sind. Die Jones-Pupille kann durch doppelbrechende optisch aktive oder andere polarisationsoptische Materialien erzeugt werden.
Alternativ oder zusätzlich kann ein Apodisationsfilter zur Manipulation des Lichtwellenfeldes verwendet werden. Das Apodisationsfilter kann steuerbar sein. Die Pupille kann durch Abblenden verkleinert werden.
Alternativ oder zusätzlich kann bei einem nicht rotationssymmetrischen System eine Manipulation zweidimensional erfolgen, beispielsweise durch Beeinflussung einer Komponente des optischen Systems derart, dass die Modulationsübertragungsfunktion relativ zum Bildsensor gedreht wird.
Alternativ oder zusätzlich kann eine Relativverschiebung zwischen Objekt und optischem System hervorgerufen werden, um eine effektive Veränderung der optischen Übertragungsfunktion zu bewirken. Dabei kann eine örtliche Veränderung der Punktspreizfunktion und somit der optischen Übertragungsfunktion ausgenutzt werden.
Alternativ oder zusätzlich können durch eine Änderung eines Abbildungsmaßstabes Nullstellen einer Modulationstransferfunktion des optischen Systems verschoben werden. Alternativ oder zusätzlich können die Einzelbilder gezielt mit unterschiedlicher Pixelgröße erfasst werden. Beispielsweise können ein erster Bildsensor mit einer ersten Pixelgröße zum Erfassen des ersten Einzelbildes und ein zweiter Bildsensor mit einer zweiten Pixelgröße zum Erfassen des zweiten Einzelbildes vorgesehen sein.
Unabhängig von der spezifischen Implementierung der Änderung des wenigstens einen Parameters kann diese Änderung an unterschiedliche Abbildungsbedingungen, beispielsweise an unterschiedliche Lichtintensität oder Signal-Rausch-Verhältnisse angepasst werden. Dazu können aktuelle Abbildungsbedingungen erfasst werden. Es kann automatisch bestimmt werden, wie der wenigstens eine Parameter für die Erfassung der mehreren Einzelbilder jeweils einzustellen ist. Ebenso ist es möglich, die Anzahl der Bildaufnahmen an das Signal-zu-Rausch Verhältnis anzupassen. Je geringer das Signal-zu-Rausch Verhältnis ist, desto mehr Bilder sollten aufgenommen werden. Eine Bildrekonstruktion, bei der das Bild aus mehreren Einzelbildern und unter Verwendung der entsprechenden optischen Übertragungsfunktionen rechnerisch rekonstruiert wird, kann selektiv auch nur unter bestimmten Bedingungen erfolgen, beispielsweise bei Bewegung des optischen Systems bei der Bilderfassung oder bei bestimmten Zoom- oder Fokuseinstellungen.
Das Verfahren kann so ausgestaltet sein, dass durch die mehrfache Bilderfassung mit Änderung des wenigstens einen Parameters und nachfolgende digitale Rekonstruktion wellenlängenabhängige Aberrationen kompensiert werden können. Die wenigstens eine Parameter kann gezielt so geändert werden, dass das Objekt durch die digitale Rekonstruktion mit einer spektralen Auflösung aufgelöst werden kann, die größer als die spektrale Auflösung des Bildsensors ist. Diese Techniken können verwendet werden, um für alle Ortsfrequenzbereich ein gutes Signal-Rausch-Verhältnis sicherzustellen.
Eine multispektrale Rekonstruktion kann eine Optimierungsprozedur umfassen, mit der spektral aufgelöst, d.h. für mehrere Wellenlängen, jeweils eine Darstellung des Objekts ermittelt wird. Zur Lösung dieses Optimierungsproblems können verschiedene Optimierungstechniken verwendet werden, beispielsweise ein Innere-Punkte-Verfahren oder eine aktive Mengenstrategie. Das Optimierungsproblem kann regularisiert werden. Zur Regularisierung können Image Priors verwendet werden. Es kann eine Tikhonov-Regularisierung verwendet werden. Es kann eine Regularisierung des Bildrauschens verwendet werden. Es können spektrale Änderungen des Objekts regularisiert werden.
Wenn die multispektrale Rekonstruktion eine Optimierungsprozedur umfasst, kann die Änderung des wenigstens einen Parameters so gewählt werden, dass das Optimierungsproblem möglichst gut gestellt, d.h. gut konditioniert ist. Wenn die Abbildungen durch eine Systemmatrix beschrieben werden, kann die Änderung des wenigstens einen Parameters so gewählt werden, dass eine Kondition der Systemmatrix möglichst gut ist. Es kann also die Kondition der Systemmatrix als Kriterium für die Bestimmung der Änderung des wenigstens einen Parameters gewählt werden. Die Kondition der Systemmatrix kann auf Konditionen der zu einem Farbkanal des Bildsensors gehörenden Teilmatrizen heruntergebrochen werden.
Wenn die multispektrale Rekonstruktion eine Optimierungsprozedur umfasst, können mathematische Techniken der Relaxierung verwendet werden.
Die Anzahl von Einzelbildern, die erfasst und bei der Rekonstruktion verarbeitet werden, kann abhängig von einer Stärke von wellenlängeabhängigen Aberrationsänderungen gewählt werden. Die Anzahl von Einzelbildern kann insbesondere abhängig davon, wie stark sich die Aberration mit der Wellenlänge ändert, gewählt werden. Bei einer multispektralen Rekonstruktion kann die Anzahl von Einzelbildern, die erfasst und bei der Rekonstruktion verarbeitet werden, abhängig von der gewünschten spektralen Auflösung gewählt werden.
Die Aufnahme der mehreren Einzelbilder kann gleichzeitig erfolgen. Die mehreren Einzelbilder können zeitsequentiell aufgenommen werden, wobei ein zeitlicher Abstand zwischen den Aufnahmen der Einzelbilder kleiner als ein zeitlicher Schwellenwert gewählt ist.
Nach einem weiteren Ausführungsbeispiel wird eine Vorrichtung zur Bildrekonstruktion angegeben, die ein optisches System und eine Steuerung zum Steuern des optischen Systems umfasst. Die Steuerung ist eingerichtet, um das optische System zum Erfassen mehrerer Einzelbilder zu steuern, wobei die Steuerung wenigstens einen Parameter des optischen Systems automatisch so ändert, dass er beim Erfassen von wenigstens zwei Einzelbildern unterschiedlich ist. Die Vorrichtung umfasst eine Verarbeitungseinrichtung zum digitalen Rekonstruieren eines Bildes aus den mehreren Einzelbildern abhängig von den mehreren Einzelbildern und abhängig von optischen Übertragungsfunktionen, die das optische System beim Erfassen der mehreren Einzelbilder jeweils aufweist.
Die Steuerung und die Verarbeitungseinrichtung können mit dem optischen System in einem gemeinsamen Gehäuse kombiniert sein. Die Funktionen der Steuerung und der Verarbeitungseinrichtung können von demselben Prozessor ausgeführt werden. Die Vorrichtung kann beispielsweise als digitale Kamera oder als anderes tragbares elektronisches Gerät mit integrierter Kamera ausgestaltet sein.
Die Verarbeitungseinrichtung kann auch separat von einem Gerät, das das optische System und die Steuerung beinhaltet, vorgesehen sein. Beispielsweise kann die Verarbeitungseinrichtung als separater Auswerterechner ausgestaltet sein.
Ausführungsformen der Vorrichtung und die damit jeweils erreichten Wirkungen entsprechen den Ausführungsformen des Verfahrens. Dabei kann die Steuerung die entsprechende Änderung des wenigstens einen Parameters des optischen Systems übernehmen. Die Verarbeitungseinrichtung kann die digitale Weiterverarbeitung der erfassten Einzelbilder übernehmen.
Vorrichtungen und Verfahren können bei optischen Systemen eingesetzt werden, die einfachere Optiken aufweisen, beispielsweise Kameras in Mobilkommunikationsgeräten. Vorrichtungen und Verfahren können jedoch auch zur Qualitätserhöhung durch Verarbeitung von mehreren Einzelbildern in Spezialanwendungen eingesetzt werden, beispielsweise in der Mikroskopie oder industriellen Messtechnik.
Die Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung anhand von Ausführungsbeispielen näher erläutert.
1 zeigt eine schematische Darstellung einer Vorrichtung nach einem Ausführungsbeispiel.
2 zeigt eine schematische Darstellung einer Vorrichtung nach einem weiteren Ausführungsbeispiel.
3 ist ein Flussdiagramm eines Verfahrens nach einem Ausführungsbeispiel.
4 illustriert die Beeinflussung eines Parameters eines optischen Systems zur Änderung einer Modulationsübertragungsfunktion des optischen Systems bei Verfahren und Vorrichtungen nach Ausführungsbeispielen.
5 zeigt eine Manipulation des optischen Systems durch Einstellung eines Defokus bei Verfahren und Vorrichtungen nach Ausführungsbeispielen.
6 illustriert die Funktionsweise von Verfahren und Vorrichtungen nach Ausführungsbeispielen.
7 zeigt ein Bild, das mit einem Verfahren nach einem Ausführungsbeispiel rekonstruiert wurde, im Vergleich mit einem Bild, das mit einem herkömmlichen Lucy-Richardson-Verfahren rekonstruiert wurde.
8 ist ein Flussdiagramm einer Prozedur zum Bestimmen von Änderungen wenigstens eines Parameters bei Verfahren und Vorrichtungen nach Ausführungsbeispielen.
9 ist ein Flussdiagramm eines Verfahrens nach einem weiteren Ausführungsbeispiel.
10 illustriert die Beeinflussung eines Parameters eines optischen Systems zur Änderung einer Modulationsübertragungsfunktion des optischen Systems bei Verfahren und Vorrichtungen nach Ausführungsbeispielen.
11 illustriert die Beeinflussung eines Parameters eines optischen Systems zur gezielten Verschiebung von Ortsfrequenzen eines Objekts bei Verfahren und Vorrichtungen nach Ausführungsbeispielen.
12 ist ein Flussdiagramm eines Verfahrens nach einem weiteren Ausführungsbeispiel.
13 illustriert spektrale Sensitivitäten von Farbkanälen eines Bildsensors, die bei dem Verfahren von 12 berücksichtigt werden können.
14 illustriert eine gezielte Manipulation eines optischen Systems bei Verfahren und Vorrichtungen nach Ausführungsbeispielen, bei der eine Modulationsübertragungsfunktion in zwei Dimensionen rotiert wird.
15 illustriert eine gezielte Manipulation eines optischen Systems bei Verfahren und Vorrichtungen nach Ausführungsbeispielen, bei der räumliche Veränderungen der Punktspreizfunktion ausgenutzt werden.
Im Folgenden werden Ausführungsbeispiele der Erfindung detailliert beschrieben. Die Merkmale verschiedener Ausführungsbeispiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Die Beschreibung eines Ausführungsbeispiels, das mehrere Merkmale kombiniert, ist nicht dahingehend auszulegen, dass alle diese Merkmale zur Ausführung der Erfindung nötig sind, da andere Ausführungsbeispiele weniger Merkmale und/oder alternative Merkmale aufweisen können.
In den Figuren sind ähnliche oder identische Elemente mit ähnlichen oder identischen Bezugszeichen bezeichnet.
Die nachfolgend beschriebenen Ausführungsbeispiele beziehen sich auf Verfahren und Vorrichtungen zur Bildrekonstruktion. Dabei werden mit einem optischen System mehrere Einzelbilder erfasst. Wenigstens ein Parameter des optischen Systems ist für die Erfassung von wenigstens zwei Einzelbildern unterschiedlich. Der wenigstens eine Parameter kann gezielt so angepasst werden, dass eine gewünschte Veränderung der optischen Übertragungsfunktion (OTF), beispielsweise des Absolutbetrags der optischen Übertragungsfunktion oder ihrer Phase, und/oder eine gewünschte Verschiebung der Ortsfrequenzen des abgebildeten Objekts erreicht wird. Ein Bild des Objekts wird durch digitale Rekonstruktion abhängig von den mehreren Einzelbildern und Informationen über die optischen Übertragungsfunktionen bei der Aufnahme der Einzelbilder ermittelt.
Hierbei wird unter einer „digitalen Rekonstruktion“ eine automatische Verarbeitung der mehreren Einzelbilder verstanden, bei der Informationen der mehreren Einzelbilder verwendet werden, um daraus durchaus durch Verarbeitung ein Bild mit höherer Qualität zu ermitteln.
Die Änderung des wenigstens einen Parameters kann gezielt so erfolgen, dass die Modulationsübertragungsfunktionen (MTFs) bei der Erfassung der mehreren Einzelbilder ein vorgegebenes Kriterium erfüllen. Dieses vorgegebene Kriterium kann beispielsweise im Hinblick darauf gewählt sein, dass für alle mit dem Bildsensor auflösbaren Ortsfrequenzen wenigstens eine der verschiedenen MTFs ein gewünschtes Signal-Rausch-Verhältnis erzielt. Alternativ oder zusätzlich kann das vorgegebene Kriterium beispielsweise im Hinblick darauf gewählt sein, dass eine Optimierungsprozedur, mit der eine spektral aufgelöste Entfaltung des Objekts erfolgt, möglichst gut konditioniert ist.
1 zeigt eine schematische Darstellung einer Vorrichtung 1 nach einem Ausführungsbeispiel. Die Vorrichtung 1 umfasst ein optisches System 10, eine Steuerung 21 und eine Verarbeitungseinrichtung 22. Die Funktionen der Steuerung 21 und der Verarbeitungseinrichtung 22 können von demselben Prozessor oder von derselben Gruppe von Prozessoren ausgeführt werden. Die Vorrichtung 1 kann weiterhin einen Speicher 23 umfassen, der Informationen 24 über Änderungen eines oder mehrerer optischer Parameter für die Erfassung mehrerer Einzelbilder speichert. Der Speicher 23 kann weiterhin Informationen 25 über OTFs, die das optische System 10 bei verschiedenen Einstellungen aufweist, speichern. Die Informationen 25 können beispielsweise für mehrere Einstellungen des optischen Systems die OTF als Funktion der Ortsfrequenz oder den Absolutbetrag der OTF, d.h. die MTF, als Funktion der Ortsfrequenz enthalten.
Das optische System 10 umfasst eine Abbildungsoptik 11 und einen Bildsensor 12, der beispielsweise auf CMOS- oder CCD-Technologie beruhen kann. Bei weiteren Ausgestaltungen muss keine separate Abbildungsoptik 11 vorgesehen sein und die MTF des Bildsensors 12 kann für die nachfolgend beschriebenen Verfahren genutzt werden. Eine oder mehrere weitere optische Komponenten 13 können vorgesehen sein. Bei der weiteren optischen Komponente 13 kann es sich beispielsweise um ein polarisationsoptisches Element, das eine Jones-Pupille des Systems formt, oder ein Apodisationsfilter oder ein anderes optisches Element handeln, das steuerbar sein kann. Das optische System 10 kann eine Beleuchtungseinrichtung 15 umfassen, die steuerbar ist, um für eine Bildaufnahme das Objekt zu beleuchten. Wenigstens eines der Elemente des optischen Systems 10 kann steuerbar sein, um eine optische Übertragungsfunktion und/oder ein Ortsfrequenzspektrum des Objekts gezielt zu beeinflussen. Beispielsweise kann das optische System 10 eine Verstelleinrichtung 14 umfassen, mit der der Bildsensor 12 verstellt werden kann, um in kurzer Zeit gezielt einen gewünschten Defokus einzustellen.
Alternative Ausgestaltungen zur gezielten Manipulation des optischen Systems 10 für die Erfassung mehrerer Einzelbilder, die dann gemeinsam verarbeitet werden, sind möglich. Zur Beeinflussung der OTF des optischen Systems können beispielsweise eine oder mehrere der folgenden Techniken verwendet werden: Manipulation einer Pupille des optischen Systems; Einstellen eines Defokus; Einstellen eines Farblängsfehlers; polarisationskodierte Manipulation, beispielsweise durch Einstellen einer Jones-Pupille; Manipulation eines Abbildungsmaßstabes; Manipulation von Elementen des optischen Systems zur Rotation der MTF; Ändern eines Abbildungsmaßstabes; und/oder Manipulation eines Apodisationsfilters.
Alternativ oder zusätzlich kann zur gezielten Manipulation des optischen Systems 10 für die Erfassung mehrerer Einzelbilder, die dann gemeinsam verarbeitet werden, die Beleuchtungseinrichtung 15 von der Steuerung 21 gesteuert werden. Dazu kann eine räumlich modulierte Beleuchtung von der Beleuchtungseinrichtung 15 ausgegeben werden, um eine Verschiebung von Ortsfrequenzen des Objekts zu erreichen. Die Steuerung 21 kann durch Änderung der räumlichen Lichtmodulation, beispielsweise durch Verkippen der Beleuchtungseinrichtung 15 oder durch Steuerung eines Umlenkspiegels, die Verschiebung von Ortsfrequenzen des Objekts kontrollieren.
Eine entsprechende Änderung am optischen System 10 kann automatisch durch die Steuerung 21 erfolgen. Die Änderung kann nach Aufnahme eines Einzelbilds und vor Aufnahme eines weiteren Einzelbildes erfolgen. Falls das optische System 10 mehrere separate Bildsensoren mit gleichem Sichtfeld für die gleichzeitige Erfassung mehrerer Einzelbilder umfasst, kann eine entsprechende Einstellung selektiv nur für den Abschnitt des optischen Systems vorgenommen werden, der Licht auf einen der Bildsensoren lenkt. Die Steuerung 21 stellt dabei sicher, dass durch eine Änderung der OTF und/oder durch eine Verschiebung von Ortsfrequenzen des Objekts zwischen wenigstens zwei der Einzelbilder zusätzliche Informationen über das Objekt gewonnen werden können, wie noch ausführlicher beschrieben wird. Falls das optische System 10 mehrere separate Bildsensoren oder mehrere Farbkanäle umfasst, kann alternativ auch ohne aktive Verstellung irgendeiner Komponente des optischen Systems gearbeitet werden und die sich wellenlängenabhängig ändernde MTF des optischen Systems kann ausgenutzt werden, um Einzelbildern mit unterschiedlichen MTFs zu erfassen, die dann fusioniert werden. Die Einzelbilder können in unterschiedlichen Wellenlängenbereichen erfasst werden. Dazu können Sensoren verwendet werden, die bei unterschiedlichen Wellenlängenbereichen sensitiv sind. In diesem Fall kann das optische System 10 so ausgestaltet sein, dass die spektrale Abhängigkeit der OTF dazu führt, dass durch Erfassung der mehreren Einzelbilder Informationen über zusätzliche Ortsfrequenzen des Objekts gewonnen werden können.
Wenn im Betrieb der Vorrichtung 1 ein Bild aus mehreren Einzelbildern rekonstruiert wird, arbeitet die Vorrichtung 1 wie folgt: Die Steuerung 21 bestimmt eine Änderung wenigstens eines Parameters des optischen Systems, die vorgenommen wird, um eine Erfassung mehrerer unterschiedlicher Einzelbilder desselben Objekts zu erlauben. Die Änderung des Parameters oder der Parameter kann abhängig von Einstellungen des optischen Systems 10, beispielsweise abhängig von der Zoomeinstellung, bestimmt werden. Dazu können die Informationen 24 in dem Speicher 23 ein entsprechendes Kennfeld enthalten. Die Steuerung 21 kann abhängig von aktuellen Einstellungen des optischen Systems 10 das Kennfeld in dem Speicher 23 abfragen, um eine geeignete Änderung wenigstens eines Parameters des optischen Systems 10 zu ermitteln. Die Steuerung 21 steuert das optische System entsprechend an. Die Informationen 24 mit dem Kennfeld können verschiedene geeignete Formate aufweisen, beispielsweise in der Form von Stellwerten für die Verstelleinrichtung 14, die eine einfache Umsetzung durch die Steuerung 21 erleichtern.
Die Informationen 24, die die Änderung von Parametern des optischen Systems für die Erfassung mehrerer Einzelbilder definieren, können in einer Vorverarbeitung bestimmt werden. Die Vorverarbeitung kann abhängig von OTFs oder MTFs des optischen Systems die Änderungen von Parametern des optischen Systems bestimmen, für die mehrere Einzelbilder eine möglichst gute Rekonstruktion erlauben. Die Informationen 24, die in dem Speicher 23 abgelegt sind, können so gewählt sein, dass für die jeweilige Einstellung des optischen Systems eine solche Änderung des wenigstens einen Parameters umgesetzt wird, die sicherstellt, dass die OTFs bei Erfassung der verschiedenen Einzelbilder ein vorgegebenes Kriterium erfüllen, wie nachfolgend noch näher beschrieben wird.
Bei weiteren Ausgestaltungen kann die Steuerung 21 abhängig von den Informationen 25 über die OTFs, die im Speicher 23 abgelegt sind, im laufenden Betrieb eine entsprechende Änderung des wenigstens einen Parameters bestimmen, die sicherstellen, dass aus den mehreren Einzelbildern durch automatische Verarbeitung ein Bild mit höherer Qualität rekonstruiert werden kann. Beispielsweise können die Informationen 25 die MTF als Funktion der Ortsfrequenz für mehrere Einstellungen des optischen Systems enthalten. Die Steuerung 21 kann im Betrieb ausgehend von einer Anfangseinstellung des optischen Systems die zugehörige MTF aus dem Speicher 23 auslesen und abhängig davon rechnerisch eine geeignete Änderung wenigstens eines Parameters des optischen Systems bestimmen.
Die Verarbeitungseinrichtung 22 verarbeitet die mehreren erfassten Einzelbilder. Die Verarbeitungseinrichtung 22 führt dabei eine Rekonstruktion durch, bei der die mehreren Einzelbilder und Informationen über die OTFs bei Erfassung der Einzelbilder verwendet werden. Informationen 25 über die OTFs des optischen Systems bei Erfassung der Einzelbilder können in dem Speicher 23 hinterlegt sein. Beispielsweise können für die mehreren Einzelbilder, für die zeitlich parallel oder in kurzer zeitlicher Abfolge eine Aufnahme erfolgt ist, die entsprechenden OTFs oder MTFs als Funktion der Ortsfrequenz in den Informationen 25 enthalten sein. Die Verarbeitungseinrichtung 22 kann die entsprechenden Informationen aus dem Speicher 23 auslesen und verwenden, um die Einzelbilder zu einem Bild zu fusionieren. Beispielsweise kann die Verarbeitungseinrichtung 22 abhängig davon, welche der mehreren MTFs für die Einzelbilder bei einer bestimmten Ortsfrequenz am größten ist oder dem besten Signal-Rausch-Verhältnis (SNR) entspricht, die (Fourierraum-)Daten des entsprechenden Einzelbildes für eine Rekonstruktion bei der entsprechenden Ortsfrequenz verwenden. Alternativ kann die Verarbeitungseinrichtung 22 eine Gewichtung der mehreren Einzelbilder abhängig von den MTFs für die Einzelbilder bzw. abhängig von einem Verhältnis der MTFs bei der entsprechenden Ortsfrequenz festlegen. Dies wird noch näher beschrieben.
Bei weiteren Ausführungsformen können die Informationen über die OTFs, die zur Rekonstruktion verwendet werden, auch aus den erfassten Einzelbildern gewonnen werden. Insbesondere kann für die verschiedenen Einzelbilder bei mehreren Ortsfrequenzen jeweils der entsprechende Kontrast ermittelt werden. Dieser Kontrast stellt Informationen über den Absolutbetrag der OTF bei Erfassung des entsprechenden Einzelbildes, ausgewertet an der entsprechenden Ortsfrequenz, bereit. Die Rekonstruktion kann ohne vorab erfolgte Bestimmung der optischen Abbildungseigenschaften durchgeführt werden. Für jede einzelne Ortsfrequenz kann bei der digitalen Rekonstruktion die Information aus demjenigen Einzelbild verwendet werden, das für die Ortsfrequenz den höchsten Kontrast aufweist. Da die Annahme zu Grunde liegt, dass das Objekt bei allen Einzelaufnahmen konstant ist, bedeutet dies auch, dass die entsprechende MTF für diese Frequenz den höchsten Kontrast hatte, da der Kontrast im Ergebnisbild das Produkt des Kontrastes des Objektes und des Kontrastes der MTF ist. Für die Wahl einer möglichst guten optischen Aberrationsmanipulation bleibt die Kenntnis der optischen Abbildungseigenschaften vorteilhaft.
Bei der Vorrichtung 1 können das optische System 10, die Steuerung 21 und die Verarbeitungseinrichtung 22 alle in einem einzigen Gerät verbaut sein. Insbesondere können das optische System 10, die Steuerung 21 und die Verarbeitungseinrichtung 22 alle an oder in demselben Gehäuse gelagert sein. Die Vorrichtung 1 kann beispielsweise als Mobilkommunikationsgerät mit integrierter Kamera ausgestaltet sein, wobei die Steuerung 21 und die Verarbeitungseinrichtung 22 eine Erfassung mehrerer Einzelbilder mit gezielter Manipulation des optischen Systems und eine digitale Rekonstruktion unter Berücksichtigung der Abbildungseigenschaften des optischen Systems vornehmen.
2 zeigt eine alternative Ausgestaltung einer Vorrichtung 30 nach einem weiteren Ausführungsbeispiel. Dabei weist ein Gerät 31 das optische System 10 und die Steuerung 21 als eingebettete Steuerung auf. Ein mit dem Gerät 31 gekoppelter Auswerterechner 32 umfasst die Auswerteeinrichtung 22. Das Gerät 31 weist eine Schnittstelle 26 auf. Der Auswerterechner 32 weist eine damit gekoppelte Schnittstelle 27 für eine Übertragung der erfassten Einzelbilder auf. Darüber hinaus können über die Schnittstellen 26, 27 Informationen über die Einstellungen des optischen Systems 10 bei einer ersten Bildaufnahme und/oder über die Änderung des wenigstens einen Parameters übertragen werden. Die Auswerteeinrichtung 22 kann diese Informationen verwenden, um aus in einem Speicher 28 gespeicherten Informationen 25 die OTFs oder MTFs des optischen Systems bei Aufnahme der Einzelbilder zu ermitteln und beim Fusionieren der Einzelbilder zu verwenden.
Zahlreiche weitere Ausgestaltungen von Vorrichtungen nach Ausführungsbeispielen sind möglich. Beispielsweise kann die Beleuchtungseinrichtung 15 auch separat von dem Gerät 31 vorgesehen sein.
Die Funktionsweise von Vorrichtungen und Verfahren nach Ausführungsbeispielen wird unter Bezugnahme auf 3 bis 15 näher beschrieben. Während Ausführungsbeispiele im Kontext einer gezielten Änderung der Pupillenaberration und insbesondere einer gezielten Änderung des Defokus beispielhaft erläutert werden, können auch andere Parameter des optischen Systems beeinflusst werden, um die OTF des optischen Systems zu ändern und/oder eine Verschiebung von Ortsfrequenzen des Objekts relativ zu Nullstellen der MTF des optischen Systems zu bewirken.
3 ist ein Flussdiagramm eines Verfahrens 40 nach einem Ausführungsbeispiel. Das Verfahren kann von Vorrichtungen, wie sie unter Bezugnahme auf 1 und 2 erläutert wurden, automatisch ausgeführt werden.
Bei Schritt 41 kann bestimmt werden, ob eine Einfach- oder Mehrfachbilderfassung vorgenommen werden soll. Diese Bestimmung kann automatisch abhängig von Beleuchtungsbedingungen, Umgebungslicht, einer Abschätzung für ein SNR und/oder Einstellungen des optischen Systems erfolgen. Beispielsweise kann eine Bildrekonstruktion durch Erfassung mehrerer Einzelbilder mit gleichem Sichtfeld und anschließender digitaler Rekonstruktion selektiv nur bei schwacher Beleuchtung, bei bestimmten Einstellungen des optischen Systems, beispielsweise bei bestimmten Zoomeinstellungen, und/oder bei niedrigem SNR durchgeführt werden. Falls bei Schritt 41 ermittelt wird, dass keine Mehrfachbilderfassung nötig ist, wird bei Schritt 47 in nur einer Aufnahme ein einziges Einzelbild erfasst und das Bild des Objekts daraus rekonstruiert, beispielsweise durch Entfalten mittels eines Wienerfilters oder Lucy-Richardson-Verfahrens. Falls bei Schritt 41 ermittelt wird, dass eine Mehrfach-Bilderfassung erfolgen soll, fährt das Verfahren bei Schritt 42 fort.
Bei Schritt 42 wird ein erstes Einzelbild aufgenommen, wobei das optische System eine erste OTF aufweist.
Bei Schritt 43 wird wenigstens ein Parameter des optischen Systems geändert. Dies kann beispielsweise so geschehen, dass gezielt eine Aberration eingeführt wird. Es kann gezielt ein Defokus eingeführt werden, beispielsweise durch Relativbewegung zwischen Bildsensor und Linsensystem. Alternativ oder zusätzlich kann ein räumlich moduliertes Beleuchtungsmuster verstellt werden, beispielsweise durch Ändern des Einfallswinkels eines Streifenmusters auf das Objekt, um so den effektiven Linienabstand zu verändern. Das Ändern des wenigstens einen Parameters bei Schritt 43 kann so erfolgen, dass sich dadurch die OTF des optischen Systems ändert. Das Ändern des wenigstens einen Parameters bei Schritt 43 kann so erfolgen, dass sich dadurch auch der Absolutbetrag der OTF, d.h. die MTF, ändert. Das Ändern des wenigstens einen Parameters bei Schritt 43 kann so erfolgen, dass die MTF des optischen Systems gleich bleibt, aber eine Verschiebung von Ortsfrequenzen des Objekts erreicht wird. Unabhängig von der spezifischen Implementierung der Änderung des Parameters bei Schritt 43 erfolgt die Änderung in einem relativ kurzen Zeitintervall, so dass zeitabhängige Veränderungen im Sichtfeld des Bildsensors vernachlässigbar sind.
Unabhängig von der spezifischen Implementierung der Änderung des Parameters bei Schritt 43 kann die Änderung des Parameters abhängig von und abgestimmt auf wenigstens die erste MTF des optischen Systems bei der Aufnahme des ersten Einzelbildes erfolgen. Beispielsweise kann die Änderung des Parameters, die bei Schritt 43 vorgenommen wird, davon abhängen, bei welchen Ortsfrequenzen die erste MTF kleiner als ein Schwellenwert ist. Die Änderung des Parameters, die bei Schritt 43 vorgenommen wird, kann davon abhängen, bei welchen Ortsfrequenzen die erste MTF einen geringen Kontrast aufweist. Die Änderung des Parameters, die bei Schritt 43 vorgenommen wird, kann davon abhängen, wie gut eine Optimierungsprozedur, die von der ersten OTF abhängt, konditioniert ist. Die Änderung des Parameters, die Schritt 43 vorgenommen wird, kann so erfolgen, dass die Kondition der Optimierungsprozedur, bei der eine wellenlängenaufgelöste, d.h. multispektrale, Darstellung rekonstruiert wird, gut ist. Die Änderung des Parameters, die Schritt 43 vorgenommen wird, kann so erfolgen, dass die Kondition einer Matrix, die bei der Optimierungsprozedur verwendet wird, bei der eine wellenlängenaufgelöste, d.h. multispektrale, Darstellung rekonstruiert wird, ein vorgegebenes Kriterium erfüllt.
Unabhängig von der spezifischen Implementierung der Änderung des Parameters bei Schritt 43 kann die entsprechende Änderung des Parameters vorab berechnet und als geeignete Steuerinformation in der Vorrichtung hinterlegt sein, um eine rasche automatische Steuerung des optischen Systems zu erlauben.
Bei Schritt 44 wird dann ein zweites Einzelbild erfasst. Die Erfassung des zweiten Einzelbilds erfolgt in einem Zeitintervall nach Erfassung des ersten Einzelbildes, dessen Dauer kleiner als ein vorgegebener Schwellenwert ist. Der im zweiten Einzelbild erfasste Bereich, d.h. das Sichtfeld, ist im Wesentlichen mit dem im ersten Einzelbild erfassten Bereich identisch. Aufgrund der bei Schritt 43 vorgenommenen Änderung am optischen System ist das zweite Einzelbild vom ersten Einzelbild verschieden, auch wenn das Objekt gleich bleibt. Beispielsweise kann das zweite Einzelbild eine gezielt eingeführt Unschärfe aufweisen. Durch die digitale Rekonstruktion können die Einzelbilder zu einem Gesamtbild höherer Qualität fusioniert werden, auch wenn das zweite Einzelbild unschärfer als das erste Einzelbild ist.
Bei Schritt 45 kann optional bestimmt werden, ob weitere Einzelbilder erfasst werden sollen. Falls weitere Einzelbilder erfasst werden sollen, kehrt das Verfahren zu Schritt 43 zurück. Die erneute Änderung des wenigstens einen Parameters kann wiederum abhängig von vorab berechneten Steuerinformationen erfolgen. Wenn weitere Einzelbilder erfasst werden, erfolgt die Änderung des wenigstens einen Parameters bei Schritt 43 und die Aufnahme des weiteren Einzelbildes derart, dass die gesamte Prozedur von Erfassung des ersten Einzelbilds bis Erfassung des zweiten Einzelbilds in einer kurzen Zeit abgeschlossen werden kann, also insbesondere kleiner als ein Zeitschwellenwert ist. Das Bestimmen bei Schritt 45 kann abhängig von unterschiedlichen Kriterien erfolgen. Die Anzahl von zu erfassenden Einzelbildern kann von den Einstellungen des optischen Systems, beispielsweise von einer Zoomeinstellung abhängen. Die Anzahl von zu erfassenden Einzelbildern kann bei einer multispektralen Rekonstruktion so gewählt sein, dass das Produkt aus Anzahl von Einzelbildern und Farbkanälen des Bildsensors größer ist als eine Anzahl von unterschiedlichen Lichtwellenlängen, für die eine Rekonstruktion erfolgen soll. Die Steuerung 21 kann automatisch die Anzahl von zu erfassenden Einzelbildern abhängig von in dem Speicher 23 hinterlegten Informationen und/oder abhängig von einer Anzahl von Lichtwellenlängen, für die eine spektral aufgelöste Rekonstruktion erfolgen soll, festlegen.
Bei Schritt 46 erfolgt eine digitale Rekonstruktion aus den mehreren Einzelbildern, wenn keine weiteren Einzelbilder erfasst werden sollen. Dabei werden die mehreren Einzelbilder entfaltet und zu einem Bild des Objekts fusioniert. Bei der digitalen Rekonstruktion werden Informationen über die OTF des optischen Systems bei der Bilderfassung berücksichtigt. Beispielsweise kann der Absolutbetrag der OTFs, d.h. die MTFs, bei der Aufnahme der Einzelbilder, berücksichtigt werden. Es kann auch die Phaseninformation der OTFs berücksichtigt werden.
Es kann eine Gewichtung derart erfolgen, dass für jede Ortsfrequenz demjenigen Einzelbild ein größeres Gewicht verliehen wird, für das die entsprechende MTF bei dieser Ortsfrequenz größer ist als die MTFs bei Erfassung der anderen Einzelbilder. Die Gewichtung variiert dabei abhängig von der Ortsfrequenz. Nachdem eine Darstellung des zu rekonstruierenden Bilds im Fourierraum als von den MTFs abhängige gewichtete Überlagerung der Einzelbilder im Fourierraum bestimmt wird, kann eine Rücktransformation in den Ortsraum erfolgen.
Wenn zum Erfassen der unterschiedlichen Einzelbilder Ortsfrequenzen des Objekts verschoben werden, beispielsweise durch räumlich modulierte Beleuchtungsmuster, kann eine Gewichtung abhängig davon erfolgen, ob die Ortsfrequenz in einen Ortsfrequenzbereich verschoben wird, bei dem die MTF des optischen Systems kleiner oder größer als ein Schwellenwert ist.
Bei Schritt 46 kann auch eine Optimierungsprozedur durchgeführt werden, bei der eine zu minimierende Zielfunktion von den OTFs des optischen Systems bei der Aufnahme der Einzelbilder abhängt.
Durch die gezielte Änderung des Parameters bei Schritt 43 abhängig von wenigstens der MTF des optischen Systems bei der Erfassung des ersten Einzelbildes bei Schritt 42 kann erreicht werden, dass auch bei einem einfacheren optischen System Bilder höherer Qualität durch die Verarbeitung der mehreren Einzelbilder rekonstruiert werden können.
Während das Verfahren 40 unter Bezugnahme auf eine zeitsequentielle Aufnahme der Einzelbilder beschrieben wurde, können auch wenigstens zwei Einzelbilder gleichzeitig aufgenommen werden. Dazu kann beispielsweise ein multifokales System verwendet werden. Es können alle Einzelbilder, aus denen bei Schritt 46 ein Bild rekonstruiert wird, gleichzeitig aufgenommen werden.
4 illustriert die Wirkungsweise von Vorrichtungen und Verfahren, bei denen das optische System gezielt beeinflusst wird, um mehrere Einzelbilder mit unterschiedlichen MTFs zu erfassen.
Ein erstes Einzelbild wird mit einer ersten MTF 51 erfasst, die in Abhängigkeit von der Ortsfrequenz dargestellt ist. Als „Ortsfrequenz“ wird hier in herkömmlicher Terminologie auf diesem technischen Gebiet und zur besseren Unterscheidung von zeitlichen Frequenzen eine räumliche Frequenz bezeichnet, die beispielsweise im Koordinatensystem des Bildsensors für eine Fourierraum-Darstellung definiert ist. Bei nicht rotationssymmetrischen Systemen ist die Ortsfrequenz somit ein zweidimensionaler Vektor in dem Fourierraum, der den Koordinaten in der Ebene des Bildsensors zugeordnet ist. 4 illustriert beispielhafte MTFs anhand eines Schnitts durch die MTF.
Ein zweites Einzelbild wird mit einer zweiten MTF 52 erfasst, die in Abhängigkeit von der Ortsfrequenz dargestellt ist. Eine Änderung wenigstens einen Parameters des optischen Systems wird so ermittelt, dass die erste MTF 51 und die zweite MTF 52 ein vorgegebenes Kriterium erfüllen. Beispielsweise kann die Änderung des wenigstens einen Parameters des optischen Systems, die zur Erfassung des zweiten Einzelbilds vorgenommen wird, so bestimmt werden, dass die zweite MTF 52 bei einer Ortsfrequenz, bei der die erste MTF 51 eine Nullstelle 53 aufweist, von Null verschieden ist. Die Änderung des wenigstens einen Parameters des optischen Systems, die zur Erfassung des zweiten Einzelbilds vorgenommen wird, kann so bestimmt werden, dass die zweite MTF 52 bei einer Ortsfrequenz, bei der die erste MTF 51 kleiner als ein Schwellenwert ist, größer als der entsprechende Schwellenwert ist. Die Änderung des wenigstens einen Parameters des optischen Systems, die zur Erfassung des zweiten Einzelbilds vorgenommen wird, kann so bestimmt werden, dass die erste MTF 51 bei einer Ortsfrequenz, bei der die zweite MTF 52 eine Nullstelle 54 aufweist, von Null verschieden ist. Die Änderung des wenigstens einen Parameters des optischen Systems, die zur Erfassung des zweiten Einzelbilds vorgenommen wird, kann so bestimmt werden, dass die erste MTF 51 bei einer Ortsfrequenz, bei der die zweite MTF 52 kleiner als ein Schwellenwert ist, größer als der entsprechende Schwellenwert ist. Die Änderung des wenigstens einen Parameters des optischen Systems, die zur Erfassung des zweiten Einzelbilds und/oder weiterer Einzelbilder vorgenommen wird, kann so gewählt werden, dass bei jeder Ortsfrequenz jeweils eine der MTFs größer als ein Schwellenwert 55 ist. Der Schwellenwert 55 kann von der Ortsfrequenz abhängen, beispielsweise um zu berücksichtigen, dass auch das Rauschen ortsfrequenzabhängig variieren kann.
Eine entsprechende Änderung des wenigstens einen Parameters kann abhängig von der ersten MTF 51, die wiederum von der Einstellung des optischen Systems abhängt, berechnet werden, so dass ein bestimmtes Kriterium erfüllt ist. Die Berechnung kann vor der Aufnahme der Einzelbilder erfolgen, und die ermittelte optimale Änderung des wenigstens einen Parameters kann in einem Speicher der Vorrichtung 1 oder 30 hinterlegt sein.
5 illustriert eine gezielte Änderung eines Parameters des optischen Systems, die durch Einführen eines Defokus erreicht wird. Beispielsweise kann die Position des Bildsensors relativ zu der Linse 11 so verschoben werden, dass ein erstes Einzelbild an einer ersten Position 58, ein zweites Bild an einer zweiten Position 59 erfasst wird. Obwohl dadurch zusätzliche Unschärfe in eines der Einzelbilder eingeführt wird, erlaubt die gezielte Änderung mit anschließender digitaler Rekonstruktion abhängig von Informationen über die OTFs des optischen Systems die Erzeugung eines Bilds mit guter Qualität.
6 illustriert beispielhaft die Anwendung von Vorrichtungen und Verfahren mit einem optischen System, das einen verhältnismäßig großen Astigmatismus aufweist.
Ein erstes Einzelbild 61 wird erfasst. Das optische System weist einen starken Astigmatismus auf. Die Erfassung des ersten Einzelbilds 61 erfolgt mit einer ersten OTF, deren Absolutbetrag eine erste MTF ist.
Ein zweites Einzelbild 62 wird erfasst. Dabei wird gezielt ein zusätzlicher Defokus eingeführt. Die Erfassung des zweiten Einzelbilds 62 erfolgt mit einer zweiten OTF, deren Absolutbetrag eine zweite MTF ist. Der entsprechende Defokus bzw. die entsprechende Änderung der Aberration kann vorab so berechnet sein, dass die erste MTF und die weite MTF ein vorgegebenes Kriterium erfüllen, wie unter Bezugnahme auf 1 bis 5 beschrieben wurde.
Durch digitale Fusion der Bilder, die schematisch bei 63 dargestellt ist und die von Informationen über die erste OTF und die zweite OTF abhängt, wird ein Bild 64 rekonstruiert. Dabei erfolgt eine ortsfrequenzabhängige Gewichtung der (Fourierraum-)Daten des ersten Einzelbilds 61 und des zweiten Einzelbilds 62, die von der relativen Größe der ersten MTF und der zweiten MTF abhängt. In dem mit Verfahren und Vorrichtungen nach Ausführungsbeispielen rekonstruierten Bild 64 wird durch die digitale Rekonstruktion aus den Einzelbildern 61, 62 unter Berücksichtigung der ersten MTF und zweiten MTF die Qualität des Bilds deutlich erhöht. Da die Erfassung der Einzelbilder so gesteuert wird, dass die erste MTF und die zweite MTF ein bestimmtes Kriterium erfüllen, beispielsweise dass wenigstens jeweils eine der MTFs größer als ein Schwellenwert ist, können Artefakte klein gehalten werden.
7 illustriert Verbesserungen, die im Vergleich zu herkömmlichen Rekonstruktionstechniken erreicht werden können. Das Bild 64, das mit Verfahren und Vorrichtungen nach Ausführungsbeispielen rekonstruiert wird, weist geringere Artefakte auf als ein Bild 68, das mit einem herkömmlichen Lucy-Richardson-Verfahren aus dem Einzelbild 61 rekonstruiert wurde. Das entfaltete Ergebnisbild 68 weist immer noch starke Ringing-Artefakte auf, da die Frequenzen, an denen Nullstellen in der MTF auftreten, nicht mehr rekonstruiert werden können. Durch die gezielte Einführung eines zusätzlichen Defokus bei Verfahren und Vorrichtungen nach Ausführungsbeispielen können aus dem zweiten Einzelbild Informationen über diese Ortsfrequenzen erhalten werden. Dazu wird das optische System gezielt so manipuliert, dass die zweite MTF bei Erfassung des zweiten Einzelbilds bei den Ortsfrequenzen, bei denen die erste MTF zu einem schlechten Kontrast, d.h. zu einem kleinen SNR führt, zu einem höheren Kontrast führt.
Wie unter Bezugnahme auf 4 bis 7 erläutert, können die Stellen an denen die MTF einen geringen Kontrast hat durch einen zusätzlichen Defokus gezielt verschoben werden. Wenn man in 4 die beiden MTFs 51, 52 vergleicht, so erkennt man, dass die Nullstellen komplementär sind, d.h. dass Frequenzen, die durch eine MTF unterdrückt werden, gerade durch die andere durchgelassen werden und umgekehrt. Durch Fusionieren der Einzelbilder kann ein gutes Gesamtergebnis erreicht werden.
Für ein gegebenes optisches System mit bekannten Aberrationen kann für die Einzelaufnahmen eine optimale Pupillenmanipulation (z.B. durch Defokussierung) oder andere Änderung wenigstens eines Parameters so bestimmt, dass durch geschickte Kombination der Einzelbilder möglichst alle Frequenzen rekonstruiert werden können. Diese geschieht, indem durch die eingeführten Aberrationen oder andere Änderung wenigstens eines Parameters die Nullstellen bzw. die Ortsfrequenzbereiche, in denen die MTF kleiner als ein Schwellenwert ist, gezielt verschoben werden.
Die entfalteten Einzelbilder können zu einem resultierenden Bild kombiniert werden, wobei die jeweiligen Ortsfrequenzen insbesondere aus demjenigen Einzelbild entnommen werden, bei der das beste SNR für die jeweilige Ortsfrequenz vorliegt.
Unter Bezugnahme auf 8 und 9 werden eine Vorrichtung und ein Verfahren näher beschrieben, bei der bzw. bei dem Änderungen des wenigstens einen Parameters des optischen Systems berechnet und bei der Aufnahme von Einzelbildern sowie deren Verarbeitung zu einem Bild verwendet werden. Die Vorrichtung und das Verfahren sind allgemein wie folgt ausgestaltet:
Ein optisches System ist eingerichtet, um gleichzeitig oder mit geringer zeitlicher Differenz zwei Aufnahmen beispielsweise mit unterschiedlichen Pupillenaberrationen zu erfassen, die als Einzelbilder für die weitere Verarbeitung dienen. Für dieses optische System werden die optischen Aberrationen bestimmt. Diese können z.B. aus einfachen Optiken, Fertigungsabweichungen oder Bewegungen der Kamera resultieren. Die Aberrationen können beispielsweise durch Simulationen der Optiken oder messtechnisch erfasst werden.
Für gegebene optische Aberrationen kann die optimale Aberrationsänderung bestimmt werden. Mögliche Ausgestaltungen werden beispielhaft für den Fall einer Aberrationsänderung durch Defokussierung nachfolgend unter Bezugnahme auf Schritt 72 des Verfahrens 70 von 8 noch näher beschrieben. Die Aberrationsänderungen werden beispielsweise so gewählt, dass für jede Ortsfrequenz das maximale SNR über alle Einzelbilder möglichst groß ist. Hat das System unterschiedliche Zoom- und Fokusstellungen oder andere veränderbare Einstellungen, so können für die Einstellungen unterschiedliche Aberrationsänderungen optimal sein. In diesem Fall wird vorteilhaft eine gezielte Änderung wenigstens eines Parameters des optischen Systems für unterschiedliche Einstellungen bestimmt und abgespeichert.
Die aufgenommenen Einzelbilder können dann zunächst unabhängig voneinander entfaltet werden. Hierzu können alle herkömmlichen Entfaltungsverfahren verwendet werden, wie beispielsweise Wienerfilter, Lucy-Richardson-Verfahren, Landweber-Algorithmus etc.
Die entfalteten Einzelbilder werden zu einem hochwertigen Bild kombiniert. Dabei kann eine ortsfrequenzabhängige Gewichtung abhängig von den MTFs bei der Aufnahme der Einzelbilder vorgenommen werden. Beispielsweise können für eine Ortsfrequenz die entsprechenden Daten aus demjenigen Einzelbild entnommen werden, in dem sie auch mit hohem Kontrast vorhanden sind, d.h. in dem die MTF für die entsprechende Ortsfrequenz groß ist. Mögliche Implementierungen werden unter Bezugnahme auf Schritt 85 des Verfahrens 80 von 9 noch näher beschrieben.
8 ist ein Flussdiagramm eines Verfahrens 70, mit dem die für die Bilderfassung und digitale Rekonstruktion eines Bildes aus mehreren Einzelbildern erforderlichen Informationen bestimmt werden können. Wenigstens die Schritte 72 und 73 können von der Vorrichtung nach einem Ausführungsbeispiel ausgeführt werden, die auch die Bilderfassung und Fusion der Einzelbilder bei der digitalen Rekonstruktion vornimmt. Das Verfahren 70 kann auch von einem separaten Rechner durchgeführt werden, um Informationen zur Bilderfassung und digitale Rekonstruktion eines Bildes zu ermitteln, die dann in dem Speicher von Vorrichtungen gespeichert werden, die die Bilderfassung und Fusion der Einzelbilder bei der digitalen Rekonstruktion durchführen.
Bei Schritt 71 wird die MTF des optischen Systems ermittelt. Dies kann separat für mehrere unterschiedliche Einstellungen des optischen Systems, beispielsweise für mehrere unterschiedliche Zoomeinstellungen, und/oder unterschiedliche Feldpositionen erfolgen.
Zur Veranschaulichung der nachfolgenden Verarbeitung wird beispielhaft auf ein inkohärentes optisches Abbildungsmodell Bezug genommen. Die Verfahren und Vorrichtungen können jedoch entsprechend für ein kohärentes Abbildungsmodell oder für eine lineare Approximation eines partiell kohärenten Abbildungsmodells verwendet werden.
Mit den folgenden herkömmlichen Bezeichnungen:

o:: Objekt, das abgebildet wird und das rekonstruiert werden soll;
psf:: Punktspreizfunktion (PSF) des optischen Systems;
otf:: optische Übertragungsfunktion (OTF) des optischen Systems;
mtf:: Modulationsübertragungsfunktion (MTF) des optischen Systems;
i:: aufgenommenes Bild;
F:: Fourier-Transformation;
F^–1:: Inverse Fourier-Transformation;
n:: Bildrauschen (das Photonen- und Sensorrauschen umfassen kann)

i = psf * o + n (1)

i(x) = I∫0(s)psf(x – s)ds + n (2)

Der Faltungsoperator wird im Fourierraum zu einer einfachen Multiplikation: (F(i)(f) = (F(o))(f)(F(psf))(f) + (F(n)) (3)
Die optische Übertragungsfunktion hängt mit der Punktspreizfunktion zusammen gemäß otf(f) = (F(psf)). (4)
Die Modulationsübertragungsfunktion ist der Absolutbetrag der optischen Übertragungsfunktion, mtf(f) = |otf(f)|. (5)
Die Ortsfrequenz f kann im Allgemeinen ein zweidimensionaler Vektor sein. Für rotationssymmetrische Systeme genügt die Betrachtung eines Schnitts durch die MTF für die folgenden Überlegungen. Diese gelten jedoch allgemein auch für den nicht rotationssymmetrischen Fall, wobei die entsprechenden Verarbeitungsschritte dann unter Berücksichtigung der Tatsache durchgeführt werden, dass die Ortsfrequenz f zwei Vektorkomponenten hat.
Die obige Gleichung (3) zeigt, dass für Ortsfrequenzen, bei denen die MTF den Wert 0 oder relativ kleine Werte hat, die Ortsfrequenzen nicht mehr im aufgenommenen Bild vorhanden sind bzw. im Rauschen untergehen. Die Folge ist, dass diese Ortsfrequenzen nicht rekonstruiert werden können, was zu starken Bildartefakten führen kann, wie sie beispielsweise in Bild 68 in 7 zu sehen sind.
Bei dem Verfahren 70 kann in Schritt 71 die MTF aus einer Messung am optischen System bestimmt und/oder rechnerisch ermittelt werden. Dazu können verschiedene Modelle verwendet werden, beispielsweise ein inkohärentes optisches Modell, ein kohärentes optisches Modell oder ein partiell kohärentes optisches Modell. Die MTF kann für mehrere unterschiedliche Einstellungen des optischen Systems berechnet werden, beispielsweise für unterschiedliche Zoompositionen.
Bei Schritt 72 kann abhängig von der MTF oder den MTFs des optischen Systems bestimmt werden, wie ein Parameter des optischen Systems für die Erfassung von Einzelbildern geändert werden soll, um die Fusion der Einzelbilder zu einem Bild hoher Qualität zu erlauben. Dabei kann die Änderung des wenigstens einen Parameters so gewählt werden, dass die MTF für die ursprüngliche Einstellung des optischen Systems und die MTF, die nach der entsprechenden Änderung des wenigstens einen Parameters resultiert, ein bestimmtes Kriterium erfüllt.
Beispielsweise kann ein Wert D für wenigstens einen Parameter derart bestimmt werden, dass bei jeder Ortsfrequenz die kleinere von der MTF für die ursprüngliche Einstellung des optischen Systems und der MTF, die nach der entsprechenden Änderung des wenigstens einen Parameters resultiert, möglichst groß ist. Dazu kann durch rechnerische Auswertung beispielsweise der Wert D so ermittelt werden, dass D = argmax_d{inf_f∊C{mtf(f), mtf_d(f))}} (6)
Dabei ist mtf(f) die MTF des aberrierten optischen Systems, ggf. für die entsprechende Einstellung des optischen Systems, und mtf_d(f) die MTF des aberrierten optischen Systems mit einem geänderten Parameter d. Bei d kann es sich beispielsweise um einen zusätzlichen Defokus handeln. In diesem Fall wird durch Lösung des Optimierungsproblems von Gleichung (6) derjenige Defokus D ermittelt, für den der größere Wert von mtf(f) und mtf_d(f) im gesamten relevanten Ortsfrequenzbereich möglichst groß ist. Dabei bezeichnet C alle relevanten Ortsfrequenzen, beispielsweise die Ortsfrequenzen bis zur Beugungsgrenze. Durch eine entsprechende Lösung von Gleichung (6) kann für möglichst viele oder im Idealfall alle Frequenzen innerhalb von C ein hoher Kontrast, d.h. ein hoher Wert in einer der beiden MTFs, erreicht werden. Die MTF des aberrierten optischen Systems mit einem geänderten Parameter d, mtf_d(f), kann beispielsweise ebenfalls rechnerisch bestimmt werden. Entsprechende Simulationsprozeduren für optische Systeme sind dem Fachmann bekannt und stehen zur Verfügung.
Bei einer weiteren Ausgestaltung kann eine Optimierung so durchgeführt werden, dass diejenige Änderung D des Parameters, beispielsweise ein Defokus, ermittelt wird, für die D = argmax_d{∫w(f)max(mtf(f), mtf_d(f))df} (7)
Hierbei ist w(f) eine Gewichtungsfunktion. Die Gewichtungsfunktion kann konstant, beispielsweise gleich eins, sein, kann aber auch als Funktion der Ortsfrequenz variieren. Bei einer Optimierung nach Gleichung (7) kann somit die Änderung D des Parameters so bestimmt werden, dass ein gewichtetes Mittel des Maximums der MTFs einen möglichst großen Wert aufweist.
Bei einer weiteren Ausgestaltung kann eine Optimierung so durchgeführt werden, dass diejenige Änderung D des Parameters, beispielsweise ein Defokus, ermittelt wird, für die D = argmax_d{∫w(f)δ(max(mtf(f), mtf_d(f)) < s)df}. (8)
Dabei ist
eine Stufenfunktion. Bei einer Optimierung nach Gleichung (7) kann somit die Änderung D des Parameters so bestimmt werden, dass bestraft wird, wenn beide MTFs unter eine gewisse Schwelle s rutschen. Die Schwelle s kann abhängig vom Rauschen gewählt sein. Da obiges Optimierungsproblem die unstetige Funktion ält, kann es sinnvoll sein hier Methoden der mathematischen Relaxierung zu verwenden.
Zahlreiche weitere Kriterien zur Bestimmung der Änderung des wenigstens einen Parameters sind möglich. Beispielsweise kann es genügen, einen Änderung D des Parameters zu finden, für den sichergestellt ist, dass bei jeder Ortsfrequenz in C wenigstens eine der MTFs größer als ein Schwellenwert s ist, d.h. D kann so bestimmt werden, dass inf_f∊C{max(mtf(f), mtf_D(f))} ≥ s. (10)
Der Schwellenwert s kann wiederum vom Rauschen abhängen.
Ortabhängigkeiten in der Aberration können ebenfalls berücksichtigt werden. Dazu können verschiedene Feldpositionen p berücksichtigt werden, wenn die entsprechende Optimierung durchgeführt wird. Eine auf Gleichung (6) beruhende Bestimmung einer optimalen Änderung D des Parameters würde beispielsweise modifiziert werden zu D = argmax_d{min_p{inf_f∊C{max(mtf^p(f), mtf p / d(f))}}} (11)
Hierbei ist mtf^p die MTF an der Feldposition p.
Falls mehrere Farbkanäle vorhanden sind, sollte der optimale Defokus für alle Farbkanäle passend sein. Eine auf Gleichung (6) beruhende Bestimmung einer optimalen Änderung D des Parameters würde dann beispielsweise modifiziert werden zu D = argmax_d{min_l{inf_f∊C{max(mtf^l(f), mtf l / d(f))}}} (12)
Natürlich lassen sich die Kriterien von Gleichungen (11) und (12) auch kombinieren.
Diese Ansätze, um eine möglichst gute Änderung D wenigstens eines Parameters des optischen Systems zu bestimmen, können für verschiedene Zoom- und Fokusstellungen separat durchgeführt werden und dann für eben diese Einstellungen verwendet werden. Anstelle des Defokus kann bei jeder der oben beschriebenen Techniken auch über einen anderen änderbaren Parameter des optischen Systems optimiert werden, wie beispielsweise den Durchmesser der Pupille des optischen Systems, der durch eine steuerbare Ringblende einstellbar sein kann, Farblängsfehlers, Einstellung einer Jones-Pupille, Einstellung eines Apodisationsfilters, Abbildungsmaßstab, Zoomfaktor etc. Es kann auch über eine Kombination mehrerer solcher Parameter optimiert werden.
Die Beschreibung der Bestimmung nur eines geänderten Werts des Parameters, der dem Fall der Aufnahme von zwei Einzelbildern entspricht, ist nur beispielhaft. Beispielsweise lassen sich alle Methoden auf die Aufnahme von mehr als zwei Einzelbildern übertragen.
Nach Berechnen der Änderung des wenigstens einen Parameters wird bei Schritt 73 wird die Änderung des wenigstens einen Parameters zur anschließenden Verwendung abgespeichert. Die entsprechende Größe kann auf eine Vielzahl unterschiedlicher Weisen gespeichert werden, beispielsweise als Steuerbefehl, der von der Steuerung 21 der Vorrichtung bei der Bilderfassung umgesetzt wird, als numerischer Wert, der eine Sollstellung für ein Position des Bildsensors angibt, als numerischer Wert, der eine Positionsänderung zwischen Aufnahme des ersten und zweiten Einzelbilds angibt, oder dergleichen. Falls das optische System mehrere Einstellungen aufweist, beispielsweise mehrere Zoom- und Fokusstellungen, kann ein Kennfeld gespeichert werden, das die Änderung des wenigstens einen Parameters abhängig von der Einstellung des optischen Systems spezifiziert.
Darüber hinaus können bei Schritt 73 auch die MTFs des optischen Systems, insbesondere sowohl die MTF ohne Änderung des Parameters als auch die MTF mit der bestimmten optimalen Änderung D des wenigstens einen Parameters, zur Verwendung bei der Bildrekonstruktion aus den Einzelbildern gespeichert werden.
Die unter Bezugnahme auf das Verfahren von 8 beschriebenen Schritte müssen bei optischen Aberrationen und bei der Kompensation von Fertigungsabweichungen nur einmal durchgeführt werden. Die ermittelten Änderungen des wenigstens einen Parameters, d.h. Defokus oder dergleichen, die zur Erfassung von Einzelbildern verwendet werden sollen, können in mehreren Geräten mit baugleichem optischen System verwendet werden.
9 ist ein Flussdiagramm eines Verfahrens 80 nach einem Ausführungsbeispiel. Das Verfahren 80 kann von einer Vorrichtung nach einem Ausführungsbeispiel durchgeführt werden. Dabei können die Informationen verwendet werden, die mit dem Verfahren 70 von 8 bestimmt und gespeichert werden. Die Verfahren 70 und 80 können auch von derselben Vorrichtung ausgeführt werden.
Bei Schritt 81 werden, wenn ein Bild erfasst werden soll, momentane Einstellungen des optischen Systems ausgelesen. Beispielsweise kann eine Zoomstellung und/oder Fokusstellung ausgelesen werden.
Bei Schritt 82 wird ermittelt, wie wenigstens ein Parameter des optischen Systems für die Erfassung mehrer Einzelbilder geändert werden soll. Die entsprechende Änderung kann von einer Steuerung aus einem Speicher ausgelesen werden. Die entsprechende Änderung kann durch eine von der bei Schritt 81 ermittelten aktuellen Einstellung abhängige Abfrage aus dem Speicher ausgelesen werden. Die Änderung des wenigstens einen Parameters kann eine Aberration des optischen Systems beeinflussen. Die Änderung des wenigstens einen Parameters kann alternativ oder zusätzlich eine Verschiebung von Ortsfrequenzen des Objekts bewirken.
Bei Schritt 83 werden mehrere Einzelbilder aufgenommen, wobei der wenigstens eine Parameter gemäß der bei Schritt 82 bestimmten Änderung geändert wird. Beispielsweise kann ein erstes Einzelbild ohne zusätzlichen Defokus und ein zweites Einzelbild mit einem gezielt eingeführten zusätzlichen Defokus erfasst werden, der bei Schritt 82 bestimmt wird. Die Änderung des wenigstens einen Parameters kann so erfolgen, dass sich dadurch ein Absolutbetrag der OTF, d.h. die MTF, und/oder eine Phase der OTF ändert. Alternativ oder zusätzlich kann die Änderung des wenigstens einen Parameters so erfolgen, dass dadurch eine Verschiebung von Ortsfrequenzen des Objekts erreicht wird, beispielsweise durch räumlich Lichtmodulation der Beleuchtung.
Bei Schritt 84 können die Einzelbilder entfaltet werden. Hierzu können alle herkömmlichen Entfaltungsverfahren verwendet werden, wie beispielsweise Wienerfilter, Lucy-Richardson-Verfahren, Landweber-Algorithmus etc.
Bei Schritt 85 werden zur digitalen Rekonstruktion des Bilds die entfalteten Einzelbilder fusioniert. Dabei erfolgt die Fusion abhängig von Informationen über die OTFs des optischen Systems bei Erfassung der Einzelbilder. Es kann eine ortsfrequenzabhängige Gewichtung basierend auf den MTFs bei Aufnahme der Einzelbilder erfolgen. Für jede von mehreren Ortsfrequenzen kann bei der Bildfusion den (Fourierraum-)Daten desjenigen Einzelbilds eine größere Gewichtung zugeordnet werden, für das die MTF bei der entsprechenden Ortsfrequenz am größten ist. Dies wird nachfolgend beispielhaft für die digitale Rekonstruktion dargestellt, bei der zwei Einzelbilder fusioniert werden. Falls mehrere Einzelbilder zur Verfügung stehen, lassen sich die Methoden entsprechend modifiziert anwenden. Die beschriebenen Fusionierungstechniken sind außerdem ebenso verwendbar, wenn statt einer Defokussierung eine andere Art der Aberrationsänderung erfolgt.
Im Folgenden sei i das aufgenommene Bild ohne zusätzlichem Defokus und i_D das Bild mit dem zusätzlichen Defokus, wobei D beispielsweise mit einem der unter Bezugnahme auf 8 beschriebenen Optimierungsverfahren oder einer Abwandlung davon berechnet wurde. r und r_D sind die aus i bzw. i_D rekonstruierten, möglicherweise mit Artefakten behafteten Rekonstruktionsergebnisse, die beispielsweise mit dem Lucy-Richardson-Verfahren berechnet wurden.
Man benötigt nun eine Methode, die ein fusioniertes Ergebnisbild g erzeugt und die die Frequenzen aus dem Bild stärker gewichtet, in dem sie mit höheren SNR enthalten sind. Dies kann beispielsweise wie folgt im Fourierraum realisiert werden: (F(g))(f) = δ(mtf_D(f) ≤ mtf_D(f))(F(r_D))(f) + δ(mtf_D(f) < mtf(f))(F(r))(f) (13)
Dabei wird mit wieder die in Gleichung (9) definierte Stufenfunktion bezeichnet.
Weitere Methoden zur MTF-abhängigen Fusion können verwendet werden. Beispielsweise kann eine Fusion gemäß
10 illustriert die ortsfrequenzabhängige Gewichtung für die Aufnahme von drei Einzelbildern. Wenigstens ein Parameter des optischen Systems wird gezielt so beeinflusst, dass mehrere Einzelbilder, die dasselbe Objekt abbilden, gleichzeitig oder in kurzem zeitlichen Abstand mit mehreren unterschiedlichen MTFs (MTF1, MTF2, MTF3) erfasst werden. Durch eine digitale Rekonstruktion, bei der die (Fourierraum-)Daten ortsfrequenzabhängig nach Gleichung (13) gewichtet werden, wird erreicht, dass effektiv Daten aus demjenigen Einzelbild verwendet werden, für das die MTF jeweils maximal ist. Das Maximum 90 der MTFs steht als effektive MTF für die Rekonstruktion zur Verfügung. Eine Rekonstruktion ist somit auch für die Ortsfrequenzen möglich, bei denen eine der MTFs eine Nullstelle aufweist oder anderweitig so klein wird, dass das SNR bei der entsprechenden Ortsfrequenz schlecht ist.
Mit Verfahren und Vorrichtungen nach Ausführungsbeispielen kann eine Qualitätserhöhung auch für den Fall erreicht werden, dass die MTF keine exakte Nullstelle besitzt, sondern durch die Manipulation das SNR in gewissen Ortsfrequenzbändern nur erhöht wird und die effektive MTF im oben beschrieben Sinne für bestimmte Ortsfrequenzen höhere Werte aufweist. In diesem Fall wird ebenfalls die Rekonstruktionsgüte verbessert.
Bei weiteren Ausgestaltungen kann alternativ oder zusätzlich zu einer Änderung der MTF eine Verschiebung von Ortsfrequenzen des Objekts, das abgebildet wird, bei der Aufnahme der Einzelbilder erreicht werden. Dazu kann eine räumliche Lichtmodulation vorgenommen werden. Bei wenigstens einer der Aufnahmen eines Einzelbildes kann die Beleuchtungseinrichtung 15 der Vorrichtung so gesteuert werden, dass das Objekt mit einem räumlich periodisch veränderlichen Beleuchtungsmuster beleuchtet wird. Das Beleuchtungsmuster und somit die erreichte Ortsfrequenzverschiebung kann abhängig von der MTF des optischen Systems bei der Aufnahme der Einzelbilder gewählt werden.
11 veranschaulicht eine Bildrekonstruktion, bei der das Ortsfrequenzspektrum des Objektes in den einzelnen Aufnahmen manipuliert wird. Dies ist beispielsweise durch eine angepasste Beleuchtung möglich. Dabei werden mehrere Einzelbilder jeweils mit derselben MTF 91 erfasst. Bei der Aufnahme eines ersten Einzelbilds, bei der das Objekt beispielsweise homogen oder mit einer ersten Lichtmodulation beleuchtet wird, weist das Objekt im ersten Einzelbild eine erste Fourierraum-Darstellung 92 auf. Bei der Aufnahme eines zweiten Einzelbilds wird das Objekt mit einem Beleuchtungsmuster so bestrahlt, dass eine Ortsfrequenzverschiebung erfolgt. Das Objekt weist im zweiten Einzelbild eine zweite Fourierraum-Darstellung 93 auf, die als Funktion der Ortsfrequenz relativ zu der ersten Fourierraum-Darstellung 92 verschoben ist. Aufgrund einer Nullstelle der MTF 91 kann die Information 94 in der ersten Fourierraum-Darstellung 92 aus dem ersten Einzelbild nicht rekonstruiert werden. Durch die Ortsfrequenzverschiebung bei der Aufnahme des zweiten Einzelbildes wird die entsprechende Information in der zweiten Fourierraum-Darstellung 93 zu einem Punkt 95 verschoben, bei dem die MTF 91 von Null verschieden ist. Unter Verwendung der Verschiebung der Ortsfrequenzen, die gezielt und abhängig von den Nullstellen der MTF 91 vorgenommen werden kann, kann durch Fusion der ersten und zweiten Einzelbilder eine Rekonstruktion mit höherer Qualität erfolgen.
Während unter Bezugnahme auf 8–11 Verfahren und Vorrichtungen nach Ausführungsbeispielen beschrieben wurden, können bei weiteren Ausführungsbeispielen zahlreiche Abwandlungen realisiert werden.
Es kann eine Aufnahme von mehr als zwei Bildern mit unterschiedlichen Aberrationsänderungen erfolgen, um die Bildqualität noch weiter zu steigern und/oder noch stärkere Aberrationen zulassen zu können. Eine Verschiebung von Nullstellen der MTF kann auf andere Weise als durch Defokussierung erfolgen. Eine Bildrekonstruktion aus mehreren Einzelbildern kann, je nach optischem System, selektiv nur bei bestimmten Fokus- oder Zoomstellungen, bei denen die MTF kleinere Werte hat, durchgeführt werden.
Während bei dem Verfahren 80 von 9 zuerst die Einzelbilder entfaltet und diese dann fusioniert werden, kann bei weiteren Ausgestaltungen zunächst eine Fusion der Einzelbilder und erst anschließend eine Entfaltung vorgenommen werden. Bei noch weiteren Ausgestaltungen können die Schritte 84 und 85 in einem einzigen Schritt durchgeführt werden.
Mit Verfahren und Vorrichtungen, wie sie unter Bezugnahme auf 1 bis 11 beschrieben wurden, können verschiedene Wirkungen erreicht werden. Im Vergleich zur Verwendung hochwertiger Optiken ergeben sich Kostenvorteile. Die Aufnahme mehrerer Bilder mit gezielten Aberrationsänderungen kann mit einfachen Einrichtungen (beispielsweise Defokussierung durch Verschiebung des Bildsensors) Aberrationen entfalten, die mit bisherigen Ansätzen nicht kompensierbar sind. Das Verfahren kann ohne großen Aufwand auf alle Optiken, Fertigungsungenauigkeiten, Kamerabewegungen angepasst werden.
Bei Verfahren und Vorrichtungen nach Ausführungsbeispielen kann eine Bildrekonstruktion auch dann ermöglicht werden, wenn sich die optischen Aberrationen mit der Wellenlänge ändern. Dies kann bei schlechteren optischen Systemen der Fall sein. Die Aufnahme und digitale Verarbeitung mehrerer Einzelbilder erlaubt auch eine multispektrale Rekonstruktion, d.h. eine Rekonstruktion, die für mehrere Lichtwellenlängen durchgeführt werden. Die Änderung der OTF als Funktion der Lichtwellenlänge kann bei der Rekonstruktion berücksichtigt werden. Es kann auch eine wellenlängenabhängige Sensitivität des Bildsensors bzw. von dessen Farbkanälen berücksichtigt werden.
Ein abzubildendes Objekt ändert sich typischerweise mit der Lichtwellenlänge, d.h. es weist für eine erste Lichtwellenlänge ein erstes räumliches Muster auf und für eine zweite Lichtwellenlänge ein davon verschiedenes zweites räumliches Muster. Gerade bei einfacheren optischen Systemen kann eine Abhängigkeit der PSF von der Wellenlänge bestehen, d.h. die PSF ändert sich mit der Wellenlänge. Bereits ein einfacher Farbquerfehler verändert die PSF. Der Farbquerfehler äußert sich beispielsweise in einer Verschiebung der PSF. Es wäre wünschenswert, derartige Effekte zu berücksichtigen und zumindest teilweise zu kompensieren. Insbesondere wäre es wünschenswert, auch Farbquerfehler digital kompensieren zu können.
Ein Bildsensor erfasst in einem Farbkanal unter Berücksichtigung wellenlängenabhängiger Effekte folgendes Bild:
Dabei bezeichnet l einen Index für Farbkanäle, l = 1, ..., L, wobei L die Anzahl von Farbkanälen ist. In der Praxis ist meistens L = 3 und entspricht den drei Farben blau, grün und rot. In Gleichung (15) bezeichnet o(λ) das wellenlängenabhängige Objekt, h(λ) die wellenlängenabhängig PSF und α_l(λ) die Sensitivität des Kanals l in Abhängigkeit von der Wellenlänge. Die Größen λ_lc und λ_uc sind die untere bzw. die obere Schranke des verwendeten Lichtspektrums. Das Bild i_l und das Objekt o in Gleichung (15) beschreiben das aufgenommene Bild bzw. das Objekt, d.h. sind ortsabhängige Funktionen. Die wellenlängenabhängige PSF h kann auch örtlich veränderlich sein, d.h. die Form der PSF ist nicht nur abhängig von der Wellenlänge, sondern auch vom Ort.
Das Integral von Gleichung (15) kann wie folgt diskretisiert werden:
Der Index k steht für Wellenlängen, bei denen das Wellenlängenspektrum gesampelt wird. K ist die Anzahl unterschiedlicher Wellenlängen. Je größer K, desto genauer ist die
Diskretisierung. h_k repräsentiert die monochromatische PSF für die Wellenlänge mit Index k und α_k,l die Sensitivität im Farbkanal l bei der Wellenlänge mit Index k, also α_k,l = α_l(λ_k). Eine polychromatische PSF für den Farbkanal l kann definiert werden als
Herkömmliche Ansätze, bei denen eine Wellenlängenabhängigkeit der PSF und somit der OTF berücksichtigt werden, können die in Gleichung (17) definierte polychromatische PSF verwenden. Dabei kann es zu verschiedenen Nachteilen kommen. Da der spektrale Sensitivitätsbereich eines Farbkanals ein Intervall darstellt, ändert sich auch die PSF in dem Sensitivitätsbereich eines Farbkanals. Die PSF kann die Form und/oder die Position verändern, was einem Farbquerfehler entspricht. Dies ist besonders problematisch, wenn der Sensitivitätsbereich eines Farbkanals ein relativ großes Intervall des optischen Spektrums abdeckt. Eine Entfaltung unter Verwendung der in Gleichung (17) definierten polychromatischen PSF würde jedoch nur eine bedingte Kompensation von Farbquerfehlern erlauben. Da nur die Verschiebung zwischen zwei Farbkanälen kompensiert werden kann, kann der Farbquerfehler innerhalb des Sensitivitätsbereiches eines Farbkanals bestehen bleiben und zu einer Unschärfe führen. Darüber hinaus ist es in manchen Anwendungen wünschenswert, eine „multispektrale“ Rekonstruktion bei einer Anzahl von Wellenlängen durchzuführen, die größer als die Anzahl von Farbkanälen des Bildsensors ist, um das Objekt spektral höher aufgelöst zu rekonstruieren. Bei herkömmlichen Ansätzen, bei denen nur ein einziges Bild erfasst wird, ist dies nicht möglich. Die polychromatische MTF, die der Absolutbetrag der Fourier-Transformierten der in Gleichung (17) definierten polychromatischen PSF ist, kann kleine Werte aufweisen. Die Frequenzen, bei denen eine Nullstelle auftritt können nicht rekonstruiert werden, wie bereits erläutert wurde.
Die genannten Nachteile einer Rekonstruktion basierend auf der multispektralen PSF können mit Verfahren und Vorrichtungen nach Ausführungsbeispielen zumindest teilweise adressiert werden, bei denen die PSF und somit die OTF des optischen Systems für die Erfassung mehrerer Einzelbilder beeinflusst wird. Die mehreren Einzelbilder können dann abhängig von den OTFs des optischen Systems rechnerisch verarbeitet werden.
Eine Manipulation des optischen Systems kann beispielsweise durch eine leichte Änderung des Fokus geschehen. Die aufgenommenen Einzelbilder lassen sich mathematisch wie folgt beschreiben:
Dabei ist j ein Index für das Einzelbild, j = 1, ..., J, und J die Anzahl der aufgenommenen Einzelbilder. Beispielsweise können J Aufnahme des Objektes mit J unterschiedlichen Fokuspositionen gemacht werden. Mit unterschiedlichen j ändert sich nur die PSF und nicht die Sensitivität der einzelnen Farbkanäle und nicht das Objekt. Die Größe h_k,j bezeichnet entsprechend die PSF bei einer Lichtwellenlänge λ_k und bei Aufnahme des j-ten Einzelbildes. Die Sensitivität der Kanäle hängt von der jeweiligen Lichtwellenlänge ab, α_k,l = α_l(λ_k). Diese Werte sind vom Bildsensor abhängig und bekannt. Die Aufnahme der Einzelbilder erfolgt so, dass das Objekt dabei im Wesentlichen unveränderlich ist.
Für die Aufnahme der mehreren Einzelbilder wird wenigstens ein Parameter des optischen Systems geändert, beispielsweise durch Defokussierung. Die Änderung des wenigstens einen Parameters kann vorab so berechnet werden, dass eine Bestimmung von o_k, d.h. eine Rekonstruktion des Objekts bei der Lichtwellenlänge λ_k, mit einer numerische robusten Optimierungsprozedur erfolgen kann.
Die Rekonstruktion eines spektral aufgelösten Objektes kann beispielsweise durch das folgende Optimierungsproblem erfolgen:
das nach den o_k optimiert wird. Man beachte, dass für jede der Lichtwellenlänge λ_k, für die jeweils eine Rekonstruktion erfolgen soll, i_l,j und o_k nicht ein Skalar ist, sondern die vollständige Information des zweidimensionalen Bildes enthält. Falls beispielsweise – wie für die nachfolgende Beschreibung angenommen – eine vektorielle Darstellung gewählt wird, sind i_l,j und o_k jeweils ein Vektor mit einer Anzahl von Vektorkomponenten, die gleich der Anzahl von Pixeln des Bildsensors ist. Beispielsweise kann i_l,j so dargestellt werden, dass die bei der Erfassung des j-ten Einzelbilds im Farbkanal l erfassten Pixelwerte in den Zeilen des Bildsensors nacheinander in den Vektor i_l,j eingetragen sind. Eine Vielzahl mathematisch äquivalenter Formulierungen kann für die Stellung und Lösung der Optimierungsprozedur von Gleichung (18) verwendet werden. Während in Gleichung (19) beispielhaft das Quadrat der L2-Norm als Abstandsmaß für die zu minimierende Zielfunktion verwendet wird, kann jedes andere Abstandsmaß und insbesondere jede Metrik verwendet werden, um einen Abstand zwischen dem Vektor i_l,j, in den die gemessenen Einzelbilder eingehen, und das rechnerisch für das entsprechende o_k resultierende Einzelbild zu bestimmen. Beispielsweise können anstelle des Quadrats der L2-Norm auch jede Lp-Norm, Potenzen von Lp-Normen, Sobolevnormen oder andere Bildgütebewertungsmaße, wie beispielsweise die Strukturelle Ähnlichkeit ("Structural SIMilarity", SSIM), verwendet werden.
Darüber hinaus kann bei der Lösung des Optimierungsproblems von Gleichung (19) eine Regularisierung verwendet werden. Dadurch können technisch unwahrscheinliche Lösungen, beispielsweise unscharfe Kanten im rekonstruierten Objekt und/oder mit abrupten wellenlängenabhängigen Änderungen in o_k, unterdrückt werden. Verfahren der mathematischen Relaxierung können verwendet werden, um das Optimierungsproblem robust zu lösen.
Wie nachfolgend ausführlicher beschrieben wird, kann das Optimierungsproblem von Gleichung (19) nach Transformation in den Fourierraum gelöst werden. Die Faltung mit dem Faltungsoperator * in Gleichung (19) zwischen wellenlängenabhängiger PSF und Objekt o_k bei der Lichtwellenlänge λ_k wird dann zu einer Multiplikation zwischen Matrix und Vektor. Dies erlaubt die Aufstellung von Kriterien für die Veränderung des wenigstens einen Parameters, die zu einer guten Kondition, d.h. hoher Robustheit, des Optimierungsproblems führen.
12 ist ein Flussdiagramm eines Verfahrens 100 nach einem Ausführungsbeispiel, bei dem eine Wellenlängenabhängigkeit der OTF des optischen Systems berücksichtigt wird. Das Verfahren kann von Vorrichtungen, wie sie unter Bezugnahme auf 1 und 2 beschrieben wurden, automatisch ausgeführt werden. Das Verfahren kann verwendet werden, um einen Farbquerfehler digital zu kompensieren. Das Verfahren kann verwendet werden, um ein Objekt multispektral zu rekonstruieren. Das Verfahren kann verwendet werden um wellenlängenabhängige optische Aberrationen zu kompensieren. Bei dem Verfahren werden allgemein mehrere Einzelbilder erfasst, wobei wenigstens ein Parameter des optischen Systems geändert wird. Aus den Einzelbildern und den OTFs des optischen Systems bei Bilderfassung erfolgt durch automatische Verarbeitung die Rekonstruktion eines Bilds, d.h. des abgebildeten Objekts.
Bei Schritt 101 wird ein Einzelbild erfasst. Der Bildsensor kann mehrere Farbkanäle aufweisen, um das Einzelbild i_l,1 in mehreren Farbkanälen l = 1, ..., L zu erfassen.
Bei Schritt 102 wird wenigstens ein Parameter des optischen Systems geändert. Dies kann so erfolgen, dass die OTF geändert wird. Die Änderung kann so erfolgen, dass die OTF für unterschiedliche Lichtwellenlängen unterschiedlich geändert wird. Die Änderung des wenigstens einen Parameters kann abhängig von vorab berechneten und gespeicherten Steuerinformationen erfolgen. Diese Steuerinformationen können so bestimmt sein, dass das Optimierungsproblem, nach dem die Rekonstruktion erfolgt, möglichst gut konditioniert ist.
Bei Schritt 103 wird ein weiteres Einzelbild erfasst. Der Bildsensor kann mehrere Farbkanäle aufweisen, um das Einzelbild i_l,2 in mehreren Farbkanälen zu erfassen. Das bei Schritt 103 erfasste weitere Einzelbild zeigt dasselbe Objekt wie das bei Schritt 101 erfasste Einzelbild. Das bei Schritt 103 erfasste weitere Einzelbild kann demselben Sichtfeld entsprechen wie das bei Schritt 101 erfasste Einzelbild.
Bei Schritt 104 wird bestimmt, ob eine ausreichende Anzahl von Einzelbildern erfasst wurde. Diese Bestimmung kann abhängig von der Anzahl K von Wellenlängen, für die das Objekt rekonstruiert werden soll, und der Anzahl L von Farbkanälen des Bildsensors erfolgen. Die Bestimmung kann so erfolgen, dass L·J ≥ K. Die Bestimmung kann weiterhin abhängig von einer zur Verfügung stehenden Zeit für die Aufnahme der mehreren Einzelbilder erfolgen. Falls bei Schritt 104 bestimmt wird, dass noch ein weiteres Einzelbild aufgenommen werden soll, kehrt das Verfahren zu Schritt 102 zurück. Andernfalls fährt das Verfahren bei Schritt 105 fort.
Bei Schritt 105 erfolgt eine digitale Rekonstruktion des Objekts abhängig von den Einzelbildern und den OTFs des optischen Systems bei der jeweiligen Bilderfassung. Diese OTFs können, wie unter Bezugnahme auf 1 bis 11 beschrieben, durch Messung und/oder rechnerische Simulation bestimmt werden. Dabei kann ein inkohärentes, kohärentes oder partiell kohärentes optisches Modell zugrunde gelegt werden. Die OTF kann für die mehreren Lichtwellenlängen λ_k mit k = 1, ..., K bestimmt und bei der digitalen Rekonstruktion verwendet werden. Die digitale Rekonstruktion kann wie unter Bezugnahme auf 9 bis 11 beschrieben erfolgen. Die digitale Rekonstruktion kann auch durch eine Optimierungsprozedur basierend auf Gleichung (19) erfolgen, wie nachfolgend noch näher erläutert wird.
Rekonstruktion durch Optimierungsprozedur:
Nachfolgend wird eine Implementierung einer spektral aufgelösten Rekonstruktion mit einer Optimierungsprozedur näher beschrieben. Diese kann bei dem Verfahren 100 bei Schritt 105 verwendet werden.
Dabei wird basierend auf Gleichung (19) ein Optimierung durchgeführt, bei der die o_k für k = 1, ..., K (20) bestimmt werden, d.h. das Bild des Objekts für die Lichtwellenlängen λ_k.
Für eine kompaktere Darstellung des Optimierungsproblems von Gleichung (19) kann ein Vektor o = (o₁; ...; o_K) und ein Vektor i = (i_1;1; ...; i_1;J; i_2;1; ...; i_2;J; ...; i_L;1; ...; i_L;J) definiert werden. Es sollte beachtet werden, dass jedes o_k nicht ein Skalar ist, sondern die volle Information des zweidimensionalen Bilds, das zu rekonstruieren ist. In der gewählten vektoriellen Notation hat jedes o_k eine Anzahl von Komponenten, die der Anzahl von Pixeln des Bildsensors entsprechen kann. Entsprechend ist jedes i_l;j nicht ein Skalar, sondern enthält die Information der für das j-te Einzelbild im l-ten Farbkanal erfassten Daten. In der gewählten vektoriellen Notation hat jedes i_l;j eine Anzahl von Komponenten, die der Anzahl von Pixeln des Bildsensors für den Farbkanal l entsprechen kann. Mit O wird eine dem Vektor o korrespondierende Fourierraum-Darstellung bezeichnet, wobei der Vektor O die Fourierraum-Daten des Objekts für die unterschiedlichen Lichtwellenlängen λ_k enthält. Mit I wird eine dem Vektor i korrespondierende Fourierraum-Darstellung bezeichnet, wobei der Vektor I die Fourierraum-Daten der J Einzelbilder für die unterschiedlichen Farbkanäle l enthält.
Mit dieser Notation kann das Optimierungsproblem von Gleichung (19) nach Transformation in den Fourierraum dargestellt werden als eine Minimierung von ||H ~O – I||², (21)
wobei H ~ ∊ R^LJ×K eine Systemmatrix in Blockdarstellung ist. Der Vektor I ist durch die Erfassung der J Einzelbilder in den L Farbkanälen bekannt. Wie im Zusammenhang mit Gleichung (19) erläutet wurde, können auch andere Metriken oder Ähnlichkeitsmaße für die Optimierung verwendet werden.
Die unterschiedlichen Blöcke der Systemmatrix sind definiert als H ~_(l-1)×J+j,k = α_k,lH_k,l. (22)
Die Fourier-Transformierte der PSF h_k,j ist die OTF H_k,j. Die Blöcke der Systemmatrix hängen somit sowohl von der Sensitivität der Farbkanäle des Bildsensors als auch von der OTF H_k,j bei Erfassung des j-ten Einzelbilds und für die k-te Lichtwellenlängen λ_k ab. Man beachte, dass auf der rechten Seite von Gleichung (22) die OTF H_k,j selbst wieder von der Ortsfrequenz f abhängig ist, so dass diese Matrix die Abbildung zwischen dem (Fourierraum-) Objektvektor für die Lichtwellenlängen λ_k und dem (Fourierraum-)Bildvektor im Farbkanal l bei der Erfassung des j-ten Einzelbildes definiert.
Die Zeilen der Systemmatrix sind für einen gegebenen Farbkanal l nach Gleichung (22) wie folgt definiert: (α_1,lH_1,1, ..., α_K,lH_K,1), (23) (α_1,lH_1,2, ..., α_K,lH_K,2), (24)
... (α_1,lH_1,J, ..., α_K,lH_K,J). (25)
Das Optimierungsproblem von Gleichung (21) mit der in Gleichung (22) definierten Systemmatrix, das dem Problem von Gleichung (19) nach Transformation in den Fourierraum entspricht, kann mit verschiedenen dem Fachmann an sich bekannten Techniken gelöst werden. Beispielsweise kann ein Innere-Punkte-Verfahren oder eine aktive Mengenstrategie verwendet werden.
Das Ergebnis des Optimierungsproblems kann durch geeignete Regularisierungen verbessert werden. Hier sind alle Regularisierungsverfahren möglich, wie sie in der Literatur für Entfaltungsprobleme zum Einsatz kommen sinnvoll. Ein Beispiel wäre eine Tikhonov-Regularisierung. Zusätzlich oder alternativ kann es je nach Anwendung sinnvoll sein, die spektrale Abhängigkeit des Objektes zu regularisieren. Typischerweise ändert sich ein Objekt nicht sprunghaft mit der Wellenlänge. D.h. eine Regularisierung, die die Glattheit von o in Abhängigkeit von λ sicherstellt und somit Sprünge in o als Funktion der Lichtwellenlänge λ bestraft, kann verwendet werden. Das Optimierungsproblem kann alternativ oder zusätzlich auch mit entsprechenden Rauschmodellen regularisiert werden.
Wahl der Änderung des wenigstens einen Parameters zur Aufnahme der Einzelbilder:
Um Informationsverlust dadurch, dass die MTF des optischen Systems eine Nullstelle aufweist, zu verringern, kann die Änderung des wenigstens einen Parameters bei Schritt 102 so gewählt sein, dass für jede der K Lichtwellenlängen λ_k und bei jeder Ortsfrequenz j wenigstens eine der J OTFs H_k,j(f) bei der entsprechenden Ortsfrequenz von Null verschieden ist. Die Änderung des wenigstens einen Parameters bei Schritt 102 so gewählt sein, dass für jede der K Lichtwellenlängen λ_k und bei jeder Ortsfrequenz f wenigstens eine der J OTFs H_k,j(f) eine Wert aufweist, dessen Absolutbetrag größer als ein vorgegebener Schwellenwert ist. Die Änderung des wenigstens einen Parameters bei Schritt 102 so gewählt sein, dass für jede der K Lichtwellenlängen λ_k und bei jeder Ortsfrequenz f im relevanten Frequenzbereich die Größe max_j {|H_k,j(f)|} möglichst groß ist. Hierbei kann beispielsweise jedes der unter Bezugnahme auf 8 beschriebenen Kriterien verwendet werden.
Wenn das Bild aus den Einzelbildern durch eine Optimierungsprozedur rekonstruiert wird, können die bei dem Verfahren 100 bei Schritt 102 verwendeten Änderungen wenigstens eines Parameters des optischen Systems so gewählt sein, dass das Optimierungsproblem eine wohldefinierte Lösung hat. Dies ist genau dann der Fall, wenn die Matrix gut konditioniert ist. Ein mögliches Optimierungskriterium für die Änderung des wenigstens einen Parameters zur Erfassung der mehreren Einzelbilder, beispielsweise der Aberrationsänderung, kann deshalb beispielsweise die Kondition der Matrix sein. Die Zeilen dieser Matrix lassen sich wie in Gleichungen (23) bis (25) angegeben darstellen.
Die Änderung des wenigstens einen Parameters zur Aufnahme der Einzelbilder kann somit so gewählt sein, dass das Optimierungsproblem ein gut gestelltes Problem ist und robust zu einer Lösung führt. Dies kann beispielsweise durch folgende Kriterien erreicht werden:
Für jede Wellenlänge k und für jede Frequenz sollte mindestens ein H_k;j einen hohen Kontrast haben. Andernfalls würde eine Spalte mit Nullen (oder kleinen Werten sehr nahe Null) entstehen und damit zu einer kleinen Kondition der Matrix führen. Dies kann mit den oben beschriebenen Überlegungen, nach denen für jede Ortsfrequenz zumindest ein H_k;j einen möglichst großen Absolutwert aufweisen sollte, berücksichtigt werden.
Darüber hinaus sollten die Zeilen Matrix so linear unabhängig sein wie möglich, damit die Matrix eine gute Kondition hat und das Optimierungsproblem wohldefiniert ist. Die Zeilen für unterschiedliche Farbkanäle l sind typischerweise linear unabhängig sein, da die Sensitivitäten {(α_1,l, ..., α_K,l)}_l=1,...,L für die einzelnen Farbkanäle stark unterschiedlich sind. Dies ist in 13 dargestellt, die die Sensitivitäten 111–113 eines Bildsensors als Funktion der Lichtwellenlänge für unterschiedliche Farbkanäle zeigt. Somit kann die Anforderung, dass die Matrix gut konditioniert ist, entsprechend dahingehend heruntergebrochen werden, dass die zu einem Farbkanal l korrespondierenden Teilmatrizen möglichst unterschiedlich sind. Zusammenfassend ist das Optimierungsproblem von Gleichungen (21) und (22) somit jedenfalls dann gut gestellt ist, wenn die PSFs {h_k;j}_j=1;...;J möglichst vielfältig sind, d.h. wenn die zugeordneten OTFs {H_k;j}_j=1;...;J entsprechend unterschiedlich sind.
Dieses Kriterium einer guten Kondition der Matrix kann berücksichtigt werden, wenn vorab Änderungen wenigstens eines Parameters des optischen Systems ermittelt werden. Entsprechende Steuerinformationen können in der Vorrichtung zur Bilderfassung gespeichert und verwendet werden. Wenn das optische System mehrere Einstellungen aufweist, beispielsweise mehrere Zoomeinstellungen, kann das Kriterium einer guten Kondition der Matrix separat für jede von mehreren Zoomeinstellungen ausgewertet werden.
Die Änderung der PSFs muss nicht in Form unterschiedlich hoher Kontraste der zugehörigen MTF erfolgen, sondern kann auch durch Manipulation der Phase der entsprechenden OTF, d.h. durch eine Phasenschiebung, realisiert werden.
Wahl der Anzahl J von Aufnahmen von Einzelbildern und/oder der Anzahl K von Diskretisierungsstufen zur Bestimmung in Schritt 104 des Verfahrens 100:
Wenn eine multispektrale Rekonstruktion für K Wellenlängen erfolgen soll, so sollte K gemäß der gewünschten spektralen Auflösung gewählt werden. Möchte man die Wellenlängenabhängigkeit der PSF berücksichtigen, so sollte man K in Abhängigkeit der Änderung der PSF wählen. Je stärker die spektrale Abhängigkeit der PSF, desto größer sollte K gewählt werden.
Die Anzahl von Einzelbildern J wird dann so gewählt werden, dass J·L K. Dies stellt sicher, dass das Optimierungsproblem ausreichend viele Gleichungen für die Bestimmung aller Unbekannten hat. Allerdings ist dies nicht zwingend erforderlich, falls eine entsprechend gute Regularisierung verwendet wird. Mit wachsendem J verlängert sich die gesamte Aufnahmezeit, die gerade bei dynamischen Objekten sehr beschränkt ist. Dadurch kann eine Beschränkung der Anzahl J von Einzelbildern und somit der Anzahl K auflösbaren Wellenlängen einhergehen.
Wenn mit dem Verfahren nach einem Ausführungsbeispiel die {o_k} für k = 1, ..., K rekonstruiert sind, steht wellenlängenaufgelöste Information über das Objekt zur Verfügung. Das Objekt wird multispektral rekonstruiert. Für viele Anwendungen kann dies hilfreich sein. Die Anzahl K kann größer als die Anzahl L von Farbkanälen des Bildsensors sein. Es können auch die klassischen L Farbkanäle wieder rekonstruiert werden gemäß
Bei Verfahren nach Ausführungsbeispielen erfolgt eine Entfaltung nicht mit der polychromatischen PSF, sondern spektral abhängig mit der monochromatischen PSF für die jeweilige Lichtwellenlängen λ_k. Der verwendete Faltungskern ist für die jeweilige Wellenlänge angepasster als die polychromatische PSF. Der Einfluss von wellenlängenabhängigen Änderungen der PSF auf die Bildqualität kann verringert werden. Insbesondere kann eine bessere Qualität des erzeugten Bildes selbst dann erreicht werden, wenn die PSF in Abhängigkeit von der Wellenlänge ihre Form und Position ändert. Dies ermöglicht einen höheren Freiraum für das optische Systemdesign und ermöglicht es somit beispielsweise, Systeme mit preiswerteren Komponenten, aber mit vergleichbarer Leistung zu bauen.
Darüber hinaus können bei Verfahren nach Ausführungsbeispielen Probleme vermieden werden, die bei herkömmlichen Ansätzen auftreten können, wenn die polychromatische MTF, d.h. der Absolutbetrag der Fourier-Transformierten der in Gleichung (17) definierten polychromatischen PSF, eine oder mehrere Nullstellen aufweist. Durch Aufnahme mehrerer Einzelbilder derart, dass das Maximum max {H_k;j(f)}_j=1;...;J für alle Ortsfrequenzen einen großen Wert hat, können derartige Probleme vermieden werden.
Die unterschiedlichen OTFs, die bei wenigstens zwei Aufnahmen von Einzelbildern vorliegen, können beispielsweise durch unterschiedliche Pupillenaberrationen realisiert werden. Es ist ausreichend, wenn sie eine Phase der OTF zwischen der Aufnahme von Einzelbildern ändert. Für das optische System müssen die optischen Aberrationen bekannt sein. Diese können z.B. aus einfachen Optiken oder Fertigungsabweichungen resultieren. Die Pupillenaberrationen können beispielsweise durch Simulationen der Optiken oder messtechnisch erfasst werden. Die Aberrationen werden dabei spektral aufgelöst bestimmt. Das optische System weist mehrere Kanäle mit verschiedenen spektralen Sensitivitäten auf.
Bestimmung der spektral aufgelösten optischen Aberrationen der Optik durch Simulation oder Messung und optional die Berechnung einer geeigneten Aberrationsänderung kann für ein bestimmtes optisches System vorab erfolgen. Die entsprechenden Steuerinformationen für die Bilderfassung und Informationen über die OTFs für die Auswertung können zur Verwendung bei der Aufnahme der Einzelbilder und der digitalen Rekonstruktion gespeichert werden. Bei weiteren Ausgestaltungen kann die Änderung des wenigstens einen Parameters ohne Vorabberechnung erfolgen.
Nach mehrfacher schneller oder gleichzeitiger Farbbildaufnahme der Einzelbilder mit den entsprechenden Aberrationsänderungen kann durch Lösung eines Optimierungsproblems, wie es unter Bezugnahme auf Gleichungen (19) bis (22) beschrieben wurde, das spektral aufgelöste Objekt {o_k}_k=1;...;K bestimmt, d.h. das Bild aus den Einzelbildern rekonstruiert werden. Falls Farbkanalbilder gewünscht sind, kann man entsprechend der Sensitivitäten das Farbkanals das Farbkanalbild errechnen, beispielsweise unter Verwendung von Gleichung (26).
Mit Vorrichtungen und Verfahren nach Ausführungsbeispielen, bei denen die OTF zur Erfassung mehrerer Einzelbilder gezielt manipuliert und dann eine Bildfusion zur digitalen Rekonstruktion abhängig von den OTFs erfolgt, können mehrere Wirkungen erreicht werden. Das Objekt kann multispektral rekonstruiert werden. Die spektrale Auflösung kann höher sein als die Anzahl der Farbkanäle. Im Vergleich zu hochwertigen Optiken können Kostenvorteile erzielt werden, da nicht gewährleistet werden muss, dass die PSF relativ konstant über den Sensitivitätsbereich eines Farbkanals ist. Außerdem können stärkere Farbquerfehler zugelassen werden, da diese mit diesem Verfahren digital korrigiert werden können. Die Aufnahme mehrerer Einzelbilder mit gezielten Aberrationsänderungen kann mit einfachen Komponenten, beispielsweise durch eine Defokussierung durch Verschiebung des Bildsensors, auch solche Aberrationen entfalten, die mit bisherigen Ansätzen nicht oder nur bedingt kompensierbar sind. Vor allem die Kompensation von Farbquerfehlern bringt Vorteile. Bei den Vorrichtungen und Verfahren werden Forderungen an einen Mindestkontrast in einem der J Einzelbilder an die monochromatische MTF gestellt. Dies ist in der Praxis leichter zu realisieren als Bedingungen an die polychromatische MTF.
Unter Bezugnahme auf 1 bis 13 wurden Verfahren und Vorrichtungen beschrieben, bei denen zur Aufnahme mehrerer Einzelbilder beispielsweise gezielt eine Defokussierung kontrolliert wird, um eine Bild guter Qualität rekonstruieren zu können. Zahlreiche weitere Abwandlungen können verwendet werden.
Bei einem nicht um die optische Achse rotationssymmetrischen optischen System kann beispielsweise eine gezielte Rotation der MTF um die optische Achse herbeigeführt werden. Dadurch können Ortsfrequenzen bei der Aufnahme eines zweiten Einzelbilds erfasst werden, die bei Aufnahme eines ersten Einzelbilds wegen zu kleiner Werte der MTF im Rauschen untergehen.
14 zeigt eine beispielhafte Darstellung 121 von Ortsfrequenzen bei Aufnahme eines ersten Einzelbildes. In schraffiert dargestellten Bereichen 122 ist die MTF bei Aufnahme des ersten Einzelbildes kleiner als ein Schwellenwert. Durch gezielte Rotation der MTF um die optische Achse können diese Bereiche mit kleiner MTF bei Aufnahme des zweiten Einzelbildes zu anderen Ortsfrequenzen verschoben werden, wie beispielhaft in der Darstellung 123 gezeigt. Die Bereiche 124, bei denen die MTF kleiner als der Schwellenwert ist, sind gegenüber den Bereichen 122 verschoben.
Falls die PSF örtlich veränderlich ist, kann eine effektive Änderung der MTF auch dadurch erreicht werden, dass eine Relativverschiebung zwischen einer Komponente des optischen Systems und dem Objekt hervorgerufen wird. Dies kann beispielsweise durch Steuerung eines Umlenkspiegels erfolgen, mit dem das Objekt auf andere Bereiche des Bildsensors abgebildet wird.
15 zeigt eine beispielhafte Darstellung einer Oberfläche eines Bildsensors. Eine PSF für eine Abbildung auf einen ersten Bereich 131 des Bildsensors kann sich von einer PSF für eine Abbildung auf einen dazu versetzten zweiten Bereich 132 des Bildsensors unterscheiden. Indem dasselbe Objekt bei einer ersten Aufnahme in den ersten Bereich 131 und bei einer zweiten Aufnahme in den zweiten Bereich 132 abgebildet wird, kann eine effektive Veränderung in der MTF hervorgerufen werden. Diese kann zur digitalen Rekonstruktion abhängig von den MTFs für den ersten Bereich 131 und den zweiten Bereich 132 genutzt werden.
Während Ausführungsbeispiele unter Bezugnahme auf die Figuren detailliert beschrieben wurden, können Abwandlungen bei weiteren Ausführungsbeispielen realisiert werden.
Verfahren und Vorrichtungen nach Ausführungsbeispielen, wie sie unter Bezugnahme auf 1 bis 15 beschrieben wurden, können weiterhin ausgestaltet sein, um zu erkennen, wenn sich das Objekt zwischen den zwei Aufnahmen verändert hat. In diesen Fall kann beispielsweise eine Rekonstruktion aus nur einem Einzelbild erfolgen, um Verfälschungen zu vermeiden. Alternativ oder zusätzlich kann eine Bildregistrierung der Einzelbilder gegeneinander vorgenommen werden, um aus der Bewegung des Objekts resultierende Artefakte zu verringern. Verfahren und Vorrichtungen nach Ausführungsbeispielen können weiterhin ausgestaltet sein, um eine Bewegungen des optischen Systems zu messen, falls Bewegungsartefakte kompensiert werden sollen.
Verfahren, wie sie unter Bezugnahme auf 1 bis 15 beschrieben wurden, können auch beim Design des optischen Systems berücksichtigt werden. Dabei kann ein optisches System gezielt so ausgestaltet werden, dass eine Kompensation von Nullstellen der MTF durch Änderung eines Parameters und anschließende digitale Rekonstruktion gut möglich ist. Die hohe Qualität des aus mehreren Einzelbildern rekonstruierten Bildes kann als Zielfunktional im Optikdesign in dem Sinne verwendet werden, dass eine Ausgestaltung des optischen Systems ermittelt wird, in dem gerade die Nullstellen der MTF gut kompensiert werden können.
Während Verfahren und Vorrichtungen beschrieben wurden, bei denen Einzelbilder zeitsequentiell erfasst werden und ein Parameter des optischen Systems zwischen der Aufnahme der Einzelbilder verändert wird, können die Einzelbilder auch gleichzeitig erfasst werden. Dabei wird die Änderung des wenigstens einen Parameters des optischen Systems zwischen den zwei Abschnittes des optischen Systems eingestellt, mit denen die unterschiedlichen Einzelbilder erfasst werden.
Verfahren und Vorrichtungen nach Ausführungsbeispielen sind nicht nur zur Verwendung bei Wellenlängen im sichtbaren Teil des optischen Spektrums geeignet, sondern können auch im Infrarot- und Ultraviolett-Teil des optischen Spektrums eingesetzt werden.
Vorrichtungen und Verfahren nach Ausführungsbeispielen können bei optischen Systemen eingesetzt werden, die einfachere Optiken aufweisen, beispielsweise bei Kameras in Mobilkommunikationsgeräten oder anderen tragbaren Geräten. Vorrichtungen und Verfahren können jedoch auch zur Qualitätserhöhung durch Verarbeitung von mehreren Einzelbildern in Spezialanwendungen eingesetzt werden, beispielsweise in der Mikroskopie oder industriellen Messtechnik.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 05/031645 A [0009]

Zitierte Nicht-Patentliteratur

J.-H. Lee, Y.-S. Ho. Non-blind image deconvolution with adaptive regularization. Advances in Multimedia Information Processing – PCM 2010, Lecture Notes in Computer Science, 2010, Volume 6297/2010, Seiten 719–730, Springer-Verlag Berlin Heidelberg 2010 [0007]

Claims

Verfahren zur Bildrekonstruktion, umfassend: Erfassen mehrerer Einzelbilder (61, 62) unter Verwendung eines optischen Systems (10), wobei wenigstens ein Parameter des optischen Systems (10) beim Erfassen von wenigsten zwei Einzelbildern (61, 62) unterschiedlich ist, und digitales Rekonstruieren eines Bildes (64) abhängig von den mehreren Einzelbildern (61, 62) und abhängig von Informationen über optische Übertragungsfunktionen (51, 52; 90; 91) des optischen Systems (10) beim Erfassen der mehreren Einzelbilder (61, 62).
Verfahren nach Anspruch 1, wobei eine automatische Änderung des wenigstens einen Parameters beim Erfassen der Einzelbilder (61, 62) von wenigstens einer der optischen Übertragungsfunktionen beim Erfassen der Einzelbilder (61, 62) abhängig ist.
Verfahren nach Anspruch 2, wobei die Änderung des wenigstens einen Parameters eine Änderung einer Aberration des optischen Systems (10) umfasst.
Verfahren nach einem der vorhergehenden Ansprüche, wobei ein erstes Einzelbild (61) mit einer ersten optischen Übertragungsfunktion erfasst wird und ein zweites Einzelbild (62) mit einer davon verschiedenen zweiten optischen Übertragungsfunktion erfasst wird, wobei das Bild (64) abhängig von Informationen über die erste optische Übertragungsfunktion und Informationen über die zweite optische Übertragungsfunktion rekonstruiert wird.
Verfahren nach Anspruch 4, wobei eine Änderung des wenigstens einen Parameters beim Erfassen der Einzelbilder (61, 62) abhängig davon, bei welchen Ortsfrequenzen (53) eine erste Modulationsübertragungsfunktion (51), die ein Absolutbetrag der ersten optischen Übertragungsfunktion ist, kleiner als ein Schwellenwert ist, oder abhängig davon, bei welchen Ortsfrequenzen (54) eine zweite Modulationsübertragungsfunktion (52), die ein Absolutbetrag der zweiten optischen Übertragungsfunktion ist, kleiner als der Schwellenwert (55) ist, gewählt wird.
Verfahren nach Anspruch 5, wobei die Änderung des wenigstens einen Parameters so gewählt wird, dass die zweite Modulationsübertragungsfunktion (52) bei denjenigen Ortsfrequenzen (53), bei denen die erste Modulationsübertragungsfunktion (51) kleiner als der Schwellenwert (55) ist, größer als der Schwellenwert (55) ist.
Verfahren nach Anspruch 5 oder Anspruch 6, wobei das Rekonstruieren des Bildes (64) abhängig davon erfolgt, bei welchen Ortsfrequenzen die erste Modulationsübertragungsfunktion (51) größer als die zweite Modulationsübertragungsfunktion (52) ist.
Verfahren nach einem der Ansprüche 5–7, wobei die Änderung des wenigstens einen Parameters so gewählt wird, dass bei jeder Ortsfrequenz wenigstens eine der Modulationsübertragungsfunktionen (51, 52) größer als ein Schwellenwert (55) ist.
Verfahren nach einem der Ansprüche 4–8, wobei die erste optische Übertragungsfunktion relativ zu der zweiten optischen Übertragungsfunktion eine Phasenverschiebung aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Rekonstruieren des Bildes (64) abhängig von einer Wellenlängenabhängigkeit der optischen Übertragungsfunktionen beim Erfassen der Einzelbilder (61, 62) erfolgt.
Verfahren nach Anspruch 10, wobei das optische System einen Bildsensor (12) mit einer Mehrzahl von Farbkanälen umfasst, und wobei das Rekonstruieren des Bildes (64) abhängig von einer Wellenlängenabhängigkeit einer Sensitivität (111–113) des Bildsensors (12) für die Mehrzahl von Farbkanälen erfolgt.
Verfahren nach Anspruch 10 oder 11, wobei das Bild (64) multispektral rekonstruiert wird.
Verfahren nach Anspruch 12, wobei eine Anzahl der Einzelbilder (61, 62), die erfasst werden, abhängig von einer Anzahl von Wellenlängen, für die das Bild rekonstruiert wird, automatisch festgelegt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Steuerung (21) eine Einstellung des optischen Systems (10) beim Erfassen eines ersten Einzelbildes (61) erkennt, abhängig von der erkannten Einstellung kennfeldbasiert eine Änderung des wenigstens einen Parameters ermittelt und das optische System (10) so steuert, dass ein zweites Einzelbild (62) mit dem geänderten wenigstens einen Parameter erfasst wird, so dass eine optische Übertragungsfunktion des optischen Systems (10) beim Erfassen des zweiten Einzelbildes (62) von einer optischen Übertragungsfunktion beim Erfassen des ersten Einzelbildes (61) verschieden ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Änderung des wenigstens einen Parameters eine oder mehrere der folgenden Maßnahmen umfasst: – Einstellen einer Pupille des optischen Systems (10), – Einstellen eines Defokus, – polarisationskodierte Manipulation, insbesondere durch Einstellen einer Jones-Pupille, – Einstellen eines Farblängsfehlers und/oder Farbquerfehlers, – Einstellen einer räumlichen Lichtmodulation, – Einstellen einer Verschiebung von Ortsfrequenzen des Objekts (92, 93) durch Beleuchtung, – Einstellen einer zweidimensionalen Orientierung der optischen Übertragungsfunktion, – Einstellen eines Abbildungsmaßstabes und/oder – Einstellen einer Pixelgröße eines Bildsensors.
Vorrichtung zur Bildrekonstruktion, umfassend: ein optisches System (10), eine Steuerung (21) zum Steuern des optischen Systems (10), die eingerichtet ist, um das optische System (10) zum Erfassen mehrerer Einzelbilder (61, 62) so zu steuern, dass wenigstens ein Parameter des optischen Systems (10) beim Erfassen von wenigstens zwei Einzelbildern (61, 62) unterschiedlich ist, und eine Verarbeitungseinrichtung (22) zum digitalen Rekonstruieren eines Bildes (64) abhängig von den mehreren Einzelbildern (61, 62) und abhängig von Informationen über optische Übertragungsfunktionen (51, 52; 90; 91) des optischen System (10) beim Erfassen der mehreren Einzelbilder (61, 62).
Vorrichtung nach Anspruch 16, die zur Durchführung des Verfahrens nach einem der Ansprüche 1–15 eingerichtet ist.