DE102022130975A1

DE102022130975A1 - Lokalisierung von verschmutzungen in mikroskopiesystemen

Info

Publication number: DE102022130975A1
Application number: DE102022130975.4A
Authority: DE
Inventors: Christian Dietrich; Michael Goelles
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2022-11-23
Filing date: 2022-11-23
Publication date: 2024-05-23
Also published as: CN118068552A

Abstract

Es werden Techniken beschrieben, wie eine Verschmutzungen von Optikkomponenten eines Mikroskopiesystems durch winkelvariable Beleuchtung und entsprechende Auswertung von erfassten Bildern lokalisiert werden können. Es kann dann eine Benutzerführung bereitgestellt werden, die den Benutzer zur Reinigung der betroffenen verschmutzten Optikkomponente anleitet.

Description

TECHNISCHES GEBIET
Verschiedene Beispiele der Erfindung betreffen Techniken, um Verunreinigungen bzw. Verschmutzungen auf Optikkomponenten von Mikroskopiesystemen zu lokalisieren.
HINTERGRUND
Verschmutzungen auf Optikkomponenten können die Qualität der Bildgebung, die mittels eines entsprechenden Mikroskopiesystems erzielbar ist, einschränken.
Die Erkenntnis, dass eine Optik verschmutzt ist, basiert meist auf einem veränderten, ungewohnten Bildeindruck, den ein Anwender hat. Durch graduelle Veränderungen ist die Verschmutzung manchmal nicht offensichtlich, und für manche Bildkontraste (z.B. Fluoreszenz) sind diese nicht sichtbar für den Anwender, führen aber zur Degradation der Bildqualität. Die Reinigung von Optikkomponenten erfolgt in der Praxis daher unsystematisch, meist auch ohne Wissen, auf welcher Komponente sich die Verunreinigung befindet.
Aus DE 10 2016 108 079 A1 sind Techniken der digitalen Nachbearbeitung bekannt, mittels derer sich der Einfluss von Artefakten aufgrund von Verunreinigungen mittels winkelselektiver bzw. winkelvariabler Beleuchtung während der Bildgebung reduzieren lässt. Es wurde festgestellt, dass eine solche digitale Nachbearbeitung zur Reduktion der Abbildungsartefakte aufgrund von Verschmutzung in manchen Situationen aufgrund der inhärent damit einhergehenden Veränderung der erfassten Bilder vom Benutzer wenig gewünscht sein kann. Außerdem kann es manchmal nur eingeschränkt möglich sein, durch stärkere Verunreinigungen oder Verschmutzungen hervorgerufene Abbildungsartefakte durch digitale Nachbearbeitung zu beseitigen.
KURZE ZUSAMMENFASSUNG DER ERFINDUNG
Es besteht ein Bedarf für verbesserte Techniken, um Abbildungsartefakte aufgrund von Verschmutzung von Optikkomponenten eines Mikroskopiesystems zu vermeiden.
Diese Aufgabe wird gelöst von den Merkmalen der unabhängigen Patentansprüche. Die Merkmale der abhängigen Patentansprüche definieren Ausführungsformen.
Mittels der hierin beschriebenen Techniken ist es möglich, die Position von Verschmutzungen im Abbildungsweg eines Mikroskopiesystems zu bestimmen.
Ein Mikroskopiesystem umfasst eine Abbildungsoptik. Die Abbildungsoptik weist eine Objektebene auf. Außerdem weist die Abbildungsoptik eine Abbildungsebene auf, die zur Objektebene konjugiert ist. Das Mikroskopiesystem umfasst auch ein Beleuchtungsmodul. Das Beleuchtungsmodul umfasst mehrere Lichtquellen, beispielsweise Leuchtdioden, die versetzt zueinander angeordnet sind. Das Mikroskopiesystem umfasst auch einen Detektor, welcher in der Abbildungsebene angeordnet ist. Ferner umfasst das Mikroskopiesystem mindestens einem Prozessor. Der mindestens eine Prozessor ist eingerichtet, um den Detektor und die mehreren Lichtquellen anzusteuern, um mehrere Intensitätsbilder zu erfassen. Diese mehreren Intensitätsbilder sind dabei mit Beleuchtung durch unterschiedliche Lichtquellen der mehreren Lichtquellen assoziiert. Der mindestens eine Prozessor ist weiterhin eingerichtet, um basierend auf unterschiedlichen Abbildungsorten eines Abbildungsartefakts in den mehreren Intensitätsbildern eine Verschmutzung, welche das Abbildungsartefakt verursacht, in Bezug auf Optikkomponenten des Mikroskopiesystems (also insbesondere in Bezug auf Optikkomponenten der Abbildungsoptik) zu lokalisieren.
Es wäre möglich, dass die mehreren Lichtquellen in einer Beleuchtungspupillenebene angeordnet sind. Es wäre aber auch denkbar, dass die Lichtquellen versetzt bzw. beabstandet zur Pupillenebene angeordnet sind.
Das Beleuchtungsmodul kann in Durchlichtgeometrie in Bezug auf die Objektebene angeordnet sein.
Das Beleuchtungsmodul kann in Köhler-Geometrie angeordnet sein.
Das Beleuchtungsmodul kann also zum Beispiel einen Träger aufweisen, auf dem die mehreren Lichtquellen angeordnet sind. Der Träger kann in der Beleuchtungspupillenebene angeordnet sein. Das Beleuchtungsmodul kann eine Leuchtfeldblende aufweisen. Das Beleuchtungsmodul kann eine Kondensorlinse und eine zugehörige Kondensorblende, die zwischen der Kondensorlinse und der Beleuchtungspupillenebene angeordnet ist, aufweisen.
Zwischen der Kondensorlinse und einer Objektivlinse der Abbildungsoptik kann dann die Objektebene angeordnet sein. Auf die Objektivlinse kann eine Tubuslinse folgen. Diese kann eine Zwischenbildebene, die konjugiert mit der Objektebene ist, definieren. Die Zwischenbildebene kann dann über eine Relaisoptik auf den Detektor bzw. die Abbildungsebene abgebildet werden.
Der mindestens eine Prozessor kann eingerichtet sein, um die mehreren Lichtquellen so anzusteuern, dass die mehreren Intensitätsbilder jeweils mit der Beleuchtung einer der mehreren Lichtquellen assoziiert sind. Beispielsweise könnte die Aktivierung der Lichtquellen nacheinander im Zeitraum erfolgen. Es könnte erst eine erste Leuchtdiode angesteuert werden, sodass diese Licht aussendet; dann könnte ein entsprechendes Intensitätsbild erfasst werden; dann könnte der Vorgang mit einer weiteren Leuchtdiode wiederholt werden. Es wäre aber auch denkbar, dass die mehreren Lichtquellen Licht unterschiedlicher Wellenlängen aussenden. Dann wäre es möglich, dass ein zumindest teilweise zeitparalleles Beleuchten mittels der mehreren Lichtquellen erfolgt; wobei dann eine spektrale Trennung entweder durch Verwendung geeigneter Filter oder Detektorelemente des Detektors erfolgen kann. Beispielsweise könnten rot-grün-blau Leuchtdioden verwendet werden, die drei Kanäle aufweisen, die individuell angesteuert werden können; der Detektor kann entsprechend drei Kanäle für rot-grün-blau aufweisen.
Eine solche Beleuchtung kann auch als winkelvariable oder winkelselektive Beleuchtung bezeichnet werden. Dies liegt daran, dass durch die zueinander versetzte Anordnung der Lichtquellen (senkrecht zur optischen Achse des Strahlengangs des Mikroskopiesystems) unterschiedliche Winkel der Beleuchtung in der Objektebene erzeugt werden können. Das bedeutet, dass die verschiedenen Intensitätsbilder mit unterschiedlichen Beleuchtungsrichtungen assoziiert sind. Die Objektebene wird unter verschiedenen Winkeln großflächig ausgeleuchtet.
Auch Verunreinigungen bzw. Störstrukturen werden schräg beleuchtet. Wird eine Verunreinigung (die nicht notwendigerweise in der Objektebene angeordnet sein muss) unter unterschiedlichen Winkeln beleuchtet (was durch die mehreren Lichtquellen bzw. die winkelvariable Beleuchtung ermöglicht wird), führt dies zu einem Versatz der Abbildungsorte eines entsprechenden Abbildungsartefakts, das durch die Verunreinigung hervorgerufen wird, in der Abbildungsebene. Die Abbildungsorte des Abbildungsartefakts bzw. der entsprechende Versatz zwischen zwei Paaren von Abbildungsorten, die für unterschiedliche Beleuchtungsrichtungen, die durch das Aktivieren unterschiedlicher Lichtquellen erzielt werden, hervorgerufen wird, ist abhängig von der Position der zugehörigen Verschmutzung im Strahlengang des Lichts durch das Mikroskopiesystem und insbesondere die Abbildungsoptik. Dies kann ausgenutzt werden, um die Verschmutzung in Bezug auf Optikkomponenten der Abbildungsoptik zu lokalisieren.
Es ist möglich, die Verschmutzung axial - das heißt entlang der optischen Hauptachse der Abbildungsoptik - zu lokalisieren. Optional ist es auch möglich, die Verschmutzung lateral zu lokalisieren, das heißt einen Abstand der Verschmutzung zur optischen Hauptachse zu bestimmen.
Beispielsweise könnte im Rahmen der Lokalisierung bestimmt werden, welche optische Komponente, beispielsweise eine Linse oder ein Filter, bei oder nahebei der geschätzten Position der Verschmutzung lokalisiert ist. Die Verschmutzung, typischerweise Staubpartikel oder anderer Schmutz aus der Umgebung, sind dann mit hoher Wahrscheinlichkeit auf einer Oberfläche der entsprechenden optischen Komponente angeordnet; sodass eine Säuberung dieser optischen Komponente zielgerichtet das Abbildungsartefakt reduzieren lässt. Beispielsweise könnte die Lokalisierung auch die Bestimmung der Oberfläche, das heißt zum Beispiel eine vordere oder hintere Oberfläche, der entsprechenden Optikkomponente, die mutmaßlich verschmutzt ist, umfassen.
Durch solche Techniken kann also eine zielgerichtete Reinigung des Mikroskopiesystems bzw. der Optikkomponenten angestoßen werden. Insgesamt kann dadurch die Bildqualität während eines Bildgebungsmodus verbessert werden.
In Beispielen ist der mindestens eine Prozessor eingerichtet, um basierend auf den unterschiedlichen Abbildungsorten des Abbildungsartefakts und unter Verwendung eines strahlenoptischen Modells der Abbildungsoptik eine strahlenoptische Lichtstrahlenausbreitung zu berechnen. Derart kann die Verschmutzung in Bezug auf die Optikkomponenten der Abbildungsoptik lokalisiert werden.
Beispielsweise ist es möglich, dass unter Kenntnis der Anordnung der verschiedenen Optikkomponenten der Abbildungsoptik eine Rückverfolgung von Lichtstrahlen ausgehend von der Objektebene erfolgt (engl. „ray tracing“), um die Verschmutzung zu lokalisieren. Dies ermöglicht eine besonders genaue Lokalisierung der Verschmutzung.
Beispielsweise könnte eine strahlenoptische Triangulation durchgeführt werden. Es können noch mehr als zwei Strahlen verwendet werden, das heißt es kann eine strahlenoptische Multiangulation von zwei oder mehr Lichtstrahlen, die mit den unterschiedlichen Abbildungsorten assoziiert sind, verwendet werden, um beispielsweise den axialen Abstand zwischen der Abbildungsebene und der Verschmutzung zu bestimmen. Dies ermöglicht eine wenig rechenintensive Lokalisierung der Verschmutzung; die Genauigkeit kann ausreichend sein, um eine bestimmte Optikkomponente zu erkennen, die mutmaßlich verschmutzt ist.
Das strahlenoptische Modell der Abbildungsoptik kann dabei entsprechend die axiale Anordnung (das heißt die Positionierung der optischen Hauptebene entlang der optischen Hauptachse) von mehreren Linsen und/oder Filtern usw. der Abbildungsoptik umfassen. Alternativ oder zusätzlich kann das strahlenoptische Modell die Brennweiten der mehreren Linsen und/oder eine axiale Dicke der Linsen oder anderer optischer Komponenten umfassen. Derart können besonders genaue Instruktionen an den Benutzer ausgegeben werden, beispielsweise hinsichtlich einer verunreinigten Oberfläche der entsprechenden Optikkomponente.
Um auch Zugang zu Pupillenebenen der Optik zu erreichen, kann mittels einer einbringbaren Zusatzoptik - beispielsweise einer Bertrand-Optik - oder durch Entfernung von bestimmten Optikkomponenten (z.B. Objektiv) die Ausleuchtung der Pupillenebene erreicht werden. Das Mikroskopiesystem kann also ein wahlweise in den Strahlengang der Abbildungsoptik positionierbares optisches Element umfassen. Dieses kann eingerichtet sein, um die Beleuchtungspupillenebene auf die Abbildungsebene abzubilden. Der mindestens eine Prozessor kann dann eingerichtet sein, um den Detektor und die mehreren Lichtquellen zum Erfassen der mehreren Intensitätsbildern in einem Diagnosemodus anzusteuern, in dem das optische Element im Strahlengang positioniert ist. Durch die Verwendung des Diagnosemodus, kann eine geeignete Beleuchtung verwendet werden, die für die Bildgebung eines Probenobjekts nicht geeignet ist; sich aber besonders gut eignet, um die Verunreinigung zu lokalisieren. Dadurch kann die Verunreinigung genauer lokalisiert werden. Eine robustere Erkennung der Abbildungsartefakte wird ermöglicht. Allgemeiner formuliert können in bestimmten Beispielen im Diagnosemodus mehrere Sätze von Intensitätsbildern erfasst werden. Dabei kann die Konfiguration des Strahlengangs des Lichts durch das Mikroskopiesystem jeweils angepasst werden, das heißt jeder Satz von Intensitätsbildern wird mit einer entsprechenden Konfiguration des Strahlengangs des Lichts erfasst. Beispielsweise kann in einer ersten Konfiguration die Bertrand-Optik im Strahlengang angeordnet sein und in einer zweiten Konfiguration die Bertrand-Optik nicht im Strahlengang angeordnet sein. Weitere Beispiele betreffen zum Beispiel die Variation einer Brennweite eines Objektivs zwischen den verschiedenen Konfigurationen, Variation eines Vergrößerungsfaktors/Zoom-Faktors eines variablen Zoom-Systems, oder die Verwendung von unterschiedlichen Feldblenden. Eine Veränderung der Brennweite des Objektivs kann zum Beispiel durch den Tausch des Objektivs erreicht werden, beispielsweise kann ein Objektiv-Revolver verwendet werden, welcher mehrere Objektive zur selektiven Einbringung in den Strahlengang bereitstellt. Die Veränderungen des Vergrößerungsfaktors kann zum Beispiel durch die Veränderung eines Abstands zwischen zwei Zoom-Linsen eines Zoom-Systems parallel zum Strahlengang erreicht werden (z-Antrieb).
Der Diagnosemodus ist - unter anderem aufgrund der Abbildung der Beleuchtungspupillenebene auf die Abbildungsebene wie in dem Beispiel beschrieben - nicht zur eigentlichen Bildgebung von Objekten, die in der Objektebene angeordnet sind, beispielsweise von Probenobjekten oder zu untersuchenden Probenstücken, geeignet. Entsprechend kann der Diagnosemodus zielgerichtet aktiviert werden, wenn eine Verschmutzung der Abbildungsoptik erkannt werden soll bzw. die Verschmutzung lokalisiert werden soll. Der Diagnosemodus ist auf der anderen Seite nicht für Bildgebung eines Probenobjekts, welches in der Objektebene angeordnet ist, geeignet. Ein vorteilhaftes Vorgehen ist es im Diagnosemodus das Probenobjekt zu entfernen, da deren Bildeffekte die Schmutzeffekte überlagern und damit weniger gut sichtbar oder lokalisierbar machen. Weiterhin kann es bei motorisierten Systemen vorteilhaft sein, optische Elemente wie z.B. das Objektiv, im Diagnoseprozess zu wechseln oder zu verändern, um eine weitere Parametrisierung der beobachteten Artefaktpositionen zu erhalten, um eindeutige Zuordnungen der Artefakte zu verschmutzen Grenzflächen zu erhalten. So würde im einfachsten Fall bei einer verschmutzen Objektivlinse die einen Artefakt hervorruft, dieser bei Wechsel auf ein anderes Objektiv verschwinden. Weiterhin kann es sinnvoll sein Immersionsobjektive im Diagnosemodus ohne Probensubstrat und damit Immersion zu betreiben, um den Reinigungszustande des Objektivs zu bewerten. Vorteilhaft ist, dass über eine Kontrolleinheit verschiedenen Konfigurationen möglichst automatisiert abgefragt oder eingestellt werden können oder zumindest für eine Verrechnungseinheit als mögliche Konstellationen hinterlegt sind, um daraus Aussagen für mögliche Verschmutzungspositionen abzuleiten.
Das strahlenoptische Modell, welches zur Lokalisierung der Verschmutzung in Bezug auf die Optikkomponenten verwendet wird, kann dann die Verwendung eines entsprechenden optischen Elements, das im Strahlengang positioniert ist, und die Beleuchtungspupillenebene auf die Abbildungsebene abbildet, berücksichtigen. Dadurch kann weitere Informationen Zusammenhang mit der Lokalisierung der Verunreinigung erhalten werden. Insbesondere kann dadurch eine robustere und genauere Lokalisierung der Verunreinigung ermöglicht werden.
Die verschiedenen voranstehend beschriebenen Techniken beruhen auf der Bestimmung von Abbildungsorten des Abbildungsartefakts in den mehreren Intensitätsbildern. Dabei gibt es grundsätzlich unterschiedliche Möglichkeiten, um diese Abbildungsorte in den verschiedenen Intensitätsbildern, die zum Beispiel aufgeteilt im Zeitraum oder im Spektralraum erfasst wurden, wie obenstehend beschrieben, zu bestimmen. Beispielsweise könnte eine entsprechende Erkennung computerimplementiert erfolgen. Der mindestens eine Prozessor kann weiterhin eingerichtet sein, um das Abbildungsartefakt mit einem Detektor-Algorithmus in den mehreren Intensitätsbildern zu lokalisieren. Beispielsweise könnte ein maschinengelernter Algorithmus verwendet werden. Beispielsweise könnte ein künstliches neuronales Netzwerk verwendet werden. Das künstliche neuronale Netzwerk könnte als Eingabe jeweils die verschiedenen Intensitätsbilder erhalten. Das künstliche neuronale Netzwerk kann trainiert werden, um basierend auf solchen Intensitätsbildern Verschmutzungen zu lokalisieren. Beispielsweise könnte das Training mittels manuell annotierten Trainingsbildern erfolgen. Ein künstliches neuronales Netzwerk, welches eine solche Verarbeitung im Bildraum bereitstellen kann, ist zum Beispiel ein tiefes Faltungsnetzwerk, welches Faltungsschichten umfasst, bei denen die Eingabegewichte mit im Training bestimmten Kernen gefaltet werden. Solche Techniken beruhen auf der Erkenntnis, dass die Größe, Kontrastierung und Beugungsstruktur von Abbildungsartefakten aufgrund von Verschmutzung durch die typischerweise wiederkehrenden Arten von Verschmutzung (Staub, Fussel, usw.) ein ähnliches Erscheinungsbild aufweisen, sodass eine computerimplementierte Erkennung gute Genauigkeiten erzielen kann.
Eine beispielhafte Implementierung für den Detektor-Algorithmus wäre zum Beispiel ein Autoencoder-Netzwerk. Das Autoencoder-Netzwerk kann eine Kontraktion von räumlichen Merkmalen hinzu einem Flaschenhals durchführen („encoder branch“) und dann eine Expansion ausgehend von dem latenten Merkmalsvektor im Flaschenhals, korrelieren mit der Kontraktion durchführen („deocder branch“). Das bedeutet, dass das Autoencoder-Netzwerk trainiert sein kann, um eine Eingabe (zum Beispiel ein Intensitätsbild) möglichst gut zu rekonstruieren. Dabei kann das Autoencoder-Netzwerk basierend auf Trainingsdaten trainiert werden, die für ein gut gereinigtes Mikroskopiesystem erhalten werden, das heißt ohne oder ohne signifikante Abbildungsartefakte. Tritt nunmehr ein Abbildungsartefakt auf, so ist die Ausgabe des Autoencoder-Netzwerks signifikant verschieden von der Eingabe des Autoencoder-Netzwerks; das heißt das Autoencoder-Netzwerk kann das eingegebene Intensitätsbild nur unzureichend rekonstruieren. Insbesondere im Bereich des Abbildungsartefakte liegt eine signifikante pixelweise Differenz zwischen dem eingegebenen Intensitätsbild und der Rekonstruktion durch das Autoencoder-Netzwerk vor. Derart kann mittels entsprechender Techniken der Anomaliedetektion ein Abbildungsartefakt erkannt werden. Der Vorteil des Autoencoder-Netzwerks liegt darin, dass ein nicht überwachtes Training möglich ist, basierend auf einer Verlustfunktion, die automatisch durch einen Vergleich der Eingabe mit der Ausgabe berechnet wird. Neben einer solchen Implementierung des Detektor-Algorithmus durch ein Autoencoder-Netzwerk werden aber auch andere Implementierungen denkbar, insbesondere andere Anomaliedetektionsalgorithmen.
Der mindestens eine Prozessor könnte auch eingerichtet sein, um das Abbildungsartefakt - alternativ oder zusätzlich zu einem Detektor-Algorithmus - basierend auf einer Benutzereingabe in den mehreren Intensitätsbildern zu lokalisieren. Das bedeutet also, dass die verschiedenen Intensitätsbilder zum Beispiel einem Benutzer präsentiert werden könnten und der Benutzer könnte dann in den verschiedenen Intensitätsbildern jeweils den Abbildungsort eines Abbildungsartefakts markieren. Eine solche Benutzereingabe könnte auch unterstützt werden, indem zunächst der Detektor-Algorithmus ausgeführt wird, und dann Kandidaten für Abbildungsorte des Abbildungsartefakts in einem entsprechenden grafischen Benutzerinterface einem Benutzer präsentiert werden; der Benutzer kann dann jeweils wahlweise bestätigen, dass an bestimmten Abbildungsorten tatsächlich ein und dasselbe Abbildungsartefakt in den mehreren Intensitätsbildern angeordnet ist. Durch solche Techniken kann das Abbildungsartefakt, welches durch eine Verunreinigung in den Intensitätsbildern erzeugt wird, erkannt werden; beispielsweise auch, wenn es sich um bisher unbekannte Abbildungsartefakte handelt.
Neben einer solchen Detektion/Lokalisierung von Abbildungsartefakten, kann optional auch eine Klassifikation von Abbildungsartefakten erfolgen. Beispielsweise könnte der mindestens eine Prozessor weiterhin eingerichtet sein, um basierend auf dem Erscheinungsbild des Abbildungsartefakts in den mehreren Intensitätsbildern mit einem vortrainierten Klassifikator-Algorithmus einen Typ der Verschmutzung zu bestimmen. Beispielsweise könnte unterschieden werden zwischen ein oder mehreren der folgenden Typen von Verschmutzung: Staub; Fussel; Kratzer; Fettfleck; Flüssigkeitstropfen; usw. Solche Techniken beruhen auf der Erkenntnis, dass aufgrund des charakteristischen Erscheinungsbilds von Abbildungsartefakten in den Intensitätsbildern bereits eine gute Aussage über den Typ der Verschmutzung zu treffen ist. Der Typ der Verschmutzung beeinflusst dann häufig auch die Art der Reinigung. Beispielsweise könnte ein Fettfleck mittels Lösungsmittel, beispielsweise Aceton oder Isopropanol, entfernt werden. Andererseits könnte zum Beispiel Staub oder ein Fussel mittels Druckluft entfernt werden. Ein Kratzer kann nicht einfach entfernt werden, sodass ein Austauschen der entsprechenden Optikkomponente erforderlich sein kann. Eine entsprechende Benutzerführung kann an den Benutzer ausgegeben werden, indem eine Benutzerschnittstelle mit entsprechender Information zur Verschmutzung angesteuert wird. Durch eine solche Klassifikation von Abbildungsartefakte kann der Benutzer also bei der Reinigung weiter unterstützt werden.
Der Klassifikator-Algorithmus kann beispielsweise basierend auf den Intensitätsbildern sowie eine Ausgabe des vorgelagerten Detektor-Algorithmus, sofern dieser angewendet wird, operieren. Der Klassifikator-Algorithmus könnte wiederum als künstliches neuronales Netzwerk, insbesondere ein künstliches neuronales Faltungsnetzwerk, ausgebildet sein. Der Klassifikator-Algorithmus kann trainiert werden, indem Trainingsbilder manuell annotiert werden mit einer Grundwahrheit, welche den Typ der Verschmutzung betrifft. Der Klassifikator-Algorithmus könnte beispielsweise auf Bild-Patches arbeiten, die aus den Intensitätsbildern extrahiert werden, beispielsweise basierend auf einer Ausgabe des Detektor-Algorithmus. Der Detektor-Algorithmus könnte ein entsprechendes Abbildungsartefakt detektieren und in dem entsprechenden Intensitätsbild lokalisieren; dann könnte ein Bild-Patch, welches an der entsprechenden Position zentriert ist, extrahiert werden, und als Eingabe in den Klassifikator-Algorithmus übergeben werden.
Als allgemeine Regel kann neben einer solchen Implementierung des Detektor-Algorithmus und/oder des Klassifikator-Algorithmus mittels eines künstlichen neuronalen Netzwerks auch eine andere Implementierung verwendet werden. Beispielsweise könnten herkömmliche Detektor-Algorithmen oder herkömmliche Klassifikator-Algorithmen, die nicht Techniken des maschinellen Lernens einsetzen, verwendet werden. Entsprechende Techniken sind dem Fachmann grundsätzlich aus dem Stand der Technik gut bekannt, sodass hier keine weiteren Details erläutert werden müssen.
In den verschiedenen Beispielen ist es dann möglich, dass der mindestens eine Prozessor eingerichtet ist, um eine Benutzerschnittstelle anzusteuern, um Information zu Verschmutzung an einen Benutzer auszugeben.
Beispielsweise könnte eine grafische Benutzerschnittstelle verwendet werden. Es könnte eine Webseite verwendet werden.
Die Information der Verschmutzung kann zum Beispiel eine Anweisung zur Reinigung einer bestimmten Optikkomponente der Optikkomponenten der Abbildungsoptik umfassen. Beispielsweise könnte diese Anweisung eine Anleitung beinhalten, wie das Mikroskopiesystem zu manipulieren ist, um Zugang zu der bestimmten Optikkomponente, für die die Verschmutzung vermutet wird, zu erhalten. Beispielsweise könnte eine Anleitung erhalten werden, welche Klappen oder Schrauben zu öffnen sind. Die Information kann auch eine Information über den empfohlenen Reinigungsvorgang, beispielsweise das verwendete Reinigungsmedium, beinhalten - was insbesondere dann hilfreich ist, wenn, wie obenstehend beschrieben, der Typ der Verschmutzung bestimmt worden ist.
Um die Lokalisation bzw. gegebenenfalls Klassifikation des Abbildungsartefakts in den mehreren Intensitätsbildern zu fördern, kann der mindestens eine Prozessor eingerichtet sein, um im Diagnosemodus zu veranlassen, dass kein Probenobjekt in der Objektebene angeordnet ist. Beispielsweise könnte beim Vorhandensein eines motorisierten Probenhalters der Probenhalter aus dem Strahlengang des Mikroskopiesystems entfernt werden. Beispielsweise könnte eine Aufforderung an den Benutzer über die Benutzerschnittstelle ausgegeben werden, um den Benutzer aufzufordern, das Probenobjekt oder den Probenhalter aus dem Strahlengang zu entfernen. Dadurch kann eine Überlagerung der Abbildung des Probenobjekts mit den Abbildungsartefakten vermieden werden; so dass die Abbildungsartefakte in den Intensitätsbildern zuverlässiger erkannt werden können. Außerdem kann eine Beleuchtung eingesetzt werden, die gezielt für den Diagnosemodus vorteilhafte Eigenschaften aufweist (solche Eigenschaften sind typischerweise verschieden von vorteilhaften Eigenschaften für die Bildgebung eines Probenobjekts).
Es können Leuchtdioden als Lichtquellen des Beleuchtungsmoduls verwendet werden. In den verschiedenen Beispielen können unterschiedliche Typen von Leuchtdioden verwendet werden, um die winkelvariable Beleuchtung zu Diagnosezwecken zu ermöglichen. Es könnten Festkörper-Leuchtdioden oder organische Leuchtdioden verwendet werden. Insbesondere wäre es in den verschiedenen Beispielen möglich, Leuchtdioden zu verwenden, die eine vergleichsweise enges Winkelspektrum bereitstellen (d.h. in der Bildebene fällt das Licht mit einer Winkelverteilung ein, die eine geringe Breite aufweist; die Breite der Winkelverteilung ist dabei grds. unabhängig vom absoluten Einfallswinkel, der groß oder klein sein kann). Die Breite des Winkelspektrum ist dabei definiert durch die Größe des Emitters, der über das Kondensor-Objektiv-System als Fläche wieder in die Pupille des Objektivs abgebildet wird. Diese Fläche sollte im Verhältnis zur Fläche der Objektivpupille (d.h. der numerischen Apertur der Abbildungsoptik) klein genug sein, um eine ausreichende Tiefenschärfe sicherzustellen. Es kann erstrebenswert sein, dass dieses Verhältnis jeweils nicht größer ist als 5%. Alle durch die Lichtquellen angebotenen Beleuchtungswinkel werden durch die Apertur der Abbildungsoptik zum Detektor transportiert. Solche Techniken beruhen auf der Erkenntnis, dass bei der Verwendung von Leuchtdioden, die eine vergleichsweise geringe numerische Beleuchtungsapertur aufweisen, die Tiefenschärfe der Abbildung erhöht wird. Dies kann (im Diagnosemodus) erstrebenswert sein, um auch Verschmutzungen zu erkennen, die einen vergleichsweise großen axialen Abstand entlang der optischen Hauptachse von der Objektebene oder dazu konjugierten Ebenen aufweisen. Andererseits ist es im entsprechenden Diagnosemodus nicht erforderlich, eine besonders hohe Auflösung - wie sie typischerweise bei der Bildgebung von unbekannten Probenobjekten erstrebenswert ist - zu erzielen. Die Erkennung von Abbildungsartefakten in den Intensitätsbildern und die Positionierung der Abbildungsartefakte in Bezug zueinander, um anschließend die zugrunde liegende Verschmutzung zu lokalisieren, kann auch mit einer vergleichsweise geringen Auflösung - das heißt mit geringer numerischer Beleuchtungsapertur - erzielt werden. Da eine Diagnose für unterschiedliche, jeweils eingeschwenkte Objektive möglich sein soll, ist es vorteilhaft, wenn wenigstens ein Teil der zur Diagnose verwendeten Leuchtelemente zentral, oder zumindest achsennahe positioniert sind, so dass sichergestellt ist, dass auch für Objektive mit kleiner numerischer Apertur (NA) Leuchtelemente vorhanden sind, deren emittiertes Licht in Transmission auf den Sensor abgebildet wird (siehe 4).
Dies bedeutet auch, dass typischerweise für den Diagnosemodus und einen Bildgebungsmodus, bei dem die Bildgebung eines Probenobjekts erfolgt, unterschiedliche Leuchtdioden eingesetzt werden können. Beispielsweise könnten unterschiedliche Trägermodule, die jeweils einerseits Leuchtdioden für den Diagnosemodus mit einer geringen Emitterfläche aufweisen und andererseits Leuchtdioden mit einer großen Emitterfläche für den Bildgebungsmodus aufweisen, wahlweise in den Strahlengang des Mikroskopiesystems eingeschoben werden. Es wäre auch denkbar, dass das Beleuchtungsmodul einen integrierten Trigger aufweist, auf dem die mehreren Leuchtdioden für den Diagnosemodus angeordnet sind; aber auch weitere Leuchtdioden für den Bildgebungsmodus. Diese weiteren Leuchtdioden können dabei eine Emitterfläche aufweisen, die größer ist, als die Emitterfläche der mehreren Leuchtdioden, die für den Diagnosemodus eingesetzt werden. Das bedeutet, dass der mindestens eine Prozessor - wenn der Diagnosemodus aktiv ist - die Leuchtdioden mit kleiner Emitterfläche an-/ausschalten kann, um die Intensitätsbilder zu erfassen, die die Abbildungsartefakte abbilden (während die Leuchtdioden mit großer Emitterfläche durchgängig ausgeschaltet sind); und - wenn der Bildgebungsmodus aktiviert ist - die Leuchtdioden mit der vergleichsweise großen Emitterfläche an-/ausschalten kann, um entsprechende Bilder zu erfassen, die das Probenobjekt abbilden.
Ein Verfahren zur Lokalisierung einer Verschmutzung einer Optikkomponente eines Mikroskopiesystems umfasst das Ansteuern eines Detektors und mehrerer Lichtquellen des Mikroskopiesystems. Das Ansteuern erfolgt, um mit einer winkelvariablen Beleuchtung mehrere Intensitätsbilder zu erfassen. Das bedeutet also, dass die mehreren Intensitätsbilder mit unterschiedlichen Beleuchtungsrichtungen assoziiert sind, die durch die Beleuchtung durch verschiedene der mehreren Lichtquellen erhalten werden. Das Verfahren umfasst auch das Lokalisieren einer Verschmutzung. Die Verschmutzung wird basierend auf unterschiedlichen Abbildungsorte eines Abbildungsartefakts in den mehreren Intensitätsbildern lokalisiert. Die Verschmutzung verursacht das Abbildungsartefakt. Die Lokalisierung erfolgt in Bezug auf Optikkomponenten des Mikroskopiesystems, d.h. relativ in Bezug auf die Optikkomponenten.
Ein Computerprogramm oder ein Computerprogrammprodukt beinhaltet Programmcode, der von einem Prozessor ausgeführt werden kann. Wenn der mindestens eine Prozessor den Programmcode ausführt, bewirkt dies, dass der Prozessor ein Verfahren zur Lokalisierung einer Verschmutzung einer Optikkomponente eines Mikroskopiesystems ausführt. Das Verfahren umfasst das Ansteuern eines Detektors und mehrerer Lichtquellen des Mikroskopiesystems. Das Ansteuern erfolgt, um mit einer winkelvariablen Beleuchtung mehrere Intensitätsbilder zu erfassen. Das bedeutet also, dass die mehreren Intensitätsbilder mit unterschiedlichen Beleuchtungsrichtungen assoziiert sind, die durch die Beleuchtung durch verschiedene der mehreren Lichtquellen erhalten werden. Das Verfahren umfasst auch das Lokalisieren einer Verschmutzung. Die Verschmutzung wird basierend auf unterschiedlichen Abbildungsorte eines Abbildungsartefakts in den mehreren Intensitätsbildern lokalisiert. Die Verschmutzung verursacht das Abbildungsartefakt. Die Lokalisierung erfolgt in Bezug auf Optikkomponenten des Mikroskopiesystems, d.h. relativ in Bezug auf die Optikkomponenten.
Die oben dargelegten Merkmale und Merkmale, die nachfolgend beschrieben werden, können nicht nur in den entsprechenden explizit dargelegten Kombinationen verwendet werden, sondern auch in weiteren Kombinationen oder isoliert, ohne den Schutzumfang der vorliegenden Erfindung zu verlassen.
KURZE BESCHREIBUNG DER FIGUREN

1 illustriert schematisch ein Mikroskopiesystem gemäß verschiedenen Beispielen.
2 illustriert schematisch einen Träger mit mehreren Typen von Leuchtdioden für einen Diagnosemodus und einen Bildgebungsmodus gemäß verschiedenen Beispielen.
3 und 4 illustrieren schematisch die Beleuchtung einer Verschmutzung mittels mehrerer Beleuchtungsrichtungen einer winkelvariablen Beleuchtung gemäß verschiedenen Beispielen.
5 illustriert schematisch die Beleuchtung einer anderen Verschmutzung mittels der mehreren Beleuchtungsrichtungen der winkelvariablen Beleuchtung gemäß verschiedenen Beispielen.
6 ist ein Flussdiagramm eines beispielhaften Verfahrens.

DETAILLIERTE BESCHREIBUNG
Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung der Ausführungsbeispiele, die im Zusammenhang mit den Zeichnungen näher erläutert werden.
Nachfolgend wird die vorliegende Erfindung anhand bevorzugter Ausführungsformen unter Bezugnahme auf die Zeichnungen näher erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder ähnliche Elemente. Die Figuren sind schematische Repräsentationen verschiedener Ausführungsformen der Erfindung. In den Figuren dargestellte Elemente sind nicht notwendigerweise maßstabsgetreu dargestellt. Vielmehr sind die verschiedenen in den Figuren dargestellten Elemente derart wiedergegeben, dass ihre Funktion und genereller Zweck dem Fachmann verständlich wird. In den Figuren dargestellte Verbindungen und Kopplungen zwischen funktionellen Einheiten und Elementen können auch als indirekte Verbindung oder Kopplung implementiert werden. Eine Verbindung oder Kopplung kann drahtgebunden oder drahtlos implementiert sein. Funktionale Einheiten können als Hardware, Software oder eine Kombination aus Hardware und Software implementiert werden.
Nachfolgend werden Techniken im Zusammenhang mit Mikroskopiesystemen beschrieben. Insbesondere können Mikroskopiesysteme mit Köhler-Beleuchtungsmodul in Durchlichtgeometrie verwendet werden. Die Mikroskopiesysteme können zum Beispiel eingerichtet sein, um Halbleiterproben, biologische Proben wie Zellkulturen, Textilien oder andere Probenobjekte abzubilden. Die Mikroskopiesysteme können zum Beispiel im Zusammenhang mit einem chirurgischen Eingriff in der Medizintechnik verwendet werden (Operationsmikroskop).
Gemäß den hierin beschriebenen Techniken ist es möglich, automatisiert eine herabgesetzte Leistungsfähigkeit in der Bildgebung des Mikroskopiesystems zu erkennen. Entsprechende Information kann über eine Benutzerschnittstelle an einen Benutzer ausgegeben werden. Diese Information kann zum Beispiel indikativ dafür sein, welche optische Komponente des Mikroskopiesystems gesäubert werden soll. Das bedeutet, dass es mittels der hierin beschriebenen Techniken möglich ist, Verschmutzungen von Gerätekomponente des Mikroskopiesystems zu erkennen.
Mittels der hierin beschriebenen Techniken können also beispielsweise Wartungsintervalle zur Säuberung des Mikroskopiesystems optimiert werden. Es ist möglich, die Notwendigkeit der Reinigung von Optikkomponenten des Mikroskopiesystems zu erkennen.
Bedingt durch Umwelteinflüsse ist die Verschmutzung von Optikkomponenten ein ständiger Prozess, der zu einem Performance-Verlust von Abbildung und/oder Ausleuchtung in einem Mikroskop führt. Dies betrifft die grundlegende Leistungsparameter wie Auflösung, Kontrast und Homogenität der Abbildungen. Für einen Nutzer ist die Degradation der Bildqualität meist schwer zu erkennen, da die Änderungen nicht sprunghaft, sondern mit einem langsamen, kontinuierlichen Prozess stattfinden. Ebenso ist es für einen Nutzer meist nicht erkennbar, an welchen optischen Komponenten die Verschlechterung hervorgerufen wird.
Die Position von Verschmutzungen im Abbildungsweg des Mikroskopiesystems kann durch die hierin offenbarten Techniken bestimmt werden. Mittels der offenbarten Techniken ist es möglich, die Verschmutzung mit einem Messwert zu parametrisieren. Werden bestimmte Grenzen über- oder unterschritten, kann dem Anwender eine Reinigung empfohlen werden. Dabei kann auch die Komponente benannt werden, auf der sich der störende Schmutz befindet. Eine Benutzerschnittstelle kann zur Ausgabe entsprechende Information betreffend die Verschmutzung angesteuert werden.
Verschiedene hierin offenbarte Techniken verwenden eine Beleuchtung mit geringer räumlicher Kohärenz, z.B. eine Leuchtdiode. Auf Grund der geringen Beleuchtungsapertur führt dies zu einer Abbildung mit hohem Tiefenschärfebereich. Das heißt, dass auch Schmutz, der sich weit entfernt von der Fokusebene/Objektebene (oder dazu konjugierten Ebenen) befindet, in der Abbildung als Störstruktur erkennbar wird. Wird die Störstruktur unter unterschiedlichen Beleuchtungsrichtungen beleuchtet (winkelvariable Beleuchtung), führt dies zu einem Versatz der Abbildung der Störstruktur. Diese ist in Richtung und Betrag abhängig von der Beleuchtungsrichtung. Je geringer die Beleuchtungsapertur, desto weniger groß ist das Spektrum der Beleuchtungsrichtungen im Winkelraum. Dabei gibt die laterale Position, Größe, Kontrastierung und Beugungsstruktur dieser Abbildung bereits einen Hinweis auf Größe, Eigenschaft und optischen Abstand der Verschmutzung zu konjugierter Proben- oder Pupillenebene.
Entsprechende Techniken zur winkelvariablen Beleuchtung wurden beschrieben in US 10,670,387 B2 und DE 10 2016 108 079 A1 . Solche Techniken können im Zusammenhang mit der hierin beschriebenen Technik zur Lokalisierung der Verschmutzung eingesetzt werden.
1 illustriert schematisch ein Mikroskopiesystem 210 gemäß verschiedenen Varianten. Das Mikroskopiesystem umfasst eine Abbildungsoptik 213. Diese definiert eine Objektebene und eine zur Objektebene konjugierte Abbildungsebene (das bedeutet, dass die Objektebene durch entsprechende Optikkomponenten auf die Abbildungsebene abgebildet wird). In der Objektebene kann ein Probenhalter 212 angeordnet werden, auf den ein Probenobjekt positioniert werden kann. In der Abbildungsebene ist ein Detektor 214 angeordnet, beispielsweise ein Kamerachip, ein CMOS-Chip oder ein CCD-Chip.
Das Mikroskopiesystem 210 weist ferner ein Beleuchtungsmodul 211 auf, welches in Durchlichtgeometrie in Bezug auf die Objektebene angeordnet ist. Das Beleuchtungsmodul weist mehrere Leuchtdioden auf, die versetzt zueinander, senkrecht zum Strahlengang bzw. der optischen Achse - angeordnet sind (in 1 sind die Leuchtdioden aus Gründen der Übersichtlichkeit nicht dargestellt). Ein entsprechender Träger mit den Lichtquellen kann in der Beleuchtungspupillenebene angeordnet sein. Außerdem weist das Mikroskopiesystem auch eine Steuerungselektronik 221 auf. Diese kann zum Beispiel durch einen Prozessor, wie beispielsweise einen applikationsspezifischen integrierten Schaltkreis oder einen Mikroprozessor oder ein „Field Programmable Gate Array“ (FPGA), implementiert sein. Diese Steuerungselektronik 221 ist eingerichtet, um verschiedene Komponenten und Module des Mikroskopiesystems 210 anzusteuern. Beispielsweise kann die Steuerung 221 das Beleuchtungsmodul 211 ansteuern, um unterschiedliche Leuchtdioden anzusteuern, das heißt zu aktivieren oder zu deaktivieren. Beispielsweise könnten die mehreren Leuchtdioden zeitversetzt angeschaltet und ausgeschaltet werden, um derart mittels des Detektors 214 Intensitätsbilder erfassen zu können, die mit Beleuchtung durch die unterschiedlichen Leuchtdioden assoziiert sind. Es wäre auch ein spektrales Multiplexen möglich, bei dem die mehreren Leuchtdioden des Beleuchtungsmoduls 211 Licht in unterschiedlichen Wellenlängenbereichen aussenden; und dann die unterschiedlichen Intensitätsbilder durch eine entsprechende Spektralfilterung erhalten werden; bei einem solchen Beispiel kann die Beleuchtung zumindest teilweise zeitparallel mit den mehreren Wellenlängen erfolgen, was die Messzeit reduziert. Alternativ oder zusätzlich könnte eine Trennung durch die Verwendung unterschiedlicher Polarisationsrichtungen des Lichts erfolgen. Beispielsweise könnten Detektorelemente eines Detektors mit zwei unterschiedlichen Polarisationsfiltern ausgestattet sein, um derart eine Trennung über die Polarisation zu erreichen.
Um Licht unterschiedlicher Wellenlängen auszusenden können beispielsweise breitbandige Lichtquellen und nachgeschaltete Filter verwendet werden. Es wäre aber auch denkbar, mehrere unterschiedliche Typen von Lichtquellen zu verwenden, die jeweils selektiv Licht im entsprechenden Spektralbereich aussenden. Beispielsweise könnten rot-grün-blau Leuchtdioden-Arrays verwendet werden, wobei die Leuchtdioden mit den jeweiligen Farben individuell an- und ausgeschaltet werden können.
Um Licht mit unterschiedlichen Polarisationen auszusenden können entsprechende Filter in den Strahlengang positioniert werden. Beispielsweise könnten Pockels-Zellen verwendet werden. Es könnten auch Filter motorisch in den Strahlengang eingefahren und wieder ausgefahren werden. Es sind auch Lichtquellen verfügbar, die bereits polarisiertes Licht aussenden.
Außerdem umfasst das Mikroskopiesystem auch noch einen weiteren Prozessor 222, beispielsweise einen CPU eines Computers. Dieser kann die Steuerungselektronik 221 ansteuern und kann zum Beispiel ein Programm ausführen, welches Messskripte umsetzt und eine Benutzerschnittstelle zu einem Benutzer bereitstellt. Dazu kann eine Mensch-Maschine-Schnittstelle angesteuert werden, z.B. ein Monitor. Der Prozessor 222 lädt Programmcode aus einem Speicher und führt diesen auf, um entsprechende Aufgaben zu erfüllen.
Der Prozessor 222 kann auch eingerichtet sein, um eine Verunreinigung in Bezug auf die Optikkomponenten des Mikroskopiesystems 210 zu lokalisieren. Dazu kann ausgenutzt werden, dass sich der Abbildungsort eines Abbildungsartefakt, das durch die Verunreinigung bewirkt wird, verändert, wenn unterschiedliche Beleuchtungsrichtungen aktiviert werden (indem unterschiedliche Lichtquellen an- bzw. ausgeschaltet werden). Insbesondere können dazu Steuerdaten 850 berücksichtigt werden, welche indikativ für eine Konfiguration des Strahlengangs des Lichts durch das Mikroskopiesystem sind. Die Steuerdaten 850 können beispielsweise angeben, welches Objektiv verwendet wird, ob eine Bertrand-Optik im Strahlengang angeordnet ist, ob das Objektiv im Strahlengang angeordnet ist, ob bestimmte Filter im Strahlengang angeordnet sind, usw. Mittels der Steuerdaten 850 kann die strahlenoptische Lichtausbreitung bestimmt werden. Die Steuerdaten 850 können beispielsweise durch geeignete Sensoren oder Schalter bestimmt werden. Die Steuerdaten 850 können also zumindest teilweise von der Steuerungselektronik 221 bereitgestellt werden. Beispielsweise könnte über einen Schalter bestimmt werden, ob eine bestimmte Optikkomponente im Strahlengang angeordnet ist oder nicht. Alternativ oder zusätzlich können die Steuerdaten 850 zumindest auch teilweise über eine Benutzereingabe erhalten werden. Beispielsweise könnte der Benutzer über eine Benutzerschnittstelle angeben, ob eine bestimmte Optikkomponente im Strahlengang angeordnet ist oder nicht.
Die Aufteilung in eine Steuerung 221 in einem weiteren Prozessor 222, wie sie in 1 gezeigt ist, ist beispielhaft. Manchmal könnten auch noch weitere Prozessoren vorhanden sein oder es wäre denkbar, dass die gesamte Funktionalität in einem einzelnen Prozessor implementiert ist. Es könnte auch, zumindest teilweise, Server-seitiges „Cloud-Computing“ eingesetzt werden.
2 illustriert Aspekte in Bezug auf einen Träger 410 mit einer Vielzahl von Leuchtdioden 411, 412. Der Träger 410 kann in eine Beleuchtungspupillenebene des Beleuchtungsmoduls 211 positioniert werden. Die Leuchtdioden 411, 412 sind versetzt zueinander auf dem Träger angeordnet. Die Leuchtdioden 411 sind verschachtelt mit den Leuchtdioden 412 angeordnet.
Der Träger 410 im Beispiel der 2 weist insbesondere mehrere Typen von Leuchtdioden auf, nämlich die Leuchtdioden 411 und Leuchtdioden 412. Die Leuchtdioden 411 werden für einen Bildgebungsmodus des Mikroskopiesystems 210 eingesetzt; während die Leuchtdioden 412 für einen Diagnosemodus des Mikroskopiesystems 210 eingesetzt werden (das wird später in 6 im Zusammenhang mit Box 3005 näher beschrieben). Die Leuchtdioden 411 weisen dabei eine vergleichsweise große Emitterfläche auf; die Leuchtdioden 412 weisen eine vergleichsweise geringe Emitterfläche auf.
Durch die große Emitterfläche der Leuchtdioden 411 implementieren diese eine relativ große numerische Beleuchtungsapertur: Beispielsweise ist die Breite des Winkelspektrums der Beleuchtung mittels einer der Leuchtdioden 411 größer als 5% des von der NA 490 der Abbildungsoptik (gestrichelter Kreis) akzeptierten Winkelspektrums; durch die vergleichsweise kleine Emitterfläche der Leuchtdioden 412 ist die Breite des Winkelspektrums der Beleuchtung mittels einer der Leuchtdioden 412 kleiner als 5% der Breite des von der NA 490 der Abbildungsoptik akzeptierten Winkelspektrums (beispielsweise ist in 2 die Fläche einer der Leuchtdioden 412 kleiner als 5% der Fläche der NA 490 des Objektivs). Durch die geringe numerische Beleuchtungsapertur der Leuchtdioden 412 wird eine Tiefenschärfe erreicht, was für den Diagnosemodus hilfreich ist. Durch die große Emitterfläche der Leuchtdioden 411 wird ein großes Auflösungsvermögen erreicht, was für den Bildgebungsmodus erstrebenswert ist.
Die Leuchtdioden 411 und die Leuchtdioden 412 sind jeweils zueinander versetzt auf dem Träger 410 angeordnet und miteinander verschachtelt angeordnet. Insbesondere sind im Zentrum des Trägers 410 - das auf der optischen Achse 499 angeordnet wird - mehrere Leuchtdioden 412 für den Diagnosemodus angeordnet.
Je weiter eine Leuchtdiode 412 von der optischen Achse 499 entfernt angeordnet ist, desto größer ist der Winkel, unter dem das entsprechende Licht in einer zur Beleuchtungspupillenebene konjugierten Ebene einfällt (die Breite des Winkelspektrums wird aber durch den Abstand zur optischen Achse 499 nicht beeinflusst).
Durch die Anordnung der Leuchtdioden 412 nahe an der optischen Achse 499 wird erreicht, dass das Licht dieser Leuchtdioden 412 im Diagnosemodus durch die Pupille der Objektive auch mit kleiner NA gelangt. Verunreinigungen auf optischen Elementen können außerdem einen großen Abstand zu (konjugierten) Bildebenen haben; durch Verwendung von Leuchtdioden 412 nahe bei der optischen Achse 499 wird vermieden, dass der Versatz der beobachteten Abbildungsartefakte für solche weiter von (konjugierten) Bildebenen entfernten Verunreinigungen zu groß wird (d.h. die zu lokalisierenden Abbildungsartefakte würden dann nicht mehr auf den Bildgebungssensor abgebildet wird). Der kleine Beleuchtungswinkel, der durch die Leuchtdioden 412 nahe bei der optischen Achse 499 erreicht wird, vermeidet das.
Eine solche Anordnung der Leuchtdioden 411, 412, wie in 2 gezeigt, ist rein beispielhaft. Andere Anordnungen sind denkbar.
Durch die versetzte Anordnung der Leuchtdioden 412 zueinander kann eine winkelvariable Beleuchtung implementiert werden, das heißt Licht aus unterschiedlichen Richtungen in der Objektebene kann verwendet werden. Dieser Effekt kann ausgenutzt werden, um eine Verschmutzung in Bezug auf Optikkomponenten des Mikroskopiesystems 210 und insbesondere die Abbildungsoptik 213 zu lokalisieren. Das ist im Zusammenhang mit 3, 4 und 5 näher erläutert.
3 und 4 zeigen ein Szenario, bei dem eine Verschmutzung 531 (z.B. ein Fussel oder Staubteilchen) auf einem Filter 542 der Abbildungsoptik 213 angeordnet ist. In 3 ist die Leuchtdiode 501 angeschaltet und ein entsprechender Strahlengang 508 des Lichts ist dargestellt. In 4 ist die Leuchtdiode 502, die in der Beleuchtungspupillenebene 503 versetzt zur Leuchtdiode 501 angeordnet ist, angeschaltet und der entsprechende Strahlengang 509 ist dargestellt. Zur Vereinfachung sind in 3 und in 4 jeweils nur der jeweilige Strahl eingezeichnet, der bei den unterschiedlichen Beleuchtungskegeln aus den Leuchtdioden 501, 502 für eine Signalgenerierung auf einem Detektor 546 in der Abbildungsebene 547 relevant wird. Dieser Strahl 508 bzw. 509 durchläuft zunächst eine Kondensorlinse 541 (allgemeine Kondensor-Optik eines des Beleuchtungsmoduls 211 in Köhler-Geometrie); die Kondensor-Optik sorgt dafür, dass die Punktlichtquellen in der Objektebene 543 zu einer parallelen und ausgedehnten Wellenfront führen, wobei der Einfallswinkel der Wellenfront in der Objektebene 543 von einem Abstand der jeweiligen Leuchtdiode 501, 502 von der optischen Hauptachse 510 abhängt. Beispielsweise ist die Leuchtdiode 501 auf der optischen Hauptachse 510 angeordnet; sodass der Lichtstrahl 508 senkrecht auf die Objektebene 543 einfällt; während die Leuchtdiode 502 einen bestimmten Abstand in lateraler Richtung senkrecht zur optischen Hauptachse 510 aufweist; sodass der Lichtstrahl 509 unter einem bestimmten Winkel 561 auf die Objektebene 543 einfällt. Der Beleuchtungswinkel 561 charakterisiert die Beleuchtungsrichtung. Diese Änderung des Beleuchtungswinkels in der Objektebene 543 entspricht auch einer Änderung des Beleuchtungswinkels am Ort der Verschmutzung 531 (beabstandet gegenüber der Objektebene). Diese Veränderung des Beleuchtungswinkels der Verschmutzung 531 führt wiederum zu einer Veränderung der Position des Abbildungsartefakts 536, das mit der Verschmutzung 531 assoziiert ist, in der Abbildungsebene 547. In 3 und 4 ist der entsprechende Abstand 581, 582 der Abbildungsorte des Abbildungsartefakts 536 für die beiden Beleuchtungsrichtungen zur optischen Hauptachse 510 illustriert. Der Abstand 582 ist geringer als der Abstand 581 (das heißt das Abbildungsartefakt 536 weist unterschiedliche Abbildungsorten den beiden entsprechenden Intensitätsbildern auf). Die Größe der Änderung des Abstands 581, 582 ist dabei indikativ für den axialen Abstand 585. Z.B. ist eine entsprechende Situation in 5 gezeigt. Während in 3 und 4 die Verschmutzung 531 auf dem Filter 542 angeordnet ist, ist im Beispiel der 5 die Verschmutzung 532 auf dem Filter 545 angeordnet. In 5 ist ersichtlich, dass die Abbildungsartefakte 536 einen kleineren Abstand zueinander aufweisen, als die Abbildungsartefakte 536 im Fall der 3 bzw. der 4. Das bedeutet, dass der Betrag der Differenz aus den Abständen 582, 581 für den Fall der 5 kleiner ist als der Betrag der Differenz der Abstände 582, 581 für den Fall der 3 in 4. Darüber hinaus ist in diesem Fall die Richtung des Versatzes für die beiden Filterebenen entgegengesetzt, was zusätzlich zu dem Differenzbetrag der Abstände ein Unterscheidungsparameter für verschiedene Verschmutzungspositionen darstellt. Anhand der Abbildungsorte der Abbildungsartefakte 536 lässt sich (unter Kenntnis der Beleuchtungsrichtungen) jeweils die Verschmutzung 531, 532 in Bezug auf die Optikkomponenten (hier die Filter 542, 545) lokalisieren. Ein entsprechendes Verfahren ist in 6 dargestellt.
6 ist ein Flussdiagramm eines beispielhaften Verfahrens, welches der Lokalisation und gegebenenfalls Beseitigung von Verschmutzung einer Optikkomponente eine Abbildungsoptik eines Mikroskopiesystems dient. Das Verfahren aus 6 kann zum Beispiel von mindestens einem Prozessor ausgeführt werden. Beispielsweise könnte das Verfahren aus 6 vom Prozessor 222 und/oder vom Prozessor 221 des Mikroskopiesystems 210 aus 1 ausgeführt werden. Das Verfahren aus 6 kann alternativ oder zusätzlich auch von einem Benutzer ausgeführte Schritte umfassen.
Zunächst wird in Box 3005 überprüft, ob ein Diagnosemodus aktiviert werden soll. Der Diagnosemodus ist verschieden von einem Bildgebungsmodus.
Wenn der Diagnosemodus in Box 3005 nicht aktiviert werden soll, so wird in Box 3045 der Bildgebungsmodus ausgeführt. Das bedeutet, dass ein Beleuchtungsmodul angesteuert wird, um eine in einer Objektebene der Bildgebungsoptik angeordnete Probe, zum Beispiel eine Halbleiterprobe, ein Materialstück, oder eine biologische Probe, zu beleuchten. Die Probe kann auf einem Probenhalter angeordnet sein. Der Probenhalter kann dazu in den Strahlengang bewegt werden. Wenn es sich um einen motorisierten Probenhalter handelt, kann der entsprechende Motor angesteuert werden, um den Probenhalter in den Strahlengang zu bewegen.
Beispielsweise wurden im Zusammenhang mit 2 Aspekte im Zusammenhang mit einem Träger 410 beschrieben, der mehrere verschiedene Typen von Lichtquellen 411, 412 aufweist. Typischerweise ist für die Bildgebung die Verwendung von Lichtquellen erstrebenswert, die eine vergleichsweise große Emitterfläche bzw. numerische Beleuchtungsapertur aufweisen; derart kann ein hohes Auflösungsvermögen erzielt werden. Beispielsweise könnten in Box 3045 die Lichtquellen 411 angesteuert werden, um Licht auszusenden. Der Detektor kann angesteuert werden, um entsprechende Intensitätsbilder zu erfassen, während das Probenobjekt mittels der Leuchtdioden 411 beleuchtet wird.
Wenn in Box 3005 der Diagnosemodus ausgeführt werden soll, so wird das Verfahren in Box 3010 fortgesetzt. In Box 3010 wird gegebenenfalls ein Probenobjekt, welches in der Objektebene angeordnet ist, entfernt. Dazu könnte eine Benutzerschnittstelle angesteuert werden, die den Benutzer - zum Beispiel grafisch und/oder einer Audioausgabe - auffordert, das Probenobjekt vom Probenhalter oder den ganzen Probenhalter zu entfernen. Wenn ein motorisierter Probenhalter vorhanden ist, könnte der entsprechende Motor angesteuert werden, um den Probenhalter aus den Strahlengang zu entfernen.
Optional kann in Box 3015 ein optisches Element in den Strahlengang der Abbildungsoptik eingebracht werden, welches eine Beleuchtungspupillenebene des Beleuchtungsmoduls auf die Abbildungsebene, in der der Detektor angeordnet ist, abbildet. Beispielsweise könnte eine Bertrand-Optik in den Strahlengang eingebracht werden. In einer anderen Variante wäre es auch denkbar, dass das Objektiv aus dem Strahlengang zu entfernen. Auch derart kann ein Effekt erzielt werden, wonach die Beleuchtungspupillenebene des Beleuchtungsmoduls auf die Abbildungsebene, in der der Detektor angeordnet ist, abgebildet wird.
Dann kann in Box 3020 das Ansteuern von Leuchtdioden (beispielsweise speziellen Leuchtdioden, die für den Diagnosemodus vorgesehen sind, vgl. 2: Leuchtdioden 412) erfolgen, um Licht auszusenden. Es können in Box 3020 insbesondere andere Leuchtdioden angesteuert werden, als in Box 3045. Die in Box 3020 angesteuert Leuchtdioden können eine kleinere Emitterfläche aufweisen, als die in Box 3045 angesteuerten Leuchtdioden.
Außerdem wird in Box 3020 der Detektor angesteuert, um Intensitätsbilder zu erfassen. Es wird eine winkelvariable Beleuchtung implementiert, das heißt unterschiedliche Intensitätsbilder entsprechen einer Beleuchtung aus unterschiedlichen Beleuchtungsrichtungen. Beispiele wurden voranstehend im Zusammenhang mit 3, 4 und 5 beschrieben, nämlich im Zusammenhang mit den Leuchtdioden 501, 502. Jedes der Intensitätsbilder kann mit einer bestimmten Beleuchtungsrichtung, das heißt mit einer bestimmten Beleuchtung durch eine bestimmte Leuchtdiode, assoziiert sein. Eine Trennung des Signals für unterschiedliche Beleuchtungsrichtungen kann im Zeitraum und/oder im Spektralraum und/oder durch die Verwendung unterschiedlicher Polarisationen (z.B. horizontal und vertikal polarisiert) erfolgen.
Als allgemeine Regel wäre es auch möglich, dass ein erster Satz von Intensitätsbildern für die verschiedenen Beleuchtungsrichtungen mit der selektiv in den Strahlengang eingebrachten Optik aus Box 3015 erfasst wird; und ein zweiter Satz von Intensitätsbilder erfasst wird, wenn die selektiv in Box 3015 eingebrachte Optik nicht im Strahlengang angeordnet ist (in 6 durch den gestrichelten Rückpfad von Box 3020 zu Box 3015 illustriert). Noch allgemeiner formuliert können mehrere Sätze von Intensitätsbildern erfasst werden, wobei der Strahlengang des Lichts durch das Mikroskopiesystem für jeden Satz unterschiedlich konfiguriert wird (zum Beispiel hinsichtlich der Verwendung der Bertrand-Optik, der Verwendung eines bestimmten Objektivs, ob überhaupt ein Objektiv im Strahlengang angeordnet ist, der Verstellung von ein oder mehreren Linsen oder optischen Elementen parallel zum Strahlengang in Z-Richtung, des verwendeten Vergrößerungsfaktors, usw.). Derart kann zusätzliche Information gewonnen werden, welche eine besonders genaue Lokalisation der Verunreinigungen Bezug auf ein Optikelement der Abbildungsoptik ermöglicht.
Dann kann in Box 3025 ein Abbildungsartefakt einer Verunreinigung in den Intensitätsbildern erkannt werden. Dazu kann zum Beispiel ein Detektor-Algorithmus verwendet werden . Dieser kann zum Beispiel ein maschinengelernter Algorithmus sein, der bereits vorher trainiert wurde. Alternativ oder zusätzlich kann eine Benutzereingabe über eine Benutzerschnittstelle empfangen werden.
In Box 3030 könnte ferner optional eine Klassifikation der detektierten Verunreinigung erfolgen. Beispielsweise könnte ein Typ der Verunreinigung identifiziert werden; dies ermöglicht es im Anschluss, zusätzliche Informationen in Bezug auf eine empfohlene Art der Reinigung der Optikkomponente bereitzustellen, die in Abhängigkeit vom Typ der Verunreinigung bestimmt wird.
In Box 3035 kann dann basierend auf den unterschiedlichen Abbildungsorten des Abbildungsartefakts in den mehreren Intensitätsbildern die Verschmutzung in Bezug auf einer Optikkomponente lokalisiert werden.
Dazu gibt es unterschiedliche Möglichkeiten. Beispielsweise könnte ein Strahlverfolgungs-Algorithmus (englisch „ray tracing“) eingesetzt werden, wenn die Lage und Brennweite der verschiedenen Linsen des Abbildungssystems bekannt sind. Es könnte also, mit anderen Worten, eine strahlenoptische Berechnung gemäß den Pfaden der Strahlengänge 508, 509 wie sie in 3, 4 in 5 dargestellt sind, erfolgen. Ein entsprechendes strahlenoptisches Modell der Abbildungsoptik kann dazu verwendet werden. Es wäre auch möglich, eine axiale Multiangulation von zwei oder mehr Lichtstrahlen, die mit den unterschiedlichen Abbildungsorten assoziiert werden (vergleiche die Strahlengänge 508, 509 in 3, 4 und 5), verwendet werden. Siehe zum Beispiel Offenbarung der Druckschrift DE 10 2016 108 079 A1 , dort insbesondere Gleichung 1.
Wird zum Beispiel eine Bertrand-Optik (vergleiche Box 3015) verwendet, so kann der Abstand anstatt zu der Objektebene in Bezug auf eine korrespondierende Pupillenebene berechnet werden; das stellt dann alternative Information bereit, um so die Robustheit der Berechnung zu erhöhen.
In manchen Beispielen wäre es denkbar, mehrere Intensitätsbilder für zwei Sätze von Konfigurationen der Abbildungsoptik (zum Beispiel einmal mit Bertrand-Optik und einmal ohne Bertrand-Optik; und/oder einmal mit Objektiv und einmal ohne Objektiv) zu erfassen. Derart kann zusätzliche Information über die Lokalisierung von Verunreinigungen gewonnen werden. Zweideutigkeiten können reduziert oder aufgelöst werden.
Beim Lokalisieren kann insbesondere die Konfiguration des Strahlengangs des Lichts durch das Mikroskopiesystem berücksichtigt werden. Für ein strahlenoptisches Modell könnte zum Beispiel berücksichtigt werden, welches Objektiv mit welcher Brennweite verwendet wird. Es kann berücksichtigt werden, ob die Bertrand-Optik im Strahlengang angeordnet ist. Es gibt verschiedene Möglichkeiten, um Steuerdaten (vgl. 1: Steuerdaten 850) zu erhalten, die indikativ für die Konfiguration des Strahlengangs des Lichts sind. Beispielsweise könnten entsprechen der Steuerdaten über eine Benutzerschnittstelle erhalten werden. Alternativ oder zusätzlich können entsprechende Steuerdaten auch automatisch ermittelt werden. Zum Beispiel könnte durch entsprechende Sensoren oder Schalter festgestellt werden, ob die Bertrand-Optik im Strahlengang befindlich ist oder welche Positionierung ein Objektiv-Revolver aufweist.
Mittels entsprechender Berechnungen, wie obenstehend beschrieben, kann also insbesondere ein axialer Abstand bestimmt werden; dieser gibt dann eine Position der Verunreinigungen in Bezug auf die verschiedenen Optikkomponenten der Abbildungsoptik an. Wenn die Position, das heißt insbesondere die axiale Anordnung, der verschiedenen Optikkomponenten bekannt ist oder aus der eingepflegten Konfiguration des optischen Systems abgeleitet werden kann, so kann dieser axiale Abstand verglichen werden mit den Positionen der verschiedenen Optikkomponenten und dann zurückgeschlossen werden auf die verschmutzte Optikkomponente. Wenn die Dicke der Optikkomponente zusätzlich bekannt ist, so kann insbesondere auch rückgeschlossen werden, ob beispielsweise eine vordere Seite oder eine Rückseite der entsprechenden Optikkomponente verschmutzt ist.
Es ist auch möglich, neben einem solchen axialen Abstand die laterale Position der Verunreinigung (das heißt einen Abstand der Verunreinigung von der optischen Hauptachse) zu bestimmen. Dies kann durch die Auswertung der (absoluten) Position des Abbildungsartefakts in der Abbildungsebene erfolgen. Die xy-Position in der Abbildungsebene kann also berücksichtigt werden.
Dann kann eine entsprechende Benutzerführung in Box 3040 erfolgen. Das bedeutet, dass eine Benutzerschnittstelle angesteuert werden kann, um Information zur Verschmutzung an den Benutzer auszugeben. Beispielsweise könnte eine solche Information eine Anweisung zur Reinigung der ermittelten Optikkomponente umfassen. Wenn der Typ der Verschmutzung bekannt ist, könnte zusätzliche Information, wie die Reinigung am besten durchzuführen ist, ausgegeben werden. Es wäre denkbar, dass eine Schritt für Schritt Anweisung ausgegeben werden kann, die beschreibt, wie die Optikkomponente erreicht und ausgebaut werden kann. Das bedeutet, dass eine kontinuierliche Benutzerführung durchgeführt werden kann.
In manchen Beispielen wäre es möglich, dass die Information mehrere möglicherweise verschmutzte Optikkomponenten anzeigt. Eine solche Variante kann erstrebenswert sein, wenn die Lokalisierung der Verschmutzung nicht eindeutig zwischen mehreren möglicherweise verschmutzten Optikkomponenten differenzieren kann. Es könnten auch Wahrscheinlichkeiten im Zusammenhang mit der Lokalisierung der Verschmutzung angegeben werden, beispielsweise ob ein erster Filter mit einer besonders hohen Wahrscheinlichkeit verschmutzt ist und ein zweiter Filter mit einer vergleichsweise niedrigen Wahrscheinlichkeit verschmutzt ist.
Es könnte eine interaktive Benutzerführung ausgelöst werden. Die interaktive Benutzerführung kann Anweisungen zur Manipulation des Mikroskopiesystems umfassen, beispielsweise wie bestimmte Klappen oder Blenden oder Fixierelemente geöffnet oder gelöst werden müssen, um Zugriff zu der verschmutzten Optikkomponente zu erhalten. Die entsprechende Manipulation des Mikroskopiesystems durch den Benutzer kann dann mit entsprechenden Sensoren, welche einen Öffnungszustand einer Klappe oder einer Blende indizieren, überwacht werden. Derart kann eine Interaktion zwischen dem Benutzer, der das Mikroskopiesystem manipuliert, und den ausgegebenen Anweisungen erzielt werden.
Zusammenfassend wurde also ein Mikroskopiesystem beschrieben, das ein Beleuchtungsmodul aufweist, welches es erlaubt, eine Objektebene unter verschiedenen Beleuchtungswinkeln gegenüber der optischen Hauptachse der entsprechenden Abbildungsoptik zu beleuchten. In einer bevorzugten Ausführung sind die Leuchtelemente in der Beleuchtungspupillenebene angeordnet, wobei die Position der Leuchtfläche den mittleren Beleuchtungswinkel bestimmt und die Größe der Leuchtfläche die Variation der Winkelverteilung bestimmt. Die Lage kann aber auch davon abweichen (das heißt die Lichtquellen können entlang der optischen Achse versetzt zur Beleuchtungspupillenebene angeordnet werden), solange mit der Beleuchtungsanordnung einen Beleuchtungskegel mit kleiner Winkelverteilung erzeugt wird, der eine große Tiefenschärfe durch die Beleuchtung sicherstellt. Dies kann erreicht werden durch Blenden an geeigneten Stellen oder auch LED-Leuchtelemente, die in ausreichend großen Abstand von der Probenebenen angeordnet sind ohne weitere Beleuchtungsoptiken. Die numerische Apertur der einzelnen Beleuchtungskegel, die von Leuchtdioden (oder anderen Typen von Lichtquellen) des Beleuchtungsmoduls ausgesendet werden, soll klein sein. Beispielsweise kann die Breite des Winkelspektrums der Beleuchtung, das von einer Leuchtdiode bereitgestellt wird, nicht größer als 5% als die Breite des von der numerischen Apertur der Abbildungsoptik akzeptierten Winkelspektrums sein. Das Mikroskopiesystem kann auch mindestens einen Sensor bzw. einen Detektor aufweisen, der die Intensitätsverteilung des einfallenden Lichts in einer Abbildungsebene detektiert, die typischerweise konjugiert zur Objektebene ist (oder, wenn ein entsprechendes optisches Element eingebracht wird, konjugiert zu einer Pupillenebene ist). Intensitätsbilder werden dabei für die verschiedenen Beleuchtungskonfigurationen bzw. Beleuchtungsrichtungen erfasst und gespeichert. Mindestens ein Prozessor kann dann basierend auf diesen Intensitätsbildern und unter Heranziehung von Wissen über den Aufbau des Mikroskopiesystems bzw. insbesondere der Abbildungsoptik die Lage von Verunreinigungen entlang der Abbildungskette des Mikroskopiesystems ableiten und an einen Benutzer ausgeben.
Beispielsweise wäre es denkbar, die Form und Intensitätsverteilung der Abbildungsartefakte einer Verschmutzung auszuwerten, um Aussagen über die Lokalisierung der Verschmutzung in Bezug auf die Optikkomponenten der Abbildungsoptik und optional über den Typ der Verschmutzung zu machen.
Dabei kann eine axiale Lagebestimmung der Verunreinigung durchgeführt werden, basierend auf einer Triangulation, die mittels den unterschiedlichen Beleuchtskegeln, die den unterschiedlichen Beleuchtungsrichtungen durch Aktivierung unterschiedlicher Leuchtdioden (mit unterschiedlichen Abständen zur optischen Achse) beruhen.
Neben einer solchen axialen Lokalisierung kann auch eine laterale Lokalisierung der Verunreinigung durchgeführt werden, nämlich insbesondere in dem der Abstand des Abbildungsartefakts in Bezug auf die optische Hauptachse absolut ausgewertet wird (der entsprechende Abstand 581, 582 wurde im Zusammenhang mit den 3, 4 und 5 diskutiert).
Für den Diagnosemodus (bei dem die Verunreinigung lokalisiert wird) kann derselbe Detektor und/oder dasselbe Bildgebungsmodul verwendet werden, der auch für einen Bildgebungsmodus verwendet wird.
Das Beleuchtungsmodul kann zum Beispiel ein Array aus Leuchtdioden aufweisen, welche verwendet werden, um entsprechende Beleuchtungsrichtungen zu implementieren. Die Leuchtdioden können zeitlich und/oder spektral gemultiplext geschaltet werden, um eine Trennung der verschiedenen Beleuchtungsrichtungen in den verschiedenen Intensitätsbildern zu erzielen. Beispielsweise könnten unterschiedliche Farbemitter, zum Beispiel rot-grün-blau, einer Leuchtdioden-Anordnung zur Beleuchtung genutzt werden, um die unterschiedlichen Beleuchtungsrichtungen über das Farbspektrum zu kodieren und simultan mit einer Farbkamera, die entsprechende Kanäle aufweist, sichtbar zu machen.
Es ist optional möglich, eine zusätzliche Optik wie zum Beispiel eine Bertrand-Optik, in den Strahlengang der Abbildungsoptik einzubringen; um von einer Abbildung der Objektebene auf eine Abbildung einer Pupillenebene zu wechseln. Damit kann erreicht werden, dass das vollständige Feld in einer zur Pupillenebene konjugierten Ebene ausgeleuchtet wird, und derart eine Verschmutzung auch in einer solchen zu einer Pupillenebene konjugierten Ebene bzw. in der Pupillenebene selbst lokalisiert werden kann.
Dabei kann ein strahlenoptisches Modell der Abbildungsoptik, das heißt Kenndaten bzw. Design der zu untersuchenden Optik, zur Auswertung hinterlegt sein. Aus den Abständen zwischen den Abbildungsorten von Abbildungsartefakten in den verschiedenen Intensitätsbildern (die mit unterschiedlichen Beleuchtungsrichtungen assoziiert sind) kann auf die axiale Lage von Verunreinigungen in Bezug auf die Abbildungsoptik bzw. deren Komponenten zurückgeschlossen werden.
In manchen Beispielen wäre es dabei denkbar, dass nicht lediglich eine einzelne Optikkomponente, die vermutlich verunreinigt ist, an den Benutzer ausgegeben wird; sondern zwei oder mehr Optikkomponenten ausgegeben werden, beispielsweise wenn aufgrund von Zweideutigkeiten nicht eindeutig auf eine Optikkomponente zurückgeschlossen werden kann. Es könnten auch assoziierte Wahrscheinlichkeiten an den Benutzer ausgegeben werden, welche der Optikkomponenten mit höherer Wahrscheinlichkeit oder geringerer Wahrscheinlichkeit verschmutzt ist.
Die Abbildungsartefakte, die mit einer Verschmutzung assoziiert sind, können dabei auch mit einer teilweisen Interaktion mit dem Benutzer identifiziert werden, zum Beispiel in dem ein Nutzer die Verschiebung von Schmutzeffekten innerhalb der Intensitätsbilder anzeigt.
Selbstverständlich können die Merkmale der vorab beschriebenen Ausführungsformen und Aspekte der Erfindung miteinander kombiniert werden. Insbesondere können die Merkmale nicht nur in den beschriebenen Kombinationen, sondern auch in anderen Kombinationen oder für sich genommen verwendet werden, ohne das Gebiet der Erfindung zu verlassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102016108079 A1 [0004, 0050, 0079]
US 10670387 B2 [0050]

Claims

Mikroskopiesystem (210), das umfasst: - eine Abbildungsoptik (213) mit einer Objektebene (543) und einer zur Objektebene (543) konjugierten Abbildungsebene (547), - ein Beleuchtungsmodul (211) mit mehreren Lichtquellen (412, 501, 502), die versetzt zueinander angeordnet sind, - einen Detektor (546), der in der Abbildungsebene (547) angeordnet ist, und - mindestens einen Prozessor (221, 222), der eingerichtet ist, um den Detektor (546) und die mehreren Lichtquellen (412, 501, 502) anzusteuern, um mehrere Intensitätsbilder zu erfassen, die mit Beleuchtung durch unterschiedliche Lichtquellen (412, 501, 502) der mehreren Lichtquellen (412, 501, 502) assoziiert sind, wobei der mindestens eine Prozessor (221, 222) weiterhin eingerichtet ist, um basierend auf unterschiedlichen Abbildungsorten eines Abbildungsartefakts (536) in den mehreren Intensitätsbildern eine das Abbildungsartefakt verursachende Verschmutzung (531, 532) in Bezug auf Optikkomponenten (541, 542, 545, 546) des Mikroskopiesystems (210) zu lokalisieren.
Mikroskopiesystem (210) nach Anspruch 1, wobei der mindestens eine Prozessor (221, 222) eingerichtet ist, um basierend auf den unterschiedlichen Abbildungsorten (536) des Abbildungsartefakts und unter Verwendung eines strahlenoptischen Modells der Abbildungsoptik (213) eine strahlenoptische Lichtstrahlausbreitung zu berechnen, um die Verschmutzung (531, 532) in Bezug auf die Optikkomponenten (541, 542, 545, 546) zu lokalisieren.
Mikroskopiesystem (210) nach Anspruch 2, wobei die strahlenoptische Lichtstrahlausbreitung eine axiale Multiangulation von zwei oder mehr Lichtstrahlen (508, 509), die mit den unterschiedlichen Abbildungsorten assoziiert sind, umfasst, um einen axialen Abstand zwischen der Abbildungsebene oder der Objektebene (542) und der Verschmutzung (531, 532) zu bestimmen.
Mikroskopiesystem (210) nach Anspruch 2 oder 3, wobei das strahlenoptische Modell der Abbildungsoptik (213) eine axiale Anordnung von mehreren Linsen der Abbildungsoptik (213) umfasst und optional Brennweiten der mehreren Linsen und/oder eine axiale Dicke der Linsen umfasst.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, das weiterhin umfasst: - ein wahlweise in einem Strahlengang der Abbildungsoptik (213) positionierbares optisches Element, welches eingerichtet ist, um eine Beleuchtungspupillenebene auf die Abbildungsebene abzubilden, wobei der mindestens eine Prozessor (221, 222) eingerichtet ist, um den Detektor (546) und die mehreren Lichtquellen (412, 501, 502) zum Erfassen der mehreren Intensitätsbilder in einem Diagnosemodus anzusteuern, in dem das optische Element im Strahlengang positioniert ist.
Mikroskopiesystem (210) nach einem der Ansprüche 2 bis 4, sowie nach Anspruch 5, wobei das strahlenoptische Modell das optische Element berücksichtigt.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, wobei der mindestens eine Prozessor (221, 222) weiterhin eingerichtet ist, um das Abbildungsartefakt (536) mit einem Detektor-Algorithmus in den mehreren Intensitätsbildern zu lokalisieren.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, wobei der mindestens eine Prozessor (221, 222) weiterhin eingerichtet ist, um das Abbildungsartefakt (536) basierend auf einer Benutzereingabe in den mehreren Intensitätsbildern zu lokalisieren.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, wobei der mindestens eine Prozessor (221, 222) weiterhin eingerichtet ist, um basierend auf einem Erscheinungsbild des Abbildungsartefakts (536) in den mehreren Intensitätsbildern mit einem vortrainierten Klassifikator-Algorithmus einen Typ der Verschmutzung zu bestimmen.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, wobei der mindestens eine Prozessor (221, 222) eingerichtet ist, um den Detektor und die mehreren Lichtquellen (412, 501, 502) zum Erfassen der mehreren Intensitätsbilder in einem Diagnosemodus anzusteuern, bei dem kein Probenobjekt in der Objektebene angeordnet ist.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, wobei der mindestens eine Prozessor (221, 222) eingerichtet ist, um eine Benutzerschnittstelle anzusteuern, um Information zur Verschmutzung an einen Benutzer auszugeben.
Mikroskopiesystem (210) nach Anspruch 11, wobei die Information eine Anweisung zur Reinigung einer bestimmten Optikkomponente der Optikkomponenten der Abbildungsoptik (213) umfasst.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, wobei das Beleuchtungsmodul (211) einen Träger (410) aufweist, auf dem die mehreren Lichtquellen (412, 501, 502) angeordnet sind, wobei die mehreren Lichtquellen (412, 501, 502) Leuchtdioden sind, die Emitterflächen aufweisen, die nicht größer sind als ein erster Flächenwert, wobei das Mikroskopiesystem (210) ein oder mehrere weitere Leuchtdioden (411) aufweist, die auf dem Träger (410) angeordnet sind, wobei die ein oder mehreren weiteren Leuchtdioden (411) Emitterflächen aufweisen, die größer sind als der erste Flächenwert.
Mikroskopiesystem (210) nach Anspruch 13, wobei der mindestens eine Prozessor (221, 222) eingerichtet ist, um den Detektor (546) und die mehreren Leuchtdioden zum Erfassen der mehreren Intensitätsbilder in einem Diagnosemodus anzusteuern, wobei der mindestens eine Prozessor (221, 222) eingerichtet ist, um den Detektor (546) und die ein oder mehreren weiteren Leuchtdioden zum Erfassen von ein oder mehreren weiteren Intensitätsbilder in einem Bildgebungsmodus anzusteuern, in dem ein in der Objektebene angeordnetes Probenobjekt mikroskopiert wird.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, wobei die Breite eines Winkelspektrums der Beleuchtung der mehreren Lichtquellen (412, 501, 502) jeweils nicht größer ist als 5% der Breite eines Winkelspektrums, das durch die numerische Apertur der Abbildungsoptik definiert ist.
Mikroskopiesystem (210) nach einem der voranstehenden Ansprüche, wobei die mehreren Intensitätsbilder durch Verwenden von Licht mehrerer Wellenlängen oder mehrerer Polarisationen zumindest teilweise zeitparallel erfasst werden.
Verfahren zur Lokalisierung einer Verschmutzung einer Optikkomponente eines Mikroskopiesystems, wobei das Verfahren umfasst: - Ansteuern eines Detektors und mehrerer Lichtquellen des Mikroskopiesystems, um mehrere Intensitätsbilder mit einer winkelvariablen Beleuchtung zu erfassen, und - basierend auf unterschiedlichen Abbildungsorten eines Abbildungsartefakts in den mehreren Intensitätsbildern, Lokalisieren einer das Abbildungsartefakt verursachenden Verschmutzung in Bezug auf Optikkomponenten des Mikroskopiesystems.
Verfahren nach Anspruch 17, wobei das Verfahren weiterhin umfasst: - Ansteuern des Detektors und der mehreren Lichtquellen des Mikroskopiesystems, um mehrere weitere Intensitätsbilder mit der winkelvariablen Beleuchtung zu erfassen, wobei die mehreren Intensitätsbilder mit einer ersten Konfiguration eines Strahlengangs des Lichts durch das Mikroskopiesystem erfasst werden, wobei die mehreren weiteren Intensitätsbilder mit einer zweiten Konfiguration des Strahlengangs des Lichts durch das Mikroskopiesystem erfasst werden, wobei das Lokalisieren der das Abbildungsartefakt verursachenden Verschmutzung in Bezug auf die Optikkomponenten des Mikroskopiesystems ferner auf unterschiedlichen Abbildungsorten des Abbildungsartefakts in den mehreren weiteren Intensitätsbildern basiert.
Verfahren nach Anspruch 18, wobei sich die erste Konfiguration und die zweite Konfiguration des Strahlengangs des Lichts hinsichtlich ein oder mehrerer der folgenden unterscheiden: Verwendung einer Bertrand-Optik; Brennweite eines Objektivs; Zoom-Faktor; Feldblende.
Verfahren nach einem der Ansprüche 17 bis 19, wobei das Verfahren weiterhin umfasst: - Ansteuern eines Benutzerschnittstelle, um Information zur Verschmutzung an einen Benutzer auszugeben.
Verfahren nach einem der Ansprüche 17 bis 20, wobei das Verfahren vom mindestens einen Prozessor des Mikroskopiesystems nach einem der Ansprüche 1 bis 16 ausgeführt wird.
Computerprogramm das Programmcode umfasst, der von mindestens einem Prozessor ausgeführt werden kann, wobei das Ausführen des Programmcodes bewirkt, dass der mindestens eine Prozessor das Verfahren nach Anspruch 17 ausführt.