DE102017100262A1

DE102017100262A1 - Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe in einem digitalen Mikroskop und digitales Mikroskop

Info

Publication number: DE102017100262A1
Application number: DE102017100262.6A
Authority: DE
Inventors: Pavel Iliopoulos; Alexander GAIDUK
Original assignee: Carl Zeiss Microscopy GmbH
Current assignee: Carl Zeiss Microscopy GmbH
Priority date: 2017-01-09
Filing date: 2017-01-09
Publication date: 2018-07-12
Also published as: US20190353886A1; DE102017100262A8; WO2018127509A1; CN110168609A

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe in einem digitalen Mikroskop. Das Verfahren umfasst folgende Schritte: Zunächst wird eine Perspektive vorgegeben, zur Aufnahme von Bildern zumindest eines Bereichs der Probe, wobei die Perspektive durch den Winkel und die Position der optischen Achse des Objektivs relativ zur Probe und durch die Winkelverteilung der Beleuchtungsstrahlung relativ zur Probe (09) vorgegeben wird. Dann wird ein Bild der Probe mit einem Sichtfeld des Mikroskops (01) aufgenommen. Das aufgenommene Bild wird mit Angaben zu dem verwendeten Sichtfeld in einem Speicher abgelegt. Die vorgenannten Schritte werden mit verschiedenen Sichtfeldern wiederholt, wobei weitere Bilder der Probe mit verschiedenen Sichtfeldern aufgenommen werden. Aus den aufgenommenen Bildern wird ein dreidimensionales Modell der Probe berechnet. Die Erfindung betrifft weiterhin ein digitales Mikroskop, welches zur Ausführung des erfindungsgemäßen Verfahrens konfiguriert ist.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe in einem digitalen Mikroskop. Weiterhin betrifft die Erfindung ein digitales Mikroskop, mit welchem das erfindungsgemäße Verfahren durchführbar ist.
Bei digitalen Mikroskopen erfolgt bekanntlich eine elektronische Bildwandlung, wobei das aufgenommene Bild in Form von digitalen Daten weiterverarbeitet und zur Anzeige auf einer elektronischen Bildwiedergabeeinrichtung gebracht wird.
Ein wichtiges Aufgabengebiet in der Mikroskopie ist die Erzeugung dreidimensionaler Modelle einer beobachteten Probe. Die zur 3D-Rekonstruktion bislang eingesetzten Erfassungsmethoden und Rekonstruktionsalgorithmen, wie beispielsweise Fokusvariationen, weisen eine große Anzahl von verdeckten Bereichen auf, in denen Informationen über das mikroskopierte Objekt aufgrund der Beschränkungen der Bildaufnahmeverfahren nicht zur Verfügung stehen.
In der DE 10 2014 006 717 A1 ist ein Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes in einem Digitalmikroskop beschrieben. Bei diesem Verfahren wird zunächst ein Bild für jeweils eine Fokusposition aufgenommen. Das Bild wird mit der zugehörigen Fokusposition in einem Bildstapel abgelegt. Die vorhergehenden Schritte werden an verschiedenen Fokuspositionen wiederholt. Aus den Einzelbildern wird ein Bild mit erweiterter Schärfentiefe (EDOF-Bild) berechnet. Im Prozess der Berechnung des EDOF-Bildes wird eine Anzahl an Pixeldefekten detektiert.
Abschließend erfolgt die Berechnung einer Höhenkarte oder eines 3D-Modells.
Die EP 2 793 069 A1 zeigt ein Digitalmikroskop mit einer Optikeinheit und einer digitalen Bildverarbeitungseinheit, welche an einem Mikroskopstativ angeordnet sind. Ein weiterer Bestandteil des Digitalmikroskops ist ein Bildsensor zur Erfassung eines Bildes einer auf einem Probentisch anzuordnenden Probe. Das Digitalmikroskop umfasst weiterhin mindestens einen ersten Überwachungssensor zur Beobachtung der Probe, des Probentisches, der Optikeinheit oder eines Benutzers sowie eine Überwachungseinheit. In der Überwachungseinheit werden Daten des Überwachungssensors automatisiert ausgewertet und zur automatischen Steuerung des Digitalmikroskops herangezogen. Das Digitalmikroskop kann einen zweiten Überwachungssensor aufweisen, welcher an einem anderen Ort als der erste Überwachungssensor angeordnet ist. Die Daten beider Überwachungssensoren werden in der Überwachungseinheit zu einer dreidimensionalen Überblicksinformation verarbeitet. Des Weiteren können die von den Überwachungssensoren erfassten Daten für eine Grobpositionierung des Probentisches bzw. für eine automatische Einstellung eines Fokus des Objektivs Verwendung finden.
Die EP 1 333 306 B1 beschreibt ein Stereo-Mikroskopieverfahren und ein Stereo-Mikroskopsystem zur Erzeugung stereoskopischer Darstellungen eines Objektes, so dass beim Betrachten der Darstellungen durch einen Benutzer ein räumlicher Eindruck von dem Objekt entsteht. Hierzu werden dem linken Auge und dem rechte Auge des Benutzers verschiedene Darstellungen des Objektes aus unterschiedlichen Blickrichtungen auf das Objekt zugeführt. Das Stereo-Mikroskopsystem umfasst unter anderem eine Detektoranordnung mit zwei Kameras, welche mit Abstand voneinander derart angeordnet sind, dass sie jeweils ein Bild von einem Bereich einer Oberfläche des Objektes aufnehmen können. Aufgrund des Abstandes der beiden Kameras voneinander wird der Bereich aus verschiedenen Blickwinkeln aufgenommen. Aus den von den Kameras gelieferten Daten kann mittels einer geeigneten Software ein dreidimensionales Datenmodell des beobachteten Objektes generiert werden.
Es sind verschiedene Verfahren zur Erzeugung von dreidimensionalen Modellen aus mehreren Bildern bekannt. Kimura, Makoto und Hideo Saito beschreiben im Fachartikel „3D reconstruction based on epipolar geometry.“ in IEICE RANSACTIONS on Information and Systems 84.12 (2001): 1690-1697, die 3D-Rekonstruktion mittels Epipolargeometrie. Die Epipolargeometrie ist ein Modell aus der Geometrie, welches die geometrischen Beziehungen zwischen verschiedenen Kamerabildern desselben Objekts darstellt.
In der Bildverarbeitung wird der bekannte RANdomSAmpleConsensus (RANSAC)-Algorithmus zur Bestimmung von homologen Punkten zwischen zwei Kamerabildern eingesetzt. Homolog sind die zwei Bildpunkte, die ein einzelner Objektpunkt in den beiden Kamerabildern erzeugt. Das Resultat einer automatischen Analyse enthält meist eine größere Anzahl Fehlzuordnungen. Mittels RANSAC sollen Fehlzuordnungen ausgeschlossen werden. Bei der Epipolargeometrie dient RANSAC zur Bestimmung der Fundamentalmatrix, die die geometrische Beziehung zwischen den Bildern beschreibt. Vom Department of Engineering Science, The University of Oxford wurde in der Veröffentlichung „Automatic Estimation of Epipolar Geometry“ die Verwendung von RANSAC bei der Epipolargeometrie beschrieben (http://www.robots.ox.ac.uk/~az/tutorials/tutorialb.pdf).
Scharstein, D. und Szeliski, R. befassen sich im Fachartikel „A taxonomy and evaluation of dense two-frame stereo correspondence algorithms." in International Journal of Computer Vision, 47(1):7-42, Mai 2002, mit einer Taxonomy und Bewertung von Stereo-Korrespondenz-Algorithmen.
Frankot, R. T. und Chellappa, R. beschreiben im Fachartikel „A method for enforcing integrability in shape from shading Algorithms. Pattern Analysis and Machine Intelligence" in IEEE Transactions on, 10(4):439-451, 1988, die Integrierbarkeit von Shading-Algorithmen.
Die WO 2015 185538 A1 beschreibt ein Verfahren und eine Software zur Berechnung dreidimensionaler Oberflächentopologiedaten aus zweidimensionalen, mittels Mikroskop aufgenommenen Bildern. Das Verfahren benötigt mindestens drei zweidimensionale Bilder, welche mit drei verschiedenen Betrachtungswinkeln zwischen der Probenebene und der optischen Achse aufgenommen werden. Die bevorzugten Betrachtungswinkel liegen zwischen 0,5° und 15°. In den Bildern sind kontrastierende Veränderungen (Einfärben, Neigen) erforderlich. Verfahrensgemäß erfolgt eine Bestimmung der Probenneigung und der Probenposition im Zusammenhang mit der Schärfentiefenbestimmung. Die beschriebenen Beispiele nutzen mit Rasterelektronenmikroskopen aufgenommene Bilddaten.
Die US 2016/091707 A zeigt ein Mikroskopsystem für die Chirurgie. Mit dem System können Bilder von Proben mit verschiedenen Betrachtungswinkeln / Perspektiven aufgenommen werden. Die aufgenommenen Bilddaten dienen zur Erzeugung dreidimensionaler Bilder der Probe. Das System nutzt einen räumlichen Lichtmodulator zur Variation der Beleuchtungswinkel bzw. Erfassungswinkel. Die Selektivität der Winkel wird begrenzt durch die Öffnungswinkel der zur Erfassung und Beleuchtung verwendeten Optiken. Auf Möglichkeiten zur Realisierung größerer Winkel wird nicht eingegangen. Der Lichtmodulator ist in der hinteren Brennebene oder in der äquivalent zu dieser konjugierten Ebene angeordnet.
Die US 8,212,915 B1 zeigt ein Verfahren und eine Vorrichtung zum Fokussieren von Bildern, die durch Mikroskope, Ferngläser und Teleskope betrachtet werden, unter Nutzung der Fokusvariation. Die Vorrichtung nutzt eine Relaislinsenanordnung für ein Weitfeldbildgebungssystem. Die Anordnung soll eine einstellbare Brennweitenlinse aufweisen, beispielsweise eine Fluidlinse. Es können stereoskopische EDoF-Bilder erzeugt werden, indem eine Kamera- und Relaislinsenanordnung im Umfeld der beiden Okulare angeordnet wird.
Das am Markt erhältliche Produkt „3D WiseScope microscope“ des Herstellers SD Optics Inc. ermöglicht eine schnelle Erzeugung von makroskopischen und mikroskopischen Bildern, welche eine erweiterte Schärfentiefe aufweisen. Das Produkt umfasst u. a. eine LED-Ringbeleuchtung, eine Koaxialbeleuchtung, eine Durchlichtbeleuchtung, einen Kreuztisch, Objektive mit 5, 10, 20 und 50-facher Vergrößerung sowie eine manuelle Fokussierung. Die Fokussierung kann mit einer Frequenz von 1 bis 10 kHz und mehr verändert werden. Zur Realisierung der EDoF-Funktionalität dient ein als MALS-Modul bezeichnetes Spiegel-Array-Linsensystem. MALS steht für Mirror Array Lens System. Details dieser Systeme sind beispielsweise in den Offenlegungsschriften WO2005119331 oder WO2007134264 offenbart.
Die Aufgabe der vorliegenden Erfindung besteht ausgehend vom Stand der Technik darin, ein Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe mit höherer Genauigkeit, weniger verdeckten Bereichen und größerer Schärfentiefe zur Verfügung zu stellen. Insbesondere sollen dabei größere, robustere 3D-Modelle realisierbar sein. Weiterhin soll ein Mikroskop, mit welchem das Verfahren durchführbar ist, bereitgestellt werden.
Zur Lösung der erfindungsgemäßen Aufgabe dient ein Verfahren gemäß Anspruch 1 sowie ein digitales Mikroskop gemäß dem beigefügten nebengeordneten Anspruch 9.
Das erfindungsgemäße Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe in einem digitalen Mikroskop umfasst nachfolgend beschriebene Schritte. Zunächst werden mehrere Einzelbilder der Probe an verschiedenen Fokuspositionen mit einer Perspektive aufgenommen. Eine derartige Folge von Bildern, welche in unterschiedlichen Fokusebenen aufgenommen wurde, wird auch als Fokus-Stapel bezeichnet. Die Einzelbilder umfassen zumindest einen Bereich der Probe. Eine Perspektive wird durch den Winkel und die Position der optischen Achse des Objektivs relativ zur Probe und durch die Winkelverteilung der Beleuchtungsstrahlung relativ zur Probe vorgegeben. Aus den aufgenommenen Einzelbildern wird ein Bild mit erweiterter Schärfentiefe oder eine Höhenkarte berechnet. Das berechnete Bild mit erweiterter Schärfentiefe oder die berechnete Höhenkarte wird mit Angaben über die verwendete Perspektive in einem Speicher abgelegt. Die erstgenannten Schritte werden nachfolgend für den vorgegebenen Bereich der Probe zumindest einmal mit einer anderen Perspektive wiederholt. Zur Veränderung der Perspektive kann der Winkel und/oder die Position der optischen Achse des Objektivs relativ zur Probe geändert werden. Es kann auch nur der Winkel und/oder die Position der Beleuchtungsstrahlung relativ zur Probe geändert werden. Die Parameter von Objektiv und Beleuchtung können auch beide geändert werden. Auf diese Weise werden Einzelbilder und Bilder mit erweiterter Schärfentiefe eines Bereichs der Probe mit mindestens zwei verschiedenen Perspektiven aufgenommen. Aus den berechneten Bildern mit erweiterter Schärfentiefe oder den berechneten Höhenkarten wird anschließend ein dreidimensionales Modell der Probe bzw. des Bereichs der Probe berechnet.
Das Verfahren kann für die vollständige Probe oder für mehrere Bereiche der Probe durchgeführt werden. Aus den dreidimensionalen Modellen der einzelnen Bereiche kann dann ein dreidimensionales Modell der Probe ermittelt werden. Bevorzugt werden hierzu dreidimensionale Modelle von benachbarten Bereichen ermittelt, die sich im Randbereich überlappen.
Die Reihenfolge der Schritte des Verfahrens kann variiert werden.
In einer Ausgestaltung der Erfindung kann zur schnellen Aufnahme von Fokusstapeln ein optischer Aktuator, welcher als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln zur Aufnahme einer erweiterten Schärfentiefe ausgebildet ist, zum Einsatz kommen. Der optische Aktuator kann als Mikrospiegelarray ausgebildet sein. Diese bildet ein optisches Element, dessen optische Eigenschaften sehr schnell verändert werden können. In einer Variante dieser Ausführungsform bildet das Mikrospiegelarray eine Fesnel-Linse, dessen Brennweite variiert werden kann.
Zur Berechnung des dreidimensionalen Modells der Probe kommen bekannte Algorithmen zur 3D-Rekonstruktion aus zweidimensionalen Bildern zum Einsatz, welche beispielsweise auf der Stereogrammetrie oder der Epipolargeometrie basieren. Diese Algorithmen sind dem Fachmann hinlänglich bekannt, so dass an dieser Stelle nur kurz auf die Algorithmen eingegangen wird und auf ausführliche Erläuterungen verzichtet werden kann. Bei der 3D-Rekonstruktion mittels Epipolargeometrie werden Anpassungspunkte zwischen den aufgenommenen Bildern für die Berechnung der Fundamentalmatrix zwischen den Kamerapositionen sowie für die metrische Rekonstruktion der Probe verwendet. Die Anpassungspunkte können entweder durch den Benutzer (benutzerassistiert) oder automatisch durch Algorithmen, wie RANSAC eingegeben werden. Die Fundamentalmatrix kann auch während der Kalibrierung der Mikroskopvorrichtung vorberechnet werden. Die 3D-Rekonstruktion mit Hilfe der Stereogrammetrie ähnelt dem menschlichen steroskopischen Sehen. Hierbei werden perspektivische Verzerrungen in den Bildern, welche aus zwei Bildpunkten oder mehr entnommen werden, genutzt.
Ein wesentlicher Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass sich die Genauigkeit des im Ergebnis des erfindungsgemäßen Verfahrens vorliegenden dreidimensionalen Modells verbessert und die Anzahl der verdeckten Bereiche reduziert werden kann. Hierbei besteht eine Abhängigkeit von der Anzahl der Perspektiven. Mit steigender Anzahl der Perspektiven erhöht sich die Genauigkeit des dreidimensionalen Modells, während die Anzahl der verdeckten Bereiche abnimmt. Aus diesem Grund sollte das Verfahren vorzugsweise mehr als zwei Perspektiven nutzen, um ein möglichst genaues dreidimensionales Modell realisieren zu können. In der Mikroskopie ist die Schärfentiefe der aufgenommenen Bilder von Natur aus limitiert und liegt zumeist im Mikro- oder Nanometerbereich. Dies hat zur Folge, dass bekannte dreidimensionale Rekonstruktionsverfahren aus makroskopischen Anwendungen oft nur schlechte Ergebnisse liefern. Aus diesem Grund werden beim erfindungsgemäßen Verfahren Einzelbilder der Probe an verschiedenen Fokuspositionen aufgenommen. Hieraus ergibt sich, dass für die Berechnung des dreidimensionalen Modells der Probe Bilder mit erweiterter Schärfentiefe bzw. Höhenkarten zur Verfügung stehen. Unter Nutzung der so gewonnenen Bilddaten können dann bewährte Techniken und Algorithmen aus Computer Visions-Anwendungen der Makrowelt zur Erzeugung qualitativ hochwertiger dreidimensionaler Modelle verwendet werden, nun auch im Bereich der Mikroskopie.
Gemäß einer besonders bevorzugten Ausführungsform werden die fehlerhaft berechneten Bildpunkte des dreidimensionalen Modells der Probe durch Anwendung eines Schätzalgorithmus eliminiert. Als Schätzalgorithmus kann beispielsweise der RANSAC-Algorithmus oder ein ähnlicher Algorithmus zum Einsatz kommen. Durch die Beseitigung der fehlerhaften Bildpunkte kann die Qualität des dreidimensionalen Modells weiter verbessert werden.
Für die Realisierung der verschiedenen Perspektiven stehen mehrere Möglichkeiten zur Verfügung. Eine vorteilhafte Ausführung nutzt einen Probentisch, welcher in X- und/oder Y-Richtung verfahrbar ist und/oder drehbar oder neigbar ist. Der Probentisch kann im einfachsten Fall manuell in die gewünschte Position gebracht werden. Die Verwendung eines motorisierten Probentisches hat sich insbesondere hinsichtlich der Optimierung von Verfahrensabläufen als zweckmäßig erwiesen.
Die verschiedenen Perspektiven können alternativ auch durch Verschwenken eines Mikroskopstatives, eines Bildsensors oder einer optischen Achse realisiert werden. Das Verschwenken erfolgt entweder manuell oder mittels einer geeigneten Antriebsvorrichtung.
Gemäß einer besonders bevorzugten Ausführung sind die verschiedenen Perspektiven als Beleuchtungsperspektiven ausgebildet. Die verschiedenen Beleuchtungsperspektiven werden bevorzugt durch eine sequentielle Beleuchtung der Probe realisiert. Hierzu kann beispielsweise eine als Ringlichtbeleuchtung ausgebildete Beleuchtungsquelle zum Einsatz kommen. Die Ringlichtbeleuchtung umfasst vorzugsweise mehrere Leuchtmittel, bevorzugt in Form von LEDs, welche im gleichen oder mit unterschiedlichem Abstand zu der Probe angeordnet werden. Bei jeder Beleuchtungsperspektive bleibt während der Aufnahme der Einzelbilder der Probe die relative Position der Beleuchtungsquelle zu der Probe unverändert. Die Leuchtmittel können unabhängig voneinander angesteuert werden. Der Horizontalwinkel zur Beleuchtung der Probe kann durch Auswahl der Leuchtmittel bevorzugt von 0 bis 360°C variiert werden. Zur Berechnung des dreidimensionalen Modells der Probe wird vorzugsweise die in den aufgenommen Bildern erfasste Schattierung genutzt.
Ein besonders genaues dreidimensionales Modell der Probe mit wenig verdeckten Bereichen lässt sich durch Kombination der verschiedenen Methoden zur Realisierung der unterschiedlichen Perspektiven und der verschiedenen Algorithmen zur Berechnung der dreidimensionalen Modelle aus den berechneten Bildern mit erweiterter Schärfentiefe oder den berechneten Höhenkarten erreichen. Hierzu werden mindestens zwei dreidimensionale Modelle der Probe berechnet, wobei die verschiedenen Perspektiven für jedes der dreidimensionalen Modelle auf verschiedene Art realisiert werden und/oder zur Berechnung jedes der dreidimensionalen Modelle ein unterschiedlicher Algorithmus zum Einsatz kommt. Die Ergebnisse jedes Algorithmus werden vorzugsweise einem Schätzalgorithmus, wie beispielsweise RANSAC, zugeführt, um fehlerhaft berechnete Bildpunkte zu beseitigen. Die berechneten dreidimensionalen Modelle werden abschließend zu einem Endmodell kombiniert. In diesem Zusammenhang hat es sich als vorteilhaft erwiesen, eine gewichtete Bewertung der berechneten dreidimensionalen Bildpunkte des Endmodells vorzunehmen. Die unterschiedliche Wichtung der ermittelten Bildpunkte kann zum Beispiel in Abhängigkeit von dem zur Berechnung des jeweiligen Bildpunktes jeweils verwendeten Algorithmus, der vorliegenden Beleuchtung, der gewählten Vergrößerungsstufe und anderer objektiver Merkmale erfolgen.
Das erfindungsgemäße digitale Mikroskop zeichnet sich dadurch aus, dass es zur Ausführung des beschriebenen Verfahrens konfiguriert ist. So kann das digitale Mikroskop mit einem verschwenkbaren Mikroskopstativ ausgestattet sein, um das Sichtfeld zu verstellen. Eine Optikeinheit des Mikroskops ist vorzugsweise höhenverstellbar zur Realisierung verschiedener Fokuspositionen. Das digitale Mikroskop kann alternativ oder ergänzend mit einem in X- und/oder Y-Richtung verfahrbaren und/oder drehbaren und/oder neigbaren Probentisch ausgestattet sein. Des Weiteren eignen sich digitale Mikroskope mit Beleuchtungsmodulen, deren Beleuchtungsrichtung und Beleuchtungswinkel gesteuert werden können, um eine sequentielle Beleuchtung der Probe realisieren zu können.
Weitere Einzelheiten und Weiterbildungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen, unter Bezugnahme auf die Zeichnung. Es zeigen:

1: eine schematische Darstellung einer ersten Ausführungsform eines digitalen Mikroskops, welches zur Ausführung eines erfindungsgemäßen Verfahrens einsetzbar ist;
2: eine schematische Darstellung einer zweiten Ausführungsform des digitalen Mikroskops, welches zur Ausführung des erfindungsgemäßen Verfahrens einsetzbar ist;
3: eine schematische Darstellung einer dritten Ausführungsform des digitalen Mikroskops, welches zur Ausführung des erfindungsgemäßen Verfahrens einsetzbar ist;
4: drei Schaltzustände einer Ringlichtbeleuchtung des digitalen Mikroskops, welches zur Ausführung eines erfindungsgemäßen Verfahrens einsetzbar ist.

Die in den Figuren dargestellten Einzelheiten sind als solche zwar aus dem Stand der Technik bekannt, jedoch können die entsprechenden Vorrichtungen durch Anwendung der Erfindung neuartig und mit größerem Funktionsumfang betrieben werden.
1 zeigt eine schematische Darstellung einer ersten Ausführungsform eines digitalen Mikroskops 01, welches zur Ausführung eines erfindungsgemäßen Verfahrens einsetzbar ist. In 1 ist eine Optikeinheit 02 und ein zur Aufnahme einer Probe 09 dienender Probentisch 03 dargestellt. Die Optikeinheit 02 ist vorzugsweise als Objektiv ausgebildet. Die Probe 09 kann, wie in 1 dargestellt zentral auf dem Probentisch 03 angeordnet sein. Alternativ kann die Probe 09 auf dem Probentisch 03 auch andersartig positioniert sein. Zwischen einer optischen Achse 04 der Optikeinheit 02 und einer senkrecht zu dem Probentisch 03 verlaufenden Ebene 05 ist ein Winkel θ aufgespannt. Der Winkel θ kann verstellt werden, um auf diese Weise die Perspektive der Optikeinheit 02 zu ändern. Zum Verstellen des Winkels θ kann die Optikeinheit 02, vorzugsweise über ein die Optikeinheit tragendes, neigbares Mikroskopstativ (nicht gezeigt), verstellt werden. Der Winkel θ kann alternativ auch durch Neigen des Probentisches 03 variiert werden.
Eine Probenebene verläuft in der Regel senkrecht zu der optischen Achse 04 oder parallel zu dem Probentisch 03. Die Optikeinheit 02 kann optische Bauelemente und einen Bildsensor in der sogenannten Scheimpflug-Anordnung umfassen. In diesem Fall verläuft die Probenebene für alle Winkel θ parallel zu dem Probentisch 03.
Während der Durchführung des erfindungsgemäßen Verfahrens wird der Winkel θ mehrmals geändert, um Bilder der Probe 09 mit verschiedenen Perspektiven aufzunehmen. Hierbei werden für jede Perspektive mehrere Einzelbilder der Probe an verschiedenen Fokuspositionen aufgenommen. In 1 ist die durch die Fokusvariation erreichbare erweiterte Schärfentiefe (EDoF) im Vergleich zu der ohne Fokusvariation möglichen Schärfentiefe (DoF) eingezeichnet. Das erläuterte Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe wurde erfolgreich getestet, indem die Probe mit folgenden Winkeln θ aufgenommen wurde: -45°, -30°, -15°, 0°, 15°, 30° und 45°. Aus den aufgenommenen Einzelbildern kann nachfolgend für jede Perspektive ein Bild mit erweiterter Schärfentiefe oder eine Höhenkarte berechnet werden. Das jeweils berechnete Bild mit erweiterter Schärfentiefe oder die Höhenkarte wird mit Angaben über die verwendete Perspektive in einem Speicher abgelegt. Aus den berechneten Bildern mit erweiterter Schärfentiefe oder den Höhenkarten kann anschließend ein dreidimensionales Modell der Probe berechnet werden. Die angegebenen Winkel θ tragen lediglich beispielhaften Charakter. Andere Winkel sind durchaus möglich.
Eine vorteilhafte Ausführungsform der Optikeinheit 02 nutzt einen optischen Aktuator, welcher als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln zur Aufnahme einer erweiterten Schärfentiefe ausgebildet ist. In dieser Ausführungsform kann beispielsweise das oben beschriebene „MALS-Modul“ der Firma SD Optics Inc. als optischer Aktuator Verwendung finden. Ein MALS-Modul kann beispielsweise als Fresnel-Linse ausgebildet sein, wie dies beispielsweise in der Offenlegungsschrift WO2005119331 beschrieben wird. Diese Fresnel-Linse wird aus einer Vielzahl von Mikrospiegeln gebildet. Durch eine Veränderung der Lage der Mikrospiegel kann auf sehr schnelle Weise die Brennweite der Fresnel-Linse verändert werden. Diese schnelle Veränderung der Brennweite erlaubt eine sehr schnelle Einstellung der abzubildenden Fokusebene. So wird es ermöglicht in kurzer Zeit eine Vielzahl von Aufnahmen in benachbarten Fokusebenen aufzunehmen.
2 zeigt eine schematische Darstellung einer zweiten Ausführungsform des digitalen Mikroskops 01 in zwei unterschiedlichen Bildaufnahmepositionen. Bei dieser Ausführungsform kann der Probentisch 03 zumindest in X-Richtung verschoben werden, um die Position der Probe 09 relativ zur optischen Achse 04 ändern zu können und Aufnahmen unterschiedlicher Bereiche der Probe 09 im Sichtfeld der Optikeinheit 02 zu ermöglichen. In 2 sind zwei verschieden positionierte Probentische 03 dargestellt. Der Abstand Xv zwischen der optischen Achse 04 und der durch das Zentrum der Probe 09 senkrecht zum Probentisch verlaufenden Ebene 05 ist in der links dargestellten Position des Probentisches 03 größer als in der rechts dargestellten Position des Probentisches 03. Die Abstände Xv sind derart gewählt, dass sich die Aufnahmen der Probe in benachbarten Bereichen überlappen. Für diese Überlappungsbereiche liegen dann Aufnahmen aus unterschiedlichen Perspektiven vor und die Berechnung von dreidimensionalen Modellen wird ermöglicht.
Das erläuterte Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe wurde mit folgenden Abständen zwischen der Ebene 05 und der optischen Achse 04 durchgeführt: -20 mm, - 10 mm, 0 mm, 10 mm, 20 mm. Auch hier erfolgt keine Einschränkung auf die genannten Abstände. In jeder Position des Probentisches 03 werden wiederum mehrere Einzelbilder der Probe 09 an verschiedenen Fokuspositionen aufgenommen, um Bilder mit erweiterter Schärfentiefe (EDoF) oder Höhenkarten berechnen zu können.
3 zeigt eine schematische Darstellung einer dritten Ausführungsform des Mikroskops 01. Diese Ausführung nutzt eine Ringlichtbeleuchtung 07, die einen Lichtkegel 08 zur Beleuchtung der Probe 09 abgibt.
Die Ringlichtbeleuchtung 07 ist im Detail in 4 dargestellt. Sie umfasst mehrere Leuchtmittel 10, die wahlweise eingeschaltet werden können, um eine sequentielle Beleuchtung der Probe 09 mit unterschiedlichen Winkelverteilungen realisieren zu können. Die Leuchtmittel 10 sind vorzugsweise als LEDs ausgebildet. 4 zeigt drei Abbildungen mit drei verschiedenen Schaltzuständen der Ringlichtbeleuchtung 07. Das im jeweiligen Schaltzustand eingeschaltete Leuchtmittel 10 ist schraffiert dargestellt. In jeder Beleuchtungssituation werden mehrere Einzelbilder der Probe 09 mit unterschiedlichen Fokuspositionen aufgenommen, wodurch auch hier eine erweiterte Schärfentiefe (EDoF) erreicht werden kann bzw. Höhenkarten berechnet werden können.
Die anhand der 1 bis 3 erläuterten Verfahren können auch miteinander kombiniert werden.
Bezugszeichenliste

01 -: Mikroskop
02 -: Optikeinheit
03 -: Probentisch
04 -: optische Achse
05 -: senkrecht zum Probentisch verlaufende Ebene
06 -: -
07 -: Ringlichtbeleuchtung
08 -: Lichtkegel
09 -: Probe
10 -: Leuchtmittel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014006717 A1 [0004]
EP 2793069 A1 [0006]
EP 1333306 B1 [0007]
WO 2015185538 A1 [0012]
US 2016091707 A [0013]
US 8212915 B1 [0014]
WO 2005119331 [0015, 0035]
WO 2007134264 [0015]

Zitierte Nicht-Patentliteratur

Scharstein, D. und Szeliski, R. befassen sich im Fachartikel „A taxonomy and evaluation of dense two-frame stereo correspondence algorithms.“ in International Journal of Computer Vision, 47(1):7-42 [0010]
Frankot, R. T. und Chellappa, R. beschreiben im Fachartikel „A method for enforcing integrability in shape from shading Algorithms. Pattern Analysis and Machine Intelligence“ in IEEE Transactions on, 10(4):439-451, 1988 [0011]

Claims

Verfahren zur Erzeugung eines dreidimensionalen Modells einer Probe (09) unter Verwendung eines Mikroskops (01), folgende Schritte umfassend: a. Vorgeben einer Perspektive zur Aufnahme von Bildern zumindest eines Bereichs der Probe (09), wobei die Perspektive durch den Winkel und die Position der optischen Achse des Objektivs relativ zur Probe und durch die Winkelverteilung der Beleuchtungsstrahlung relativ zur Probe vorgegeben wird; b. Aufnehmen von mehreren Einzelbildern des Bereichs der Probe (09) an verschiedenen Fokuspositionen aus der vorgegebenen Perspektive; c. Berechnen eines Bildes mit erweiterter Schärfentiefe oder einer Höhenkarte aus den aufgenommenen Einzelbildern des Bereichs der Probe (09); - Wiederholen der Schritte a. bis c. für den zumindest einen Bereich der Probe (09) mit zumindest einer weiteren unterschiedlichen Perspektive,; - Berechnen eines dreidimensionalen Modells des Bereichs der Probe (09) aus den berechneten Bildern mit erweiterter Schärfentiefe oder den berechneten Höhenkarten.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass fehlerhaft berechnete Bildpunkte des dreidimensionalen Modells der Probe (09) durch Anwendung eines Schätzalgorithmus eliminiert werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das dreidimensionale Modell der Probe (09) unter Verwendung eines Stereogrammetriealgorithmus und/oder Epipolargeometriealgorithmus berechnet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die verschiedenen Perspektiven durch Verschwenken eines Mikroskopstativs, eines Bildsensors oder einer optischen Achse realisiert werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die verschiedenen Perspektiven durch Verfahren eines Probentisches (03) in X- und/oder Y-Richtung und/oder Drehen und/oder Neigen des Probentisches (03) realisiert werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die verschiedenen Perspektiven als Beleuchtungsperspektiven ausgebildet sind, wobei die verschiedenen Beleuchtungsperspektiven durch sequentielle Beleuchtung der Probe (09) realisiert werden.
Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass mindestens zwei dreidimensionale Modelle der Probe (09) berechnet werden, wobei die verschiedenen Perspektiven für jedes der dreidimensionalen Modelle auf verschiedene Art realisiert werden und/oder zur Berechnung jedes der dreidimensionalen Modelle ein unterschiedlicher Algorithmus zum Einsatz kommt, und dass die berechneten dreidimensionalen Modelle zu einem Endmodell kombiniert werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass eine gewichtete Bewertung der berechneten dreidimensionalen Bildpunkte des Endmodells erfolgt.
Verfahren nach einem der Ansprüche 1 bis 8, wobei zur schnellen Aufnahme von mehreren Einzelbildern an verschiedenen Fokuspositionen ein optischer Aktuator, welcher als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln ausgebildet ist, zum Einsatz kommt.
Digitales Mikroskop (01), dadurch gekennzeichnet, dass es zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 9 konfiguriert ist.
Digitales Mikroskop (01), nach Anspruch 10, aufweisend einen optischen Aktuator, welcher als ein Mikrosystem mit mechanisch beweglichen Mikrospiegeln zur Aufnahme einer erweiterten Schärfentiefe ausgebildet ist.