DE102018104693A1 - Verfahren zur beschleunigten, hochauflösenden Scanning-Mikroskopie - Google Patents

Abstract

Bei einem Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe (P) ist das Bündeln von Beleuchtungsstrahlung zu einem Beleuchtungsfleck in oder auf der Probe (P) und Stimulieren der Abgabe von Detektionsstrahlung an einem zum Beleuchtungsfleck koinzidenten Probenfleck (14) vorgesehen. Der Probenfleck (14) wird in ein Bild (17) abgebildet, das auf einem ortsauflösenden Flächendetektor (18) ruht, der Pixel (32) mit einer Größe aufweist, die das Bild (17) örtlich auflösen, wobei die Abbildung eine Auflösungsgrenze hat. Die Probe (P) wird insgesamt durch rasterndes Verschieben des Beleuchtungsflecks und des koinzidenten Probenflecks (14) über die Probe (P) in einem Scanvorgang erfasst. Aus den Daten der Pixel (32) für jede Scanposition wird ein Bild der Probe (P) erzeugt, das eine Auflösung aufweist, die über die Auflösungsgrenze der Abbildung gesteigert ist. Dabei wird ein Umverteilungsschritt ausgeführt, in dem für jede Scanposition Daten mehrerer Pixel (32) des Flächendetektors (18), die in der ersten Raumrichtung (x) beabstandet sind, zusammengefasst werden. Weiter wird ein Entmischungsschritt ausgeführt, in dem die derart erzeugten temporären Datensätze hinsichtlich der örtlichen Variation der Punktbildverwaschungsfunktion, die den jeweils zusammengefassten Pixel zugeordnet ist, korrigiert werden.

Description

• Die Erfindung betrifft ein Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe. Dabei ist das Bündeln von Beleuchtungsstrahlung zu einem Beleuchtungsfleck in oder auf der Probe und Stimulieren der Abgabe von Detektionsstrahlung an einem zum Beleuchtungsfleck koinzidenten Probenfleck vorgesehen. Der Probenfleck wird in ein Bild abgebildet, das auf einem ortsauflösenden Flächendetektor ruht, der Detektorpixel mit einer Größe aufweist, die das Bild örtlich auflösen, wobei die Abbildung eine Auflösungsgrenze hat. Die Probe wird insgesamt durch rasterndes Verschieben des Beleuchtungsflecks und des koinzidenten Probenflecks über die Probe in einem Scanvorgang erfasst. Aus den Daten der Pixel für jede Scanposition, wird ein Bild der Probe erzeugt, das eine Auflösung aufweist, die über die Auflösungsgrenze der Abbildung gesteigert ist.
• Ein solches hochauflösendes Mikroskopieverfahren ist aus der Veröffentlichung C. Müller und J. Enderlein, Physical Review Letters, 104, 198101 (2010), oder der EP 2317362 A1 , die auch weitere Nachweise zum Stand der Technik aufführt, bekannt. Es bildet den koinzidenten Probenfleck beugungsbegrenzt ab und tastet dessen Struktur ab. Diese Überabtastung der Probe erreicht in Kombination mit einer Bildrekonstruktion eine Hochauflösung (d. h. gesteigert über die Auflösungsgrenze der optischen Abbildung).
• Die DE 10 2013 015 933 A1 will dieses Verfahren beschleunigen. Im Abschnitt „Lateral geschwindigkeitsoptimierte Beleuchtungs-PSF“ beschreibt die DE 10 2013 015 933 A1 ein Ausführungsbeispiel, welches durch eine für die Überabtastung eigentlich zu grobe Abtastung die Bildaufnahmegeschwindigkeit erhöhen will. Die durch Grob-Abtastung fehlende Bildinformation soll aus den Daten der Detektorpixel rekonstruiert werden. Die Veröffentlichung macht jedoch keinerlei Angaben dazu, wie diese Rekonstruktion erfolgen soll. Denkbare Rekonstruktionsansätze, wie das räumliche Zuordnen der Signale des Detektorarrays ins Zielbild, führen zu störenden Artefakten.
• Der Erfindung liegt die Aufgabe zu Grunde, ein beschleunigtes, hochauflösendes Mikroskopieverfahren anzugeben, das Artefakte vermeidet und so eine bessere Rekonstruktion des Bildes erreicht.
• Die Erfindung ist in den unabhängigen Ansprüchen definiert. Die abhängigen Ansprüche betreffen vorteilhafte Weiterbildungen.
• Zur hochauflösenden Scanning-Mikroskopie einer Probe werden mehrere Schritte ausgeführt. Beleuchtungsstrahlung wird zu einem Beleuchtungsfleck in oder auf der Probe gebündelt. Dadurch wird die Probe zur Abgabe von Detektionsstrahlung an einem zum Beleuchtungsfleck koinzidenten Probenfleck stimuliert. Der Beleuchtungsfleck und somit auch der Probenfleck sind in mindestens einer ersten Raumrichtung nicht beugungsbegrenzt hinsichtlich ihrer Größe. In der anderen Raumrichtung können sie je nach Ausführungsform beugungsbegrenzt sein oder nicht beugungsbegrenzt. Der Probenfleck wird in ein Bild abgebildet. Diese Abbildung erfolgt in Ausführungsformen beugungsbegrenzt. Sie geschieht so, dass das Bild auf einem ortsauflösenden Flächendetektor ruht. Dieser weist Pixel auf, die so bemessen sind, dass die Struktur des Bildes örtlich aufgelöst wird. Die optische Abbildung, bevorzugt beugungsbegrenzt ausgeführt, hat eine Auflösungsgrenze. Sie hat weiter eine Punktbildverwaschungsfunktion, die für die Pixel örtlich variiert. Der Beleuchtungsfleck und damit der koinzidente Probenfleck werden rasternd über die Probe in einem Scanvorgang verschoben. Dabei erstrecken sich Zeilen des Scanvorgangs entlang der ersten Raumrichtung. Ein Abstand benachbarter Zeilen entspricht der Ausdehnung des Probenflecks in der ersten Raumrichtung. Während des Scanvorgangs werden für jede Scanposition die Daten des Pixels des Flächendetektors ausgelesen. Auf Basis dieser Daten wird ein Bild der Probe erzeugt, das eine Auflösung aufweist, die über die Auflösungsgrenze der Abbildung hinaus gesteigert ist. Dabei wird u. a. ein Umverteilungsschritt ausgeführt. In diesem werden für jede Scanposition Daten mehrerer Pixel des Flächendetektors, die in der ersten Raumrichtung beabstandet sind, zusammengefasst. Auf diese Weise wird für jede Scanposition ein temporärer Datensatz erzeugt, der Daten der jeweils zusammengefassten Pixel umfasst. Weiter wird ein Entmischungsschritt ausgeführt, in dem die temporären Datensätze hinsichtlich der örtlichen Variation der Punktbildverwaschungsfunktion, die den jeweils zusammengefassten Pixeln zugeordnet ist, korrigiert werden. Die Korrektur erfolgt so, dass innerhalb jedes temporären Datensatzes für die Ortsangaben, die in den temporären Datensätzen vorhanden sind, dieselbe Punktbildverwaschungsfunktion gilt. Dann wird das Bild der Probe aus den temporären Datensätzen und den ihnen zugeordneten Scanpositionen erzeugt.
• Der Umverteilungsschritt und der Entmischungsschritt erlauben es, mindestens in der ersten Raumrichtung beim Scannen die Abstände der Scanpositionen zu vergrößern. War beim hochauflösenden Mikroskopieverfahren, wie es in den eingangs genannten Veröffentlichungen von Müller und Enderlein bzw. EP 23173862 A1 beschrieben wird, noch ein großer Überlapp zwischen benachbarten Scanpositionen in jeder Raumrichtung erforderlich, ist durch die Erfindung diese Anforderung zumindest in der ersten Raumrichtung abgesenkt. Dadurch wird ein zu erfassender Bereich der Probe schneller im Scanvorgang abgearbeitet, so dass das hochauflösende Mikroskopieverfahren beschleunigt ist. Gleichzeitig ist durch die Umverteilungs- und Entmischungsschritte das Entstehen von Artefakten vermieden.
• Der Entmischungsschritt und das Erzeugen des Bildes der Probe können in einer Entfaltungsoperation zusammengefasst werden. Dazu wird z. B. ein Gleichungssystem aufgestellt und gelöst. Das Gleichungssystem verknüpft Intensitäten von Detektionsstrahlung über die ortsabhängige Punktbildverwaschungsfunktion mit den Signalintensitäten der Detektorpixel. Die Detektionsstrahlung wird von Orten der Probe abgegeben.
• Zur Umverteilung und Entmischung ist es in Ausführungsformen bevorzugt, eine Intensität der Detektionsstrahlung vom Probenfleck, die auf eines der Detektorpixel fällt, zu bestimmen, indem eine Summe über mehrere Orte der Probe berechnet wird. Dabei werden Summanden addiert. Jeder Summand ist das Produkt der ortsabhängigen Punktbildverwaschungsfunktion mit der Intensität der vom jeweiligen Ort stammenden Strahlung. Es wird dabei derjenige Anteil der ortsabhängigen Punktbildverwaschungsfunktion zugrunde gelegt, der der Abbildung des jeweiligen Ortes auf das entsprechende Detektorpixel zugeordnet ist. Bevorzugt wird dabei nur ein Teil der in der ersten Raumrichtung benachbarten Orte berücksichtigt. Dieser Teil kann beispielsweise die Hälfte sein. Beim Erzeugen des Bildes wird die ortsabhängige Punktbildverwaschungsfunktion durch eine ortsunabhängige Punktbildverwaschungsfunktion ersetzt. Mittels einer Invertierung dieser Funktion wird für jeden Ort die Intensität der von ihm stammenden Strahlung aus den Intensitäten der Detektionsstrahlung berechnet.
• Der Beleuchtungsfleck und damit auch der Probenfleck können auch in einer zweiten Raumrichtung beugungsbegrenzt sein, die quer zur ersten Raumrichtung liegt. Der Probenfleck wird dann beugungsbegrenzt in das Bild abgebildet.
• Alternativ kann der Beleuchtungsfleck und damit auch der Probenfleck in der quer zur ersten Raumrichtung liegenden zweiten Raumrichtung nicht beugungsbegrenzt sein. Beim rasternden Verschieben überlappen sich Probenflecke in benachbarten Scanpositionen.
• In der ersten Raumrichtung überlappen sich bevorzugt Probenflecke in benachbarten Scanpositionen um weniger als die Hälfte der Probenfleckausdehnung in der entsprechenden Raumrichtung.
• Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
• Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Zeichnungen, die ebenfalls erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Diese Ausführungsbeispiele dienen lediglich der Veranschaulichung und sind nicht als einschränkend auszulegen. Beispielsweise ist eine Beschreibung eines Ausführungsbeispiels mit einer Vielzahl von Elementen oder Komponenten nicht dahingehend auszulegen, dass alle diese Elemente oder Komponenten zur Implementierung notwendig sind. Vielmehr können andere Ausführungsbeispiele auch alternative Elemente und Komponenten, weniger Elemente oder Komponenten oder zusätzliche Elemente oder Komponenten enthalten. Elemente oder Komponenten verschiedener Ausführungsbespiele können miteinander kombiniert werden, sofern nichts anderes angegeben ist. Modifikationen und Abwandlungen, welche für eines der Ausführungsbeispiele beschrieben werden, können auch auf andere Ausführungsbeispiele anwendbar sein. Zur Vermeidung von Wiederholungen werden gleiche oder einander entsprechende Elemente in verschiedenen Figuren mit gleichen Bezugszeichen bezeichnet und nicht mehrmals erläutert. Von den Figuren zeigen:
• 1 eine Schemadarstellung eines Laser-Scanning-Mikroskops zur hochauflösenden Mikroskopie,
• 2a-c Ansichten zur Veranschaulichung von PSF,
• 3a-c Ansichten zur Veranschaulichung von Umverteilung- und Entmischungsschritten bei zeilenförmigem Scan,
• 4 eine Abbildung ähnlich der 3 für den Fall eines fleck-förmigen Scans und
• 5a-c Bilder zum Erläutern der Auswirkung der Bildrekonstruktion.
• 1 zeigt schematisch ein Laserscanningmikroskop 20, das zum Mikroskopieren einer Probe P ausgebildet ist. Das Laserscanningmikroskop (nachfolgend als LSM abgekürzt) 20 wird von einem Steuergerät C gesteuert und umfasst einen Beleuchtungsstrahlengang B sowie einen Abbildungsstrahlengang D. Der Beleuchtungsstrahlengang beleuchtet einen Spot in der Probe P, und der Abbildungsstrahlengang D bildet diesen Spot beugungsbegrenzt zur Detektion ab. Beleuchtungsstrahlengang B und Abbildungsstrahlengang D teilen sich eine Vielzahl von Elementen. Dies ist aber nicht zwingend.
• Die Beleuchtung der Probe P erfolgt im LSM 20 mittels eines von einer Lichtquelle 6 bereitgestellten Beleuchtungslichtstrahls, der über einen nicht weiter funktionell erforderlichen Umlenkspiegel 8 und eine Linse 7 auf einen Spiegel 8 eingekoppelt wird. Der Spiegel 8 sorgt dafür, dass der Lichtstrahl unter einem Reflexionswinkel auf einen Hauptfarbteiler 9 fällt. Zur übersichtlicheren Darstellung ist für den Lichtstrahl lediglich dessen Hauptachse eingezeichnet.
• Nach Reflexion am Hauptfarbteiler 9 wird der Lichtstrahl von einem Scanner 10 zweiachsig abgelenkt und mittels Linsen 11 und 12 durch ein Objektiv 13 in einen Spot 14 in der Probe P fokussiert. Der Spot 14 ist dabei in der Darstellung der 1 linienförmig, es ist jedoch auch ein rotationssymmetrischer Spot möglich. Im Spot 14 angeregte Fluoreszenzstrahlung gelangt über das Objektiv 13, die Linsen 11 und 12 wieder zum Scanner 10, nach dem in Abbildungsrichtung wiederum ein ruhender Lichtstrahl vorliegt. Dieser fällt durch den Hauptfarbteiler 9 und den Emissionsfilter 15, welche die Funktion haben, die Fluoreszenzstrahlung im Spot 14 hinsichtlich ihrer Wellenlänge zu selektieren und insbesondere von der Beleuchtungsstrahlung, die beispielsweise als Anregungsstrahlung dienen kann, zu trennen. Eine Linse 16 sorgt dafür, dass insgesamt der Spot 14 in ein Bild 17 abgebildet wird, welches in einer Detektionsebene liegt. Die Detektionsebene ist eine konjugierte Ebene zur Ebene, in welcher der Spot 14 in der Probe P liegt. Das Bild 17 des Spots 14 wird in der Detektionsebene von einer Detektoreinrichtung 18 aufgenommen, die nicht weiter relevante Elemente 23-25 hat. Wesentlich ist hier, dass die Detektoreinrichtung 18 das Bild 17 des Spots 14 in der Detektionsebene räumlich auflöst. Die Intensitätsverteilung des Spots zur Linienrichtung (Gaussverteilung) ist als 18a in 1 dargestellt. Der Spot 14 wird in Ausführungsformen beugungsbegrenzt abgebildet. Er ist in der Ausführungsform der 1 linienförmig. Dabei ist die Beleuchtungsstrahlung längs der Linie mehr aufgeweitet, als es die Beugungsgrenze zuließe. Quer zur Linienrichtung ist der Beleuchtungsspot bevorzugt beugungsbegrenzt. In abgewandelten Ausführungsformen wird ein Beleuchtungsfleck und entsprechend ein Spot 14 auf der Probe P abgebildet, der in beiden Richtungen größer ist, als es die Beugungsgrenze zuließe. Dennoch erfolgt die Abbildung in das Bild 17 beugungsbegrenzt, d. h. ohne zusätzliche Aufweitung.
• Der Beleuchtung liegt eine Beleuchtungspunktbildverwaschungsfunktion (PSF) zugrunde. Sie wird, da in Ausführungsformen mit der Beleuchtung Fluoreszenzstrahlung angeregt wird, auch als Anregungspunktbildverwaschungsfunktion bezeichnet. Bei der Abbildung in das Bild 17 wirkt eine Abbildungspunktbildverwaschungsfunktion, die auch als Detektionspunktbildverwaschungsfunktion bezeichnet wird.
• Das Steuergerät C steuert alle Komponenten des LSM 20, insbesondere Scanner 10 und Detektoreinrichtung 18. Das Steuergerät C nimmt für verschiedene Scanstellungen die Daten jedes einzelnen Bildes 17 auf, analysiert dessen Beugungsstruktur und erzeugt ein hochaufgelöstes Gesamtbild der Probe P.
• Die Detektoreinrichtung 18 realisiert ein Detektorarray, das einzelne Pixel hat, die die Beugungsstruktur des Bildes 17 auflösen. Die Verwendung eines Detektorarrays bietet gegenüber der Verwendung eines einzelnen Detektors, wie es in konventionellen LSMs üblich ist, den Vorteil, dass einerseits durch die mögliche geringe Fläche der Pixel ein sehr hoch aufgelöstes Bild von der Probe P erzeugt wird. Andererseits erlaubt es die gesamte Ausdehnung des Detektorarrays, sehr viel Detektionslicht von der Probe P einzusammeln, so dass eine hohe Lichtempfindlichkeit gewährleistet ist. Das LSM 20 kann gleichzeitig empfindlich sein und hochaufgelöste Bilder erzeugen. Mit einem konventionellen LSM mit nur einem Detektorelement ließen sich beide Forderungen nicht gleichzeitig erfüllen. Zum Abbilden der Probe wird diese in einem Scanvorgang rasterartig abgescannt, indem der Scanner 10 die Lage des Beleuchtungsflecks und des Spots 14 auf der Probe P entsprechend verstellt. Jedes Pixel des Detektorarrays 18 empfängt mit dem Abrastern der Probe P ein vollständiges Bild der Probe. Die auf Basis der einzelnen Pixel erzeugbaren Bilder unterscheiden sich voneinander. Aufgrund der Lage der Pixel relativ zur Probe P und relativ zur Anregungs-PSF sind die einzelnen Bilder gegeneinander verschoben. Außerdem werden Raumfrequenzen der Probe mit unterschiedlicher Amplitude und Phase zu den Pixeln übertragen.
• Mit dem beschriebenen Mikroskop wird mit dem gesamten Detektorarray 18 ein Bild der Probe P durch Abrastern erzeugt. Dabei ist die Ausdehnung des Detektorarrays 18 größer als ein Zeilenabstand im Bild. Zur Beschleunigung wird nur jede n-te Zeile abgerastert und die Bildinformation aus den nicht abgerasterten Zeilen aus den Signalen der einzelnen Pixel generiert. Solange der Zeilenabstand der gerasterten Zeilen nicht größer ist als die Ausdehnung des detektierten Bereiches in derselben Dimension, ist eine Rekonstruktion des Bildes aus den Daten der Pixel immer noch möglich. Der Vorteil ist eine n-fach erhöhte Bildaufnahmegeschwindigkeit.
• Es gibt nun aber n Zeilengruppen, die unterschiedliche Abbildungseigenschaften haben können. Konkret folgen n Zeilen mit jeweils unterschiedlichen Abbildungseigenschaften aufeinander, dann wiederholt sich dieses Muster. Durch diese sich periodisch wiederholenden Abbildungseigenschaften der Bildzeilen können periodische Artefakte in Form von Streifen entstehen. Um die Problematik zu verstehen, sei zunächst 2a bis 2c betrachtet. 2a zeigt das Detektorarray 19 mit insgesamt sechszehn Detektorpixeln 32. Der Beleuchtungslichtfleck 31 ist so ausgebildet, dass er - gedanklich in die Detektionsebene übertragen - die Detektorpixel 32 überdeckt. Durch den Abbildungsstrahlengang wird das Signal jedes Detektorpixels mit der PSF des Abbildungssystems beeinflusst, so dass sich z. B. eine Detektions-PSF 33a wie in 2b dargestellt ergibt. Die Probe P wird im Ergebnis mit einer konfokalen PSF abgerastert, die sich mathematisch als Produkt der Anregungs- und Detektions-PSF im Ortsraum verstehen lässt. Im Ergebnis erhält man eine konfokale PSF 34a, die eine geringere Ausdehnung als Anregungs-und Detektions-PSF besitzt. Diese Eigenschaft erhöht die Auflösung.
• Durch eine geeignete Verrechnung kann ein hochaufgelöstes Bild aus den Einzelbildern abgeleitet werden. Dazu werden allgemein Orte und Phasen der Einzelbilder kompensiert und diese kompensierten Bilder zusammengefasst. Durch Gewichtung und Anpassung der Raumfrequenzamplituden kann so ein Bild bestimmt werden, welches möglichst optimal der ursprünglichen Probe P entspricht. Die Korrektur der Raumfrequenzamplituden und -phasen wird als Entfaltung bezeichnet.
• Die Form und die Intensität der konfokalen PSF 34a ist bezogen auf die Orte in der Probe und die Detektorpixel ortsabhängig. Sie hängt von der relativen Lage zwischen Anregungs- und Detektions-PSF ab. So wird z. B. die in 2c für ein Detektorpixel dargestellte, konfokale PSF 34b andere Eigenschaften haben als die in 2b, die für ein anderes Detektorpixel gilt. Der Grund ist die andere Lage des Detektorpixels 32 und damit der relativen Lage von Detektions-PSF zur Anregungs-PSF. So wird die konfokale PSF 34b aus 2c z. B. weniger intensiv sein, weil sie sich im Randbereich der Anregungs-PSF befindet. Die Flankensteilheit der PSF wird ebenfalls anders sein. In Konsequenz würde ein mit dieser PSF 34b abgerastertes Bild auch einen veränderten Kontrast und/oder Bildschärfe haben als ein mit der PSF 34a abgerastertes Bild. Die Unterschiede der PSFs 34a, 34b sind durch unterschiedliche Schraffuren symbolisiert.
• In 3a und b ist nochmal die Situation des Rasterns bei einer Zeilengruppe mit n Zeilen dargestellt. Konkret sollen vier Zeilen 36a auf einmal abgetastet werden. Das Detektorarray besitzt sechzehn Pixel. Jedes Detektorpixel erzeugt eine Zeile, mit jeweils eigener konfokaler PSF34a, 34b wie für zwei Detektorpixel angedeutet. Diese sechzehn Zeilen sollen nun zu vier Zeilen zusammengefasst werden. Ein erster Rekonstruktionsschritt besteht darin, die Detektorzeilen Zielzeilen 36a des Bildes zuzuordnen. Diese Zuordnung kann räumlich geschehen, so dass sich Zielzeilen immer aus den am nächsten liegenden Quellzeilen zusammensetzt. Eine Interpolation der Quellzeilen auf mehrere Zielzeilen ist ebenfalls denkbar. Der Prozess des räumlichen Zusammensetzens der Zielzeilen aus den Quellzeilen ist eine Umverteilung (Re-Assignment).
• Die Beschreibung bezieht sich im Folgenden exemplarisch auf vier Zeilen. Das Verfahren funktioniert jedoch mit einer beliebigen Anzahl von Zeilen, maximal sind es so viele Zeilen wie Detektorpixel 32 zur Verfügung stehen.
• Es ist ersichtlich, dass sich jede Zielzeile aus anderen Quellzeilen zusammensetzt, bzw. aus unterschiedlichen Anteilen der Quellzeilen. Weil aber die Quellzeilen unterschiedliche PSFs haben, haben auch die Zielzeilen unterschiedliche PSFs 37a. Das ist durch die andere Schraffur der PSFs 37a symbolisiert.
• Als Folge dieser unterschiedlichen PSFs besitzt das Bild nach dem Umordnen eine räumlich variierende PSF. Infolge dessen würden Bildinhalte in den Zeilen unterschiedlich übertagen, was zu Artefakten führen würde. Deren Folgen sind in 5 dargestellt. Links ist ein Siemensstern 70u dargestellt. 5b zeigt das Bild des Sterns 70a so, wie es nach Rasterung und Detektorpixel-Reassignment aussieht. Die Randbereiche mit niedrigen Ortsfrequenzen werden unverfälscht wiedergegeben. Links und rechts vom Zentrum jedoch treten deutliche Artefakte in Form von Moire-Mustern auf. Sie sind eine direkte Folge der sich periodisch ändernden PSF, die sich mit dem periodischen Muster des Sterns überlagert.
• Bei der Verarbeitung wird eine homogene PSF erreicht, wie es in 3c angedeutet ist. Dort haben alle Zeilen 36 dieselbe PSF 37. Durch die Abtastung nur jeder n-ten Zeile entsteht ein Informationsverlust, der im Frequenzraum des Bildes (welcher durch eine Fouriertransformation mit dem Ortsraum verknüpft ist) durch eine Überlagerung von Raumfrequenzen gekennzeichnet ist. Sie lässt sich als Formel ausdrücken: $${\widehat{D}}_h\left(k_x,k_y,k_z\right)=\frac{1}{n}{\displaystyle \sum _{j=0}^{n-1}\left[O\left(k_x,k_y+\frac{j}{n}{k}_{ymax},k_z\right)\cdot S_h\left(k_x,k_y+\frac{j}{n}{k}_{ymax},k_z\right)\right]},k_y\le \frac{k_{ymax}}{n}$$

  
• Dabei ist D̂_h das Bild eines Detektorpixels h, k_x, k_y, k_z sind die Raumfrequenzkoordinaten, n die Anzahl der gleichzeitig erfassten Zeilen. 0 ist die Probe, S_h die konfokale PSF des Detektorpixels h (h ist als Zählindex zu verstehen). Die Formel zeigt, dass im Bild des Detektorpixels h sich jedes k_y aus n Anteilen überlagert. Gleichzeitig reicht das Raumfrequenzspektrum nur bis $\frac{k_{ymax}}{n}.$

  
• Die Umverteilung lässt sich im Frequenzraum durch Multiplikation mit einer Phase Shh beschreiben. Man erhält dann für das zusammengesetzte Bild $\stackrel{⃛}{D}:$

  

  $$\begin{array}{l}{\stackrel{⃛}{D}}_m\left(k_x,k_y,k_z\right)=\\ {\displaystyle \sum _{j=0}^{n-1}{\displaystyle \sum _{h=0}^{h_{max}}{S}_h\left(k_x,k_y+\frac{j}{n}{k}_{ymax},k_z\right)\cdot cc\left[S{h}_h\left(k_x,k_y+\frac{m}{n}{k}_{ymax},k_z\right)\right]}}\\ \cdot O\left(k_x,k_y+\frac{j}{n}{k}_{ymax},k_z\right),k_y\le \frac{k_{ymax}}{n}\end{array}$$

  
• Das Spektrum ist für $k_y\le \frac{k_{ymax}}{n}.$

  

  Im Bild $\stackrel{⃛}{D}$

  

  sind die höheren Frequenzen durch den Index m gekennzeichnet. Die Summe über j beschreibt die Überlagerung der Raumfrequenzen, h die Summe über alle Detektorpixel.
• Die Terme inklusive der Summierung über h lassen sich als Matrix SF mit n ▪ n Komponenten auffassen: $$S{F}_{m,j}={\displaystyle \sum _{h=1}^{h_{max}}{S}_h\left(k_x,k_y+\frac{j}{n}{k}_{ymax},k_z\right)\cdot cc\left[S{h}_h\left(k_x,k_y+\frac{m}{n}{k}_{ymax},k_z\right)\right]}$$

  
• Diese Matrix beschreibt die Faltung der Probe 0 mit den PSF und berücksichtigt auch das Übersprechen der Frequenzen $\frac{j}{n}{k}_{ymax},$

  

  j = 0 ... n - 1.
• Die Matrix ist aus den Mikroskopparametern vollständig bestimmbar: Die konfokalen PSFs S_h sind durch Anregungs-und Detektions-PSF des optischen Systems gegeben und damit bekannt. Die für das Re-Assignment benötigten Phasen Sh_h hängen wiederum nur von den konfokalen PSF S_h ab und sind damit auch bekannt. Folglich wird für SF eine inverse Matrix SF^-1 bestimmt. Mit dieser Matrix wird aus den Anteilen ${\stackrel{⃛}{D}}_m$

  

  des zusammengesetzten Bildes das Probenspektrum 0 rekonstruiert. Die Matrix SF^-1 entmischt die überlagerten Frequenzen. Der Prozess ist deshalb eine Entmischung.
• Die Multiplikation von ${\stackrel{⃛}{D}}_m$

  

  mit SF^-1 würde allerdings auch ${\stackrel{⃛}{D}}_m$

  

  mit den inversen PSF S_h multiplizieren. Diese inverse Filterung ist u.U. problematisch, weil sie Rauschanteile von ${\stackrel{⃛}{D}}_m$

  

  sehr verstärken könnte. Als Gegenmaßnahme kann man optional eine modifizierte Matrix berechnen, die nur das Übersprechen der Frequenzen, nicht aber die Faltung mit den konfokalen PSFs beschreibt. Dazu werden die SF durch die konfokalen PSFs dividiert und man erhält eine „reine“ Crosstalk-Matrix: $$F_{m,j}=\frac{{\displaystyle {\sum }_{h=1}^{h_{max}}{S}_h\left(k_x,k_y+\frac{j}{n}{k}_{ymax},k_z\right)\cdot cc\left[S{h}_h\left(k_x,k_y+\frac{m}{n}{k}_{ymax},k_z\right)\right]}}{{\displaystyle {\sum }_{h=1}^{h_{max}}{S}_h\left(k_x,k_y+\frac{j}{n}{k}_{ymax},k_z\right)\cdot cc\left[S{h}_h\left(k_x,k_y+\frac{j}{n}{k}_{ymax},k_z\right)\right]}}$$

  
• F ist in Frequenzbereichen, in denen der Nenner gegen Null geht, undefiniert. Das ist jedoch kein Problem, weil sich diese Frequenzbereiche außerhalb der Übertragungsbandbreite, sprich jenseits der Auflösung des Systems befinden. Die Berechnung des entmischten Bildes D lautet in Matrixschreibweise einfach $${\overline{F}}^{-1}\cdot \stackrel{⃛}{D}=\overline{D}$$

  
• D kann einer weiteren Entfaltung zugeführt werden. Stand der Technik hierfür ist z. B. ein Filter folgender Art, der an einen Wiener-Filter angelehnt ist und ein entfaltetes Bild Ö liefert: $$\tilde{O}\left(k_x,k_y,k_z\right)=\frac{\overline{D}\cdot cc\left[SSh\left(k_x,k_y,k_z\right)\right]}{{\left|SSh\left(k_x,k_y,k_z\right)\right|}^2+w}$$

  

  Dabei ist SSh die effektive PSF des entmischten Bildes $\stackrel{⃛}{D}.$

  
• In 5c ist das entmischte und entfaltete Bild 70 dargestellt, wie es durch Entmischen aus dem zugeordneten Bild 70a entsteht. Es entspricht praktisch dem Originalbild 70u und die Moire-Effekte sind kompensiert.
• Folgende Verallgemeinerungen sind möglich:
• Die für das zusammengesetzte Bild benutzten Phasenfaktoren Shh können mit verschiedenen Ansätzen gewonnen werden. Ein einfacher Ansatz ist das bereits erwähnte räumliche Umverteilen, welches zu linearen Phasenfaktoren führt. Auf diese Weise entsteht ein Bild, welches dem entmischten Bild bei nicht zu inhomogenen PSF bereits nahe kommt. Eine weitere Möglichkeit ist es, als Phasenfaktoren die Phase der PSF S_h zu verwenden. Auf diese Weise entsteht ein Bild, in dem alle Frequenzanteile konstruktiv interferieren. Es ist somit bezüglich der Signalanteile und damit auch des Signal zu Rauschverhältnisses optimiert. Allerdings ist das zusammengesetzte Bild dann noch stärker artefaktbehaftet und es kann z. B. schlecht als ein Vorschaubild verwendet werden. Erst nach dem Schritt des Entmischens entsteht ein artefaktfreies Bild. Andere Phasenfaktoren sind möglich.
• Die obige Erläuterung beschreibt die Entmischung und Entfaltung als sequentielle Schritte. Jedoch ist die Berechnung des entmischt/entfalteten Bildes auch in weniger oder sogar nur einem Schritt ohne Umweg über das zusammengesetzte Bild möglich. Dazu stellt man das Gleichungssystem direkt mit den Einzelbildern der Detektorpixel D̂_h auf: $$\begin{array}{ccc}{\widehat{D}}_0=S_{\mathrm{0,0}}\cdot O+& \cdots & +S_{\mathrm{0,}n-1}\cdot O_{n-1}\\ ⋮& \ddots & ⋮\\ {\widehat{D}}_{hmax}=S_{hmax}\cdot O+& \cdots & S_{hmax,n-1}\cdot O_{n-1}\end{array}$$

  
• Die aus den konfokalen PSF zusammengesetzte Crosstalk-und Faltungsmatrix besitzt nun h_max Zeilen und n Spalten. Die Umkehrung des Systems zur Berechnung von O aus allen D̂_h ist überbestimmt. Ebenso müssen Maßnahmen ergriffen werden, um wie oben beschrieben, eine inverse Filterung mit divergierenden Anteilen zu vermeiden. Analog zu obigem Vorgehen erhält man aber auch dann eine brauchbare Näherungslösung.
• Eine weitere Abwandlung besteht darin, dass das Subsampling nicht nur in einer Raumrichtung, sondern in einer anderen oder mehrere Raumrichtungen gleichzeitig praktiziert wird. In diesem Fall erweitert sich die Rechnung entsprechend, ändert sich jedoch nicht prinzipiell. Auf jeden Fall entstehen überlagerte Raumfrequenzkomponenten, die entmischt werden können um das ursprüngliche Bild zu rekonstruieren.
• 4 zeigt beispielhaft eine 2-fache Unterabtastung in x und in y-Richtung. Die Anregungs-PSF 31r ist in diesem Fall rund, wie es für konventionelle Abtastung der Fall ist. Die konfokalen PSFs werden per Re-Assignment in ein Bild 36f zusammengesetzt und anschließend entmischt, woraus ein Bild mit homogener PSF 36g entsteht.
• Durch die Rasterung von nur jeder zweiten Zeile entsteht eine nur 2-fach höhere Bildrate. Das Weglassen jedes zweiten Pixels in x bewirkt keine Steigerung der Bildaufnahmegeschwindigkeit, es sei denn, die Bildrate ist durch die Datenübertragungsgeschwindigkeit begrenzt. Andererseits ist für dieses Verfahren keine modifizierte Anregungs-PSF erforderlich, sondern es kann die Anregungs-PSF verwendet werden, wie sie üblicherweise in einem Hochauflösungs-Mikroskop schon zur Verfügung steht. D. h. die Beschleunigung der Aufnahmezeit kann durch eine reine Änderung der Bildaufnahmesteuerung und der Verrechnung erreicht werden, ohne dass eine weitere Hardware-Änderung erforderlich ist. Somit ist es möglich, die Beschleunigung nur durch Anpassung der Software eines bestehenden LSM 20 zu erreichen.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• EP 2317362 A1 [0002]
• DE 102013015933 A1 [0003]
• EP 23173862 A1 [0007]

Claims (8)

1. Verfahren zur hochauflösenden Scanning-Mikroskopie einer Probe (P), das folgende Schritte aufweist: a) Bündeln von Beleuchtungsstrahlung zu einem Beleuchtungsfleck in oder auf der Probe (P) und Stimulieren der Abgabe von Detektionsstrahlung an einem zum Beleuchtungsfleck koinzidenten Probenfleck (14), wobei der Beleuchtungsfleck und somit auch der Probenfleck (14) in mindestens einer ersten Raumrichtung (x) nicht beugungsbegrenzt sind, b) Abbilden des Probenflecks (14) in ein Bild (17), das auf einem ortsauflösenden Flächendetektor (18) ruht, der Pixel (32) mit einer Größe aufweist, die das Bild (17) örtlich auflösen, wobei die optische Abbildung eine Auflösungsgrenze und eine für die Pixel (32) örtlich variierende Punktbildverwaschungsfunktion hat, c) rasterndes Verschieben des Beleuchtungsflecks und des koinzidenten Probenflecks (14) über die Probe (P) in einem Scanvorgang, wobei sich Zeilen sich entlang der ersten Raumrichtung (x) erstrecken und ein Abstand benachbarter Zeilen der Ausdehnung des Probenflecks (14) in der ersten Raumrichtung (x) entspricht, d) Auslesen von Daten der Pixel (32) des Flächendetektors (18) während des Scanvorgangs für jede Scanposition, e) Erzeugen eines Bildes der Probe (P), das eine Auflösung aufweist, die über die Auflösungsgrenze der Abbildung gesteigert ist, wobei e1) ein Umverteilungsschritt ausgeführt wird, in dem für jede Scanposition Daten mehrerer Pixel (32) des Flächendetektors (18), die in der ersten Raumrichtung (x) beabstandet sind, zusammengefasst werden, um für jede Scanposition einen temporären Datensatz umfassend Daten zusammengefasster Pixel zu erzeugen, e2) ein Entmischungsschritt ausgeführt wird, in dem die temporären Datensätze hinsichtlich der örtlichen Variation der Punktbildverwaschungsfunktion, die den jeweils zusammengefassten Pixeln zugeordnet ist, korrigiert werden, so dass innerhalb jedes temporären Datensatzes dieselbe Punktbildverwaschungsfunktion gilt, e3) das Bild der Probe (P) aus den derart verarbeiteten Daten der Pixel (32) und den ihnen zugeordneten Scanpositionen erzeugt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Schritte e2) und e3) in einer Entfaltungsoperation zusammengefasst werden, wobei ein Gleichungssystem aufgestellt und gelöst wird, das Intensitäten von Detektionsstrahlung, die von Orten (O) der Probe (P) abgegeben wird, über die ortsabhängige Punktbildverwaschungsfunktion mit den Signalintensitäten der Pixel (32) verknüpft.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Schritt e2) so ausgeführt wird, dass für alle temporären Datensätze dieselbe Punktbildverwaschungsfunktion gilt.
4. Verfahren nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass - eine Intensität (D_h) der Detektionsstrahlung vom Probenfleck (14), die auf eines der Pixel (32) fällt, bestimmt wird, indem eine Summe über mehrere Orte (O) berechnet wird, wobei die Summanden jeweils das Produkt der ortsabhängigen Punktbildverwaschungsfunktion (PSF_h), mit welcher der jeweilige Ort (O) auf dieses eine der Pixel (32) abgebildet wird, mit der Intensität der vom jeweiligen Ort (O) stammenden Strahlung sind, und - beim Erzeugung des Bildes der Probe (P) die ortsabhängige Punktbildverwaschungsfunktion (PSF_h) durch eine ortunabhängige Punktbildverwaschungsfunktion (PSF_h*) ersetzt wird und mittels einer Invertierung der ortunabhängige Punktbildverwaschungsfunktion (PSF_h*) für jeden Ort (O) die Intensität der von ihm stammenden Strahlung aus den Intensitäten (D_h) berechnet.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei der Berechnung der Summe nur ein Teil der in der ersten Raumrichtung (x) benachbarten Orte (O) berücksichtigt wird.
6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass - der Beleuchtungsfleck und somit auch der Probenfleck (14) in einer quer zur ersten Raumrichtung (x) liegenden zweiten Raumrichtung (y) beugungsbegrenzt sind, und - der Probenfleck (14) beugungsbegrenzt in das Bild (17) abgebildet wird,
7. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass - der Beleuchtungsfleck und somit auch der Probenfleck (14) in einer quer zur ersten Raumrichtung (x) liegenden zweiten Raumrichtung (y) ebenfalls nicht beugungsbegrenzt sind, - der Probenfleck (14) beugungsbegrenzt in das Bild (17) abgebildet wird, und - beim rasterndes Verschieben in Schritt c) sich Probenflecke (14) in benachbarten Scanpositionen überlappen.
8. Verfahren nach einem der obigen Ansprüche, dadurch gekennzeichnet, dass beim rasterndes Verschieben in Schritt c) sich in benachbarten Scanpositionen die Probenflecke (14) auf der Probe (P) in der ersten Raumrichtung (x) um weniger Hälfte der Probenfleckausdehnung in dieser Raumrichtung überlappen.

Images