-
Die Erfindung bezieht sich auf ein Verfahren zur Mikroskopie von mehreren Proben mit optischer Mikroskopie und Teilchenstrahlmikroskopie.
-
Unter dem Begriff optische Mikroskopie wird im Sinne dieser Beschreibung ein Mikroskopieverfahren verstanden, das zur Abbildung den optischen Gesetzen gehorchende Strahlung, insbesondere im sichtbaren Bereich, also Licht, verwendet. Teilchenstrahlenmikroskopie im Sinne dieser Beschreibung ist dann gegeben, wenn eine Abbildung mittels einem Strahl geladener Teilchen erfolgt, beispielsweise in Form der Elektronenstrahlmikroskopie. Soweit in dieser Beschreibung von Lichtmikroskopie oder Elektronenstrahlmikroskopie die Rede ist, ist dies lediglich beispielhaft für optische Mikroskopie bzw. Teilchenstrahlmikroskopie zu verstehen.
-
Insbesondere für biologische und materialwissenschaftliche Objekte ist oftmals eine Untersuchung sowohl mit optischer Mikroskopie, z. B. mit Lichtmikroskopie, und mit Teilchenstrahlenmikroskopie, z. B. Elektronenmikroskopie, wünschenswert. Im Stand der Technik verwendet man dazu aufwendige Mikroskope, die beide Mikroskopieverfahren durchführen können. Ein solches Mikroskop ist beispielsweise aus der
EP 0849765 A2 , der
US 2006/0118733 A1 oder der
US 6683316 B2 bekannt. Solche Kombinationsmikroskope sind insbesondere deshalb aufwendig, weil das optische Mikroskop vollständig in die Vakuumkammer, die für die Teilchenstrahlenmikroskopie benötigt wird, eingebaut werden muß, und ein Probentisch vorgesehen werden muß, der eine Probe zwischen beiden Mikroskopen im Vakuum verschiebt. Die Folge sind ein relativ großes Vakuumvolumen und zudem ein hoher Aufwand bei der Fertigung des optischen Mikroskops, das dann in vakuumtauglicher Bauweise erstellt werden muß. Verzichtet man bei der Teilchenstrahlmikroskopie auf Anordnung des Objektes im Vakuum, wie z. B. im Kombinationsmikroskop gemäß
US 2008/0308731 A1 , leidet die Abbildungsqualität, da die Elektronen an einer Membran sowie an Luft gestreut werden.
-
Eine Alternative für die Verwendung solcher Kombinationsmikroskope ist der sequentielle Einsatz von Einzelgeräten. Dies ist beispielsweise bekannt aus der Veröffentlichung: M. S. Lucas, P. Gasser, M. Günthert, J. Mercer, A. Helenius und R. Wepf: Correlative 3D microscopy: LSM and FIB/SEM tomography used to study cellular entry of vaccinia virus, A. Aretz, B. Hermanns-Sachweh, J. Mayer (Eds.): EMC 2008, Vol. 3: Life Science, Seiten 361–362, Springer-Verlag Berlin Heidelberg 2008. Dort erfolgt zuerst die optische Abbildung der Probe beispielsweise mit konfokaler Laser-Scanningmikroskopie. Anschließend wird versucht, den bereits auf diese Weise optisch abgebildeten Probenbereich (auch als region of interest – ROI bezeichnet), mit einem Elektronenmikroskop aufzunehmen. Die Abbildung der meist voluminösen Probe erfolgt dabei dadurch, daß die Probe mittels eines fokussierten Ionenstrahls schichtweise abgetragen und mit dem Elektronenmikroskop abgebildet wird.
-
Die sequentielle Verwendung des konfokalen Laser-Scanning-Mikroskops und des Elektronenstrahlmikroskops hat den Nachteil, daß die Position, insbesondere die axiale Position des im jeweiligen Mikroskop untersuchten Probenbereichs nicht exakt der entsprechenden Position der Untersuchung im anderen Mikroskop zugeordnet werden kann.
-
Die
DE 10 2009 020 663 A1 der Carl Zeiss AG stellt deshalb einen entsprechenden Objektträger bereit, mit dem die Probe sowohl mit optischer Mikroskopie als auch mit Teilchenstrahlmikroskopie untersucht werden kann, ohne vom Träger abgenommen zu werden. Die gewünschte Korrelation der jeweils gewonnenen Daten erfordert aber den speziellen Probenträger.
-
Möchte man hierauf verzichten, muß ein optisches Mikroskopiebild zum Teilchenstrahlmikroskopiebild entsprechend registriert werden. Hierzu sind folgende Ansätze bekannt:
Die Bilder können von einem Bediener zueinander lagejustiert werden. Man bewirkt also eine manuelle Registrierung der beiden Bilder. Die manuelle Registrierung ist zum einen sehr mühsam. Zum anderen ist sie bei 3D-Datensätzen aufgrund der üblichen zweidimensionalen Darstellung der Bilder nicht praktikabel. Der Hauptnachteil eines solchen Ansatzes besteht aber darin, daß der Anwender Wissen über die örtliche Korrelation der beiden Aufnahmen einbringen muß, um die Bilder zu registrieren. Das eigentliche Ziel, Wissen über die räumliche Korrelation aus beiden Bildern zu erhalten, kann so nicht erreicht werden.
-
Aus der Veröffentlichung D. Lee et al.: „Learning Similarity Measure for Multi-Modal 3D Image Registration”, Computer Vision and Pattern Recognition – CVPR, Seiten 186–193, 2009, ist ein lernendes Verfahren bekannt, das mit Hilfe von manuell vorregistrierten Bilddaten lernt, welche Bildinhalte zueinander gehören. Das Verfahren liefert, so der Algorithmus den entsprechenden Lernprozeß durchlaufen hat, ein Ähnlichkeitsmaß für die Registrierung. Das Problem des anzulernenden Algorithmus gemäß der Veröffentlichung von Lee et al. liegt darin, daß ein Datensatz mit vorregistrierten Bildern benötigt wird. Es ist also wiederum Wissen über die örtliche Korrelation der beiden Aufnahmen erforderlich, um die Vorregistrierung bewirken zu können.
-
Eine Registrierung ist ebenfalls möglich, indem man die Probe so präpariert, daß sie Registriermarker enthält, die mit beiden Mikroskopieverfahren, d. h. mit optischer Mikroskopie und mit Teilchenstrahlmikroskopie sichtbar sind. Diese Marker werden bei der Registrierung in Deckung gebracht. Der Nachteil einer Probenpräparation mit Registriermarkern liegt im Aufwand, der damit verbunden ist. Die Konzentration solcher Marker ist für die Registrierung wichtig, und die Probe muß für die Marker geeignet sein. Weiter haben Registriermarker den Nachteil, daß sie naturgemäß im optischen wie auch im Teilchenstrahlmikroskopiebild gut sichtbar sind und damit weitere Untersuchungen der Probe mitunter stören.
-
Grundsätzlich sind auch Standardverfahren der Bildverarbeitung, wie Kreuzkorrelation oder einfache Differenzverfahren, denkbar. Sie leiden jedoch unter der Problematik, daß Lichtmikroskope häufig völlig andere Strukturen mit gutem Kontrast abbilden, als Elektronenmikroskope. So liefert in der Biotechnik ein Lichtmikroskop üblicherweise Informationen über den Ablauf biologischer Prozesse, wohingegen mit einem Elektronenmikroskop die physikalische Struktur biologischer Materialien abgebildet wird. Die genannten Standardverfahren der Bildverarbeitung sind deshalb in der Regel nicht vorteilhaft einsetzbar.
-
Der Erfindung liegt deshalb die Aufgabe zugrunde, ein Verfahren zur Mikroskopie von mehreren Proben mit optischer Mikroskopie und Teilchenstrahlmikroskopie so weiterzubilden, daß optische Mikroskopiebilder und Teilchenstrahlmikroskopiebilder für jede Probe zueinander mit geringem Aufwand und gleichzeitig gutem Ergebnis zueinander lageregistriert werden können.
-
Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Mikroskopie von mehreren Proben mit optischer Mikroskopie und Teilchenstrahlmikroskopie, wobei
- a) die Proben in eine Teilmenge und eine Restmenge aufgeteilt werden,
- b) die Proben der Teilmenge so präpariert werden, daß sie Registriermarker enthalten, die sowohl in der optischen Mikroskopie als auch in der Teilchenstrahlmikroskopie sichtbar sind,
- c) die Proben der Teilmenge mit der optischen Mikroskopie und mit der Teilchenstrahlmikroskopie abgebildet werden, so daß für jede Probe der Teilmenge ein Paar aus optischem Mikroskopiebild und Teilchenstrahlmikroskopiebild gewonnen wird,
- d) die Paare aus optischem Mikroskopiebild und Teilchenstrahlmikroskopiebild unter Rückgriff auf die Registriermarker zueinander lageregistriert werden,
- e) die optischen Mikroskopiebilder und die Teilchenstrahlmikroskopiebilder der lageregistrierten Paare modifiziert werden, indem die Registriermarker aus den Bildern entfernt werden,
- f) anhand der modifizierten optischen Mikroskopiebilder und Teilchenstrahlmikroskopiebilder der lageregistrierten Paare ein Registrierungsalgorithmus angelernt wird, der Bildinhalte auswertet und ein Qualitätsmaß für eine Lageregistrierung jedes der Paare ausgibt, und
- g) die Objekte der Restmenge ohne Registriermarker mit der optischen Mikroskopie und mit der Teilchenstrahlmikroskopie abgebildet werden, so daß auch für jede Probe der Restmenge ein Paar aus optischem Mikroskopiebild und Teilchenstrahlmikroskopiebild gewonnen wird, und diese Paare mithilfe des angelernten Registrierungsalgorithmus zueinander lageregistriert werden, indem die Bilder jedes Paars der Restmenge gegeneinander verschoben werden, um das vom angelernten Registrierungsalgorithmus für das jeweilige Paar ausgegebene Qualitätsmaß zu maximieren.
-
Das Verfahren verwendet also für die Teilmenge der Proben Registriermarker, die es erlauben, für diese Teilmenge der Proben in den Bildpaaren die Bilder zueinander zu registrieren. Hierzu kommen die aus dem Stand der Technik genannten Verfahren in Frage. Anschließend wird mit diesen Bildern, deren Lageregistrierung vorgenommen wurde, ein Registrierungsalgorithmus angelernt.
-
Unter Registrierung wird hier der Vorgang verstanden, zwei Bilder derselben Probe hinsichtlich ihrer Koordinatensysteme so abzugleichen, daß sie bei Überlagerung bestmöglich in Übereinstimmung kommen. Es wird z. B. eine Lageinformation gewonnen, die gleiche Bereiche der Probe in den beiden Bildern des Bildpaares angibt, beispielsweise durch geeignete Koordinatenangaben etc.
-
Das Ziel bei der Bildregistrierung ist es, eine Transformation zu finden, die das eine Bild, z. B. das optische Mikroskopiebild, bestmöglich mit dem anderen Bild, z. B. dem Teilchenstrahlbild, in Übereinstimmung bringt. Die bestmögliche Übereinstimmung wird dabei durch ein Maß für die Gleichheit oder die Ungleichheit der Bilder charakterisiert. Die Transformation bringt i. d. R. beide Bilder in ein gemeinsames Koordinatensystem (vgl. auch http://de.wikipedia.org/wiki/Bildregistrierung und http://en.wikipedia.org/wiki/Image_registration).
-
Damit der Registrierungsalgorithmus die vorhandenen Registriermarker nicht mitlernt, werden vor dem Anlernen die Bilder dahingehend modifiziert, daß die Registriermarker entfernt werden. Der Registrierungsalgorithmus lernt deshalb auf Basis der Bildinhalte ohne die Registriermarker. Mit dem derart angelernten Registrierungsalgorithmus können dann auch die übrigen Proben zueinander lageregistriert werden, bis sie in einer Relativlage sind, in der das vom angelernten Registrierungsalgorithmus ausgegebene Qualitätsmaß maximiert ist.
-
Als Registrierungsalgorithmus kann prinzipiell jede Methode verwendet werden, die aus Bildinhalten ein Registrierungsmaß ableitet. Insbesondere kann der Registrierungsalgorithmus gemäß der genannten Veröffentlichung von Lee et al. zum Einsatz kommen.
-
Das Ergebnis des angelernten Registrierungsalgorithmus ist natürlich um so besser, je ähnlicher die Proben hinsichtlich ihres Bildinhaltes sind. Das Verfahren ist deshalb besonders geeignet für Serienproben, die von ein und demselben Objekt stammen, beispielsweise in Form von Dünnschnitten, wie sie in der erwähnten
DE 10 2009 020 663 A1 genannt sind. Es können jedoch auch Proben verwendet werden, die aus gleichartigen Objekten, beispielsweise der gleichen biologischen Struktur, beispielsweise dem gleichen Gewebe, oder einem gleichen Herstellprozeß etc. stammen.
-
Wesentlich für das Verfahren ist es, daß die Registriermarker vor dem Anlernen des Registrierungsalgorithmus aus den Bilddaten entfernt werden. Dies kann besonders einfach dadurch erfolgen, daß die Bilder entsprechend segmentiert und die Bildbestandteile, welche die Registriermarker enthalten, ausgeschnitten werden. Gleichermaßen ist es möglich, die Bildbestandteile zu interpolieren oder durch neutrale Bildinformation zu ersetzen, die Registriermarker also zu überdecken.
-
Da der Registrierungsalgorithmus als digitale Bildverarbeitungsmethode ein besonders gutes Ergebnis liefert, wenn die Bildqualität hoch ist, ist es zu bevorzugen, die optischen Mikroskopiebilder und die Teilchenstrahlmikroskopiebilder einem Entrauschungsbearbeitungsschritt und/oder einem Kontrasterhöhungsschritt zu unterziehen, bevor der Registrierungsalgorithmus an den lageregistrierten Bildpaaren angelernt wird.
-
Das Verfahren automatisiert die Registrierung von Bildpaaren aus optischer Mikroskopie und Teilchenstrahlmikroskopie. Die Automatisierung ist natürlich besonders dann vorteilhaft, wenn eine Vielzahl von Bildern bzw. große Datenmengen bearbeitet werden sollen. Dies ist der Fall, wenn die optischen Mikroskopiebilder und/oder die Teilchenstrahlmikroskopiebilder 3D-Bilder sind.
-
Die Positionierungsgenauigkeit von Objektträgern liegt bei modernen Mikroskopen weit unter der Pixelgenauigkeit der Abbildung. Die Registrierung ergänzt deshalb die Objektträgerpositionierung mit einer Genauigkeit, die über die bloße Detektion von Markern auf einem Objektträger hinausgeht.
-
Unter Registriermarkern werden hier Strukturen verstanden, die in beiden Bildern sichtbar sind. Bei der Probenpräparation wird dafür gesorgt, daß die Proben der Teilmenge solche Registriermarker enthalten. Üblicherweise werden solche Registriermarker bei der Probenpräparation hinzugefügt. Es ist aber ebenfalls möglich, ein Mikroskopieobjekt auszuwählen, bei dem eine Teilmenge der Proben Strukturen zeigt, welche als Registriermarker dienen können. Gleiches gilt für das Herausarbeiten probeninhärenter Strukturen bei der Präparation einer Teilmenge der Proben.
-
Es versteht sich, daß die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnung noch näher erläutert. Die einzige Zeichnung zeigt ein Ablaufdiagramm eines Verfahrens zur Mikroskopie von mehreren Proben mit optischer Mikroskopie und Teilchenstrahlmikroskopie.
-
Das Verfahren beginnt in einem Schritt S0. Es werden mehrere Proben bereitgestellt, die sowohl mit optischer Mikroskopie als auch mit Teilchenstrahlmikroskopie untersucht werden sollen. Es müssen zum Start des Verfahrens nicht zwingend alle Proben zur Verfügung stehen. Daß nur ein Teil der Proben zu Beginn des Verfahrens verfügbar ist, ist insbesondere dann der Fall, wenn eine Serienuntersuchung gleichartiger Werte, z. B. solche in einem Produktionsprozeß etc. durchgeführt werden soll.
-
Anschließend wird ein Teil der Proben derart präpariert, daß er mit Registriermarkern versehen wird, die sowohl in der optischen Mikroskopie als auch in der Teilchenstrahlmikroskopie sichtbar sind. Solche Registriermarker sind insbesondere für die Fluoreszenzmikroskopie geeignet und werden hier als sogenannte Fluoreszenzbeads bezeichnet. Am Schluß dieses Schrittes S1 liegt eine Teilmenge der Proben vor, die mit den Registriermarkern versehen sind. Auch zu diesem Zeitpunkt muß die Gesamtmenge der Proben noch nicht zur Verfügung stehen.
-
In einem nachfolgenden Schritt S2 wird zumindest die Teilmenge der Proben, welche mit den Registriermarkern versehen werden, sowohl mit Lichtmikroskopie als auch mit Elektronenstrahlmikroskopie abgebildet. Dieser Schritt S2 stellt somit im Ergebnis für jede Probe der Teilmenge ein Bildpaar bereit, das aus optischem Mikroskopiebild und Teilchenstrahlmikroskopiebild besteht.
-
In jedem Bildpaar, welches mit den Registriermarkern versehen ist, wird nun in einem Schritt S3 das optische Mikroskopiebild zum Teilchenstrahlmikroskopiebild lageregistriert. Darunter ist zu verstehen, daß eine Lageinformation gewonnen wird, die gleiche Bereiche der Probe in den beiden Bildern des Bildpaares angibt, beispielsweise durch geeignete Koordinatenangaben etc.
-
Nun werden in einem Schritt S4 die Bilder der derart registrierten Bildpaare modifiziert, indem die Bildinformation über die Registriermarken aus den Bildern der registrierten Bildpaare entfernt wird. In den modifizierten optischen Mikroskopiebildern und Teilchenstrahlmikroskopiebildern sind die Registriermarken also nicht mehr enthalten. Dies kann beispielsweise dadurch erfolgen, daß die Bilder segmentiert werden und die Bildinformation über die Registriermarken, die üblicherweise nur wenige Pixel betragen, aufgeschnitten werden. Auch ist es möglich, die Stellen, an denen sich die Registriermarken befinden, mit einer neutralen Bildinformation zu überschreiben bzw. unter Verwendung der Bildinformation benachbarter Bildbestandteile die Registriermarken im Bild mittels Interpolation zu überschreiben.
-
Als Ergebnis dieses Schrittes S4 liegen Bildpaare mit modifizierten optischen Mikroskopiebildern und Teilchenstrahlmikroskopiebildern vor, die zueinander lageregistriert sind und keine Registriermarker mehr enthalten.
-
Mit diesen modifizierten Bildern wird nun in einem Schritt S5 ein Registrierungsalgorithmus angelernt, z. B. der aus der genannten Veröffentlichung von Lee et al. bekannte. Die hierfür erforderlichen Requisiten stehen bereit: Es liegen mehrere Paare aus jeweils zwei Bildern vor, die zueinander lageregistriert sind.
-
Mit dem derart angelernten Registrierungsalgorithmus werden im Schritt S6 auch die übrigen Proben zueinander lageregistriert. Es wird dabei eine Relativlage ermittelt, in der das vom angelernten Registrierungsalgorithmus ausgegebene Qualitätsmaß maximiert ist.
-
Es ist nicht zwingend nötig (wenn auch möglich), den Rest der Proben dem Schritt S2 zu einem Zeitpunkt zu unterziehen, bevor die Schritte S3 bis S5 ausgeführt wurden. Das Verfahren ist vielmehr geeignet, an einer Teilmenge der Proben zuerst den Algorithmus passend anzulernen, also mit der Teilmenge die Schritte S1 bis S5 durchzuführen, und dann fortlaufend weitere Proben zu mikroskopieren (Schritt S2) und hinsichtlich ihrer Lage zu registrieren (Schritt S6), ohne daß aufwendige manuelle Registrierungen oder Probenpräparationen mit Registriermarkern für diese Restmenge der Proben benötigt werden.
-
Mit einem Schritt S7 ist das Verfahren zu Ende.
