DE102013021542A1 - Mikroskop und Verfahren zur SPIM Mikroskopie - Google Patents
Mikroskop und Verfahren zur SPIM Mikroskopie Download PDFInfo
- Publication number
- DE102013021542A1 DE102013021542A1 DE102013021542.0A DE102013021542A DE102013021542A1 DE 102013021542 A1 DE102013021542 A1 DE 102013021542A1 DE 102013021542 A DE102013021542 A DE 102013021542A DE 102013021542 A1 DE102013021542 A1 DE 102013021542A1
- Authority
- DE
- Germany
- Prior art keywords
- sample
- image
- illumination
- image stack
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/364—Projection microscopes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
Verfahren zur SPIM Mikroskopie mit einem Mikroskop, bestehend aus einer Beleuchtungseinrichtung, umfassend eine Beleuchtungslichtquelle und einen Beleuchtungsstrahlengang zur Beleuchtung einer Probe mit einem Lichtblatt, einer Detektierungseinrichtung zur Detektierung von Licht, das von der Probe abgestrahlt wird, mit einem Objektiv, wobei das Lichtblatt im Fokus des Objektives oder einer definierten Ebene in der Nähe des Fokus des Abbildungsobjektivs im Wesentlichen eben ist und das Objektiv eine optische Achse aufweist, die die Ebene des Lichtblattes in einem von Null verschiedenen Winkel, bevorzugt senkrecht schneidet, wobei die Probe zur Erfassung unterschiedlicher Probenebenen durch das Lichtblatt in Richtung der optischen Achse des Objektives verschoben wird und eine Beleuchtung der Probe unter mindestens einem ersten und einem zweiten Beleuchtungswinkel erfolgt und bei jedem Beleuchtungswinkel mehrere Probenebenen detektiert und als mindestens erste und zweite Bildstapel abgespeichert werden wobei eine Ausrichtung der Bildstapel zueinander erfolgt indem die Koordinatensysteme aller Bildstapel in das Koordinatensystem des ersten Bildstapels ausgerichtet werden, die Bildstapel zu einem Bildstapel vereinigt werden, eine Projektion des dreidimensionalen Bildstapels in eine zweidimensionale Darstellung erfolgt, aus unterschiedlichen Beleuchtungsrichtungen aufgenommene Probenmerkmale zueinander in ihrer Lage ausgerichtet werden, aus den Koordinaten der Ausrichtung eine Koordinatentransformation ermittelt wird die Koordinatentransformation zur Ausrichtung auf den vereinigten Bildstapel angewendet wird.
Description
- Die Erfindung betrifft ein Mikroskop, welches ein Abbildungsobjektiv zur Abbildung einer Probe auf einen Detektor sowie Mittel zur Beleuchtung der Probe mit einem Lichtblatt in der Fokusebene des Abbildungsobjektivs bzw. in einer definierten Ebene in der Nähe dieser Fokusebene umfasst. Die Mittel zur Beleuchtung umfassen eine, vorzugsweise kohärentes Licht abstrahlende, Beleuchtungsquelle.
- Ein Mikroskop, bei dem Beleuchtungsstrahlengang und Detektionsstrahlengang im Wesentlichen senkrecht zueinander angeordnet sind und bei dem die Probe mit einem Lichtblatt in der Fokusebene des Abbildungsobjektivs, d. h. senkrecht zu dessen optischer Achse, beleuchtet wird, ist für die Untersuchung von Proben nach dem Verfahren der Selective-Plane-Illumination-Microscopy (SPIM) ausgelegt. Im Unterschied zur konfokalen Laser-Scanning-Mikroskopie (LSM), bei der eine dreidimensionale Probe in einzelnen, unterschiedlich tiefen Ebenen Punkt für Punkt abgetastet wird und die dabei gewonnenen Bildinformationen nachfolgend zu einer dreidimensionalen Abbildung der Probe zusammengesetzt werden, beruht die SPIM-Technologie auf der Weitfeldmikroskopie und ermöglicht die bildliche Darstellung der Probe auf der Grundlage von optischen Schnitten durch einzelne Ebenen der Probe.
- Die Vorteile der SPIM-Technologie bestehen unter anderem in der größeren Geschwindigkeit, mit der die Erfassung der Bildinformationen erfolgt, der geringeren Gefahr des Ausbleichens von biologischen Proben sowie einer erweiterten Eindringtiefe des Fokus in die Probe.
- Prinzipiell werden bei der SPIM-Technologie Fluorophore, die in der Probe enthalten sind oder in diese eingebracht werden, mit Laserlicht angeregt, welches zu einem sogenannten Lichtblatt geformt ist. Mit dem Lichtblatt wird jeweils eine ausgewählte Ebene in der Tiefe der Probe beleuchtet und mit einer Abbildungsoptik ein Bild dieser Probenebene in Form eines optischen Schnitts gewonnen. Im Wesentlichen äquivalent zu einer solchen Anregung mit einem statischen Lichtblatt ist die schnelle Hin- und Herbewegung eines dünnen, rotationssymmetrischen Laserstrahls in der Fokusebene des Abbildungsobjektivs. Effektiv, d. h. im zeitlichen Mittel über den Zeitraum der Beobachtung, ergibt sich somit ebenfalls die Form eines SPIM-Lichtblatts.
- Die SPIM-Technologie ist beispielsweise beschrieben in Stelzer et al., Optics Letters 31, 1477 (2006), in Stelzer et al., Science 305, 1007 (2004), in der
DE 102 57 423 A1 und in derWO 2004/0530558 A1 - Die beschriebene „Lichtblattmikroskopie” (Light sheet microscopy) kombiniert optische Schnitte mit einer Weitfeld-Detektion über eine ortsauflösende Kamera (CCD Kamera), indem die komplette laterale fokale Ebene (xy-Ebene) des Detektionsobjektives mit einem dünnen Lichtblatt beleuchtet wird. Die Lichtblattbeleuchtung erfolgt rechtwinklig zur Detektionsachse (z-Achse).
- Die Probe wird in dem überlappenden Bereich von Beleuchtung und Detektion platziert. Fluoreszenzsignale, die durch das Beleuchtungslichtblatt angeregt werden, werden über das gesamte Gesichtsfeld des Detektionsobjektivs auf die Kamera abgebildet. Durch die rechtwinklige Beleuchtung mit einem dünnen Lichtblatt wird nur ein kleiner Teil der axialen Ausdehnung der Detektionsoptik beleuchtet und somit ein optischer Schnitt erzeugt. Um einen anderen Bereich in der Probe zu beobachten wird die Probe, unabhängig von der Optik, mit einer Probenpositioniereinheit durch das Lichtblatt gefahren. Durch das Aufnehmen optischer Schnitte an verschiedenen Probenpositionen entlang der Detektionsachse ist die Aufnahme von dreidimensionalen Bildstapeln möglich. Diese Bildstapel können anschließend zu einem 3D-Bild rekonstruiert werden.
- Ein Bildstapel umfasst beispielsweise 200 Bilder.
- In
1 ist der Grundaufbau eines SPIM Mikroskops zur Durchführung des erfinderischen Verfahrens dargestellt. Eine Probe P, die sich in einer Probenkammer PK befinden kann, wobei Probe oder Probenkammer in X, Y und Z verstellbar und um die senkrecht zur Zeichenebene liegende Y-Achse rotierbar angeordnet sind, wird von einem Detektionsstrahlengang erfasst. Dieser besteht aus einem Detektionsobjektiv O, dessen Detektionsachse bzw. optische Achse in Z Richtung verläuft und an das sich in Detektionsrichtung ein vorzugsweise auswechselbarer Lichtfilter F, eine Tubuslinse TL und ein Flächenempfänger CCD anschließen. - Im Wesentlichen senkrecht zur Detektionsachse Z steht, hier in X-Richtung, ein Beleuchtungsstrahlengang, hier bestehend aus zwei über einen Strahlteiler BS verkoppelte Laser L1, L2, die über einen AOTF zur Wellenlängenauswahl und Intensitätseinstellung, einen Umlenkspiegel S und eine Strahlaufweitung BE sowie eine anamorphotische Optik wie hier eine Zylinderlinse ZL zur Strahlformung, die flächige Lichtverteilung erzeugen, die Probe durchdringen.
- Schematisch dargestellt ist eine Justierungseinheit BLjust, die beispielsweise die Elemente S, BE und ZL in mehreren Richtungen justieren oder verkippen kann. Eine gemeinsame Kontroll- und Steuerungseinheit CU, in der Regel gebildet durch einen Rechner und eine Anzeigeeinheit (Display), ist mit allen Verstelleinrichtungen wie dem AOTF, der Probenverstellung oder Probenkammerverstellung (ermöglicht Verstellung von Probe oder Probenkammer in X, Y und Z sowie Drehung um Y) und der Beleuchtungsjustierung BL just verbunden um das erfindungsgemäße Verfahren ausführen zu können.
- Problemstellung und erfinderische Lösung
- Die Probe wird in dem überlappenden Bereich von Beleuchtung und Detektion platziert. Fluoreszenzsignale werden über das gesamte Gesichtsfeld des Detektionsobjektivs auf eine Kamera abgebildet. Durch die rechtwinklige Beleuchtung mit einem dünnen Lichtblatt wird nur ein kleiner axialer Teil des Detektionsvolumens beleuchtet und somit ein optischer Schnitt erzeugt. Um einen anderen Bereich in der Probe zu beobachten, wird die Probe unabhängig von der Optik mit einer Probenpositioniereinheit durch das Lichtblatt gefahren. Durch das Aufnehmen optischer Schnitte an verschiedenen Probenpositionen entlang der Detektionsachse ist die Erzeugung von dreidimensionalen Bildstapeln möglich. Solche Bildstapel können aus verschiedenen Winkeln aufgenommenen werden. Ein unter einem bestimmten Winkel aufgenommener Bildstapel wird auch als View bezeichnet. Mehrere unter einem bestimmten Winkel aufgenommene Bildstapel können zu einem 3D-Bild zusammengeführt werden, welches die Bildinformationen aus allen Bildstapeln beinhaltet. Dieser Vorgang wird als Registrierung bezeichnet.
- Für die Registrierung kommen aktuell Verfahren zum Einsatz, welche mit Hilfe von Referenzen (z. B. fluoreszierenden „Beads” als künstliche Orientierungspunkte) oder Grauwertintensitäten die einzelnen Aufnahmewinkel automatische zu einem Bild zusammenführen. Hierbei gibt es einen View, der als Referenzbild bezeichnet wird und weitere Views aus unterschiedlichen Winkeln, die nach Korrespondenzen zum Referenzbild durchsucht werden. Wenn genügend Korrespondenzen gefunden wurden, können Transformationsmatrizen berechnet werden. Mit deren Hilfe wird anschließend jeder View auf das Referenzbild transformiert. Abschließend werden alle Views in einem Ergebnisbild fusioniert.
- Das automatische Finden der Korrespondenzen ist ein rechenzeitintensives Verfahren, welches nicht immer den gewünschten Erfolg bringt, da abhängig von der Probe fehlerhafte oder keine Korrespondenzen gefunden werden können. Auch die Verwendung von festen Referenzen (wie z. B. Beads), welche im Allgemeinen eine bessere Registrierung erlauben, kann nicht immer gewährleistet werden, da diese eine wesentlich zeitintensivere Probenvorbereitung erfordert. Zudem sind Beads vom Nutzer häufig nicht erwünscht, da sie zu Bildstörungen führen oder einen biologischen Einfluss auf die Probe haben können.
- Eine manuelle Registrierung bzw. ein Steuern des Findens der Korrespondenzen ist eine Lösung dieser Probleme. Auf Grund der dreidimensionalen Gestalt der Bilder und der sich daraus ergebenden vielen Freiheitsgrade (Translation, Rotation, Skalierung, Scherung, etc.) ist eine einfache und schnelle Vorgehensweise notwendig.
- Die Lösung für dieses Problem ist ein zumindest teilweises manuelles Registrierverfahren, welches die Nachteile der Dreidimensionalität der einzelnen Aufnahmewinkel beseitigt. Zuvor werden die Koordinatensysteme aller Bildstapel (Views) um ihren Aufnahmewinkel um die Y-Achse gedreht. Die Bildstapel stellen sich nunmehr so dar, als ob sie aus dem gleichen Aufnahmewinkel aufgenommen wurden.
- Durch eine Überlagerung der Bildstapel kann nun ein manuelles Ausrichten bzw. Positionieren erfolgen. Diese Positionierung geschieht in mindestens 2 Schritten und wird durch Maximumintensitätsprojektionen der Bildstapel realisiert.
- Im ersten Schritt werden die maximalen Intensitäten der Bildstapel entlang der Z-Achse projiziert. Anschließend werden die resultierenden 2D-Bilder der verschiedenen Bildstapel durch geeignete Transformationen (z. B. rigide, affin oder elastisch) auf das 2D-Bild des Referenzwinkels positioniert. Danach wird diese Transformation auf die zugehörigen Bildstapel (somit in 3D) angewendet.
- Im zweiten Schritt werden die maximalen Intensitäten der Bildstapel entlang der Y-Achse projiziert und erneut die resultierenden 2D-Bilder der verschiedenen Bildstapel (Views) durch geeignete Transformationen auf das 2D-Bild des Referenzwinkels positioniert. Abermals wird die gewonnene Transformation auf die zugehörigen Bildstapel angewendet.
- Das Ergebnis ist nun ein fusionierter Bildstapel, welcher aus verschiedenen Aufnahmewinkeln manuell registriert wurde. Durch das Positionieren in 2D ist dies auch manuell mit hoher Effizienz möglich und bedarf keiner komplexen automatischen Registrierverfahren. Weiterhin ist es nicht notwendig, Beads in die Probe einzubringen, da die Positionierung mithilfe von Probenstrukturen selbst stattfinden kann.
- Das manuelle Registrierverfahren ist nicht auf die zuvor beschriebene Lösung beschränkt. Insbesondere sind folgende Modifikationen möglich:
- – Zur Ausrichtung können neben den zuvor beschriebenen Projektionen entlang der Z- sowie Y-Achse auch Projektionen entlang der X-Achse verwendet werden.
- – Zur Ausrichtung ist lediglich eine beliebige Reihenfolge von mindestens 2 vorzugsweise orthogonal zueinander stehenden Projektionen erforderlich. Das bedeutet, dass z. B. in beliebigem Wechsel zwischen Draufsicht, Frontalansicht und Seitenansicht ausgerichtet werden kann.
- – Zur Ausrichtung der einzelnen Projektionen können verschiedene Transformationsarten verwendet werden. Hierzu gehören beispielsweise rigide, affine, elastische oder lokal elastische Transformationen. Eine Einschränkung der Freiheitsgrade ist möglich.
- – Der beschriebene Workflow kann teilautomatisiert werden. Beispielsweise ist es möglich, die Projektionen automatisiert auszurichten.
- – Statt der Maximumintensitätsprojektion sind andere Varianten der Projektion möglich. Beispielsweise die Subvolumen-Maximumintensitätsprojektion oder die Minimumintensitätsprojektion.
- – Aufnahmen, deren Views sich aus mehreren Kanälen (spektral unterschiedlich) zusammensetzen, können ebenfalls manuell registriert werden. Hierzu sind für die Ausrichtung der verschiedenen Views die gleichen Kanäle zu verwenden.
- – Die manuelle Multi-View-Registrierung kann ohne Einschränkung auf Aufnahmen einer Zeitserie angewendet werden. Dabei ist es beispielsweise denkbar, dass der erste Zeitpunkt manuell registriert wird und die daraus resultierenden Transformationsmatrizen anschließend automatisch auf alle nachfolgenden Zeitpunkte angewendet werden.
- Die Erfindung wird nachstehend weiter anhand der schematischen Darstellungen erläutert.
2 zeigt den prinzipiellen Ablauf des erfindungsgemässen Verfahrens in Verfahrensschritten S1–S11: - S1. Aufnahme eines Bildstapels aus mindestens zwei Richtungen.
- S2. Ausrichten des einen Bildstapels auf die Koordinaten des Anderen.
- S3. Überlagerung der Bildstapel.
- S4. Projektion aus dem dreidimensionalen Raum in eine zweidimensionale Darstellung.
- S5. Lagekorrektur der in der Darstellung enthaltenen, aus verschiedenen Richtungen aufgenommenen Probenmerkmale zueinander.
- S6. Ermittlung einer Transformationsmatrix aus der Lagekorrektur und Anwenden auf den überlagerten Bildstapel aus S3.
- S7. Ändern der Ansicht des überlagerten Bildstapels, welcher in X und Y korrigiert ist. In
3 ist Ansicht von Oben gewählt. - S8. Projektion aus dem dreidimensionalen Raum in eine zweidimensionale Darstellung.
- S9. Erneute Lagekorrektur der in der Darstellung enthaltenen Probenmerkmale zueinander.
- S10. Ermittlung einer Transformationsmatrix aus der Lagekorrektur und Anwenden auf den überlagerten Bildstapel aus S7.
- S11. Ändern der Ansicht des Bildstapels aus S10 in die Ursprungsansicht aus S3 (im Beispiel Ansicht von Vorne).
- Anhand der genannten Verfahrensschritte wird in
3 –5 der Ablauf näher erläutert. - In
3 ist die Probenkammer PK dargestellt (siehe1 ), die um eine senkrechte Achse drehbar ist. - Durch die Drehung der Probenkammer und Durchfahren des Lichtblatts durch die Probe durch eine Z-Verstellung der Probenkammer und/oder des Lichtblattes erfolgt über das Objektiv eine Aufnahme von Bildstapeln die unter unterschiedlichen Beleuchtungswinkeln des Lichtblatts entstanden sind. Beispielsweise kann wie dargestellt die Aufnahme unter den Beleuchtungsachsen z, z', erfolgen, die senkrecht zueinander stehen.
- Ohne Einschränkung sind auch andere unterschiedliche Aufnahmewinkel möglich, auch beispielsweise drei Aufnahmen unter beispielsweise 30 Grad Winkelversatz.
- Beim Durchfahren des Lichtblatts in Z Richtung entstehen jeweils Stapel aufgenommener Bilder die im Bildspeicher hinterlegt sind (CU in
1 ). - Hier schematisch dargestellt ist ein Stapel aus Einzelbildern ST1 und ST2, die unter dem Winkel 0 und 90 Grad aufgenommen wurden. Schematisch dargestellt sind in ST1 und ST2 jeweils unterschiedliche Objektdetails der Probe sichtbar.
- Die drei Einzelbilder sind hier nur der Anschaulichkeit halber ausgewählt, es kann sich um beispielsweise 1000 Einzelbilder pro Stapel handeln.
- Die Anzahl der Einzelbilder pro Stapel muss nicht identisch sein um das erfindungsgemässe Verfahren auszuführen.
- Im Schritt S2 in
3 wird nun der Stapel ST2 in seiner Orientierung an die Orientierung des Stapels ST1 angepasst, d. h. sein Koordinatensystem wird um 90 Grad entlang der dargestellten y' Achse gedreht. - Im nächsten Schritt S3 erfolgt eine Überlagerung der gleich orientierten Bildstapel ST1 und ST2 in einem gemeinsamen Stapel ST1 + ST2. Hierbei ist die genaue Reihenfolge der Einzelbilder nicht entscheidend, es kann beispielsweise auch ST2 hinter ST1 angeordnet sein.
- Aus der oben erwähnten prinzipiell möglichen unterschiedlichen Anzahl der Einzelbider von ST1 und ST2 folgt, dass auch die Z-Abstände zwischen den Einzelbildern bei der Aufnahme unterschiedlich sein können.
- Die Bildstapel können auch einen seitlichen Versatz aufweisen oder die Einzelbilder in ST1 und ST2 können unterschiedliche Masse in lateraler Richtung aufweisen.
- In
4 erfolgt im Schritt S4 eine Projektion aus der dreidimensionalen in eine zweidimensionale Darstellung. - Hierbei wird aus den überlagerten Bildern in Z-Richtung pixelweise, beispielsweise anhand der Bildpixel eines Bildes von ST1 der Bildpixel eines Einzelbildes in Z-Richtung (axial) ermittelt, der die größte Intensität aufweist. Statt einer maximalen Intensität kann auch ein bestimmter Intensitätsschwellwert gewählt werden oder eine Bestimmung der minimalen Intensität in Z-Richtung kann erfolgen.
- Wird dies für alle Bildpixel durchgeführt entsteht nach dem Schritt S4 eine zweidimensionale Darstellung ST1 + ST2 2D, die wie schematisch dargestellt Bildinformationen sowohl von ST1 als auch (gestrichelt) von ST2 enthält. Dem Benutzer können diese Informationen unterscheidbar dargestellt werden.
- Im Schritt S5 erfolgt durch den Benutzer über Eingabemittel (CU in
1 ) oder automatisch oder erst grob automatisch und dann fein durch den Benutzer eine Verschiebung und/oder Drehung der Einzelbilder ST1 und ST2 in der 2D Darstellung, hier in der X/Y-Ebene und dadurch eine Korrektur des Bildlage von ST1 und ST2 zueinander. In der 2D-Ebene sind hierzu die beiden Bildinformationen von ST1 und ST2 voneinander separiert und verschiebbar/verdrehbar, allgemein tansformierbar angeordnet. - Die durchgeführten Verschiebungen/Drehungen werden in CU erfasst und in eine mathematische Koordinatentransformation für die X/Y-Koordinaten in der zweidimensionalen Darstellung umgewandelt.
- Dies kann beispielsweise und ohne Einschränkung eine affine Transformation sein.
- Diese wird auf den überlagerten Bildstapel ST1 + ST2 wie er vor dem Schritt S4 vorlag, angewendet (Schritt S6), so dass ein bezüglich X/Y korrigierter dreidimensionaler Bildstapel vorliegt. In
5 wird, ausgehend von diesem Bildstapel im Schritt S7, eine Umorientierung in ST1 + ST2 VO vorgenommen und eine Draufsicht in Richtung der Y Achse erzeugt. Diese enthält weiterhin Strukturmerkmale von ST1 und ST2 und analog zu Schritt S4 wird aus der dreidimensionalen Darstellung eine zweidimensionale Darstellung durch Intensitätsanalyse, hier jetzt aber in Y Richtung, im Schritt S8 erzeugt. In dieser folgenden zweidimensionalen Darstellung liegen in der X/Z Ebene wiederum unterscheidbare und einzeln verschiebbare/verdrehbare Probenmerkmale aus ST1 und ST2. Im Schritt S9 erfolgt wiederum analog zu S5 die automatische und/oder manuelle Ausrichtung und Überdeckung zueinander unter Ermittlung einer Koordinatentransformation die analog zu S6 in S10 zu einer dreidimensionalen Darstellung führt, die nunmehr sowohl in X/Z Richtung als auch vorher schon in X/Y Richtung bezüglich der Probendetails ausgerichtet ist und für die weitere Darstellung bzw. Abspeicherung und spätere Untersuchung in CU zur Verfügung steht. - In einem Schritt S11 kann noch die Rückführung in die ursprüngliche Orientierung wie nach Schritt S3 mit der axialen Richtung in Z Richtung erfolgen um die originalen Aufnahmebedingungen besser widerzuspiegeln.
- Wie weiter oben erwähnt kann es sich auch um mehr als zwei Bildstapel, beispielsweise drei jeweils unter 30 Grad aufgenommene, handeln.
- Dies führt jedoch vorteilhaft nicht zu einer Erhöhung der oben beschriebenen Verfahrensschritte sondern es werden lediglich in den zwei unterschiedlichen Orientierungen wie in
3 dargestellt mehr als zwei Bildstapel überlagert und auf zwei Koordinaten reduziert. - Als Mittel für den Benutzer kann ein fachübliches graphisches User Interface (GUI) auf einem Bildschirm dienen mit beispielsweise mehreren Slidern (Schiebern) für die X-, Y- und Z-Verschiebung sowie für eine Drehung.
- ZITATE ENTHALTEN IN DER BESCHREIBUNG
- Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
- Zitierte Patentliteratur
-
- DE 10257423 A1 [0005]
- WO 2004/0530558 A1 [0005]
- Zitierte Nicht-Patentliteratur
-
- Stelzer et al., Optics Letters 31, 1477 (2006), in Stelzer et al., Science 305, 1007 (2004) [0005]
Claims (16)
- Verfahren zur SPIM-Mikroskopie mit einem Mikroskop, bestehend aus – einer Beleuchtungseinrichtung, umfassend eine Beleuchtungslichtquelle und einen Beleuchtungsstrahlengang zur Beleuchtung einer Probe mit einem Lichtblatt, – einer Detektierungseinrichtung zur Detektierung von Licht, das von der Probe abgestrahlt wird, mit einem Objektiv – wobei das Lichtblatt im Fokus des Objektives oder einer definierten Ebene in der Nähe des Fokus des Abbildungsobjektivs im Wesentlichen eben ist und das Objektiv eine optische Achse aufweist, die die Ebene des Lichtblattes in einem von Null verschiedenen Winkel, bevorzugt senkrecht schneidet, – wobei die Probe zur Erfassung unterschiedlicher Probenebenen durch das Lichtblatt in Richtung der optischen Achse des Objektives verschoben wird und eine Beleuchtung der Probe unter mindestens einem ersten und einem zweiten Beleuchtungswinkel erfolgt und bei jedem Beleuchtungswinkel mehrere Probenebenen detektiert und als mindestens erste und zweite Bildstapel abgespeichert werden dadurch gekennzeichnet, dass 1. eine Ausrichtung der Bildstapel zueinander erfolgt indem die Koordinatensysteme aller Bildstapel in das Koordinatensystem des ersten Bildstapels ausgerichtet werden, 2. die Bildstapel zu einem Bildstapel vereinigt werden, 3. eine Projektion des dreidimensionalen Bildstapels in eine zweidimensionale Darstellung erfolgt, 4. aus unterschiedlichen Beleuchtungsrichtungen aufgenommene Probenmerkmale zueinander in ihrer Lage ausgerichtet werden, 5. aus den Koordinaten der Ausrichtung eine Koordinatentransformation ermittelt wird, 6. die Koordinatentransformation zur Ausrichtung auf den vereinigten Bildstapel angewendet wird.
- Verfahren nach Anspruch 1, wobei die Orientierung des vereinigten Bildstapels verändert wird und die Schritte 2–6 auf den neu orientierten vereinigten Bildstapel zur Erzeugung eines dreidimensional ausgerichteten Bildstapel angewendet werden.
- Verfahren nach einem der vorangehenden Ansprüche, wobei der dreidimensional ausgerichtete Bildstapel in seiner Orientierung auf die ursprüngliche Beleuchtungsrichtung ausgerichtet wird.
- Verfahren nach einem der vorangehenden Ansprüche, wobei die Koordinatentransformation eine rigide oder affine oder elastische oder lokal elastische Transformation ist.
- Verfahren nach einem der vorangehenden Ansprüche, wobei bei Schritt 3 innerhalb der vereinigten Bildstapel für die Einzelpixel der Bilder jeweils ein Intensitätsvergleich zwischen den Bildern erfolgt.
- Verfahren nach Anspruch 5, wobei das Pixel mit dem Maximalwert oder Minimalwert oder einem vorgegebenen Schwellwert oder dem Mittelwert oder dem Median herangezogen wird.
- Verfahren nach einem der vorangehenden Ansprüche, wobei die Ausrichtung gemäß Schritt 4 in einem Computer durch Bildanalyse und/oder über Eingabemittel für einen Benutzer erfolgt.
- Verfahren nach einem der vorangehenden Ansprüche, wobei eine grobe Ausrichtung im Computer und eine Feinausrichtung über die Eingabemittel vorgesehen ist.
- Verfahren nach einem der vorangehenden Ansprüche, wobei die mindestens ersten und zweiten Bildstapel zur Erfassung unterschiedlicher Fluoreszenzmarker in mindestens zwei Spektralbereichen detektiert werden.
- Verfahren nach Anspruch 9, wobei jeweils ein erster und ein zweiter Bildstapel mit einem gleichen oder ähnlichen Spektralbereich zur Durchführung der Schritte 1–6 herangezogen werden.
- Verfahren nach einem der vorangehenden Ansprüche, wobei bei Zeitserienaufnahmen zu einem ersten Zeitpunkt die Schritte 1–6 sowie vorzugsweise auch nach Anspruch 2 durchgeführt werden und die ermittelten Koordinatentransformationen auf bei weiteren Zeitpunkten aufgenommene Bildstapel angewendet werden.
- Verfahren nach einem der vorangehenden Ansprüche, wobei bei Zeitserienaufnahmen die Schritte 1–6 zu mehreren Zeitpunkten der Zeitserie wiederholt werden.
- Computerprogramm, eingerichtet zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche.
- Datenträger mit einem Computerprogramm nach Anspruch 13.
- Mikroskop zur SPIM Mikroskopie zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche.
- Mikroskop nach Anspruch 15, das ein graphisches User Interface (GUI-Schnittstelle) zur Durchführung mindestens des Schrittes 4 durch einen Benutzer aufweist.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013021542.0A DE102013021542A1 (de) | 2013-12-18 | 2013-12-18 | Mikroskop und Verfahren zur SPIM Mikroskopie |
JP2014255488A JP6637653B2 (ja) | 2013-12-18 | 2014-12-17 | 顕微鏡およびspim顕微鏡検査方法 |
EP14198503.6A EP2887117A1 (de) | 2013-12-18 | 2014-12-17 | Mikroskop und Verfahren zur SPIM Mikroskopie |
US14/575,584 US9791687B2 (en) | 2013-12-18 | 2014-12-18 | Microscope and method for SPIM microscopy |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102013021542.0A DE102013021542A1 (de) | 2013-12-18 | 2013-12-18 | Mikroskop und Verfahren zur SPIM Mikroskopie |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102013021542A1 true DE102013021542A1 (de) | 2015-06-18 |
Family
ID=52101215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102013021542.0A Pending DE102013021542A1 (de) | 2013-12-18 | 2013-12-18 | Mikroskop und Verfahren zur SPIM Mikroskopie |
Country Status (4)
Country | Link |
---|---|
US (1) | US9791687B2 (de) |
EP (1) | EP2887117A1 (de) |
JP (1) | JP6637653B2 (de) |
DE (1) | DE102013021542A1 (de) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017116380B3 (de) | 2017-07-20 | 2018-12-20 | Leica Microsystems Cms Gmbh | Lichtblattmikroskopisches Verfahren zur Erzeugung eines Volumenbildes einer Probe und Lichtblattmikroskop |
DE102018207821A1 (de) * | 2018-05-18 | 2019-11-21 | Carl Zeiss Microscopy Gmbh | Verfahren zur Bereitstellung eines Übersichtsbildes |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9874736B2 (en) * | 2013-04-29 | 2018-01-23 | The Regents Of The University Of California | Apparatus and method for an inclined single plane imaging microscope box (iSPIM box) |
JP6635052B2 (ja) * | 2015-02-05 | 2020-01-22 | 株式会社ニコン | 構造化照明顕微鏡、及び観察方法 |
WO2016178856A1 (en) * | 2015-05-01 | 2016-11-10 | The Board Of Regents Of The University Of Texas System | Uniform and scalable light-sheets generated by extended focusing |
US10509215B2 (en) * | 2016-03-14 | 2019-12-17 | Olympus Corporation | Light-field microscope |
CN107203034B (zh) * | 2016-03-18 | 2021-02-26 | 松下知识产权经营株式会社 | 图像生成装置、图像生成方法以及记录介质 |
WO2017180680A1 (en) * | 2016-04-12 | 2017-10-19 | The Board Of Regents Of The University Of Texas System | LIGHT-SHEET MICROSCOPE WITH PARALLELIZED 3D lMAGE ACQUISITION |
WO2017223426A1 (en) | 2016-06-24 | 2017-12-28 | Howard Hughes Medical Institute | Automated adjustment of light sheet geometry in a microscope |
DE102017214189A1 (de) * | 2017-08-15 | 2019-02-21 | Carl Zeiss Microscopy Gmbh | Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop |
DE102017123510A1 (de) * | 2017-10-10 | 2019-04-11 | Carl Zeiss Microscopy Gmbh | Digitales Mikroskop und Verfahren zum Aufnehmen eines Stapels von mikroskopischen Bildern einer Probe |
JP7298993B2 (ja) | 2018-04-09 | 2023-06-27 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
TWI666445B (zh) * | 2018-07-26 | 2019-07-21 | 緯創資通股份有限公司 | 檢測裝置及其檢測盒組 |
DE102018222271A1 (de) * | 2018-12-19 | 2020-06-25 | Carl Zeiss Microscopy Gmbh | Verfahren zum Betrieb einer Probenkammer für eine mikroskopische Bildgebung sowie Vorrichtung und Probenkammer |
JP2022069273A (ja) * | 2020-10-23 | 2022-05-11 | 株式会社リガク | 結像型x線顕微鏡 |
DE102020128524A1 (de) * | 2020-10-29 | 2022-05-05 | Carl Zeiss Microscopy Gmbh | Lichtblattmikroskop und Verfahren der Lichtblattmikroskopie |
JPWO2023007827A1 (de) * | 2021-07-26 | 2023-02-02 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004053558A1 (de) | 2002-12-09 | 2004-06-24 | Europäisches Laboratorium für Molekularbiologie (EMBL) | Mikroskop mit beobachtungsrichtung senkrecht zur beleuchtungsrichtung |
DE102007047461A1 (de) * | 2007-09-28 | 2009-04-02 | Carl Zeiss Microimaging Gmbh | Verfahren und optische Anordnung zur Untersuchung einer Probe |
DE102012009257A1 (de) * | 2012-05-02 | 2013-11-07 | Leica Microsystems Cms Gmbh | Verfahren zur Ausführung beim Betreiben eines Mikroskops und Mikroskop |
EP2796917A1 (de) * | 2013-04-26 | 2014-10-29 | Baden-Württemberg Stiftung gGmbH | Verfahren für eine automatische plattform- und/oder referenzobjektunabhängige Erfassung von Positionsinformationen und Lokalisierung von interessierenden Objekten in einem Mikroskop |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7050087B2 (en) * | 2000-12-06 | 2006-05-23 | Bioview Ltd. | Data acquisition and display system and method |
DE102007045897A1 (de) | 2007-09-26 | 2009-04-09 | Carl Zeiss Microimaging Gmbh | Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe |
FR2923054B1 (fr) * | 2007-10-24 | 2009-12-11 | Centre Nat Rech Scient | Procede et dispositif de reconstruction du volume d'un objet a partir d'une sequence d'images de coupes dudit objet |
WO2010014244A2 (en) * | 2008-07-30 | 2010-02-04 | The Regents Of The University Of California, San Francisco | Multidirectional selective plane illumination microscopy |
US20100177190A1 (en) * | 2008-12-16 | 2010-07-15 | Ann-Shyn Chiang | Microscopy system with revolvable stage |
US8575570B2 (en) * | 2010-08-25 | 2013-11-05 | California Institute Of Technology | Simultaneous orthogonal light sheet microscopy and computed optical tomography |
US9316824B2 (en) * | 2011-03-04 | 2016-04-19 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Optomechanical module for converting a microscope to provide selective plane illumination microscopy |
JP5784435B2 (ja) * | 2011-09-20 | 2015-09-24 | オリンパス株式会社 | 画像処理装置、蛍光顕微鏡装置および画像処理プログラム |
US9404869B2 (en) * | 2012-10-09 | 2016-08-02 | Howard Hughes Medical Institute | Multiview light-sheet microscopy |
-
2013
- 2013-12-18 DE DE102013021542.0A patent/DE102013021542A1/de active Pending
-
2014
- 2014-12-17 JP JP2014255488A patent/JP6637653B2/ja active Active
- 2014-12-17 EP EP14198503.6A patent/EP2887117A1/de active Pending
- 2014-12-18 US US14/575,584 patent/US9791687B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004053558A1 (de) | 2002-12-09 | 2004-06-24 | Europäisches Laboratorium für Molekularbiologie (EMBL) | Mikroskop mit beobachtungsrichtung senkrecht zur beleuchtungsrichtung |
DE10257423A1 (de) | 2002-12-09 | 2004-06-24 | Europäisches Laboratorium für Molekularbiologie (EMBL) | Mikroskop |
DE102007047461A1 (de) * | 2007-09-28 | 2009-04-02 | Carl Zeiss Microimaging Gmbh | Verfahren und optische Anordnung zur Untersuchung einer Probe |
DE102012009257A1 (de) * | 2012-05-02 | 2013-11-07 | Leica Microsystems Cms Gmbh | Verfahren zur Ausführung beim Betreiben eines Mikroskops und Mikroskop |
EP2796917A1 (de) * | 2013-04-26 | 2014-10-29 | Baden-Württemberg Stiftung gGmbH | Verfahren für eine automatische plattform- und/oder referenzobjektunabhängige Erfassung von Positionsinformationen und Lokalisierung von interessierenden Objekten in einem Mikroskop |
Non-Patent Citations (5)
Title |
---|
Christoph J. Engelbrecht, Ernst H. K. Stelzer: Resolution enhancement in a light-sheet-based microscope (SPIM). In: Optics Letters, 31, 2006, 10, 1477-1479. * |
Harald Schönfeld, Gerd Häusler, Stefan Karbacher: Reverse engineering using 3D sensors. In: Proc. SPIE, 3313, 1998, 115-125. doi: 10.1117/12.302444 [abgerufen am 19.11.2014] * |
Jan Huisken, Jim Swoger, Filippo Del Bene, Joachim Wittbrodt, Ernst H. K. Stelzer: Optical Sectioning Deep Inside Live Embryos by Selective Plane Illumination Micorscopy. In: Science, 305, 2004, 1007-1009. * |
Paul J. Besl, Neil D. McKay: A Method for Registration of 3-D Shapes. In: IEEE Transactions on Pattern Analysis and Machine Intelligence, 14, 1992, 2, 239-256. * |
Stelzer et al., Optics Letters 31, 1477 (2006), in Stelzer et al., Science 305, 1007 (2004) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017116380B3 (de) | 2017-07-20 | 2018-12-20 | Leica Microsystems Cms Gmbh | Lichtblattmikroskopisches Verfahren zur Erzeugung eines Volumenbildes einer Probe und Lichtblattmikroskop |
DE102018207821A1 (de) * | 2018-05-18 | 2019-11-21 | Carl Zeiss Microscopy Gmbh | Verfahren zur Bereitstellung eines Übersichtsbildes |
US10989909B2 (en) | 2018-05-18 | 2021-04-27 | Carl Zeiss Microscopy Gmbh | Method for providing an overview image |
Also Published As
Publication number | Publication date |
---|---|
US9791687B2 (en) | 2017-10-17 |
JP2015118378A (ja) | 2015-06-25 |
JP6637653B2 (ja) | 2020-01-29 |
US20150168706A1 (en) | 2015-06-18 |
EP2887117A1 (de) | 2015-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102013021542A1 (de) | Mikroskop und Verfahren zur SPIM Mikroskopie | |
DE102014008105B4 (de) | Mehrstrahl-Teilchenmikroskop | |
EP2870500B1 (de) | Verfahren zur vorbereitung und durchführung der aufnahme von bildstapeln einer probe aus verschiedenen orientierungswinkeln | |
DE102014206309B4 (de) | System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung | |
DE102012218382B4 (de) | Verfahren zum Festlegen eines Lasermikrodissektionsbereichs und zugehöriges Lasermikrodissektionssystem | |
DE102012020240A1 (de) | Mikroskop und Verfahren zur SPIM Mikroskopie | |
WO2018134129A1 (de) | Mikroskop und verfahren zum mikroskopieren einer probe | |
DE60120663T2 (de) | Bildgebungseinheit mit assoziierter Bilderdatenbank | |
EP3326019A1 (de) | Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen | |
EP2802921B1 (de) | Mikroskop und verfahren für die hochauflösende 3-d fluoreszenzmikroskopie | |
DE102012201003B4 (de) | Mikroskop und Verfahren für die hochauflösende 3-D Fluoreszenzmikroskopie | |
EP2920577B1 (de) | Vorrichtung und verfahren zur mikroskopie einer vielzahl von proben | |
EP1302804A2 (de) | Verfahren zur optischen Erfassung von charakteristischen Grössen einer beleuchteten Probe | |
DE102013103971A1 (de) | Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts | |
DE102018207821A1 (de) | Verfahren zur Bereitstellung eines Übersichtsbildes | |
DE102014211657A1 (de) | Verbesserung der Reproduzierbarkeit der Fokushöhe in einem Bildverarbeitungs-Inspektionssystem | |
DE102013215791A1 (de) | lnspektionssystem mit maschineller Bilderkennung, das zwei Kameras mit einem Drehversatz aufweist | |
DE102011084829B4 (de) | Mikroskopie mehrerer Proben mit optischer Mikroskopie und Teilchenstrahlmikroskopie | |
EP1929353B1 (de) | Verfahren zur erzeugung von darstellungsbildern aus erfassten aufnahmebildern und mittel zur durchführung des verfahrens | |
DE102015116598A1 (de) | Verfahren und Mikroskop zur hochauflösenden Abbildung mittels SIM | |
DE10315592B4 (de) | Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu | |
DE10055176B4 (de) | Anordnung zur visuellen und quantitativen 3-D-Untersuchung von Proben | |
DE102018122816A1 (de) | Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts | |
EP3452856A1 (de) | Mikroskop und verfahren zum lokalisieren fluoreszenter moleküle in drei raumdimensionen | |
DE102016120312B3 (de) | Verfahren zum Beleuchten von Fokuspositionen objektseitig eines Objektivs eines Mikroskops und Mikroskop |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R012 | Request for examination validly filed |