DE102013021542A1 - Mikroskop und Verfahren zur SPIM Mikroskopie - Google Patents

Mikroskop und Verfahren zur SPIM Mikroskopie Download PDF

Info

Publication number
DE102013021542A1
DE102013021542A1 DE102013021542.0A DE102013021542A DE102013021542A1 DE 102013021542 A1 DE102013021542 A1 DE 102013021542A1 DE 102013021542 A DE102013021542 A DE 102013021542A DE 102013021542 A1 DE102013021542 A1 DE 102013021542A1
Authority
DE
Germany
Prior art keywords
sample
image
illumination
image stack
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102013021542.0A
Other languages
English (en)
Inventor
Stefan SCHWEINITZER
Philipp Sprengholz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Priority to DE102013021542.0A priority Critical patent/DE102013021542A1/de
Priority to JP2014255488A priority patent/JP6637653B2/ja
Priority to EP14198503.6A priority patent/EP2887117A1/de
Priority to US14/575,584 priority patent/US9791687B2/en
Publication of DE102013021542A1 publication Critical patent/DE102013021542A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/364Projection microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

Verfahren zur SPIM Mikroskopie mit einem Mikroskop, bestehend aus einer Beleuchtungseinrichtung, umfassend eine Beleuchtungslichtquelle und einen Beleuchtungsstrahlengang zur Beleuchtung einer Probe mit einem Lichtblatt, einer Detektierungseinrichtung zur Detektierung von Licht, das von der Probe abgestrahlt wird, mit einem Objektiv, wobei das Lichtblatt im Fokus des Objektives oder einer definierten Ebene in der Nähe des Fokus des Abbildungsobjektivs im Wesentlichen eben ist und das Objektiv eine optische Achse aufweist, die die Ebene des Lichtblattes in einem von Null verschiedenen Winkel, bevorzugt senkrecht schneidet, wobei die Probe zur Erfassung unterschiedlicher Probenebenen durch das Lichtblatt in Richtung der optischen Achse des Objektives verschoben wird und eine Beleuchtung der Probe unter mindestens einem ersten und einem zweiten Beleuchtungswinkel erfolgt und bei jedem Beleuchtungswinkel mehrere Probenebenen detektiert und als mindestens erste und zweite Bildstapel abgespeichert werden wobei eine Ausrichtung der Bildstapel zueinander erfolgt indem die Koordinatensysteme aller Bildstapel in das Koordinatensystem des ersten Bildstapels ausgerichtet werden, die Bildstapel zu einem Bildstapel vereinigt werden, eine Projektion des dreidimensionalen Bildstapels in eine zweidimensionale Darstellung erfolgt, aus unterschiedlichen Beleuchtungsrichtungen aufgenommene Probenmerkmale zueinander in ihrer Lage ausgerichtet werden, aus den Koordinaten der Ausrichtung eine Koordinatentransformation ermittelt wird die Koordinatentransformation zur Ausrichtung auf den vereinigten Bildstapel angewendet wird.

Description

  • Die Erfindung betrifft ein Mikroskop, welches ein Abbildungsobjektiv zur Abbildung einer Probe auf einen Detektor sowie Mittel zur Beleuchtung der Probe mit einem Lichtblatt in der Fokusebene des Abbildungsobjektivs bzw. in einer definierten Ebene in der Nähe dieser Fokusebene umfasst. Die Mittel zur Beleuchtung umfassen eine, vorzugsweise kohärentes Licht abstrahlende, Beleuchtungsquelle.
  • Ein Mikroskop, bei dem Beleuchtungsstrahlengang und Detektionsstrahlengang im Wesentlichen senkrecht zueinander angeordnet sind und bei dem die Probe mit einem Lichtblatt in der Fokusebene des Abbildungsobjektivs, d. h. senkrecht zu dessen optischer Achse, beleuchtet wird, ist für die Untersuchung von Proben nach dem Verfahren der Selective-Plane-Illumination-Microscopy (SPIM) ausgelegt. Im Unterschied zur konfokalen Laser-Scanning-Mikroskopie (LSM), bei der eine dreidimensionale Probe in einzelnen, unterschiedlich tiefen Ebenen Punkt für Punkt abgetastet wird und die dabei gewonnenen Bildinformationen nachfolgend zu einer dreidimensionalen Abbildung der Probe zusammengesetzt werden, beruht die SPIM-Technologie auf der Weitfeldmikroskopie und ermöglicht die bildliche Darstellung der Probe auf der Grundlage von optischen Schnitten durch einzelne Ebenen der Probe.
  • Die Vorteile der SPIM-Technologie bestehen unter anderem in der größeren Geschwindigkeit, mit der die Erfassung der Bildinformationen erfolgt, der geringeren Gefahr des Ausbleichens von biologischen Proben sowie einer erweiterten Eindringtiefe des Fokus in die Probe.
  • Prinzipiell werden bei der SPIM-Technologie Fluorophore, die in der Probe enthalten sind oder in diese eingebracht werden, mit Laserlicht angeregt, welches zu einem sogenannten Lichtblatt geformt ist. Mit dem Lichtblatt wird jeweils eine ausgewählte Ebene in der Tiefe der Probe beleuchtet und mit einer Abbildungsoptik ein Bild dieser Probenebene in Form eines optischen Schnitts gewonnen. Im Wesentlichen äquivalent zu einer solchen Anregung mit einem statischen Lichtblatt ist die schnelle Hin- und Herbewegung eines dünnen, rotationssymmetrischen Laserstrahls in der Fokusebene des Abbildungsobjektivs. Effektiv, d. h. im zeitlichen Mittel über den Zeitraum der Beobachtung, ergibt sich somit ebenfalls die Form eines SPIM-Lichtblatts.
  • Die SPIM-Technologie ist beispielsweise beschrieben in Stelzer et al., Optics Letters 31, 1477 (2006), in Stelzer et al., Science 305, 1007 (2004), in der DE 102 57 423 A1 und in der WO 2004/0530558 A1 .
  • Die beschriebene „Lichtblattmikroskopie” (Light sheet microscopy) kombiniert optische Schnitte mit einer Weitfeld-Detektion über eine ortsauflösende Kamera (CCD Kamera), indem die komplette laterale fokale Ebene (xy-Ebene) des Detektionsobjektives mit einem dünnen Lichtblatt beleuchtet wird. Die Lichtblattbeleuchtung erfolgt rechtwinklig zur Detektionsachse (z-Achse).
  • Die Probe wird in dem überlappenden Bereich von Beleuchtung und Detektion platziert. Fluoreszenzsignale, die durch das Beleuchtungslichtblatt angeregt werden, werden über das gesamte Gesichtsfeld des Detektionsobjektivs auf die Kamera abgebildet. Durch die rechtwinklige Beleuchtung mit einem dünnen Lichtblatt wird nur ein kleiner Teil der axialen Ausdehnung der Detektionsoptik beleuchtet und somit ein optischer Schnitt erzeugt. Um einen anderen Bereich in der Probe zu beobachten wird die Probe, unabhängig von der Optik, mit einer Probenpositioniereinheit durch das Lichtblatt gefahren. Durch das Aufnehmen optischer Schnitte an verschiedenen Probenpositionen entlang der Detektionsachse ist die Aufnahme von dreidimensionalen Bildstapeln möglich. Diese Bildstapel können anschließend zu einem 3D-Bild rekonstruiert werden.
  • Ein Bildstapel umfasst beispielsweise 200 Bilder.
  • In 1 ist der Grundaufbau eines SPIM Mikroskops zur Durchführung des erfinderischen Verfahrens dargestellt. Eine Probe P, die sich in einer Probenkammer PK befinden kann, wobei Probe oder Probenkammer in X, Y und Z verstellbar und um die senkrecht zur Zeichenebene liegende Y-Achse rotierbar angeordnet sind, wird von einem Detektionsstrahlengang erfasst. Dieser besteht aus einem Detektionsobjektiv O, dessen Detektionsachse bzw. optische Achse in Z Richtung verläuft und an das sich in Detektionsrichtung ein vorzugsweise auswechselbarer Lichtfilter F, eine Tubuslinse TL und ein Flächenempfänger CCD anschließen.
  • Im Wesentlichen senkrecht zur Detektionsachse Z steht, hier in X-Richtung, ein Beleuchtungsstrahlengang, hier bestehend aus zwei über einen Strahlteiler BS verkoppelte Laser L1, L2, die über einen AOTF zur Wellenlängenauswahl und Intensitätseinstellung, einen Umlenkspiegel S und eine Strahlaufweitung BE sowie eine anamorphotische Optik wie hier eine Zylinderlinse ZL zur Strahlformung, die flächige Lichtverteilung erzeugen, die Probe durchdringen.
  • Schematisch dargestellt ist eine Justierungseinheit BLjust, die beispielsweise die Elemente S, BE und ZL in mehreren Richtungen justieren oder verkippen kann. Eine gemeinsame Kontroll- und Steuerungseinheit CU, in der Regel gebildet durch einen Rechner und eine Anzeigeeinheit (Display), ist mit allen Verstelleinrichtungen wie dem AOTF, der Probenverstellung oder Probenkammerverstellung (ermöglicht Verstellung von Probe oder Probenkammer in X, Y und Z sowie Drehung um Y) und der Beleuchtungsjustierung BL just verbunden um das erfindungsgemäße Verfahren ausführen zu können.
  • Problemstellung und erfinderische Lösung
  • Die Probe wird in dem überlappenden Bereich von Beleuchtung und Detektion platziert. Fluoreszenzsignale werden über das gesamte Gesichtsfeld des Detektionsobjektivs auf eine Kamera abgebildet. Durch die rechtwinklige Beleuchtung mit einem dünnen Lichtblatt wird nur ein kleiner axialer Teil des Detektionsvolumens beleuchtet und somit ein optischer Schnitt erzeugt. Um einen anderen Bereich in der Probe zu beobachten, wird die Probe unabhängig von der Optik mit einer Probenpositioniereinheit durch das Lichtblatt gefahren. Durch das Aufnehmen optischer Schnitte an verschiedenen Probenpositionen entlang der Detektionsachse ist die Erzeugung von dreidimensionalen Bildstapeln möglich. Solche Bildstapel können aus verschiedenen Winkeln aufgenommenen werden. Ein unter einem bestimmten Winkel aufgenommener Bildstapel wird auch als View bezeichnet. Mehrere unter einem bestimmten Winkel aufgenommene Bildstapel können zu einem 3D-Bild zusammengeführt werden, welches die Bildinformationen aus allen Bildstapeln beinhaltet. Dieser Vorgang wird als Registrierung bezeichnet.
  • Für die Registrierung kommen aktuell Verfahren zum Einsatz, welche mit Hilfe von Referenzen (z. B. fluoreszierenden „Beads” als künstliche Orientierungspunkte) oder Grauwertintensitäten die einzelnen Aufnahmewinkel automatische zu einem Bild zusammenführen. Hierbei gibt es einen View, der als Referenzbild bezeichnet wird und weitere Views aus unterschiedlichen Winkeln, die nach Korrespondenzen zum Referenzbild durchsucht werden. Wenn genügend Korrespondenzen gefunden wurden, können Transformationsmatrizen berechnet werden. Mit deren Hilfe wird anschließend jeder View auf das Referenzbild transformiert. Abschließend werden alle Views in einem Ergebnisbild fusioniert.
  • Das automatische Finden der Korrespondenzen ist ein rechenzeitintensives Verfahren, welches nicht immer den gewünschten Erfolg bringt, da abhängig von der Probe fehlerhafte oder keine Korrespondenzen gefunden werden können. Auch die Verwendung von festen Referenzen (wie z. B. Beads), welche im Allgemeinen eine bessere Registrierung erlauben, kann nicht immer gewährleistet werden, da diese eine wesentlich zeitintensivere Probenvorbereitung erfordert. Zudem sind Beads vom Nutzer häufig nicht erwünscht, da sie zu Bildstörungen führen oder einen biologischen Einfluss auf die Probe haben können.
  • Eine manuelle Registrierung bzw. ein Steuern des Findens der Korrespondenzen ist eine Lösung dieser Probleme. Auf Grund der dreidimensionalen Gestalt der Bilder und der sich daraus ergebenden vielen Freiheitsgrade (Translation, Rotation, Skalierung, Scherung, etc.) ist eine einfache und schnelle Vorgehensweise notwendig.
  • Die Lösung für dieses Problem ist ein zumindest teilweises manuelles Registrierverfahren, welches die Nachteile der Dreidimensionalität der einzelnen Aufnahmewinkel beseitigt. Zuvor werden die Koordinatensysteme aller Bildstapel (Views) um ihren Aufnahmewinkel um die Y-Achse gedreht. Die Bildstapel stellen sich nunmehr so dar, als ob sie aus dem gleichen Aufnahmewinkel aufgenommen wurden.
  • Durch eine Überlagerung der Bildstapel kann nun ein manuelles Ausrichten bzw. Positionieren erfolgen. Diese Positionierung geschieht in mindestens 2 Schritten und wird durch Maximumintensitätsprojektionen der Bildstapel realisiert.
  • Im ersten Schritt werden die maximalen Intensitäten der Bildstapel entlang der Z-Achse projiziert. Anschließend werden die resultierenden 2D-Bilder der verschiedenen Bildstapel durch geeignete Transformationen (z. B. rigide, affin oder elastisch) auf das 2D-Bild des Referenzwinkels positioniert. Danach wird diese Transformation auf die zugehörigen Bildstapel (somit in 3D) angewendet.
  • Im zweiten Schritt werden die maximalen Intensitäten der Bildstapel entlang der Y-Achse projiziert und erneut die resultierenden 2D-Bilder der verschiedenen Bildstapel (Views) durch geeignete Transformationen auf das 2D-Bild des Referenzwinkels positioniert. Abermals wird die gewonnene Transformation auf die zugehörigen Bildstapel angewendet.
  • Das Ergebnis ist nun ein fusionierter Bildstapel, welcher aus verschiedenen Aufnahmewinkeln manuell registriert wurde. Durch das Positionieren in 2D ist dies auch manuell mit hoher Effizienz möglich und bedarf keiner komplexen automatischen Registrierverfahren. Weiterhin ist es nicht notwendig, Beads in die Probe einzubringen, da die Positionierung mithilfe von Probenstrukturen selbst stattfinden kann.
  • Das manuelle Registrierverfahren ist nicht auf die zuvor beschriebene Lösung beschränkt. Insbesondere sind folgende Modifikationen möglich:
    • – Zur Ausrichtung können neben den zuvor beschriebenen Projektionen entlang der Z- sowie Y-Achse auch Projektionen entlang der X-Achse verwendet werden.
    • – Zur Ausrichtung ist lediglich eine beliebige Reihenfolge von mindestens 2 vorzugsweise orthogonal zueinander stehenden Projektionen erforderlich. Das bedeutet, dass z. B. in beliebigem Wechsel zwischen Draufsicht, Frontalansicht und Seitenansicht ausgerichtet werden kann.
    • – Zur Ausrichtung der einzelnen Projektionen können verschiedene Transformationsarten verwendet werden. Hierzu gehören beispielsweise rigide, affine, elastische oder lokal elastische Transformationen. Eine Einschränkung der Freiheitsgrade ist möglich.
    • – Der beschriebene Workflow kann teilautomatisiert werden. Beispielsweise ist es möglich, die Projektionen automatisiert auszurichten.
    • – Statt der Maximumintensitätsprojektion sind andere Varianten der Projektion möglich. Beispielsweise die Subvolumen-Maximumintensitätsprojektion oder die Minimumintensitätsprojektion.
    • – Aufnahmen, deren Views sich aus mehreren Kanälen (spektral unterschiedlich) zusammensetzen, können ebenfalls manuell registriert werden. Hierzu sind für die Ausrichtung der verschiedenen Views die gleichen Kanäle zu verwenden.
    • – Die manuelle Multi-View-Registrierung kann ohne Einschränkung auf Aufnahmen einer Zeitserie angewendet werden. Dabei ist es beispielsweise denkbar, dass der erste Zeitpunkt manuell registriert wird und die daraus resultierenden Transformationsmatrizen anschließend automatisch auf alle nachfolgenden Zeitpunkte angewendet werden.
  • Die Erfindung wird nachstehend weiter anhand der schematischen Darstellungen erläutert. 2 zeigt den prinzipiellen Ablauf des erfindungsgemässen Verfahrens in Verfahrensschritten S1–S11:
  • S1. Aufnahme eines Bildstapels aus mindestens zwei Richtungen.
  • S2. Ausrichten des einen Bildstapels auf die Koordinaten des Anderen.
  • S3. Überlagerung der Bildstapel.
  • S4. Projektion aus dem dreidimensionalen Raum in eine zweidimensionale Darstellung.
  • S5. Lagekorrektur der in der Darstellung enthaltenen, aus verschiedenen Richtungen aufgenommenen Probenmerkmale zueinander.
  • S6. Ermittlung einer Transformationsmatrix aus der Lagekorrektur und Anwenden auf den überlagerten Bildstapel aus S3.
  • S7. Ändern der Ansicht des überlagerten Bildstapels, welcher in X und Y korrigiert ist. In 3 ist Ansicht von Oben gewählt.
  • S8. Projektion aus dem dreidimensionalen Raum in eine zweidimensionale Darstellung.
  • S9. Erneute Lagekorrektur der in der Darstellung enthaltenen Probenmerkmale zueinander.
  • S10. Ermittlung einer Transformationsmatrix aus der Lagekorrektur und Anwenden auf den überlagerten Bildstapel aus S7.
  • S11. Ändern der Ansicht des Bildstapels aus S10 in die Ursprungsansicht aus S3 (im Beispiel Ansicht von Vorne).
  • Anhand der genannten Verfahrensschritte wird in 35 der Ablauf näher erläutert.
  • In 3 ist die Probenkammer PK dargestellt (siehe 1), die um eine senkrechte Achse drehbar ist.
  • Durch die Drehung der Probenkammer und Durchfahren des Lichtblatts durch die Probe durch eine Z-Verstellung der Probenkammer und/oder des Lichtblattes erfolgt über das Objektiv eine Aufnahme von Bildstapeln die unter unterschiedlichen Beleuchtungswinkeln des Lichtblatts entstanden sind. Beispielsweise kann wie dargestellt die Aufnahme unter den Beleuchtungsachsen z, z', erfolgen, die senkrecht zueinander stehen.
  • Ohne Einschränkung sind auch andere unterschiedliche Aufnahmewinkel möglich, auch beispielsweise drei Aufnahmen unter beispielsweise 30 Grad Winkelversatz.
  • Beim Durchfahren des Lichtblatts in Z Richtung entstehen jeweils Stapel aufgenommener Bilder die im Bildspeicher hinterlegt sind (CU in 1).
  • Hier schematisch dargestellt ist ein Stapel aus Einzelbildern ST1 und ST2, die unter dem Winkel 0 und 90 Grad aufgenommen wurden. Schematisch dargestellt sind in ST1 und ST2 jeweils unterschiedliche Objektdetails der Probe sichtbar.
  • Die drei Einzelbilder sind hier nur der Anschaulichkeit halber ausgewählt, es kann sich um beispielsweise 1000 Einzelbilder pro Stapel handeln.
  • Die Anzahl der Einzelbilder pro Stapel muss nicht identisch sein um das erfindungsgemässe Verfahren auszuführen.
  • Im Schritt S2 in 3 wird nun der Stapel ST2 in seiner Orientierung an die Orientierung des Stapels ST1 angepasst, d. h. sein Koordinatensystem wird um 90 Grad entlang der dargestellten y' Achse gedreht.
  • Im nächsten Schritt S3 erfolgt eine Überlagerung der gleich orientierten Bildstapel ST1 und ST2 in einem gemeinsamen Stapel ST1 + ST2. Hierbei ist die genaue Reihenfolge der Einzelbilder nicht entscheidend, es kann beispielsweise auch ST2 hinter ST1 angeordnet sein.
  • Aus der oben erwähnten prinzipiell möglichen unterschiedlichen Anzahl der Einzelbider von ST1 und ST2 folgt, dass auch die Z-Abstände zwischen den Einzelbildern bei der Aufnahme unterschiedlich sein können.
  • Die Bildstapel können auch einen seitlichen Versatz aufweisen oder die Einzelbilder in ST1 und ST2 können unterschiedliche Masse in lateraler Richtung aufweisen.
  • In 4 erfolgt im Schritt S4 eine Projektion aus der dreidimensionalen in eine zweidimensionale Darstellung.
  • Hierbei wird aus den überlagerten Bildern in Z-Richtung pixelweise, beispielsweise anhand der Bildpixel eines Bildes von ST1 der Bildpixel eines Einzelbildes in Z-Richtung (axial) ermittelt, der die größte Intensität aufweist. Statt einer maximalen Intensität kann auch ein bestimmter Intensitätsschwellwert gewählt werden oder eine Bestimmung der minimalen Intensität in Z-Richtung kann erfolgen.
  • Wird dies für alle Bildpixel durchgeführt entsteht nach dem Schritt S4 eine zweidimensionale Darstellung ST1 + ST2 2D, die wie schematisch dargestellt Bildinformationen sowohl von ST1 als auch (gestrichelt) von ST2 enthält. Dem Benutzer können diese Informationen unterscheidbar dargestellt werden.
  • Im Schritt S5 erfolgt durch den Benutzer über Eingabemittel (CU in 1) oder automatisch oder erst grob automatisch und dann fein durch den Benutzer eine Verschiebung und/oder Drehung der Einzelbilder ST1 und ST2 in der 2D Darstellung, hier in der X/Y-Ebene und dadurch eine Korrektur des Bildlage von ST1 und ST2 zueinander. In der 2D-Ebene sind hierzu die beiden Bildinformationen von ST1 und ST2 voneinander separiert und verschiebbar/verdrehbar, allgemein tansformierbar angeordnet.
  • Die durchgeführten Verschiebungen/Drehungen werden in CU erfasst und in eine mathematische Koordinatentransformation für die X/Y-Koordinaten in der zweidimensionalen Darstellung umgewandelt.
  • Dies kann beispielsweise und ohne Einschränkung eine affine Transformation sein.
  • Diese wird auf den überlagerten Bildstapel ST1 + ST2 wie er vor dem Schritt S4 vorlag, angewendet (Schritt S6), so dass ein bezüglich X/Y korrigierter dreidimensionaler Bildstapel vorliegt. In 5 wird, ausgehend von diesem Bildstapel im Schritt S7, eine Umorientierung in ST1 + ST2 VO vorgenommen und eine Draufsicht in Richtung der Y Achse erzeugt. Diese enthält weiterhin Strukturmerkmale von ST1 und ST2 und analog zu Schritt S4 wird aus der dreidimensionalen Darstellung eine zweidimensionale Darstellung durch Intensitätsanalyse, hier jetzt aber in Y Richtung, im Schritt S8 erzeugt. In dieser folgenden zweidimensionalen Darstellung liegen in der X/Z Ebene wiederum unterscheidbare und einzeln verschiebbare/verdrehbare Probenmerkmale aus ST1 und ST2. Im Schritt S9 erfolgt wiederum analog zu S5 die automatische und/oder manuelle Ausrichtung und Überdeckung zueinander unter Ermittlung einer Koordinatentransformation die analog zu S6 in S10 zu einer dreidimensionalen Darstellung führt, die nunmehr sowohl in X/Z Richtung als auch vorher schon in X/Y Richtung bezüglich der Probendetails ausgerichtet ist und für die weitere Darstellung bzw. Abspeicherung und spätere Untersuchung in CU zur Verfügung steht.
  • In einem Schritt S11 kann noch die Rückführung in die ursprüngliche Orientierung wie nach Schritt S3 mit der axialen Richtung in Z Richtung erfolgen um die originalen Aufnahmebedingungen besser widerzuspiegeln.
  • Wie weiter oben erwähnt kann es sich auch um mehr als zwei Bildstapel, beispielsweise drei jeweils unter 30 Grad aufgenommene, handeln.
  • Dies führt jedoch vorteilhaft nicht zu einer Erhöhung der oben beschriebenen Verfahrensschritte sondern es werden lediglich in den zwei unterschiedlichen Orientierungen wie in 3 dargestellt mehr als zwei Bildstapel überlagert und auf zwei Koordinaten reduziert.
  • Als Mittel für den Benutzer kann ein fachübliches graphisches User Interface (GUI) auf einem Bildschirm dienen mit beispielsweise mehreren Slidern (Schiebern) für die X-, Y- und Z-Verschiebung sowie für eine Drehung.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • DE 10257423 A1 [0005]
    • WO 2004/0530558 A1 [0005]
  • Zitierte Nicht-Patentliteratur
    • Stelzer et al., Optics Letters 31, 1477 (2006), in Stelzer et al., Science 305, 1007 (2004) [0005]

Claims (16)

  1. Verfahren zur SPIM-Mikroskopie mit einem Mikroskop, bestehend aus – einer Beleuchtungseinrichtung, umfassend eine Beleuchtungslichtquelle und einen Beleuchtungsstrahlengang zur Beleuchtung einer Probe mit einem Lichtblatt, – einer Detektierungseinrichtung zur Detektierung von Licht, das von der Probe abgestrahlt wird, mit einem Objektiv – wobei das Lichtblatt im Fokus des Objektives oder einer definierten Ebene in der Nähe des Fokus des Abbildungsobjektivs im Wesentlichen eben ist und das Objektiv eine optische Achse aufweist, die die Ebene des Lichtblattes in einem von Null verschiedenen Winkel, bevorzugt senkrecht schneidet, – wobei die Probe zur Erfassung unterschiedlicher Probenebenen durch das Lichtblatt in Richtung der optischen Achse des Objektives verschoben wird und eine Beleuchtung der Probe unter mindestens einem ersten und einem zweiten Beleuchtungswinkel erfolgt und bei jedem Beleuchtungswinkel mehrere Probenebenen detektiert und als mindestens erste und zweite Bildstapel abgespeichert werden dadurch gekennzeichnet, dass 1. eine Ausrichtung der Bildstapel zueinander erfolgt indem die Koordinatensysteme aller Bildstapel in das Koordinatensystem des ersten Bildstapels ausgerichtet werden, 2. die Bildstapel zu einem Bildstapel vereinigt werden, 3. eine Projektion des dreidimensionalen Bildstapels in eine zweidimensionale Darstellung erfolgt, 4. aus unterschiedlichen Beleuchtungsrichtungen aufgenommene Probenmerkmale zueinander in ihrer Lage ausgerichtet werden, 5. aus den Koordinaten der Ausrichtung eine Koordinatentransformation ermittelt wird, 6. die Koordinatentransformation zur Ausrichtung auf den vereinigten Bildstapel angewendet wird.
  2. Verfahren nach Anspruch 1, wobei die Orientierung des vereinigten Bildstapels verändert wird und die Schritte 2–6 auf den neu orientierten vereinigten Bildstapel zur Erzeugung eines dreidimensional ausgerichteten Bildstapel angewendet werden.
  3. Verfahren nach einem der vorangehenden Ansprüche, wobei der dreidimensional ausgerichtete Bildstapel in seiner Orientierung auf die ursprüngliche Beleuchtungsrichtung ausgerichtet wird.
  4. Verfahren nach einem der vorangehenden Ansprüche, wobei die Koordinatentransformation eine rigide oder affine oder elastische oder lokal elastische Transformation ist.
  5. Verfahren nach einem der vorangehenden Ansprüche, wobei bei Schritt 3 innerhalb der vereinigten Bildstapel für die Einzelpixel der Bilder jeweils ein Intensitätsvergleich zwischen den Bildern erfolgt.
  6. Verfahren nach Anspruch 5, wobei das Pixel mit dem Maximalwert oder Minimalwert oder einem vorgegebenen Schwellwert oder dem Mittelwert oder dem Median herangezogen wird.
  7. Verfahren nach einem der vorangehenden Ansprüche, wobei die Ausrichtung gemäß Schritt 4 in einem Computer durch Bildanalyse und/oder über Eingabemittel für einen Benutzer erfolgt.
  8. Verfahren nach einem der vorangehenden Ansprüche, wobei eine grobe Ausrichtung im Computer und eine Feinausrichtung über die Eingabemittel vorgesehen ist.
  9. Verfahren nach einem der vorangehenden Ansprüche, wobei die mindestens ersten und zweiten Bildstapel zur Erfassung unterschiedlicher Fluoreszenzmarker in mindestens zwei Spektralbereichen detektiert werden.
  10. Verfahren nach Anspruch 9, wobei jeweils ein erster und ein zweiter Bildstapel mit einem gleichen oder ähnlichen Spektralbereich zur Durchführung der Schritte 1–6 herangezogen werden.
  11. Verfahren nach einem der vorangehenden Ansprüche, wobei bei Zeitserienaufnahmen zu einem ersten Zeitpunkt die Schritte 1–6 sowie vorzugsweise auch nach Anspruch 2 durchgeführt werden und die ermittelten Koordinatentransformationen auf bei weiteren Zeitpunkten aufgenommene Bildstapel angewendet werden.
  12. Verfahren nach einem der vorangehenden Ansprüche, wobei bei Zeitserienaufnahmen die Schritte 1–6 zu mehreren Zeitpunkten der Zeitserie wiederholt werden.
  13. Computerprogramm, eingerichtet zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche.
  14. Datenträger mit einem Computerprogramm nach Anspruch 13.
  15. Mikroskop zur SPIM Mikroskopie zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche.
  16. Mikroskop nach Anspruch 15, das ein graphisches User Interface (GUI-Schnittstelle) zur Durchführung mindestens des Schrittes 4 durch einen Benutzer aufweist.
DE102013021542.0A 2013-12-18 2013-12-18 Mikroskop und Verfahren zur SPIM Mikroskopie Pending DE102013021542A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102013021542.0A DE102013021542A1 (de) 2013-12-18 2013-12-18 Mikroskop und Verfahren zur SPIM Mikroskopie
JP2014255488A JP6637653B2 (ja) 2013-12-18 2014-12-17 顕微鏡およびspim顕微鏡検査方法
EP14198503.6A EP2887117A1 (de) 2013-12-18 2014-12-17 Mikroskop und Verfahren zur SPIM Mikroskopie
US14/575,584 US9791687B2 (en) 2013-12-18 2014-12-18 Microscope and method for SPIM microscopy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102013021542.0A DE102013021542A1 (de) 2013-12-18 2013-12-18 Mikroskop und Verfahren zur SPIM Mikroskopie

Publications (1)

Publication Number Publication Date
DE102013021542A1 true DE102013021542A1 (de) 2015-06-18

Family

ID=52101215

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102013021542.0A Pending DE102013021542A1 (de) 2013-12-18 2013-12-18 Mikroskop und Verfahren zur SPIM Mikroskopie

Country Status (4)

Country Link
US (1) US9791687B2 (de)
EP (1) EP2887117A1 (de)
JP (1) JP6637653B2 (de)
DE (1) DE102013021542A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017116380B3 (de) 2017-07-20 2018-12-20 Leica Microsystems Cms Gmbh Lichtblattmikroskopisches Verfahren zur Erzeugung eines Volumenbildes einer Probe und Lichtblattmikroskop
DE102018207821A1 (de) * 2018-05-18 2019-11-21 Carl Zeiss Microscopy Gmbh Verfahren zur Bereitstellung eines Übersichtsbildes

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9874736B2 (en) * 2013-04-29 2018-01-23 The Regents Of The University Of California Apparatus and method for an inclined single plane imaging microscope box (iSPIM box)
JP6635052B2 (ja) * 2015-02-05 2020-01-22 株式会社ニコン 構造化照明顕微鏡、及び観察方法
WO2016178856A1 (en) * 2015-05-01 2016-11-10 The Board Of Regents Of The University Of Texas System Uniform and scalable light-sheets generated by extended focusing
US10509215B2 (en) * 2016-03-14 2019-12-17 Olympus Corporation Light-field microscope
CN107203034B (zh) * 2016-03-18 2021-02-26 松下知识产权经营株式会社 图像生成装置、图像生成方法以及记录介质
WO2017180680A1 (en) * 2016-04-12 2017-10-19 The Board Of Regents Of The University Of Texas System LIGHT-SHEET MICROSCOPE WITH PARALLELIZED 3D lMAGE ACQUISITION
WO2017223426A1 (en) 2016-06-24 2017-12-28 Howard Hughes Medical Institute Automated adjustment of light sheet geometry in a microscope
DE102017214189A1 (de) * 2017-08-15 2019-02-21 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb einer Mikroskopieranordnung und Mikroskopieranordnung mit einem ersten Mikroskop und mindestens einem weiteren Mikroskop
DE102017123510A1 (de) * 2017-10-10 2019-04-11 Carl Zeiss Microscopy Gmbh Digitales Mikroskop und Verfahren zum Aufnehmen eines Stapels von mikroskopischen Bildern einer Probe
JP7298993B2 (ja) 2018-04-09 2023-06-27 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
TWI666445B (zh) * 2018-07-26 2019-07-21 緯創資通股份有限公司 檢測裝置及其檢測盒組
DE102018222271A1 (de) * 2018-12-19 2020-06-25 Carl Zeiss Microscopy Gmbh Verfahren zum Betrieb einer Probenkammer für eine mikroskopische Bildgebung sowie Vorrichtung und Probenkammer
JP2022069273A (ja) * 2020-10-23 2022-05-11 株式会社リガク 結像型x線顕微鏡
DE102020128524A1 (de) * 2020-10-29 2022-05-05 Carl Zeiss Microscopy Gmbh Lichtblattmikroskop und Verfahren der Lichtblattmikroskopie
JPWO2023007827A1 (de) * 2021-07-26 2023-02-02

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004053558A1 (de) 2002-12-09 2004-06-24 Europäisches Laboratorium für Molekularbiologie (EMBL) Mikroskop mit beobachtungsrichtung senkrecht zur beleuchtungsrichtung
DE102007047461A1 (de) * 2007-09-28 2009-04-02 Carl Zeiss Microimaging Gmbh Verfahren und optische Anordnung zur Untersuchung einer Probe
DE102012009257A1 (de) * 2012-05-02 2013-11-07 Leica Microsystems Cms Gmbh Verfahren zur Ausführung beim Betreiben eines Mikroskops und Mikroskop
EP2796917A1 (de) * 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH Verfahren für eine automatische plattform- und/oder referenzobjektunabhängige Erfassung von Positionsinformationen und Lokalisierung von interessierenden Objekten in einem Mikroskop

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050087B2 (en) * 2000-12-06 2006-05-23 Bioview Ltd. Data acquisition and display system and method
DE102007045897A1 (de) 2007-09-26 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren zur mikroskopischen dreidimensionalen Abbildung einer Probe
FR2923054B1 (fr) * 2007-10-24 2009-12-11 Centre Nat Rech Scient Procede et dispositif de reconstruction du volume d'un objet a partir d'une sequence d'images de coupes dudit objet
WO2010014244A2 (en) * 2008-07-30 2010-02-04 The Regents Of The University Of California, San Francisco Multidirectional selective plane illumination microscopy
US20100177190A1 (en) * 2008-12-16 2010-07-15 Ann-Shyn Chiang Microscopy system with revolvable stage
US8575570B2 (en) * 2010-08-25 2013-11-05 California Institute Of Technology Simultaneous orthogonal light sheet microscopy and computed optical tomography
US9316824B2 (en) * 2011-03-04 2016-04-19 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Optomechanical module for converting a microscope to provide selective plane illumination microscopy
JP5784435B2 (ja) * 2011-09-20 2015-09-24 オリンパス株式会社 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
US9404869B2 (en) * 2012-10-09 2016-08-02 Howard Hughes Medical Institute Multiview light-sheet microscopy

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004053558A1 (de) 2002-12-09 2004-06-24 Europäisches Laboratorium für Molekularbiologie (EMBL) Mikroskop mit beobachtungsrichtung senkrecht zur beleuchtungsrichtung
DE10257423A1 (de) 2002-12-09 2004-06-24 Europäisches Laboratorium für Molekularbiologie (EMBL) Mikroskop
DE102007047461A1 (de) * 2007-09-28 2009-04-02 Carl Zeiss Microimaging Gmbh Verfahren und optische Anordnung zur Untersuchung einer Probe
DE102012009257A1 (de) * 2012-05-02 2013-11-07 Leica Microsystems Cms Gmbh Verfahren zur Ausführung beim Betreiben eines Mikroskops und Mikroskop
EP2796917A1 (de) * 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH Verfahren für eine automatische plattform- und/oder referenzobjektunabhängige Erfassung von Positionsinformationen und Lokalisierung von interessierenden Objekten in einem Mikroskop

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Christoph J. Engelbrecht, Ernst H. K. Stelzer: Resolution enhancement in a light-sheet-based microscope (SPIM). In: Optics Letters, 31, 2006, 10, 1477-1479. *
Harald Schönfeld, Gerd Häusler, Stefan Karbacher: Reverse engineering using 3D sensors. In: Proc. SPIE, 3313, 1998, 115-125. doi: 10.1117/12.302444 [abgerufen am 19.11.2014] *
Jan Huisken, Jim Swoger, Filippo Del Bene, Joachim Wittbrodt, Ernst H. K. Stelzer: Optical Sectioning Deep Inside Live Embryos by Selective Plane Illumination Micorscopy. In: Science, 305, 2004, 1007-1009. *
Paul J. Besl, Neil D. McKay: A Method for Registration of 3-D Shapes. In: IEEE Transactions on Pattern Analysis and Machine Intelligence, 14, 1992, 2, 239-256. *
Stelzer et al., Optics Letters 31, 1477 (2006), in Stelzer et al., Science 305, 1007 (2004)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017116380B3 (de) 2017-07-20 2018-12-20 Leica Microsystems Cms Gmbh Lichtblattmikroskopisches Verfahren zur Erzeugung eines Volumenbildes einer Probe und Lichtblattmikroskop
DE102018207821A1 (de) * 2018-05-18 2019-11-21 Carl Zeiss Microscopy Gmbh Verfahren zur Bereitstellung eines Übersichtsbildes
US10989909B2 (en) 2018-05-18 2021-04-27 Carl Zeiss Microscopy Gmbh Method for providing an overview image

Also Published As

Publication number Publication date
US9791687B2 (en) 2017-10-17
JP2015118378A (ja) 2015-06-25
JP6637653B2 (ja) 2020-01-29
US20150168706A1 (en) 2015-06-18
EP2887117A1 (de) 2015-06-24

Similar Documents

Publication Publication Date Title
DE102013021542A1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
DE102014008105B4 (de) Mehrstrahl-Teilchenmikroskop
EP2870500B1 (de) Verfahren zur vorbereitung und durchführung der aufnahme von bildstapeln einer probe aus verschiedenen orientierungswinkeln
DE102014206309B4 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
DE102012218382B4 (de) Verfahren zum Festlegen eines Lasermikrodissektionsbereichs und zugehöriges Lasermikrodissektionssystem
DE102012020240A1 (de) Mikroskop und Verfahren zur SPIM Mikroskopie
WO2018134129A1 (de) Mikroskop und verfahren zum mikroskopieren einer probe
DE60120663T2 (de) Bildgebungseinheit mit assoziierter Bilderdatenbank
EP3326019A1 (de) Lichtblattmikroskop zum gleichzeitigen abbilden mehrerer objektebenen
EP2802921B1 (de) Mikroskop und verfahren für die hochauflösende 3-d fluoreszenzmikroskopie
DE102012201003B4 (de) Mikroskop und Verfahren für die hochauflösende 3-D Fluoreszenzmikroskopie
EP2920577B1 (de) Vorrichtung und verfahren zur mikroskopie einer vielzahl von proben
EP1302804A2 (de) Verfahren zur optischen Erfassung von charakteristischen Grössen einer beleuchteten Probe
DE102013103971A1 (de) Verfahren zum Erzeugen eines aus mehreren Teilbildern zusammengesetzten Gesamtbilds eines Objekts
DE102018207821A1 (de) Verfahren zur Bereitstellung eines Übersichtsbildes
DE102014211657A1 (de) Verbesserung der Reproduzierbarkeit der Fokushöhe in einem Bildverarbeitungs-Inspektionssystem
DE102013215791A1 (de) lnspektionssystem mit maschineller Bilderkennung, das zwei Kameras mit einem Drehversatz aufweist
DE102011084829B4 (de) Mikroskopie mehrerer Proben mit optischer Mikroskopie und Teilchenstrahlmikroskopie
EP1929353B1 (de) Verfahren zur erzeugung von darstellungsbildern aus erfassten aufnahmebildern und mittel zur durchführung des verfahrens
DE102015116598A1 (de) Verfahren und Mikroskop zur hochauflösenden Abbildung mittels SIM
DE10315592B4 (de) Verfahren zum Ausführen von Interaktionen an sich räumlich und zeitlich verändernden mikroskopischen Objekten und System hierzu
DE10055176B4 (de) Anordnung zur visuellen und quantitativen 3-D-Untersuchung von Proben
DE102018122816A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Eigenschaft eines Objekts
EP3452856A1 (de) Mikroskop und verfahren zum lokalisieren fluoreszenter moleküle in drei raumdimensionen
DE102016120312B3 (de) Verfahren zum Beleuchten von Fokuspositionen objektseitig eines Objektivs eines Mikroskops und Mikroskop

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed