DE102012207207A1

DE102012207207A1 - Mikroskopsystem und Verfahren zur Aufnahme von Multikanalbildern

Info

Publication number: DE102012207207A1
Application number: DE201210207207
Authority: DE
Inventors: Sebastian Tille
Original assignee: Leica Microsystems CMS GmbH
Current assignee: Leica Microsystems CMS GmbH
Priority date: 2011-10-04
Filing date: 2012-04-30
Publication date: 2013-04-04
Also published as: WO2013050467A1

Abstract

Die Erfindung betrifft ein Mikroskopsystem (1) mit einem Mikroskop (2) und einer digitalen Kamera (3) zur Darstellung eines Multikanalbildes (4), das eine geeignete Überlagerung von mehreren Einzelkanalbildern (8a, 8b) darstellt, wobei die Kamera (3) einen Flächensensor (6) aufweist, auf dem jedem Einzelkanalbild (8a, 8b) ein zugehöriger Sensorbereich (7) zugeordnet ist, wobei Bildaufnahmeparameter eines einem Einzelkanalbild (8a, 8b) zugeordnetem Sensorbereichs (7) unabhängig von den Bildaufnahmeparametern der übrigen Sensorbereiche einstellbar sind.

Description

Die vorliegende Erfindung betrifft ein Mikroskopsystem mit einem Mikroskop und einer digitalen Kamera zur Darstellung eines Multikanalbildes, das eine geeignete Überlagerung von mehreren Einzelkanalbildern darstellt, wobei das Mikroskop einen Kamera-Port zum Anschluss der Kamera aufweist, die ihrerseits einen Flächensensor aufweist, auf dem jedem Einzelkanalbild ein zugehöriger Sensorbereich zugeordnet ist, und ein entsprechendes Verfahren sowie verschiedene Verwendungen eines solchen Mikroskopsystems.
Stand der Technik
In der Fluoreszenzmikroskopie werden häufig mehrere Farbstoffe verwendet, um verschiedene Bereiche einer Probe unter der jeweils emittierten Fluoreszenzwellenlänge betrachten zu können. Mikroskopische Bilder werden mit Hilfe von Intensitätsdetektoren aufgenommen, die einen oder mehrere Bildpunkte simultan aufnehmen können (Punkt-, Zeilen- oder Flächensensoren). Beispiele für Punktsensoren sind PMTs (Photomultiplier Tubes) oder APDs (Avalanche-Photodiodemodule), die unter anderem in Laser-Scanning-Mikroskopen zum Einsatz kommen. Die genannten Punktsensoren besitzen eine hohe Empfindlichkeit in vorgegebenen Wellenlängenbereichen und eine hohe Schnelligkeit der Signalauslese. Ein Vorteil des Einsatzes von Punktsensoren bei der Laser-Scanning-Mikroskopie ist, dass Signale mit unterschiedlichen spektralen Eigenschaften simultan aufgenommen werden können, indem die Fluoreszenzsignale einzelner Farbstoffe über optische Teiler voneinander getrennt werden und mit separaten Punktdetektoren aufgenommen werden können. Die Schnelligkeit der Auslese ermöglicht hohe Scangeschwindigkeiten. Da das mikroskopische Bild Punkt für Punkt zusammengesetzt wird, dauert eine Aufnahme typischerweise länger als bei der Verwendung von 2D-Detektoren, wie z. B. CCD-Kameras, die ein flächiges Bild der Probe auf einmal aufnehmen können. Jedoch ist durch die zeitliche Synchronisation der Aufnahmen der einzelnen Kanäle auch eine exakte örtliche Übereinstimmung gegeben.
Um mit Flächensensoren Bilder von Fluoreszenzsignalen mehrerer Farbstoffe aufnehmen zu können, können bei handelsüblichen Mikroskopsystemen mit CCD-Kameras Mehrfach- oder Multifluoreszenzsignale durch zeitlich versetzte Aufnahmen der einzelnen Fluoreszenzkanalbilder getrennt werden. Zwischen den zeitlich versetzten Aufnahmen muss selbstverständlich auch die optische Filterkonfiguration zur spektralen Trennung der Signale umgeschaltet werden. Dieser zeitliche Versatz limitiert jedoch die Möglichkeiten zur Auswertung der Signale, die idealerweise für selbe Probenstellen auch zu gleichen Zeiten aufgenommen werden sollten (beispielsweise für Ko-Lokalisations- oder Ratio-Imaging-Experimente).
Moderne Mikroskopsysteme verfügen daher häufig über mehr als nur einen Kamera-Port, so dass prinzipiell mehrere Kameras angeschlossen werden können, die bei entsprechender spektraler Aufteilung der Signal dann auch für simultane Aufnahmen von Multifluoreszenzsignalen verwendet werden können. Diese Lösung ist jedoch wegen der damit verbundenen hohen Kosten für viele Anwender wirtschaftlich wenig attraktiv.
Als Alternative existieren Kamera-Adapter, die zwei oder vier Fluoreszenzsignale mittels optischer Strahlteiler in eben so viele spektrale Anteile aufspalten und diese Anteile auf ebenso viele Teile (also zwei Hälften oder vier Viertel) einer CCD-Kamera projizieren (beispielsweise Dualview/Quadview der Fa. Roper Scientific/Optical Insights). Bei der Verwendung dieser Kamera-Adapter wird die Auflösung der aufgenommenen Bilder jedoch entsprechend reduziert, was sich bei maximalen Pixelzahlen von etwa 1.000 Pixeln der eingesetzten (EM-)CCD-Kameras deutlich bemerkbar macht.
Eine weitere Möglichkeit der Aufnahmen von Multifluoreszenzsignalen ist die spezielle Konstruktion von Kameras mit zwei Sensoren für die simultane Aufnahme von zwei Kanälen, die ebenfalls über einen Spezial-Kamera-Adapter mit optischen Teilern an nur einen Kamera-Port am Mikroskop angeschlossen sind (beispielsweise die Dual CCD-Kamera von Hamamatsu). Bei unterschiedlichen Intensitäten der einzelnen Fluoreszenzsignalkanäle führt diese Lösung jedoch zu verschieden guten Einzelbildern.
Die Kosten der zur Aufnahme von schwachen Fluoreszenzsignalen häufig eingesetzten hochempfindlichen EM (Electron Multiplying)-CCD-Kameras sind im Vergleich zu den Kosten des Mikroskops so hoch, dass der Einsatz zweier oder mehrerer solcher Kameras zur Aufnahme von Mehrfachfluoreszenzbildern nicht mehr wirtschaftlich ist. Die oben behandelten Lösungsansätze für Flächensensoren sind außerdem limitiert in Bezug auf die Flexibilität der Konfiguration, die Effizienz der Aufnahmen und den Aufwand bei der Kalibrierung des Aufnahmesystems, die enorm aufwendig ist, um eine hinreichend (sub-pixel) genaue örtliche Überlagerung der Teilbilder erzielen zu können.
Aus der DE 195 33 361 C1 ist ein Bilderfassungssystem mit wenigstens einem als Interline-Transfer-Sensor ausgebildeten CCD-Sensor bekannt, mit dem extrem kurze Belichtungszeiten oder Änderungen der Lichtempfindlichkeit des CCD-Sensors realisierbar sind.
Aus der DE 41 17 319 C2 ist ein CCD-Treiberkreis zum Auslesen mehrerer CCD-Sensoren bekannt.
Aufgabe der vorliegenden Erfindung ist daher, mikroskopische Bilder aus verschiedenen Einzelbildern, insbesondere Multifluoreszenzsignalbilder aus Einzelfluoreszenzsignalbildern, unter Einsatz einer Kamera mit Flächensensor zu erzeugen, wobei die oben genannten Nachteile bekannter Lösungen vermieden werden sollen.
Kurzfassung der Erfindung
Die genannte Aufgabe wird gelöst durch ein Mikroskopsystem mit einem Mikroskop und einer digitalen Kamera zur Darstellung eines Multikanalbildes, das eine geeignete Überlagerung von mehreren Einzelkanalbildern darstellt, wobei das Mikroskop einen Kamera-Port zum Anschluss der Kamera aufweist, die ihrerseits einen Flächensensor aufweist, auf dem jedem Einzelkanalbild ein zugehöriger Sensorbereich zugeordnet ist, wobei Bildaufnahmeparameter eines einem Einzelkanalbild zugeordneten Sensorbereichs unabhängig von den Bildaufnahmeparametern der übrigen Sensorbereiche einstellbar sind. Die Erfindung betrifft ein entsprechendes Verfahren zur Aufnahme eines Multikanalbildes sowie verschiedene Verwendungen des erfindungsgemäßen Mikroskopsystems, wie sie weiter unten ausführlich diskutiert sind.
Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen und der nachfolgenden Beschreibung.
Vorteile der Erfindung
Im Rahmen dieser Anmeldung sei unter "Multikanalbild" ein Bild verstanden, das aus mehreren Einzelkanalbildern zusammengesetzt ist. Typische Beispiele solcher Multikanalbilder sind Multifokusbilder, Multi- oder Mehrfachfluoreszenzsignalbilder oder andere Arten von Multifrequenzbildern. Multifokusbilder sind aus Einzelbildern zusammengesetzt, die aus unterschiedlichen Fokusebenen eines Mikroskops aufgenommen sind. Zu diesem Zweck wird der Fokus des Mikroskops in bezogen auf die optische Achse des Hauptobjektivs unterschiedliche Objektebenen gelegt, so dass jeweils scharfe Bilder in Richtung der optischen Achse zu einem Multifokusbild überlagert werden können. Hierzu ist eine ortsgenaue Überlagerung notwendig. Multifrequenz-, insbesondere Multifluoreszenzsignalbilder stellen Bilder dar, die aus einer Überlagerung mehrerer unter verschiedenen Frequenzen bzw. Wellenlängen aufgenommener Einzelfrequenzbilder entstehen.
Wie bereits eingangs erwähnt, ist diese Art der bildlichen Darstellung für die Fluoreszenzmikroskopie wichtig.
Kameras mit Flächensensoren, die in bestimmte Sensorbereiche (oder Sektoren) aufgeteilt werden können, sind an sich bekannt. Wie eingangs erwähnt, wird hierzu der Flächensensor in zwei oder vier oder allgemein mehrere insbesondere gleichgroße Sektoren unterteilt. Auf jedem dieser Sektoren kann ein Einzelkanalbild, also beispielsweise ein bei einer bestimmten Wellenlänge aufgenommenes Bild, aufgenommen werden.
Erfindungsgemäß sind Bildaufnahmeparameter eines jeden Sensorbereichs unabhängig von den anderen Sensorbereichen einstellbar. Als wichtigster Bildaufnahmeparameter kann hierbei die Integrationszeit angegeben werden. Die Integrationszeit bei einer digitalen Kamera entspricht umgangssprachlich der "Belichtungszeit". Weitere Bildaufnahmeparameter sind ein oder mehrere Verstärkungen ("Gain") sowie die Kennlinie der Bildaufnahme. Die Kennlinie gibt dabei den Zusammenhang zwischen auf den Sensorbereich auftreffender Lichtintensität und Stärke des vom Sensorbereich abgegebenen elektrischen Signals (und damit Bildhelligkeit) an und kann somit zur Steuerung der Bildaufnahme eingesetzt werden. Weitere Parameter, die ein Bild beschreiben, sind die Bilddimensionen (Pixel x/y), die sogenannten Binning-Faktoren, die die Zahl der örtlich zusammenzufassenden Pixel in x bzw. y Dimension angibt (Vorteil: Verbesserung des Signal-Rausch-Verhältnisses und Reduktion von Datenmenge und Aufnahmezeit; Nachteil: Verringerung der Auflösung), die Farbtiefe in Bit (typischerweise 12 oder 16 bit für Anwendungen der Fluoreszenzmikroskopie), sowie Positionsbeschreibungen fuer vom Benutzer definierte, aufzunehmende Regionen der Probe (Region Of Interest = ROI; deren Verwendung ermöglicht die Konzentration der Auswertung auf relevante Probenstellen und reduziert den Datenumfang).
Größter Nachteil bei der Bildaufnahme mit bekannten Kameras mit Flächensensoren, die in zwei oder vier Sektoren aufgeteilt werden können, ist, dass die Integrationszeit für den gesamten Flächensensor fixiert ist, so dass weder die Integrationszeit noch andere Bildaufnahmeparameter an die individuellen Anforderungen der einzelnen Kanäle angepasst werden können. Typischerweise sind die Intensitäten der einzelnen aufzunehmenden Kanäle bei den hier betrachteten Multikanalbildern deutlich unterschiedlich. Aufnahmen mit identischer Integrationszeit bedeuten daher immer Kompromisse bezüglich der Signalqualität mindestens eines Kanals. Bei Multifluoreszenzsignalbildern kann zwar versucht werden, über eine Anpassung (Erhöhung) der Anregungsenergie für einen (schwächeren) Fluoreszenzfarbstoff diese Intensitätsunterschiede auszugleichen, jedoch birgt dies die Gefahr, dass die Fluoreszenz des schwächeren Kanals schneller ausbleicht oder aber bei lebenden Proben die Vitalität der Probe reduziert wird. Prinzipiell ist es auch möglich, den Dynamikbereich des Flächensensors auf das hellere Signal zu optimieren. Dies geschieht dann auf Kosten des Kanals mit der geringeren Intensität (geringere Bildqualität des Einzelkanalbildes geringerer Intensität) und infolgedessen auch auf Kosten der Qualität von Signalauswertungen, da nicht nur die Dynamik reduziert ist, sondern auch der Signal-Rausch-Abstand.
Die vorliegende Erfindung überwindet diese Probleme und eröffnet, wie weiter unten dargestellt, auch außerhalb der Fluoreszenzmikroskopie neue Möglichkeiten.
Als Flächensensor der digitalen Kamera eignet sich insbesondere ein Sensor von Typ CMOS, insbesondere ein sogenannter scientific CMOS, abgekürzt sCMOS, wie er beispielsweise von Fairchild vertrieben wird. Die Verwendung eines CMOS als Bilddetektor ist an sich aus dem Stand der Technik bekannt. Da diese Detektoren jedoch den CCDs, insbesondere den bereits erwähnten EMCCDs, für die Bildaufnahme unterlegen waren, sind seit einiger Zeit sogenannte sCMOS-Bildsensoren auf dem Markt, die deutlich bessere Eigenschaften aufweisen. Ein typischer hier betrachteter sCMOS besitzt einen Flächensensor mit 5,5 Megapixel, bei einer Pixelgröße von 6,5 µm, einem Rauschen (read noise) von < 2 Elektronen bei 30 Bildern/s. Diese Kombination ist den bekannten CCD-Bildsensoren, einschließlich den EMCCD-Bildsensoren, deutlich überlegen. Auf dem Markt werden sCMOS-Bildsensoren von den Firmen ANDOR Technology, Fairchild Imaging oder der PCO AG angeboten. Zur Implementierung der vorliegenden Erfindung muss der sCMOS dahingehend umgerüstet werden, dass die Bildaufnahmeparameter der darauf befindlichen Sensorbereiche oder Sektoren (in der Regel zwei oder vier) unabhängig voneinander einstellbar sind. In der Regel ist es ausreichend, entweder die Integrationszeit oder die Verstärkung ("Gain") veränderbar zu gestalten.
Es ist vorteilhaft, wenn die digitale Kamera zwei oder vier Kanäle entsprechend der Anzahl von Sensorbereichen oder Sektoren aufweist, wobei jeder dieser Kanäle dann unabhängig von den anderen Kanälen parametrisierbar ist. Jedem Kamerakanal ist somit ein Einzelkanalbild zugeordnet.
Die Bildaufnahmeparameter und vorteilhafterweise auch die nachfolgenden Bildverarbeitungsparameter sind für jedes Einzelkanalbild unabhängig von den übrigen Einzelkanalbildern einstellbar. Mit dieser Maßnahme erhält man optimale Einflussmöglichkeiten auf jedes Einzelkanalbild, bevor dieses mit den übrigen Einzelkanalbildern zu einem Multikanalbild zusammengesetzt wird.
Vorteilhafterweise ist zur Verarbeitung der Bilddaten direkt an den Flächensensor (sCMOS) eine Auswerteelektronik angeschlossen. Durch diese Maßnahme kann eine Reduktion der Datenmenge und eine Entlastung des Prozessors des Hauptcomputers erreicht werden.
In einer weiteren vorteilhaften Ausgestaltung ist der Flächensensor derart ausgelegt, dass Bilddaten nur in einer oder mehreren anwenderdefinierten Regionen ausgelesen werden können. Bei einer solchen anwenderdefinierten Region handelt es sich zweckmäßigerweise um einen Unterbereich eines Sensorbereichs oder Sektors, wie er auf dem Flächensensor bereits vorhanden ist. Das Definieren einer solchen Region erlaubt somit die Definition eines bestimmten Bereichs um eine "region of interest". Hierdurch wird die zu verarbeitende Bilddatenmenge weiter reduziert.
Um Einzelkanalbilder auf die entsprechenden Sensorbereiche des Flächensensors der digitalen Kamera bei einem erfindungsgemäßen Mikroskopsystem zu leiten, ist der Einsatz von Strahlteilermodulen besonders geeignet, die auf den jeweiligen Verwendungszweck ausgelegt sind. Verschiedene Verwendungsmöglichkeiten werden weiter unten ausführlich behandelt. Allgemein ist ein solches Strahlteilermodul differenziell-sensitiv bezüglich eines jeden Einzelkanalbildes, das heißt, dass jedes Einzelkanalbild getrennt von den übrigen Einzelkanalbildern das Strahlteilermodul verlässt, um auf entsprechende Sensorbereiche/Sektoren des Flächensensors gelenkt zu werden. Anhand der nachfolgend zu erläuternden Verwendungsbeispiele sollen Aufbau und Funktionsweise dieser Strahlteilermodule näher erläutert werden.
Der Kameraport ist ein Standard-Interface am Mikroskop, hier gibt es unterschiedliche Ausführungen (typisch: C-Mount). Im Falle eines vorhandenen Strahlteilermoduls wird dieses über den Kameraport an das Mikroskop angeschlossen. Die Funktion des Kamera-Ports ist typischerweise rein optomechanisch, prinzipiell lassen sich auch optische Zusatzelemente in einem Kameraport unterbringen.
Eine im Rahmen der Erfindung besonders vorteilhafte Verwendung ist die zur Aufnahme eines Multifluoreszenzsignalbildes, das durch ortsgenaue Überlagerung von Einzelfluoreszenzsignalbildern zusammengesetzt ist. Grundlagen der Aufnahme von Multifluoreszenzsignalbildern wurden bereits in der Beschreibungseinleitung dargelegt. Die vom Mikroskop erzeugten Mehrfachfluoreszenzbilder bestehen zunächst aus einer spektralen Überlagerung von Einzelfluoreszenzbildern aus einem bestimmten Objektbereich, der mit verschiedenen Farbstoffen eingefärbt ist. Mit dem oben angesprochenen Strahlteilermodul werden die Einzelfrequenzbilder voneinander getrennt. Zu diesem Zweck wird in dem Strahlteilermodul ein dichroitischer Strahlteiler eingesetzt. Hierdurch gelingt die Aufspaltung in zwei Frequenzbereiche. Durch Hintereinanderschaltung zweier dichroitischer Strahlteiler kann die Aufspaltung in vier Frequenzbereiche bewerkstelligt werden. Die entsprechenden Einzelkanalbilder sind somit die einzelnen Objektbilder in der vom dichroitischen Strahlteiler selektierten Frequenz. Jedes Einzelkanalbild wird auf den zugeordneten Sensorbereich (Sektor) des Flächensensors der digitalen Kamera gelenkt. Der Einfachheit halber sei von zwei Sektoren ausgegangen. Beide Sektoren erhalten flächen- und koordinatenmäßig gleiche Bildbereiche, die unter demselben Fokus aufgenommen sind. Die Wellenlängen bzw. Frequenzen der Einzelbilder unterscheiden sich. Meist sind auch die zugeordneten Intensitäten unterschiedlich. Durch Erhöhung der Integrationszeit des intensitätsschwächeren Kanals (oder Erhöhung der Verstärkung) können beide Einzelkanalbilder auf etwa gleiche Intensität gezogen werden, so dass bei Überlagerung der Einzelkanalbilder ein verbessertes Multikanalbild entsteht.
Eine weitere besonders vorteilhafte Verwendung der Erfindung dient der Aufnahme eines Multidynamikbildes, das durch ortsgenaue Überlagerung von mehreren Einzelbildern unterschiedlicher Dynamik zusammengesetzt ist. Unter "Multidynamikbild" soll ein Bild verstanden werden, das aus entsprechender Zusammensetzung von Einzelbildern besteht, die ihrerseits unterschiedliche Dynamikbereiche abdecken, also beispielsweise mit unterschiedlichen Intensitäten aufgenommen sind. Ein Beispiel soll dies verdeutlichen: Mikroskopische Bilder weisen häufig Bildbereiche hoher Intensität und solche niedriger Intensität auf. Ein Beispiel hierfür ist die mikroskopische Darstellung von Neuronen bestehend aus Soma, Dendriten und Synapsen. Wenn die feinen Verästelungen und die Synapsen noch sichtbar sein sollen, erscheinen im Mikroskopbild Soma und Dendriten zu hell, da die entsprechenden Bereiche übersteuert sind. Abhilfe kann hier die Aufnahme eines Multidynamikbildes schaffen, bei dem beispielsweise ein Bild niedriger Intensität auf einen ersten Sensorbereich des Flächensensors und ein Bild hoher Intensität auf einen zweiten Sensorbereich des Flächensensors gelenkt wird. Die Dynamik der beiden Einzelkanalbilder wird optimal angepasst eingestellt, so dass auf dem einen Einzelbild die (intensitätsschwachen) feinen Verästelungen und Synapsen gut sichtbar sind, während auf dem anderen Bild die (intensitätsstarken) Soma/Dendriten gut sichtbar, also nicht übersteuert dargestellt sind. Durch ortsgenaue Überlagerung der beiden Bilder erhält man ein optimiertes Multidynamikbild der Neuronen.
Bei dieser Ausgestaltung wird als Strahlteilermodul ein Neutralteiler eingesetzt, der die Intensität des vom Mikroskop erzeugten Bildes in einem bestimmten Verhältnis (beispielsweise 20:80) aufteilt und die entsprechenden Anteile den jeweiligen Sensorbereichen zuführt. Objektbereich, Fokuslage und Wellenlängen der auf die Sensorbereiche gelenkten Einzelbilder sind gleich, während sich die Intensitäten unterscheiden.
Eine weitere besonders vorteilhafte erfindungsgemäße Verwendung betrifft die Aufnahme eines Multifokusbildes, das durch ortsgenaue Überlagerung von mehreren Einzelbildern aus unterschiedlichen Fokusebenen zusammengesetzt ist. Multifokusbilder sind an sich aus dem Stand der Technik bekannt und wurden bereits einleitend erläutert. Für ein Multifokusbild wird ein Objekt in z-Richtung (also in Richtung der durch das Hauptobjektiv verlaufenden optischen Achse) gescannt, das heißt der Mikroskopfokus wird an unterschiedlichen Positionen des Objekts in z-Richtung gesetzt, wobei an jeder dieser Positionen ein Mikroskopbild aufgenommen wird. Das Objekt wird also gleichsam in seiner Objekttiefe gescannt. An jeder Position erhält man ein scharfes Bild, wobei optimalerweise bei geringer Schärfentiefe gearbeitet werden sollte. Durch Überlagerung der Einzelbilder erhält man ein Multifokusbild, das gute Informationen über den gesamten Objektbereich in der betrachteten Objekttiefe gibt.
Bei der vorgeschlagenen erfindungsgemäßen Verwendung zur Aufnahme eines Multifokusbildes werden gleichzeitig zwei oder mehr Einzelbilder aus verschiedenen Fokusebenen erzeugt. Der Einfachheit halber soll der Fall zweier Einzelbilder aus unterschiedlichen Fokusebenen betrachtet werden. Das bereits erwähnte Strahlteilermodul weist hierzu einen üblichen Strahlteiler auf (vorzugsweise 50:50), wobei eine Zusatzoptik vorgesehen ist, die den Bildfokus eines der beiden Einzelbilder in einen anderen Objektbereich (Objekttiefe) legt. Auf diese Weise können zwei Einzelbilder (Einzelfokusbilder) aus zwei unterschiedlichen Fokusebenen erzeugt und auf zwei Sensorbereiche des Flächensensors der digitalen Kamera gelenkt werden. Mit dieser Verwendungsform kann bei Einsatz zweier Sensorbereiche oder Sektoren die Aufnahmezeit von 3D-Bildstapeln halbiert werden. Bei Einsatz von vier Sektoren wird die Bildaufnahmezeit entsprechend geviertelt. Zudem können anschließend die Einzelfokusbilder bezüglich der Bildaufnahmeparameter und/oder der Bildverarbeitungsparameter einzeln optimiert werden, bevor sie zu einem Multifokusbild zusammengesetzt werden. Objektbereiche in der x-y-Ebene und Wellenlängen der auf die Sensorbereiche gelenkten Einzelbilder sind gleich, die Intensitäten sind in der Regel vergleichbar, während sich die Fokuslagen (z-Richtung) unterscheiden.
Schließlich betrifft eine weitere erfindungsgemäße Verwendung die der Autofokussierung mittels Aufnahme mehrerer Einzelbilder aus unterschiedlichen Objektebenen zur Bestimmung der optimalen Fokusebene. Zunächst kann durch Aufnahme mehrerer Einzelfokusbilder eine für die mikroskopische Untersuchung geeignete Fokusebene ausgewählt werden. Anschließend (oder alternativ) kann durch simultane Aufnahme mehrerer Einzelbilder aus unterschiedlichen Objektebenen und Auswertung der Einzelbilder die optimale Fokuslage gehalten (oder eingestellt) werden. Viele Einzelbilder ergeben hierbei einen Bildstapel; dieser wird entweder unmittelbar oder im Anschluss an die Aufnahme untersucht. Daraufhin wird dann die Fokusposition auf diejenige Ebene eingestellt, in der das Bild mit dem höchsten Kontrast aufgenommen wurde. Dies hat gegenüber der sequentiellen Aufnahme der Bilder einzelner Fokusebenen den Vorteil, dass sowohl Aufnahmezeit als auch Belichtungsintensität und damit die potentielle Belastung der Probe reduziert wird.
Die vorliegenden Erfindung betrifft außerdem ein entsprechendes Verfahren zur Aufnahme eines Multikanalbildes, wobei bezüglich Ausgestaltungen und Vorteile des Verfahrens ausdrücklich auf die obigen Ausführungen im Zusammenhang mit dem erfindungsgemäßen Mikroskopsystem und den erfindungsgemäßen Verwendungen verwiesen sei. Der Kern der Erfindung liegt darin, einen Flächensensor mit mehreren Sensorbereichen einzusetzen, wobei Bildaufnahmeparameter und/oder Bildverarbeitungsparameter eines jeden Sensorbereichs unabhängig einstellbar sind. Jeder Sensorbereich nimmt das gleiche mikroskopische Bild eines bestimmten Objektbereichs auf. Zu den Bildaufnahmeparametern zählt auch die Kennlinie eines Sensorbereichs, der die Dynamik des entsprechenden Einzelkanalbildes festlegt.
Die vorliegende Erfindung kann mit Vorteil in folgenden Mikroskopiegebieten eingesetzt werden: Widefield-Fluoreszenzmikroskopie, Tirf-Mikroskopie ("Total Internal Reflection Fluorescence Microscopy", Deutsch: Totalreflexionsfluoreszenzmikroskopie), Höchstauflösungsmikroskopie mittels Lokalisationsmikroskopie (GSDIM).
Bei der TIRF-Mikroskopie breitet sich ein evanescentes Feld ca. 70.. 300 nm in die Probe aus, wenn das Anregungslicht unter flachem Winkel auf die Grenzfläche zwischen Deckglas und Probenmedium fällt und dann totalreflektiert wird. Die so erzeugte Fluoreszenz kann mit einem Flächensensor detektiert werden und zeichnet sich durch ein äußerst niedriges Hintergrundsignal und damit ein sehr gutes Signal-Rausch-Verhältnis aus. Nicht zuletzt da diese Methode auch Echtzeitaufnahmen ermöglicht, bietet sie sich besonders für das Studium von Transportvorgängen in der Zellmembran an, wie zum Beispiel Endo- oder Exocytose, oder auch Proteinwechselwirkungen, die sich in der Probe im Bereich des evanescenten Feldes abspielen.
Höchstauflösungsmikroskopie auf Basis der Lokalisationsmikroskopie steigert die Auflösung eines Fluoreszenzmikroskops circa 10 fach bis weit unterhalb der Beugungslimits und ermöglicht so die Detektion von einzelnen Objekten, die im Bereich von 20 nm (voneinander entfernt) liegen. Zu diesen Verfahren gehört die GSDIM Methode (Ground State Depletion followed by Individual Molecule return), bei der die Fluoreszenzmoleküle länger in einen "dunklen Zustand" (Dark State) versetzt werden, aus dem sie nur ab und zu wieder heraustreten und dann für wenige Zyklen fluoreszieren, bevor sie wieder in den dunkeln Zustand übergehen. Damit wird erreicht, dass benachbarte Moleküle sequentiell aufleuchten. Dadurch ist es möglich, mathematisch das Zentrum eines jeden Moleküls zu identifizieren und somit ein neues Bild mit wesentlich höherer Auflösung zusammenzusetzen. Auch hier sind Anwendungen in der Membran- und Proteinforschung, als auch beispielsweise der Untersuchung von Neuronen sowie Chromosomen gute Einsatzgebiete.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung und ihre Vorteile sind anhand von Ausführungsbeispiele in der Zeichnung schematisch dargestellt und werden im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figurenbeschreibung
1 zeigt die Aufteilung eines Flächensensors in zwei (1a) bzw. in vier (1b) Sektoren;
2 zeigt schematisch eine Ausführungsform eines Mikroskopsystems in Form eines Blockschaubildes;
3 zeigt schematisch drei verschiedene Verwendungen (3a–c) der vorliegenden Erfindung, nämlich zur Aufnahme von Einzelbildern bezüglich Spektrum, Intensität und Fokus; und
4 zeigt ein einfaches Beispiel eines Zweikanal-Fluoreszenzbildes.
1 zeigt schematisch einen Flächensensor 6, der in gleichgroße Sensorbereiche oder Sektoren 7 aufgeteilt ist. 1a zeigt eine Aufteilung in zwei Sensorbereiche 7; 1b zeigt eine Aufteilung in vier gleichgroße Sensorbereiche 7. Als Flächensensor 6 ist bevorzugterweise ein sCMOS vorgesehen, der bereits in die entsprechenden Sektoren unterteilt ist. In jedem Fall ist dafür zu sorgen, dass jeder der Sensorbereiche 7 getrennt ansteuerbar ist, zumindest was den Bildaufnahmeparameter der Integrationszeit betrifft.
2 zeigt ein Blockschaubild einer Ausführungsform des erfindungsgemäßen Mikroskopsystems 1. Eine Beleuchtungseinheit 14 ist mit einem Mikroskop 2 verbunden, um für eine mikroskopische Untersuchung eines Objekts die geeignete Beleuchtung zur Verfügung zu stellen. Bei dem eingangs bereits besprochenen Beispiel der Fluoreszenzmikroskopie kann Licht mit unterschiedlichen Anregungsfrequenzen zur Verfügung gestellt werden, um auf das Objekt aufgebrachte Farbstoffe zum Fluoreszenzleuchten anzuregen. Ohne Beschränkung der Allgemeinheit soll die Anregung zweier Fluoreszenzfarbstoffe betrachtet werden. Die vom Objekt ausgesandten Fluoreszenzwellenlängen werden in einem Strahlteilermodul 10 spektral getrennt. Der Strahlteilermodul 10 steht in 2 stellvertretend für verschiedene Strahlteilermodule, die je nach Verwendung eingesetzt werden (siehe 3). Allgemein sei angenommen, dass das Mikroskop 2 zwei oder mehr Einzelbilder des betrachteten Objektbereichs liefern kann. Hierzu gehören die bereits besprochenen Einzelbilder bezogen auf verschiedenen Spektralbereiche sowie Einzelbilder bezogen auf verschiedene Intensitäten oder Fokusebenen. Damit die Einzelbilder getrennt auf die verschiedenen Sensorbereiche 7 des Flächensensors 6 (vgl. 1) gelenkt werden können, müssen sie von dem Strahlteilermodul 10 getrennt werden. Die derart getrennten Einzelbilder gelangen in die nachfolgend angeschlossene digitale Kamera 3, die über einen Flächensensor 6 mit besagten Sensorbereichen 7 verfügt (vgl. 1).
Die Kamera 3 besitzt eine Anzahl von n Kanälen 9, die mit der Anzahl der Sensorbereiche 7 des Flächensensors 6 übereinstimmt. Im vorliegend betrachteten Fall weist die Kamera 3 folglich n = 2 Kanäle 9 auf. Über diese Kanäle 9 steht die Kamera 3 in Wirkverbindung mit einer Auswerteelektronik 11, die der Kamera 3 bzw. dem Flächensensor 7 unmittelbar nachgeschaltet ist, um den Hauptrechner zu entlasten. Prinzipiell kann das Kamerabild auch komplett eingezogen werden und die Aufteilung in die einzelnen Bild-Kanäle erst im Rechner geschehen. Optional passiert diese Trennung in der Auswerteelektronik, die entweder Teil der Kamera-Elektronik sein kann oder auch Teil einer Framegrabber-Karte im Hauptrechner.
Die Sensorbereiche 7 werden je nach eingestellter Integrationszeit (und/oder weiteren Bildaufnahmeparametern) getrennt voneinander ausgelesen, wobei die entsprechenden Bilddaten über die Kanäle 9 an die Auswerteelektronik 11 weitergeleitet werden. In der Auswerteelektronik 11 finden etwaige Bildverarbeitungsprozesse statt. Außerdem werden hier die Einzelkanalbilder zu einem Multikanalbild zusammengesetzt.
Eine Steuereinheit 13 ist zur Steuerung des Mikroskopsystems 1 vorgesehen. Diese Steuereinheit 13 steht mit der Beleuchtungseinheit 14, mit dem Strahlteilermodul 10 sowie mit der Kamera 3 in Verbindung. Außerdem besteht eine Wechselwirkung mit der Auswerteelektronik 11. Die Steuereinheit 13 kann Bestandteil des Hauptrechners oder eine externe Koponente sein, eventuell sogar ein Teil der Kamera-Elektronik. Optional kann die Steuereinheit 13 auch mit dem Mikroskop 2 in Verbindung stehen, um dort geeignete Einstellungen an Filterblöcken, Objektiv etc. vorzunehmen. Je nach Art der Mikroskopuntersuchung kann die Steuereinheit 13 den geeigneten Strahlteilermodul 10 einsetzen, und über die Steuereinheit 13 werden an der Kamera 3 die geeigneten Bildaufnahmeparameter für die einzelnen Sensorbereiche 7 eingestellt.
3 zeigt schematisch die Auftrennung von Einzelkanalbildern mittels des Strahlteilermoduls 10 und das Umlenken der Einzelbilder auf die Sensorbereiche 7 eines Flächensensors 6 in einer Kamera 3 (vgl. 1 und 2). Im Folgenden seien die Strahlteilermodule je nach Anwendungsfall mit 20, 30 oder 40 bezeichnet.
3a zeigt den Fall der Erzeugung zweier Einzelfrequenzbilder, also eine spektrale Trennung eines mikroskopischen Bildes in zwei Einzelfrequenzbilder. Selbstverständlich muss es sich hierbei nicht um einzelne Frequenzen handeln; eine spektrale Trennung in zwei Spektralbereiche ist ausreichend. Ein von einem Objekt erzeugtes mikroskopisches Bild gelangt in das Strahlteilermodul 20. Dargestellt ist der Hauptbeobachtungsstrahlengang, der in einen dichroitischen Strahlteiler 21 fällt, wo er in bekannter Weise aufgesplittet wird. Der transmittierte spektrale Anteil trifft auf einen Sensorbereich 7, während der reflektierte spektrale Anteil über einen Umlenkspiegel 22 auf einen anderen Sensorbereich 7 gelenkt wird. Bei dieser Anordnung handelt es sich beispielsweise um einen in 1a dargestellten Flächensensor 6. Während der dargestellte Objektbereich auf den Sensorbereichen 7 jeweils der gleiche ist und das Bild aus der gleichen Fokusebene stammt, sind die Intensitäten der beiden Einzelbilder in der Regel unterschiedlich. Da beide Sensorbereiche 7 getrennt ansteuerbar sind, können die Intensitäten vordefiniert oder anwendungsbezogen nachgeregelt werden, bevor die erzeugten Einzelbilder über entsprechende Kanäle 9 in die Auswerteelektronik 11 gelangen (vgl. 2).
3b zeigt ein Strahlteilermodul 30 zur Erzeugung zweier Einzelbilder, die unterschiedliche Dynamikbereiche abdecken bzw. zur Erzeugung zweier Einzelbilder unterschiedlicher Intensitäten. In der bereits beschriebenen Weise wird das mikroskopische Bild mittels des Strahlteilermoduls 30 in zwei Einzelbilder aufgetrennt, wobei hier mittels eines Neutralteilers 31 eine prozentuale Aufteilung der Intensität vorgenommen wird. Beispielsweise werden 20% der auftreffenden Lichtintensität vom Neutralteiler 31 transmittiert, während 80% reflektiert werden. Der reflektierte Anteil wird über einen Umlenkspiegel 32 auf einen der beiden Sensorbereiche 7 gelenkt. Während auf dem Sensorbereich 7 mit der transmittierten (schwachen) Intensität nur noch lichtstarke Objektbereiche erkennbar sind, sind auf dem anderen Sensorbereich 7 mit der reflektierten (starken) Intensität auch lichtschwache Objektstrukturen erkennbar. Durch geeignete Wahl von Bildaufnahmeparametern sowie Bildverarbeitungsparametern für die beiden Sensorbereiche 7 bzw. die daraus resultierenden Einzelkanalbilder kann ein Multidynamikbild erzeugt werden, auf dem sowohl lichtstarke wie lichtschwache Objektstrukturen optimal sichtbar sind.
3c zeigt schließlich den Einsatz eines Strahlteilermoduls 40 zur Erzeugung eines Multifokusbildes. Hierzu weist das Strahlteilermodul 40 eine Zusatzoptik 42 auf. Mit dieser Zusatzoptik 42 wird der Fokus des Mikroskops in eine andere Objektebene (in z-Richtung) verlegt. Ein Strahlteiler 41 nimmt eine insbesondere gleichanteilige Aufspaltung des auftreffenden Hauptstrahlengangs vor. Der transmittierte Anteil "schaut" gleichermaßen in eine andere Objekttiefe als der reflektierte Anteil. Mittels eines Umlenkspiegels 43 wird der reflektierte Anteil auf eine der beiden Sensorbereiche 7 gelenkt. Die beiden Sensorbereiche 7 erhalten somit Einzelfokusbilder aus zwei verschiedenen Objekttiefen. Wird bei der nächsten Bildaufnahme der Mikroskopfokus verändert, so können wiederum zwei Einzelfokusbilder aufgenommen werden. Auf diese Weise ist es möglich, durch geeignete Einstellung der Mikroskopfoki jeweils zwei Fokusaufnahmen zu erzeugen, wodurch die Zeit zur Erzeugung eines Multifokusbildes halbiert wird.
4 zeigt als einfaches Beispiel eines Multikanal-Fluoreszenzbildes ein Zweikanal-Fluoreszenzbild eines Zellkerns mit Filamenten. Dieses Multikanalbild 4 kann mittels eines Aufbaus gemäß 3a erzeugt werden. Hier wird ein mikroskopisches Bild einer Zelle mittels eines Fluoreszenzmikroskops erzeugt. Das Objekt wird mit Anregungsfrequenzen bestrahlt und der fluoreszierende Bereich mikroskopisch abgebildet. Die in den einzelnen Bildern 8a und 8b dargestellten Objektbereiche sind jeweils dieselben und stammen aus der gleichen Fokusebene. Das Einzelfrequenzbild 8a (beispielsweise in der Falschfarbe rot dargestellt; hier in schwarz sichtbar) zeigt die Filamente der Zelle, während der bei einer anderen Frequenz fluoreszierende Zellkern im Einzelfrequenzbild 8b (beispielsweise in der Falschfarbe grün; hier in grau abgebildet) sichtbar wird. Erfindungsgemäß können, wie oben ausführlich beschrieben, die Bildaufnahmeparameter und/oder die Bildverarbeitungsparameter der Einzelkanalbilder 8a und 8b unabhängig voneinander optimiert werden, bevor sie zu dem Zweikanal-Fluoreszenzbild 4 zusammengesetzt werden.
Bezugszeichenliste

1: Mikroskopsystem
2: Mikroskop
3: Kamera
4: Multikanalbild
6: Flächensensor
7: Sensorbereich, Sektor
8a, 8b: Einzelkanalbild
9: Kanal
10: Strahlteilermodul
11: Auswerteelektronik
12: [Region]
13: Steuereinheit
14: Beleuchtungseinheit
20: Strahlteilermodul
21: dichroitischer Strahlteiler
22: Umlenkspiegel
30: Strahlteilermodul
31: Neutralteiler
32: Umlenkspiegel
40: Strahlteilermodul
41: Strahlteiler
42: Zusatzoptik
43: Umlenkspiegel

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 19533361 C1 [0008]
DE 4117319 C2 [0009]

Claims

Mikroskopsystem (1) mit einem Mikroskop (2) und einer digitalen Kamera (3) zur Darstellung eines Multikanalbildes (4), das eine geeignete Überlagerung von mehreren Einzelkanalbildern (8a, 8b) darstellt, wobei das Mikroskop (2) einen Kamera-Port zum Anschluss der Kamera (3) aufweist, die ihrerseits einen Flächensensor (6) aufweist, auf dem jedem Einzelkanalbild (8a, 8b) ein zugehöriger Sensorbereich (7) zugeordnet ist, dadurch gekennzeichnet, dass Bildaufnahmeparameter eines einem Einzelkanalbild (8a, 8b) zugeordnetem Sensorbereichs (7) unabhängig von den Bildaufnahmeparametern der übrigen Sensorbereiche einstellbar sind.
Mikroskopsystem nach Anspruch 1, dadurch gekennzeichnet, dass die Bildaufnahmeparameter die Verstärkung und/oder die Integrationszeit und/oder die Kennlinie umfassen.
Mikroskopsystem (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Bildverarbeitungsparameter eines Einzelkanalbildes (8a, 8b) unabhängig von Bildverarbeitungsparametern der übrigen Einzelkanalbilder (8a, 8b) einstellbar sind.
Mikroskopsystem (1) nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass als Flächensensor (6) der digitalen Kamera (3) ein Sensor vom Typ sCMOS vorhanden ist.
Mikroskopsystem (1) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die digitale Kamera (3) zwei oder vier Kanäle (9), die einer entsprechenden Anzahl von Sensorbereichen (7) zugeordnet sind, aufweist.
Mikroskopsystem (1) nach Anspruch 5, dadurch gekennzeichnet, dass jeder Kanal (9) unabhängig von den anderen Kanälen (9) parametrisierbar ist.
Mikroskopsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Verarbeitung der Bilddaten eine direkt an den Flächensensor (6) angeschlossene Auswerteelektronik (10) vorgesehen ist.
Mikroskopsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Flächensensor (6) ausgelegt ist, nur in einer oder mehreren anwenderdefinierten Regionen (12) ausgelesen zu werden.
Verwendung eines Mikroskopsystems nach einem der Ansprüche 1 bis 8 zur Aufnahme eines Multifluoreszenzsignalbildes (4), das durch ortsgenaue Überlagerung von Einzelfluoreszenzsignalbildern (8a, 8b) zusammengesetzt ist.
Verwendung eines Mikroskopsystems nach Anspruch 9, dadurch gekennzeichnet, dass mittels eines Strahlteilermoduls (20), das mindestens einen dichroitischen Strahlteiler (21) aufweist, die Einzelfluoreszenzsignalbilder (8a, 8b) auf die diesen zugeordneten Sensorbereiche (7) geleitet werden.
Verwendung eines Mikroskopsystems nach einem der Ansprüche 1 bis 8 zur Aufnahme eines Multidynamikbildes, das durch ortsgenaue Überlagerung von mehreren Einzelbildern unterschiedlicher Dynamik zusammengesetzt ist.
Verwendung eines Mikroskopsystems nach Anspruch 11, dadurch gekennzeichnet, dass mittels eines Strahlteilermoduls (30), das zumindest einen Neutralteiler (31) aufweist, die Einzelbilder auf die diesen zugeordneten Sensorbereiche (7) geleitet werden.
Verwendung eines Mikroskopsystems nach einem der Ansprüche 1 bis 8 zur Aufnahme eines Multifokusbildes, das durch ortsgenaue Überlagerung von mehreren Einzelbildern aus unterschiedlichen Fokusebenen zusammengesetzt ist.
Verwendung eines Mikroskopsystems nach Anspruch 13, dadurch gekennzeichnet, dass mittels eines Strahlteilermoduls (40), das zumindest einen Strahlteiler (41) und eine zugeordnete Zusatzoptik (42) aufweist, die Einzelbilder aus unterschiedlichen Fokusebenen auf die diesen zugeordneten Sensorbereiche (7) geleitet werden.
Verwendung eines Mikroskopsystems nach einem der Ansprüche 1 bis 8 zur Autofokussierung mittels Aufnahme mehrerer Einzelbilder aus unterschiedlichen Ebenen eines Objekts zur Bestimmung der optimalen Fokusebene in diesem Objekt.
Verfahren zur Aufnahme eines Multikanalbildes (4) mit einem Mikroskop (2) und einer digitalen Kamera (3), wobei das Multikanalbild (4) eine geeignete Überlagerung von mehreren Einzelkanalbildern (8a, 8b) darstellt, und wobei das Mikroskop (2) einen Kamera-Port zum Anschlussd der Kamera (3) aufweist, die ihrerseits einen Flächensensor (6) aufweist, auf dem jedem Einzelkanalbild (8a, 8b) ein zugehöriger Sensorbereich (7) zugeordnet ist, dadurch gekennzeichnet, dass Bildaufnahmeparameter eines einem Einzelkanalbild (8a, 8b) zugeordneten Sensorbereichs (7) unabhängig von den Bildaufnahmeparametern der übrigen Sensorbereiche (7) eingestellt werden.
Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass als Bildaufnahmeparameter die Verstärkung und/oder die Integrationszeit und/oder die Kennlinie gewählt werden.
Verfahren nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass als Flächensensor (6) der digitalen Kamera (3) ein Sensor vom Typ sCMOS verwendet wird.
Verfahren nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass die digitale Kamera (3) zwei oder vier Kanäle (9), die einer entsprechenden Anzahl von Sensorbereichen (7) zugeordnet sind, aufweist, wobei jeder Kanal (9) unabhängig von den anderen Kanälen (9) parametrisiert wird.
Verfahren nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass eine direkt an den Flächensensor (6) angeschlossene Auswerteelektronik (10) zur Verarbeitung der Bilddaten eingesetzt wird.
Verfahren nach einem der Ansprüche 16 bis 20, dadurch gekennzeichnet, dass der Flächensensor (6) nur in einer oder mehreren anwenderdefinierten Regionen (12) ausgelesen wird.