JP2014517352A - 高分解能ルミネッセンス顕微鏡法 - Google Patents

高分解能ルミネッセンス顕微鏡法 Download PDF

Info

Publication number
JP2014517352A
JP2014517352A JP2014513978A JP2014513978A JP2014517352A JP 2014517352 A JP2014517352 A JP 2014517352A JP 2014513978 A JP2014513978 A JP 2014513978A JP 2014513978 A JP2014513978 A JP 2014513978A JP 2014517352 A JP2014517352 A JP 2014517352A
Authority
JP
Japan
Prior art keywords
sample
illumination
image
resolution
beam path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014513978A
Other languages
English (en)
Other versions
JP6329896B2 (ja
Inventor
クレッペ、インゴ
ノビカウ、ヤウヘニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2014517352A publication Critical patent/JP2014517352A/ja
Application granted granted Critical
Publication of JP6329896B2 publication Critical patent/JP6329896B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

試料(2)の高解像度画像(55)を作成するための顕微鏡検査方法において、a)励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを試料(2)に施す工程、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出する1つの試料(2)を使用する工程と、b)構造化照明により試料(2)を励起して発光させる工程であって、その際には、構造化照明の少なくとも3つの回転位置および回転位置当たり少なくとも3つのオフセット位置を実現することによって、試料を、構造化照明の少なくとも9通りの様々な照明状態(.o1〜.o9)において、繰り返して照明する工程と、c)発光している試料(2)を、各異なる照明状態のそれぞれにおいて、繰り返して複数の画素を有する1つのフラット・パネル検出器上に結像することにより、各異なる照明状態(.o1〜.o9)のそれぞれを対象として、画像列(44.o1〜44.o9)を1つずつ得る工程と、d)それぞれの画像列(44.o1〜44.o9)から、ブリンキングにより引き起こされる該画像列内のそれぞれの画素の蛍光強度の変動を評価する1つのキュムラント関数(46)を利用して、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画を作成することにより、各異なる照明状態(.o1〜.o9)のそれぞれを対象として、高解像度原画(53.o1〜53.o9)を1つずつ得る工程と、e)得られた各原画(53.o1〜53.o9)から、1回のフーリエ・フィルタリングを含む一定の演算処理(42)を通じて、各原画(53.o1〜53.o9)と比べて向上されたある1つの空間分解能を有する該高解像度画像(55)を作成する工程とからなる方法。

Description

本発明は、発光する試料の高解像度画像を作成するための顕微鏡検査方法ならびに顕微鏡に関する。
顕微鏡法を利用した試料調査は、幅広い裾野を持つ技術分野であり、その技術解決策も多岐にわたっている。これまでに、古典的な光学顕微鏡法をはじめとして、多種多様な顕微鏡検査方法が開発されてきた。
ルミネッセンス顕微鏡法は、生物プレパラートの調査を目的とする光学顕微鏡法の古典的な適用領域の1つである。そこでは、試料、例えば細胞部分に固有のマーキングを施すために、特定の染料(いわゆる燐光体または蛍光体)が使用される。この試料に、励起ビームを照射し、それにより励起されたルミネッセンス光が、適切な検出器を用いて検出される。そのために通常は、光学顕微鏡内に、1つのダイクロイック・ビーム・スプリッタが、これに複数のブロック・フィルタを組み合わせて、備えられているが、それにより励起ビームから蛍光ビームを分割して、それを切り離して観察できるようにしている。このやり方により、光学顕微鏡の内部で、個々の異なる染色後の細胞部分を描画することが可能となる。当然ながら同じ1つのプレパラートの複数の部分を、プレパラートの他とは異なるそれぞれの構造に特異的に付着するようになっている様々な染料を使用して、同時に染色することも可能である。この方法は、多重発光と呼ばれる。それ自体が発光する、すなわちマーキング剤を添加しなくとも発光する試料についても、測定を行うことができる。
ルミネッセンスとは、ここでは広く一般に行われているように、燐光および蛍光を表す上位概念として解釈されるものである、すなわち、これは、この両方のプロセスを包括したものである。
他にも試料調査のために、レーザ走査顕微鏡法(LSM:Laser Scanning Microscopyとも略称される)を使用することが知られているが、このレーザ走査顕微鏡法では、ある1つの照射された3次元画像から、1つの共焦点検出配列(この場合、話題となるのは共焦点LSMである)、または試料の非線形相互作用(いわゆる多光子レーザ顕微鏡法)を利用して、対物レンズの焦点面内に位置する面だけが再現されるようになっている。それにより、1つの光学断面が得られるが、この光学断面を試料の深度別に複数撮影することによって、引き続いて、適切なデータ演算処理装置の助けを借りて、これらの異なる光学断面から試料の3次元画像を合成して生成することができる。したがって、レーザ走査顕微鏡法は、厚みのあるプレパラートの調査に適したものとなっている。
物理法則により定まる回折限界を超えた分解能を実現するために、最近になり様々なアプローチ法が開発されている。これらの顕微鏡検査方法は、古典的な顕微鏡と比べて一段と高い横方向および/または軸方向の光学分解能を使用者が自由に利用できることを特色としている。本願明細書においては、そのような顕微鏡検査方法を、それにより光学的回折限界を超えた分解能が達成されることから、高分解能顕微鏡検査方法と呼んでいる。これに対して、回折限界顕微鏡を古典的な顕微鏡と呼んでいる。回折限界顕微鏡は、公知である広視野光学顕微鏡法またはレーザ走査顕微鏡法を実現するものである。
高分解能顕微鏡検査方法の一例が(特許文献1)において論じられている。そこでは、構造化照明方式を利用して、非線形の様々なプロセスが利用し尽くされるようになっている。非線形性のものとして利用されるのは、蛍光の飽和現象である。構造化照明方式により、オブジェクトの空間スペクトルの、光学系の伝達関数に対する相対的なオフセットが行われるようになっている。このスペクトルのオフセットとは、具体的には、Vmを構造化照明の周波数としたときに、オブジェクトの空間周波数V0が、V0−Vmの空間周波数で伝達されることを意味している。それにより、この光学系により最大限伝達可能な所与の空間周波数において、伝達関数の最大周波数をオフセット周波数Vm分上回っている、オブジェクトの空間周波数の伝達が可能となる。このアプローチ法は、画像作成用の再構築アルゴリズムとして、1回のフーリエ・フィルタリングを必要とする他にも、1つの画像を得るために、複数回の記録を必要としている。すなわち、本願明細書の解像顕微鏡検査方法の当該説明箇所との関係においても内容全体が援用されているこの(特許文献1)においては、例えば1つの振幅/位相グリッドによる、試料の一種の広視野構造化照明方式が使用されるようになっている。試料中の蛍光についても同様に、広視野検出が行われる。ところでこのグリッドは、少なくとも3つの、例えば0°、120°、および240°の、異なる回転位置に移動され、さらにそれぞれの回転位置において、グリッドは3つ以上の異なる位置に変位されるようになっている。この3つの回転位置の、それぞれ3つのオフセット位置(すなわち合計して少なくとも9種類の照明状態)を対象として、試料の広視野検出が行われる。さらにこのグリッドは、使用される光学配列がこの周波数までは伝達することができるという周波数である限界周波数に可能な限り近い周波数を有している。その後には、フーリエ・フィルタリングを使用しながら、上記で言及した変位が行われるが、その際には特にそれぞれの画像において0次回折および+1次/−1次回折が評価されるようになっている。この顕微鏡検査方法は、SIM法(Structured Illumination Microscopy:構造化照明顕微鏡法)とも呼ばれるものである。
この原理では、明領域にある試料の蛍光が飽和状態に達するように、(例えば何らかのグリッドによる)構造化が集中的に行われる場合に、分解能の向上が得られることになる。そのときに試料の構造化照明は、試料表面に正弦分布を最早示すことなく、それどころかむしろ、飽和効果のために、光学的限界周波数を超えるさらに一段と高い高調波周波数を有することになる。SIM法のこの展開構成形態は、飽和パターン励起顕微鏡法(SPEM:Saturated Pattern Excitation Microscopy)とも呼ばれるものである。
グリッドの向きに対して垂直である、1つの線状の照明によっても、SIM法のさらにもう1つの展開構成形態を達成することができる。この場合は一種の線状照明が行われることになるが、そこではグリッド構造が、この線に沿って復元されるようになっている。すなわち、この照明の線は、グリッドにより構造化されている。この線状の照明により、一種の共焦点スリット検出が可能となり、それにより、再び分解能を向上することができる。この検査方法は、SLIM(Structured Line Illumination Microscopy)とも略称されるようになっている。
(非特許文献1)は、このSIM原理を取り上げたものではあるが、しかし、そこでは、共焦点照明を利用した試料のスキャニング法とあわせ、それに続くフーリエ・フィルタリングによる検出法が使用されるようになっている。この原理は、ISM(Image Scanning Microscopy)と呼ばれる。そこでは、同じ1つの構造化照明に9通りのオリエンテーションは存在せず、むしろ、画像のラスター・スキャンに際しては、それぞれのスキャン位置、すなわちラスター状態が、ある1つの照明状態に相当しており、構造化照明は、試料の一種のスポット照明となっている。
(非特許文献2〜4)の開示から、さらにもう1つの高分解能ルミネッセンス顕微鏡検査方法が知られている。この方法は、蛍光体のブリンキング特性を利用したものである。同じ1つの試料の複数の蛍光体が、統計学的に相互依存関係にないブリンキングを行う場合は、ある1つのいわゆるキュムラント関数を使用した適切なフィルタリングにより、試料のイメージングを行うことによって、物理的に予め決まっている光学的解像限界を超えた、分解能のかなりの向上を達成することが可能となる。そのようなキュムラント関数の一例が、例えば2次自己相関関数である。そこでは高解像度画像を作成するために、複数の個別画像からなる1つの列を記録して、続いて、このキュムラント関数を使用して、これらの個別画像をまとめて1つの単独画像を得るようにしているが、この単独画像の解像度は、このときには、さらに一段と高いものとなっている。この方法は、「Super−Resolution Optical Fluctuation Imaging(超高解像度オプティカル・フラクチュエーション・イメージング)」という用語を略してSOFI法と呼ばれる。
従来技術においては、他にもさらに複数の高分解能顕微鏡検査方法を組み合わせることが知られている。例えば(特許文献2)には、個々の試料ゾーンを対象として、分解能および測定速度の観点から、それぞれに最適の検査方法を導入できるようにすることを目的としている、多種多様な高分解能顕微鏡検査方法の組み合わせ方式が記載されている。
欧州特許第1157297号明細書 独国特許出願公開第102008054317号明細書
C.ミュラー(Mueller)、J.エンデルライン(Enderlein), "Image scanning microscopy", Physical Review Letters, 104, 198101(2010) T.デルティンガー(Dertinger)他, "Fast, background−free, 3D super−resolution optical fluctuation imaging (SOFI)", PNAS (2009), p22287−22292 T.デルティンガー(Dertinger)他, "Achieving increased resolution and more pixels with Superresolution Optical Fluctuation Imaging (SOFI)", Opt. Express, 30.08.2010, 18(18): p18875−85, doi: 10.1364/IE.18.018875 S.ガイスビューラー(Geissbuehler)他, "Comparison between SOFI and STORM", Biomed. Opt. Express 2, p408−420 (2011)
本発明は、分解能の向上が達成される顕微鏡検査方法ならびに顕微鏡を得ることを課題として成されたものである。
この課題は、本発明に従って、試料の高解像度画像を作成するための顕微鏡検査方法であって、a)励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを試料に施す工程、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出する1つの試料を使用する工程と、b)構造化照明により試料を励起して発光させる工程であって、その際には試料を、構造化照明の様々な照明状態において、繰り返して照明する工程と、c)発光している試料を、各異なる照明状態のそれぞれにおいて、繰り返して1つの検出器上に結像することにより、各異なる照明状態のそれぞれを対象として、画像列を1つずつ得る工程と、d)それぞれの画像列から、ブリンキングにより引き起こされる画像列内の蛍光強度の変動を評価する1つのキュムラント関数を利用して、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画を作成することにより、各異なる照明状態のそれぞれを対象として、高解像度原画を1つずつ得る工程と、e)得られた各原画から、1回のフーリエ・フィルタリングを含む一定の演算処理を通じて、それぞれの個別画像と比べて向上されたある1つの空間分解能を有する高解像度画像を作成する工程とを含む、顕微鏡検査方法により解決される。
上述の課題は、他にもさらに本発明に従って、試料の高解像度画像を作成するための顕微鏡検査方法であって、a)励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを試料に施す工程、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出する1つの試料を使用する工程と、b)構造化照明により試料を励起して発光させる工程であって、その際には試料を、構造化照明の様々な照明状態を一揃いにして1セットとしたものを使用して、繰り返して照明する工程と、c)それぞれのセットにおいて、それぞれのセット内の各異なる照明状態のそれぞれにおいて、発光している試料を1つの検出器上に結像することにより、いずれのセットにも異なる照明状態ごとに画像が1つずつ含まれている、複数のセットからなる1つの列を得る工程と、d)それぞれのセットから、1回のフーリエ・フィルタリングを含む一定の演算処理を通じて、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画を作成することにより、複数の原画からなる1つの列を得る工程と、e)複数の原画からなる列から、ブリンキングにより引き起こされる列内の蛍光強度の変動を評価する1つのキュムラント関数を利用して、各原画と比べて向上されたある1つの空間分解能を有する高解像度画像を作成する工程とを含む、顕微鏡検査方法によっても解決される。
上述の課題は、試料の高解像度画像を作成するための顕微鏡であって、試料は、励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを備えるか、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出するものであり、顕微鏡が、1つの検出ビーム・パスおよび1つの照明ビーム・パスを有しており、検出ビーム・パスは試料を検出器上に結像させ、また照明ビーム・パスは、構造化照明により試料を照明してこれを発光励起させるようになっており、さらに照明ビーム・パスは、様々な照明状態を実現するための1つの装置を有しており、顕微鏡が他にも1つの演算制御装置を有しており、演算制御装置により、試料が、構造化照明の様々な照明状態において、繰り返して照明されており、発光している試料が、各異なる照明状態のそれぞれにおいて、繰り返して1つの検出器上に結像されており、それにより各異なる照明状態のそれぞれを対象として、画像列が1つずつ得られているように、顕微鏡が制御され、また演算制御装置により、それぞれの画像列から、ブリンキングにより引き起こされる画像列内の蛍光強度の変動を評価する1つのキュムラント関数を利用して、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画が作成されることにより、各異なる照明状態のそれぞれを対象として、高解像度原画が1つずつ得られており、さらに演算制御装置により、得られた各原画から、1回のフーリエ・フィルタリングを含む一定の演算処理を通じて、それぞれの個別画像と比べて向上されたある1つの空間分解能を有する高解像度画像が作成されるようになっている、顕微鏡によっても同様に解決される。
最後に上述の課題は、他にも、試料の高解像度画像を作成するための顕微鏡であって、試料は、励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを備えるか、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出するものであり、顕微鏡が、1つの検出ビーム・パスと1つの照明ビーム・パスとを有しており、その際に検出ビーム・パスは試料を検出器上に結像させ、また照明ビーム・パスは、構造化照明により試料を照明してこれを発光励起させるようになっており、さらに照明ビーム・パスは、様々な照明状態を実現するための1つの装置を有しており、顕微鏡が他にも1つの演算制御装置を有しており、演算制御装置により、試料が、構造化照明の様々な照明状態を一揃いにして1セットとしたものを使用して、繰り返して照明されており、それぞれのセットにおいて、それぞれのセット内の各異なる照明状態のそれぞれにおいて、発光している試料が検出器上に結像されていることにより、いずれのセットにも異なる照明状態ごとに画像が1つずつ含まれている、複数のセットからなる1つの列が得られているように、前記顕微鏡が制御され、また演算制御装置により、それぞれのセットから、1回のフーリエ・フィルタリングを含む一定の演算処理を通じて、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画が作成されることにより、複数の原画からなる1つの列が得られており、さらに演算制御装置により、複数の原画からなる列から、ブリンキングにより引き起こされる列内の蛍光強度の変動を評価する1つのキュムラント関数を利用して、各原画と比べて向上されたある1つの空間分解能を有する高解像度画像が作成されるようになっている、顕微鏡によっても解決される。
本発明に従った方法においては、SIM/ISM原理の各素子が、SOFI原理の各素子と組み合わされるようになっている。その際には組み合わせを絶妙に行うことにより、個々の高解像度画像を組み合わせた場合に生じるような係数√2のさらに上を行く解像度の向上が達成されることになる。この画像の解像度は、それ自体としては、要する工数が同じであっても、本発明に従った方法の個々の特徴に記載されるそれぞれの画像を平均して得られるような解像度よりも高くなる。
SIM原理を利用する場合は、構造化照明の少なくとも3つの回転位置および回転位置当たり少なくとも3つのオフセット位置を実現することによって、試料の照明が、構造化照明の少なくとも9種類の照明状態において行われることになる。発光している試料は、これらの異なる照明状態のそれぞれにおいて、複数の画素を持つ1つのフラット・パネル検出器上に繰り返して結像される。それぞれの画素について、ブリンキングにより引き起こされる画像列内の発光強度の変動が評価されるようになっている。
ISM原理を利用する場合は、それぞれの照明状態が、ラスター・スキャンの際に生じる、異なるスキャン位置によりもたらされる。従来型のLSMとは異なり、それぞれの異なる照明状態における試料の画像は、蛍光を発する素子の構造を明示する解像度を有している。これは例えば、相応の分解能を有する広視野検出方式により行われるとよい。
この場合は、様々な照明状態において獲得される、蛍光を発する試料のそれぞれの画像により、これらの画像を一揃いにした1つのセットが具現されることになる。そのようなセットを複数獲得する作業を繰り返すことによって、複数のセットからなる1つの列が得られる。この複数のセットからなる列から、次には、以下に示す2通りの方法により、1つの高解像度画像を得ることができる。
1.SIM/ISMに関して知られている演算処理方式を利用し、1回のフーリエ・フィルタリングを使用しながら、それぞれのセットを1つの高解像度原画に変換するとよい。この場合は、そうすることによって、複数の原画からなる1つの列が得られる。この複数の画像からなる列が、続いて1つのキュムラント関数を使用しながら、SOFIアプローチ法に従って、解像度がさらに一段と向上されている1つの最終的な画像に換算される。このときに、この最終的な画像の解像度は、原画の解像度と比べて格段と向上されており、結果として、SIM原理もしくはSOFI原理を使用して獲得されたそれぞれの画像を単純に合体させた場合よりも格段と優れているかもしれない解像度が得られることになる。
2.しかし、いずれのセットにも様々な照明状態における試料の画像が1つずつ含まれている、複数のセットからなる列を、まず最初にそれぞれの照明状態を対象として、SOFI原理を利用して、キュムラント関数を使用しながら、いずれのセットにもそれぞれの照明状態に関して原画が1つずつ含まれている、複数の原画からなる別の1つのセットに換算するようにしてもよい。この複数の原画からなるセットは、続いてSIM/ISMに従ったアプローチ法を利用して、解像度が同様にさらに向上された1つの最終的な画像に変換される。
SIM原理の各特徴は、本発明の内容に包摂されるために、本願明細書における発明の開示内容においては、SIM原理の細部に取り組んでいる次に挙げる各刊行物の内容全体が援用されている。(特許文献1)、独国特許出願公開第19908883号明細書、M.グスタフソン(Gustafsson), ”Nonlinear structured−illumination microscopy: wide−field fluorescence imaging wirh theoretically unlimited resolution”, Proc Natl Acad Sci USA, 13.09.2005, 102(37): 13081−6, Epub 2.90.2005; R.ハインツマン(Heintzmann)、C.クリーマー(Cremer), (1998), Proc. SPIE int. Soc. Opt. Eng. 3568, p185−195。ISM関係の刊行物の開示である(非特許文献1)についても同様である。
本発明においては、それ以外にもさらにSOFI原理の各特徴が使用されるために、この原理に関連した次に挙げる開示についても同様に、その内容全体が援用されている。(非特許文献2)およびそれに付属する「Supporting Information」、(非特許文献3)、および(非特許文献4)。
本発明に従った方法においては、適切に励起された後には、統計学的にブリンキングを行うように発光ビームを放出する1つのマーカが試料に施されるようになっている。そこではマーカとして、具現されることになる試料の様々な構造に付加するようになっている、慣用のラベルまたはその他の物質が備えられるようになっている。あるいはその代わりに、既に相応に発光している試料を使用してもかまわない。すなわち結局のところ、統計学的にブリンキングを行うように発光ビームを放出する様々な構造を有する試料のイメージングが、顕微鏡により行われるようになっている。ここで「統計学的にブリンキングを行う」とは、個々のマーカまたは試料分子が、いずれも隣接するマーカまたは分子とは関係なく、2通りの発光ビーム状態の間を常に行き来することを意味するものである。これは、最も単純なケースにおいては、発光ビームが放出される状態と、発光ビームが一切放出されない状態であるとよい。しかし、放出される発光ビームが2種類あり、その種類が入れ替わるようにすること、例えば波長が入れ替わったり、偏光状態が入れ替わったりすることなども考えられる。試料のこの特性は、SOFI原理で使用される各素子を適用するためには不可欠である、というのも、この特性が備わっている場合だけに、キュムラント関数により、1つの画像列を1つの単独高解像度画像に転換することが可能となるからである。
異なる照明状態における試料の複数の画像からなるセットが複数そろった1つの列から、フーリエ変換を利用して、解像度がさらに高い複数の原画からなる1つの列への換算が行われるようになっている、上記で言及した第2の変形例を使用する場合は、このブリンキング挙動が、同じ1つのセット内では、極力変化しないようにすべきである。その結果として、1つのセットの記録が行われる時間である、平均ブリンキング周期で測った時間の長さは、短くなるはずであり、すなわちブリンキング周期の逆数、または、非常に好ましくはこの逆数のごく一部よりも長くはならないはずである。これは、セット・レートが、平均画像周期よりも小さい、好ましくはそれよりも10倍小さくなっているという特徴に相当している。このときには、1つのセット内で、関与している各分子のブリンキング状態が変化しないことが保証されている。その後、複数の原画からなる列において実施されるSOFI処理にとって、これは有利である。
したがって、本発明の展開構成形態の一例においては、好ましいことにも、画像記録速度および使用される各分子のブリンキング・レートが適宜互いに適合化されるようになっている。これは、1つには、適切なマーカ分子または試料分子を選択することにより達成することができる。当然ながら、適宜影響を与えることにより、各分子のブリンキング・レートが適合化されるようにしてもよい。これについて、考慮の対象となるのは、特に温度、励起ビームとして作用する照明ビームの波長、励起ビームとして作用する照明ビームの強度など、分子により異なってくる様々な物理影響量である。他にも、例えばガイスビューラー(Geissbuehler)他が解説しているように、化学的に影響を与えることも考えられる。さらには、上記で言及した状態に到達するために、所与のブリンキング・レートに対して、画像記録時間もしくしはセット・レート(複数の画像を有するそれぞれのセットのレート)が相応に適合化されるようにしてもよい。
上記および下記においては、本発明に従った方法の各特徴を引き合いに出しながら、本発明について説明を行っているが、その限りにおいて、本発明に従った方法に対応している、上記で言及した各特徴からなる顕微鏡に関しても、本発明に従った方法に関するそれらの説明が準用されるものとする。この顕微鏡にとり重要であるのは、説明されている本発明に従った方法の各特徴を実現するための、顕微鏡の相応の動作が、顕微鏡の演算制御装置により保証される点にある。この演算制御装置は、それに適しているように、例えばプログラミングを適切に行うことにより、構成されている。当然ながら、個々の特徴の説明が、顕微鏡だけに基づいて行われるような場合は、逆のことが言える。その場合これらの特徴は、顕微鏡検査方法に関する説明にも準用されることになる。
SIM、SLIM、およびSPEMに関しては、既に説明したように、構造化照明のローテーションが必要となる。これらの顕微鏡検査方法を実現するために、第2および第3の照明ビーム・パスの共通部内のグリッドに、1つのイメージ・フィールド・ローテータが後置されている場合は、このローテーションを非常に簡単に実現することができる。このイメージ・フィールド・ローテータは、例えば1つのアッベ・ケーニッヒ・プリズムにより実現されたものであるとよい。この後置式イメージ・フィールド・ローテータは、SLIM原理にとっては非常に有利であるが、なぜならばその場合は、グリッドの鉛直方向の位置および線状の照明に必要な調整が1回だけで済み、そうでない場合にグリッド回転時に要求されるようなトラッキングが不要となるからである。
言うまでもないが、上記で指摘した各特徴および下記でさらに解説されることになる各特徴は、提示されているそれぞれの組み合わせにおいてだけではなく、むしろ、本発明の範囲を逸脱することなく、それ以外の組み合わせにおいても、または単独でも、導入できるものである。
以下では、添付図面を例にとり、本発明をさらに詳しく解説するが、これらの図面にも、本発明の本質的な特徴が開示されている。
組み合わせ型顕微鏡を示す概略図。 異なる照明状態の下で得た試料の複数の広視野画像から1つの高解像度画像を作成する工程を明らかにするための図式図。 図2および図3に示される原理を組み合わせて実行される、異なる照明状態における試料の1つの画像列から1つの高解像度画像を作成する工程を具体的に説明するための図式図。 図2および図3に示される原理を組み合わせて実行される、解像度がさらに一段と向上されている画像を作成する方法の第1実施形態を示す図。 同様に図2および図3に示される原理を組み合わせて実行される、同様に解像度がさらに一段と向上されている画像を作成する方法の第2実施形態を示す図。
図1には、古典的な顕微鏡検査方法、すなわち、分解能に回折限界による制限を受ける顕微鏡検査方法を、高分解能顕微鏡検査方法、すなわち、分解能が回折限界を超えて向上されている顕微鏡検査方法と同期で実施することができる1つの顕微鏡1が示されている。
この顕微鏡1は、従来型のレーザ走査顕微鏡をベースとして構成されたものであり、1つの試料2がそれにより把握されるようになっている。そのために顕微鏡1は、全ての顕微鏡検査方法のためのビームが通過するようになっている、1つの対物レンズ3を有している。
この対物レンズ3は、1つのビーム・スプリッタ4を介して、1つの鏡筒レンズ5と共に、この試料を、図示の例においては通常可能ないずれかのフラット・パネル検出器となっている1つのCCD検出器6上に結像する。この限りにおいて、この顕微鏡1は、一種の従来型光学顕微鏡モジュール7を利用できるようになっており、試料2から対物レンズ3および鏡筒レンズ5を通過してCCD検出器6に至るビーム・パスは、従来の広視野検出ビーム・パス8に当該している。ビーム・スプリッタ4は、図1に両方向矢印により示唆されるように、ダイクロイック特性を異にする様々なビーム・スプリッタ、もしくは米国特許第2008/0088920号明細書に従った様々なアクロマチック・ビーム・スプリッタ間の入れ替えを可能とするために、交換式となっている。
対物レンズ3に至るビーム・パスには、さらに1つのレーザ走査モジュール9が結合されており、そのLSM照明ビーム・パスおよび検出ビーム・パスは、ビーム・スプリッタ機能も併せ持つ1つのスイッチング・ミラー11を介して、対物レンズ3に至るビーム・パスにカップリングされるようになっている。すなわち、このスイッチング・ミラー11からビーム・スプリッタ4を通過して対物レンズ3に至るビーム・パスは、照明ビーム・パスと検出ビーム・パスとが1つにまとまったビーム・パスである。これは、レーザ走査モジュール9についても、すなわち広視野検出ビーム・パス8についても言えるが、なぜならば、後ほどさらに詳しく解説することになるように、広視野検出ビーム・パス8と一緒に、すなわちCCD検出器6と一緒に、顕微鏡検査方法を実現するようになっている照明ビームもまた、スイッチング・ミラー11のところでカップリングされるからである。
スイッチング・ミラー11およびビーム・スプリッタ4は、1つにまとめられて1つのビーム・スプリッタ・モジュール12を形成しているが、それによりスイッチング・ミラー11およびビーム・スプリッタ4を、アプリケーションに応じて入れ替えることが可能となる。これもまた、両方向矢印により分かり易く示されている。さらにビーム・スプリッタ・モジュール12内には、1つのエミッション・フィルタ13が備えられているが、これは、広視野検出ビーム・パス8内に位置して、この広視野検出ビーム・パス8を通り伝播可能なスペクトルの各成分を、適宜フィルタリングするようになっている。当然ながらこのビーム・スプリッタ・モジュール12内のエミッション・フィルタ13も交換式となっている。
レーザ走査モジュール9は、動作のために必要なレーザ・ビームを、1本の光ファイバ14を介してレーザ・モジュール15から受け取るようになっている。
図1に示される構成方式においては、ビーム・スプリッタ・モジュール12のところに、より正確にはスイッチング・ミラー11のところに、集光照明ビーム・パス16がカップリングされるようになっており、様々な顕微鏡検査方法のための照明ビームは、集光照明ビーム・パス16を通って走るようになっている。この集光照明ビーム・パス16には、個々の照明モジュールの様々な照明ビーム・パスがカップリングされている。例えば1つの広視野照明モジュール17により、1つのスイッチング・ミラー18を介して、広視野照明ビームが集光照明ビーム・パス16に結合されることにより、1つの鏡筒レンズ27と対物レンズ3とを介して、試料2の広視野照明が行われる。この広視野照明モジュールは、例えば1つのHBO超高圧水銀ショートアークランプを有しているとよい。さらにもう1つ照明モジュールとして、スイッチング・ミラー18が適切な姿勢を取ったときには、TIRF照明を実現するようになっている、1つのTIRF照明モジュール19が備えられている。そのためにこのTIRF照明モジュール19は、レーザ・モジュール15からのビームを1本の光ファイバ20を介して受け取るようになっている。このTIRF照明モジュール19は、前後方向に変位可能な1つのミラー21を有している。この前後方向の変位により、TIRF照明モジュール19から放出される照明ビームは、放出される照明ビームの主伝播方向に対して垂直に変位されることになるが、それにより結論としてはTIRF照明が、対物レンズ3のところで、対物レンズの光軸に対してある1つの調整可能な角度を成して入射することになる。そうすることによって、カバー・ガラスのところでの全反射に必要な角度を簡単に確保できるようにしている。当然ながら、それ以外にもこの角度調整をもたらすために適した手段はいろいろある。
さらに集光照明ビーム・パスには、1つのマニピュレータ・モジュール22の照明ビーム・パスが結合されているが、このマニピュレータ・モジュール22も同様に、詳細には図示されない1本の光ファイバを介して、レーザ・モジュール15からビームを受け取って、スポット状または線状のビーム分布を、試料2の表面に沿って、走査が行われるように案内するようになっている。すなわち、このマニピュレータ・モジュール22は、実質的にレーザ走査顕微鏡の照明モジュールに相当するものであり、したがって、このマニピュレータ・モジュール22を、レーザ走査モジュール9の検出器、またはCCD検出器6の広視野検出方式と組み合わせて動作させることも可能となっている。
集光照明ビーム・パス16内にはさらに、顕微鏡1により試料2内に伝達可能な限界周波数を下回るグリッド定数を持つ、1つのグリッド23が備えられている。このグリッド23は、集光照明ビーム・パス16の光軸に対して横向きに変位できるようになっている。そのために、1つの適切な変位駆動装置24が備えられている。
集光照明ビーム・パス16内にはさらに、照明方向でこのグリッドに後置される、1つのローテータ駆動装置26により回転されるようになっている、1つのイメージ・フィールド・ローテータ25がはめ込まれている。このイメージ・フィールド・ローテータは、例えば1つのアッベ・ケーニッヒ・プリズムであるとよい。
顕微鏡1の各モジュールおよび各駆動装置ならびに各検出器は全て、詳細には図示されない複数の配線を介して、1つの制御装置28に接続されている。この接続は、例えば1本のデータ兼制御バスを介して行われるとよい。この制御装置28は、顕微鏡1を様々な動作モードにおいて制御するようになっている。
したがって、この制御装置28により、この顕微鏡1において、古典的な顕微鏡法、すなわち広視野顕微鏡法(WF:Wide Field Microscopy)、レーザ走査顕微鏡法(LSM)、および全反射照明蛍光顕微鏡法(TIRF:Total Internal Reflection Fluorescence)を実施することが可能となっている。図1の顕微鏡は実質的に、レーザ・スキャナ照明に適した2つのモジュール、すなわち、レーザ走査モジュール9ならびにマニピュレータ・モジュール22を有している。当然ながら、これとは別の組み合わせも考えられる。これらのモジュールは、複数の鏡筒レンズおよび対物レンズ3を介して、試料2の表面に結合されている。マニピュレータ・モジュール22には、レーザ走査モジュールの励起部分だけが含まれ、検出機能はこれには含まれていない。それにより、試料をスポット状に照明することが可能となり、この照明スポットを試料2の表面に沿ってラスター・スキャンすることが可能となる。マニピュレータ・モジュール22内には、他にも1つの切換えユニット、例えば1つの切換えレンズまたはシリンドリカル・レンズを配置して、これを利用して、スポット状の照明と線状の照明との切換えが行われるようにすると好適である。この線状の照明は、特に集光照明ビーム・パス16の1つの中間結像の中に位置するグリッド23が、ビーム・パス内に旋回されて、この線状の照明の線に対して垂直に位置する場合に、特に有利となる。
このグリッド23の代わりに、試料2内の構造化照明を作成するために、1つの可変調整式ストライプ・モジュレータ、または1つのDMD(Digital Mirror Device)を導入することもできる。その場合は当然ながら、変位駆動装置24とならび、グリッド23をビーム・パス内/外に旋回可能であるように構成することも、最早不要となる。
イメージ・フィールド・ローテータ25によって、グリッド23(またはこれに置き換わる素子)により作成される構造化照明を、集光照明ビーム・パス16の光軸まわりに回転させることが可能となり、それにより、構造化照明は、試料2内で様々な角度に位置するようになる。
個々の動作モード間の切換えを行うために、スイッチング・ミラー18および11、ならびにビーム・スプリッタ4の位置調節が適宜行われるようになっている。そのために、その実現にあたっては、各動作モード間の切換えを順次行うことができるようにするために、複数のフリップ・ミラーまたはスウィング・ミラーが使用されるようにするとよい。あるいは、その代わりに、異なるモジュールの同時動作を可能にする、複数のダイクロイック・ミラーも考えられる。
ビーム・スプリッタ4は、ダイクロイック・ビーム・スプリッタとして実施されると好適であるが、そこでは、CCD検出器6を使用して検出されることになるそれぞれのマーキング分子の蛍光エミッションのスペクトル部分が、広視野検出ビーム・パス8内に入り込み、それ以外のスペクトル成分が可能な限り透過されるように、スペクトル特性を調整できるようになっている。エミッション特性を異にする様々なマーキング分子の可用性に関して、さらにフレキシビリティを持たせるために、ビーム・スプリッタ・モジュール12内には、例えば同じ1つのフィルタ・ホイール上に、複数の異なるビーム・スプリッタ4およびエミッション・フィルタ13が、交換可能であるように配置されている。
ところで、上記で説明した顕微鏡は、高解像度顕微鏡画像を作成するために利用されるものである。制御装置28は、それに適するように、例えば適切なプログラミングを通じて、構成されている。図4および5に基づき可能性のあるプロセスの進行過程について解説する前に、まずは図2および3に基づき、本願明細書の説明対象である顕微鏡検査方法の構成成分である、本質的な各特徴および原理について解説する。
図2は、例示的にSIMコンセプトを明らかにしたものである。このSIM法のためには、図1の顕微鏡1において顕微鏡検査される試料の広視野イメージングが繰り返して行われ、またその際には、それぞれのイメージング工程に対して、異なる照明状態が設定されるようになっている。それにより、複数の個別画像40からなる1つのセット39が得られることになる。これらの画像40は、照明ビーム・パス8を通り試料表面に当たる照明の構造化パターン41に関して、異なるものとなっている。見れば分かるように、異なる画像40の構造化パターン41は異なっている。図2においては上面図で示されているこのセット39から明らかであるように、合計9枚の個別画像40が存在している、すなわち、その構造化パターン41には、9種類のオリエンテーションがある。これらの異なる構造化パターンは、図2の概略図においては、それぞれの画像の符号40に「O1」から「O9」を付け足すことにより明確にされている。それぞれの個別画像40を上から見た、この図2の上面図に示されるように、これらの9通りのオリエンテーションは、構造化パターン40のオフセット位置もしくは回転位置に関して、異なるものとなっている。この9という数字は、使用されるオリエンテーションの数を例示的に示したものである。本願明細書の一般説明箇所にSIM原理に関して列記されている各刊行物から知られているように、9よりも多い数も考えられる。
このセット39のそれぞれの個別画像40は、順次記録されるようになっているが、その際には、各画像40の記録工程の合間に、照明の構造化パターン41が変位もしくは回転されるようになっている。
続いて、このセット39全体から、1回のフーリエ変換42を利用して、1つの高解像度画像43が作成される。この画像43は、以下で図4に基づきさらに詳しく解説するように、解像度をさらに向上する処理を施すための原画として利用されるようになっている。
すなわち、図2は、SIM原理を分かり易く説明したものである。もっとも、その構造化パターン41については、あくまでも例示的なものであると解釈されたい。構造化パターンは、特に線の構造化パターンである必要は全くない。図式的に書き込まれているそれぞれの線は、線に沿ってさらに構造化されたものであってもかまわない。
同様に、冒頭で指摘したそれぞれのSIM刊行物において使用される線状の照明に代わり、(非特許文献1)から知られているような、共焦点検出方式の走査が行われる共焦点スポット照明(eine gescannten konfokale Punkt−Beleuchtung)を導入することも可能である。当然ながら、その場合は、同じ1つの構造化照明に9通りのオリエンテーションは存在せず、むしろ試料のスキャニングから獲得された、適切な数の個別画像が存在することになる。この場合は、それぞれの画像40が、画像のラスター・スキャンの際の、ある1つの特定のスキャン位置、すなわち、ある1つの特定のラスター状態に相当している。
図3には、高分解能顕微鏡検査のために導入されるさらにもう1つの原理が図式的に示されている。この原理によると、複数の画像45からなる1つの列44が記録されるが、冒頭でSOFIコンセプトとの関連で解説したように、それぞれの画像45には、試料2内の各蛍光体の他の画像のものとは異なるブリンキング状態が含まれている。各画像の符号45に付け足されているサフィックスは、この列44が、一種の時間列であることを明らかにするものである。それぞれの個別画像には、「t1」から「tn」が付け足されている。この列44から、1つのキュムラント関数46を使用した処理を利用して、再び1つの高解像度原画47が作成される。すなわちn個の画像が、1つの単独画像47に転換されるようになっている。
さて次には、まずは高分解能顕微鏡法の第1の方法から、図4に基づき解説することとする。そのためには、いずれも複数の画像40.o1から40.o9からなるセット39が複数、繰り返して作成される。作成をこのように繰り返すことによって、合計n個のセット39.t1から39.tnが存在しており、またそれぞれのセット内には、SIMコンセプトのために必要となる、照明状態の様々なオリエンテーションが存在しているが、これは、図4においては図2と同じ符号を採用することにより明確にされている。当然ながらSIM原理ではなく、ISM原理が導入されるケースについても、これと同じことが言える。
ここで、フーリエ・フィルタリング42を導入することにより、それぞれのセット39.t1から39.tnから、複数の原画49.t1から49.tnからなる1つの列50が作成される。これらの原画49は、間に時間をおいて作成されたものであり、またこれらの原画49には、SIM原理が導入されるために、顕微鏡により先験的に提供される解像度よりも高い解像度を有する画像情報が含まれている。次には、キュムラント関数46を採用しながらこの列50が1つの高解像度画像51に換算されるようになっている。この解像度は、それぞれの原画49における解像度よりも高くなっている。
第2の顕微鏡検査方法においては、それぞれのオリエンテーション.o1から.o9を対象として、複数の画像45からなる列44が1つずつ記録されることにより、それぞれのオリエンテーションに対して専用の列が1つずつ存在するようにしている。これらの列は、続いてキュムラント関数46を導入しながら1つの高解像度原画に換算され、それにより複数の原画53.o1から53.o9からなる1つのセット54が与えられるようにしている。つまり、このセット54はSIM原理に必要な様々な照明構造における原画53を含む。SIM原理の使用についてもこれと同じことが言える。この複数の原画からなるセット54は、続いてフーリエ・フィルタリング42を使用しながら1つの高解像度画像55に換算されるが、その空間解像度は、それぞれの原画53の空間解像度よりも高くなっており、またそれぞれの原画53の空間解像度も、顕微鏡1の光学系により物理的な限界に基づき本来許容される空間解像度よりも高くなっている。

Claims (8)

  1. 試料(2)の高解像度画像(55)を作成するための顕微鏡検査方法であって、
    a) 励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを該試料(2)に施す工程、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出する1つの試料(2)を使用する工程と、
    b) 構造化照明により該試料(2)を励起して発光させる工程であって、その際には該試料を、該構造化照明の様々な照明状態(.o1〜.o9)において、繰り返して照明する工程と、
    c) 該発光している試料(2)を、各異なる照明状態のそれぞれにおいて、繰り返して1つの検出器上に結像することにより、該各異なる照明状態(.o1〜o9)のそれぞれを対象として、画像列(44.o1〜44.o9)を1つずつ得る工程と、
    d) それぞれの画像列(44.o1〜44.o9)から、該ブリンキングにより引き起こされる該画像列内の蛍光強度の変動を評価する1つのキュムラント関数(46)を利用して、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画を作成することにより、該各異なる照明状態(.o1〜o9)のそれぞれを対象として、高解像度原画(53.o1〜53.o9)を1つずつ得る工程と、
    e) 該得られた各原画(53.o1〜53.o9)から、1回のフーリエ・フィルタリングを含む一定の演算処理(42)を通じて、該各原画(53.o1〜53.o9)と比べて向上されたある1つの空間分解能を有する該高解像度画像(55)を作成する工程と
    を含む方法。
  2. 試料(2)の高解像度画像(51)を作成するための顕微鏡検査方法であって、
    a) 励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを該試料(2)に施す工程、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出する1つの試料(2)を使用する工程と、
    b) 構造化照明により該試料(2)を励起して発光させる工程であって、その際には該試料を、該構造化照明の様々な照明状態(.o1〜.o9)を一揃いにして1セットとしたものを使用して、繰り返して照明する工程と、
    c) それぞれのセットにおいて、それぞれのセット内の該様々な照明状態のそれぞれにおいて、該発光している試料(2)を1つの検出器上に結像することにより、いずれのセットにも様々な照明状態(.o1〜.o9)ごとに画像(40)が1つずつ含まれている、複数のセット(39.t1〜39.tn)からなる1つの列を得る工程と、
    d) 該それぞれのセット(39.t1〜39.tn)から、1回のフーリエ・フィルタリングを含む一定の演算処理(42)を通じて、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画(49.t1〜49.tn)を作成することにより、複数の原画(49.t1〜49.tn)からなる1つの列(50)を得る工程と、
    e) 該複数の原画(49.t1〜49.tn)からなる列(50)から、該ブリンキングにより引き起こされる該列(50)内の蛍光強度の変動を評価する1つのキュムラント関数(46)を利用して、該各原画(49.t1〜49.tn)と比べて向上されたある1つの空間分解能を有する該高解像度画像(51)を作成する工程と
    を含む方法。
  3. ある1つの平均ブリンキング・レートでブリンキングを行うように発光ビームを放出する1つのマーカまたは1つの試料を使用して、工程c)において、1つのセット(39.t1〜39.tn)を作成するための時間の長さが、該平均ブリンキング・レートの逆数以下、好適には該逆数の1/10以下となるように、それぞれの画像の記録時間が選定される、請求項2に記載の方法。
  4. 前記様々な照明状態が、前記構造化照明の3つの回転位置および回転位置当たり少なくとも3つのオフセット位置を有しており、前記試料が複数の画素を有する1つのフラット・パネル検出器上に結像される、請求項1、2または3に記載の方法。
  5. 試料(2)の高解像度画像(55)を作成するための顕微鏡であって、該試料(2)は、励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを備えるか、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出するものであり、該顕微鏡が、
    ・ 1つの検出ビーム・パス(8)および1つの照明ビーム・パス(16)であって、該検出ビーム・パス(8)は該試料(2)を1つの検出器(6)上に結像させ、また該照明ビーム・パス(16)は、構造化照明により該試料(2)を照明してこれを発光励起させるようになっており、さらに、該照明ビーム・パス(16)は、様々な照明状態(.o1〜.o9)を実現するための1つの装置を有している、前記1つの検出ビーム・パス(8)および1つの照明ビーム・パス(16)と、
    ・ 1つの演算制御装置(28)であって、該演算制御装置(28)により、該試料(2)が、該構造化照明の該様々な照明状態(.o1〜.o9)において、繰り返して照明されて、該発光している試料が、該様々な照明状態(.o1〜.o9)のそれぞれにおいて、繰り返して1つの検出器上に結像されていることによって、各異なる照明状態(.o1〜.o9)のそれぞれを対象として、画像列(44.o1〜44.o9)が1つずつ得られているように、該顕微鏡(1)が制御される、前記1つの演算制御装置(28)と
    を備え、
    該演算制御装置(28)により、それぞれの画像列(44.o1〜44.o9)から、該ブリンキングにより引き起こされる該画像列内の蛍光強度の変動を評価する1つのキュムラント関数(46)を利用して、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画が作成されることにより、該各異なる照明状態(.o1〜.o9)のそれぞれを対象として、高解像度原画(53.o1〜53.o9)が1つずつ得られ、
    該演算制御装置(28)により、該得られた各原画(53.o1〜53.o9)から、1回のフーリエ・フィルタリングを含む一定の演算処理(42)を通じて、それぞれの個別画像(53.o1〜53.o9)と比べて向上されたある1つの空間分解能を有する該高解像度画像(55)が作成される、
    顕微鏡。
  6. 試料(2)の高解像度画像を作成するための顕微鏡であって、該試料(2)は、励起後に統計学的にブリンキングを行うように発光ビームを放出する1つのマーカを備えるか、または、励起後に局所的に分散した状態で統計学的にブリンキングを行うように発光ビームを放出するものであり、該顕微鏡が、
    ・ 1つの検出ビーム・パス(8)および1つの照明ビーム・パス(16)であって、該検出ビーム・パス(8)は該試料(2)を1つの検出器上(6)に結像させ、また該照明ビーム・パス(16)は、構造化照明により該試料(2)を照明してこれを発光励起させるようになっており、さらに、該照明ビーム・パス(16)は、様々な照明状態(.o1〜.o9)を実現するための1つの装置を有している、前記1つの検出ビーム・パス(8)および1つの照明ビーム・パス(16)と、
    ・ 1つの演算制御装置(28)であって、該演算制御装置(28)により、該試料(2)が、該構造化照明の様々な照明状態(.o1〜.o9)を一揃いにして1セットとしたものを使用して、繰り返して照明されており、それぞれのセットにおいて、それぞれのセット内の該様々な照明状態(.o1〜.o9)のそれぞれにおいて、発光している試料が1つの検出器(6)上に結像されていることにより、いずれのセットにも異なる照明状態ごとに画像が1つずつ含まれている、複数のセットからなる1つの列が得られているように、前記顕微鏡(1)が制御される、前記1つの演算制御装置(28)と
    を備え、
    該演算制御装置(28)により、それぞれのセットから、1回のフーリエ・フィルタリングを含む一定の演算処理(42)を通じて、光学的なイメージング分解能を超えて向上されたある1つの空間分解能を有する1つの原画(49.t1〜.t9)を作成することにより、複数の原画(49.t1〜.t9)からなる1つの列(50)が得られ、
    該演算制御装置(28)により、該複数の原画(49.t1〜.t9)からなる列(50)から、該ブリンキングにより引き起こされる該列(50)内の蛍光強度の変動を評価する1つのキュムラント関数(46)を利用して、該各原画(49.t1〜.t9)と比べて向上されたある1つの空間分解能を有する該高解像度画像(55)が作成される、
    顕微鏡。
  7. 前記試料(2)またはその1つのマーカが、ある1つの平均ブリンキング・レートでブリンキングを行うように発光ビームを放出し、1つのセット(39.t1〜39.tn)を作成するための時間の長さが、該平均ブリンキング・レートの逆数以下、好適には該逆数の1/10以下となるように、それぞれの画像の記録時間が決定されている、請求項6に記載の顕微鏡。
  8. 前記様々な照明状態が、前記構造化照明の3つの回転位置および回転位置当たり3つのオフセット位置を有しており、前記検出ビームパス(8)が、複数の画素を有する1つのフラット・パネル検出器(6)上に前記試料(2)を結像させる、請求項5、6または7に記載の顕微鏡。
JP2014513978A 2011-06-09 2012-05-22 高分解能ルミネッセンス顕微鏡法 Expired - Fee Related JP6329896B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102011077269.3 2011-06-09
DE102011077269A DE102011077269A1 (de) 2011-06-09 2011-06-09 Hochauflösende Lumineszenzmikroskopie
PCT/EP2012/059466 WO2012168065A1 (de) 2011-06-09 2012-05-22 Hochauflösende lumineszenzmikroskopie

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018017035A Division JP2018097382A (ja) 2011-06-09 2018-02-02 高分解能ルミネッセンス顕微鏡法

Publications (2)

Publication Number Publication Date
JP2014517352A true JP2014517352A (ja) 2014-07-17
JP6329896B2 JP6329896B2 (ja) 2018-05-23

Family

ID=46146894

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014513978A Expired - Fee Related JP6329896B2 (ja) 2011-06-09 2012-05-22 高分解能ルミネッセンス顕微鏡法
JP2018017035A Pending JP2018097382A (ja) 2011-06-09 2018-02-02 高分解能ルミネッセンス顕微鏡法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018017035A Pending JP2018097382A (ja) 2011-06-09 2018-02-02 高分解能ルミネッセンス顕微鏡法

Country Status (5)

Country Link
US (1) US9651766B2 (ja)
EP (1) EP2718762B1 (ja)
JP (2) JP6329896B2 (ja)
DE (1) DE102011077269A1 (ja)
WO (1) WO2012168065A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015007754A (ja) * 2013-05-28 2015-01-15 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
JP2018097382A (ja) * 2011-06-09 2018-06-21 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 高分解能ルミネッセンス顕微鏡法
JP2020020929A (ja) * 2018-07-31 2020-02-06 株式会社ニコン 顕微鏡、観察方法、及び制御プログラム
CN111175259A (zh) * 2018-11-12 2020-05-19 卡尔蔡司显微镜有限责任公司 具有结构化照明的三维显微术的加速的方法和设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011084315A1 (de) 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh Hochauflösende Lumineszenzmikroskopie
DE102012020877A1 (de) * 2012-10-17 2014-04-17 Carl Zeiss Microscopy Gmbh Optikanordnung und Lichtmikroskop
DE102012023024B4 (de) 2012-11-07 2023-05-04 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Mikroskopieverfahren
US9435993B2 (en) 2013-03-24 2016-09-06 Bruker Nano, Inc. Three dimensional microscopy imaging
EP2801854B1 (en) 2013-05-10 2017-07-19 Ruprecht-Karls-Universität Heidelberg Method and apparatus for combination of localization microscopy and structured illumination microscopy
CN104516098B (zh) * 2013-09-30 2017-04-12 西门子公司 一种显微装置及成像方法
DE102014107606A1 (de) * 2014-05-28 2015-12-03 Carl Zeiss Ag Funktionsintegriertes Laser-Scanning-Mikroskop
DE102015112628A1 (de) * 2015-07-31 2017-02-02 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung eines digitalen Fluoreszenzbildes
DE102015121920A1 (de) 2015-12-16 2017-06-22 Carl Zeiss Microscopy Gmbh Hochauflösendes Kurzzeit-Mikroskopieverfahren und hochauflösendes Kurzzeit-Mikroskop
DE102016103182B4 (de) * 2016-02-23 2018-04-12 Leica Microsystems Cms Gmbh Lichtblattmikroskop und Verfahren zur lichtmikroskopischen Abbildung einer Probe
DE102017115658A1 (de) * 2017-07-12 2019-01-17 Carl Zeiss Microscopy Gmbh Flackern bei Winkel-variabler Beleuchtung
WO2019200248A1 (en) * 2018-04-13 2019-10-17 The Regents Of The University Of Michigan Sub-diffraction imaging, coding and decoding of non-bleaching scatterers
US11604341B2 (en) 2019-04-02 2023-03-14 Thermo Electron Scientific Instruments Llc Enhanced sample imaging using structured illumination microscopy
CN112444506B (zh) * 2019-09-04 2022-03-18 复旦大学 显微成像的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031418A1 (ja) * 2007-09-05 2009-03-12 Nikon Corporation 顕微鏡装置
WO2010060515A1 (de) * 2008-11-03 2010-06-03 Carl Zeiss Microlmaging Gmbh Kombinationsmikroskopie
WO2010141608A1 (en) * 2009-06-02 2010-12-09 Imflux Llc Superresolution optical fluctuation imaging (sofi)
JP2011514532A (ja) * 2008-03-19 2011-05-06 ルプレヒト−カールス−ウニヴェルジテート ハイデルベルク 蛍光顕微鏡において単一色素分子の局在化のための方法および装置
JP2013506163A (ja) * 2009-09-30 2013-02-21 カール ツァイス マイクロスコピー ゲーエムベーハー 顕微鏡画像を形成するための方法および顕微鏡
JP2013531221A (ja) * 2010-04-28 2013-08-01 フェーイーベー フェーゼットウェー ラベル付けされた生体試料の画像化のための方法と装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19908883A1 (de) 1999-03-02 2000-09-07 Rainer Heintzmann Verfahren zur Erhöhung der Auflösung optischer Abbildung
DE102004034983A1 (de) 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop
DE102011077269A1 (de) * 2011-06-09 2012-12-13 Carl Zeiss Microimaging Gmbh Hochauflösende Lumineszenzmikroskopie

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009031418A1 (ja) * 2007-09-05 2009-03-12 Nikon Corporation 顕微鏡装置
JP2011514532A (ja) * 2008-03-19 2011-05-06 ルプレヒト−カールス−ウニヴェルジテート ハイデルベルク 蛍光顕微鏡において単一色素分子の局在化のための方法および装置
WO2010060515A1 (de) * 2008-11-03 2010-06-03 Carl Zeiss Microlmaging Gmbh Kombinationsmikroskopie
WO2010141608A1 (en) * 2009-06-02 2010-12-09 Imflux Llc Superresolution optical fluctuation imaging (sofi)
JP2012529119A (ja) * 2009-06-02 2012-11-15 ソーファスト ゲーエムベーハー 超解像光ゆらぎイメージング(sofi)
JP2013506163A (ja) * 2009-09-30 2013-02-21 カール ツァイス マイクロスコピー ゲーエムベーハー 顕微鏡画像を形成するための方法および顕微鏡
JP2013531221A (ja) * 2010-04-28 2013-08-01 フェーイーベー フェーゼットウェー ラベル付けされた生体試料の画像化のための方法と装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018097382A (ja) * 2011-06-09 2018-06-21 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 高分解能ルミネッセンス顕微鏡法
JP2015007754A (ja) * 2013-05-28 2015-01-15 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
JP2020020929A (ja) * 2018-07-31 2020-02-06 株式会社ニコン 顕微鏡、観察方法、及び制御プログラム
JP7099143B2 (ja) 2018-07-31 2022-07-12 株式会社ニコン 顕微鏡、観察方法、及び制御プログラム
CN111175259A (zh) * 2018-11-12 2020-05-19 卡尔蔡司显微镜有限责任公司 具有结构化照明的三维显微术的加速的方法和设备
JP2020079929A (ja) * 2018-11-12 2020-05-28 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 構造化照明を備えた三次元顕微鏡法のための高速化された方法および装置
JP7399669B2 (ja) 2018-11-12 2023-12-18 カール ツァイス マイクロスコピー ゲーエムベーハー 構造化照明を備えた三次元顕微鏡法のための高速化された方法および装置

Also Published As

Publication number Publication date
US20140184777A1 (en) 2014-07-03
EP2718762A1 (de) 2014-04-16
DE102011077269A1 (de) 2012-12-13
JP6329896B2 (ja) 2018-05-23
JP2018097382A (ja) 2018-06-21
US9651766B2 (en) 2017-05-16
EP2718762B1 (de) 2017-09-20
WO2012168065A1 (de) 2012-12-13

Similar Documents

Publication Publication Date Title
JP6329896B2 (ja) 高分解能ルミネッセンス顕微鏡法
Vangindertael et al. An introduction to optical super-resolution microscopy for the adventurous biologist
Wu et al. Faster, sharper, and deeper: structured illumination microscopy for biological imaging
Bayguinov et al. Modern laser scanning confocal microscopy
Sanderson et al. Fluorescence microscopy
JP5687201B2 (ja) 組み合わせ顕微鏡検査法
Gregor et al. Image scanning microscopy
US9726877B2 (en) High-resolution luminescence microscopy
CA2868263C (en) Slide scanner with dynamic focus and specimen tilt and method of operation
US8217992B2 (en) Microscopic imaging techniques
JP5707408B2 (ja) 顕微鏡画像を形成するための方法および顕微鏡
JP6587004B2 (ja) 装置、システム、方法、及びプログラム
JP2012108491A (ja) 連続的な光シートを用いるspim顕微鏡
JP2013506163A6 (ja) 顕微鏡画像を形成するための方法および顕微鏡
JP7009619B2 (ja) 2回通過式マクロ画像
JP2018506733A (ja) 選択的平面照明顕微鏡法機器
US7645971B2 (en) Image scanning apparatus and method
JP2005121796A (ja) レーザー顕微鏡
NL2008873C2 (en) Method and apparatus for multiple points of view three-dimensional microscopy.
Zhang et al. A new multichannel spectral imaging laser scanning confocal microscope
US20200218047A1 (en) High-resolution scanning microscopy
Temprine et al. Three-dimensional photoactivated localization microscopy with genetically expressed probes
US9239292B2 (en) Method and apparatus for tracking the motion of molecules in a microscope
JP7268144B2 (ja) 試料を走査する方法および装置
US9535242B1 (en) Parallel programmable array microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170407

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180208

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180423

R150 Certificate of patent or registration of utility model

Ref document number: 6329896

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees