JP5738765B2 - 構造化照明を備えた顕微鏡法のための改良された方法および装置 - Google Patents

構造化照明を備えた顕微鏡法のための改良された方法および装置 Download PDF

Info

Publication number
JP5738765B2
JP5738765B2 JP2011528231A JP2011528231A JP5738765B2 JP 5738765 B2 JP5738765 B2 JP 5738765B2 JP 2011528231 A JP2011528231 A JP 2011528231A JP 2011528231 A JP2011528231 A JP 2011528231A JP 5738765 B2 JP5738765 B2 JP 5738765B2
Authority
JP
Japan
Prior art keywords
imaging
sample
illumination
image
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011528231A
Other languages
English (en)
Other versions
JP2012504252A (ja
JP2012504252A5 (ja
Inventor
ケンペ、ミヒャエル
クラムペルト、ゲルハルト
クレッペ、インゴ
ヴォレシェンスキー、ラルフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2012504252A publication Critical patent/JP2012504252A/ja
Publication of JP2012504252A5 publication Critical patent/JP2012504252A5/ja
Application granted granted Critical
Publication of JP5738765B2 publication Critical patent/JP5738765B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、顕微鏡を使用して、蛍光色素で標識された試料を高解像度に結像する方法および装置であって、試料が複数の位相において、構造化及びパルス化された励起光によって順次照明され、かつ、試料から放出された蛍光光が、位相毎に、各々構造化された個別画像において受光されることによって、それらの個別画像から、より高解像度の1枚の最終画像が再構成可能な方法および装置に関する。
顕微鏡の解像度は、試料によって吸収される光が顕微鏡対物レンズ内で屈折するために、顕微鏡対物レンズの絞りおよび光の波長に左右される。可視光における使用可能な波長範囲は有限であるため、顕微鏡の解像度には基本的に制限がある(アッベ(Abbe) 1873)。試料の結像すべき空間周波数に関連して、それは、顕微鏡の光学伝達関数(英語:「optical transfer function」;OTF)の支持体(英語:「support」)が、周波数空間において座標原点近傍の有限領域上に制限されていることを意味する。その結果、その中で支持体が消失しない中心区間にあるような空間周波数のみを顕微鏡は結像することができる。
照明の励起強度および試料の放射強度がリニアに協働すれば、試料の構造化照明(英語:「structured illumination microscopy」;SIM法)によって、解像度が水平方向にも軸方向にもどちらも約2倍改良され得る。このSIMは、たとえば米国特許第5,671,085号明細書に開示されている。このSIMは、たとえば、光学回折格子の後方における照明光の正弦波状干渉により、検査すべき試料上で空間的な光構造を生成することに基づく。実空間内における顕微鏡対物レンズの、点広がり関数を備えた励起構造の折り畳みのために、周波数空間において、OTFの支持体の外部にある、試料構造の空間周波数の一領域が、中央の支持体間隔へ移動し、ここでは空間周波数はそこの元空間周波数強度に重なる。光構造が、逐次的に複数の異なる位相位置内で生成され、各位相位置において各々1枚の個別画像が撮像される。移動した空間周波数と元の周波数の重なりを含む個別画像から、対応する方程式系を使用して安定した最終画像を再構成することが可能であり、この最終画像は支持体間隔の元の空間周波数と、構造化照明によって中間時間的に支持体間隔に移動した、比較的高い元の空間周波数とを含む。これによって、最終画像は、均等な照明を用いた従来の単一撮像よりも高い解像度を有する。しかしながら、構造化のさまざまな位相位置および方向で何回も撮像するには、一連の測定中、光学的構成および試料の高い安定性が要求される。加えて、不可欠な繰り返し撮像では、効果的なフレームレートが減少する。また、この構造化も、高度な均質性(構造化の周波数・位相が一定であること)を備えて試料内部に結像されなければならない。
励起強度と試料からの放射光強度とが非線形関係になるように試料の励起を(照明またはその他の方法で)実行することによって、解像性能を著しく向上させることができる(英語:「saturated pattem excitation microscopy」、SPEM)。このSPEM法は、たとえば、独国特許出願公開第19908883号明細書に開示され、本願ではその開示内容を全体的に導入している。蛍光顕微鏡法の場合、非線形励起は、たとえば、照明構造領域において蛍光色素の励起を部分的に飽和させる、高い照明強度によって達成される。これによって、SIM法の際よりもさらに高い、対象物構造の空間周波数が、OTFの支持体間隔内に移動する。解くべき方程式系における非線形相互作用を顧慮することによって、この高い周波数も再構成することができる。しかしながら、SPEM法では、SIM法よりも小さな位相ステップ、したがってさらに多くの個別画像が要求される。試料の非線形相互作用は、退色により試料とその色素に負荷をかける。さらに、非線形性は、照明条件のほかに試料内の局部的な周囲条件にも依存する。これによって試料内の位置が変われば非線形性も明らかに異なることとなり得るため、最終画像の再構成をさらに妨げる。事情によっては、試料内の周囲条件が非線形相互作用にとってとても不利であるため、SPEM法の利用は不可能であるかもしれない。
基本的に、SIM法およびSPEM法では、再構成によって実現可能な解像度は、個別画像撮像時の信号雑音比(英語:「signal−to−noise ratio」、SNR)によって制限されている。
本発明は、冒頭に述べた種類の方法および装置を改良し、可及的に高い解像度を実現することにその課題の基礎を置く。
この課題は、独立請求項に記載の特徴を備えた方法または装置によって解決される。
有利な実施形態は、従属請求項に記載される。
本発明の中心は、問題のある試料であっても最終画像において可能な限り最高の解像度に達するために、個別画像内に含まれる生データを最適化することにある。このような最適化は、本発明に基づいて、異なる方法で達成される。
発明に基づき、SIM法およびSPEM法における解像度は、特に以下の要因によって低下することが分かった。光学システム(たとえば、収差の形で)によっても、また試料の光学的性質、特に厚みのある試料の光学的性質によっても、照明光や蛍光光の位相は局部的に歪曲される。それに加えて、試料内への浸透深さが増大すると、局部的かつ全体的な屈折率変化による散乱や収差のため構造化の変調コントラストが低下し、それはミスマッチと呼ばれる。この作用は、使用する構造化の周波数にも依存する。低周波数変調は、試料内部深く結像することができるが、他方では最終画像の解像度の低下も招く。したがって、最適な最終画像を得るためには、検査される試料ごとに、構造化パラメータの異なる組合せ(干渉によって構造化を引き起こす、ビーム寄与部分の相対角度や相対強度)が要求される。色素分子が既に励起されている場合、さらに高いエネルギー状態へと励起させると、非可逆である退色が起こる可能性が高く、このような退色は信号雑音比を低下させ、結果として再構成の際の解像度が低下する。しかも、受光される蛍光光を、電子または電気的に過度に上げても(露出過剰)、または過度に下げても(露出不足)、画像のコントラストを低下させて、その低コントラストは再構成を困難にするか、妨害する。
したがって、本発明により、少なくとも1つの照明パラメータ、および/または少なくとも1つの撮像パラメータ、特に、「照明の波長」、「照明のパルス・シーケンス」、「撮像の波長領域」、「撮像の露光時間」および「撮像の強さ」のうち少なくとも1つの値について、最適な調整が計算される。本発明では、この調整は1次元または多次元の数値と考える。本発明の考えでは、所定の目標値が、その調整において最大値または少なくとも1つの所定の閾値に達する場合に、この調整は最適であるとする。目標値は、特に撮像時間、信号雑音比、または検出された蛍光信号のダイナミック・レンジであり得る。本発明に基づく最適化によって、蛍光収量と、したがって信号雑音比が、わずかな労力で改良され、試料の退色も抑えられる。結果として、信号雑音比に依存する解像度が改良される。さらに、この最適化は、システムの安全性にも寄与するかもしれない。というのは、カメラの仕様が境界条件として最適化に加わることによって、撮影の際に使用されるカメラの、露出過度による損傷を防止することができるからである。ここでは、パラメータ「パルス・シーケンス」は、パルス時間および/またはパルス繰り返し周波数と理解される。パラメータ「撮像の強さ」としては、たとえば、調整可能な電子倍増ゲイン(英語:「electron multiplication gain」、EM−Gain)が最適化され得る。
最適調整は、フル・オートマティックに、算出することも、その後の個別画像の撮像の際に用いることも可能である。代替案としては、ユーザの要求に従ってセミ・オートマティックに算出することもでき、パラメータの自由調整に関する所定基準としてユーザが使用することも可能である。最適調整をユーザに確認用としてのみ提供することも考えられ、その場合は、ユーザはたとえば測定を中止することも可能である。複数のパラメータに関する1回の最適化プロセスにおいて最適調整が調節可能であることは言うまでもない。
最適化の際に重要な値は、アプリオリに既知であるか設定可能な情報と、撮像された画像に基づいてフィードバックすることによってはじめて獲得することができるようなパラメータとに下位分類できる。アプリオリに既知であるか少なくとも設定可能であるのは、たとえば、蛍光色素特性(退色率、SPEM励起用の切り替えサイクル、および全帯域の励起・放射スペクトル)、試料の包埋媒体特性(屈折率、自家蛍光スペクトル)、ならびに所望の侵入深さである。これらに応じて、最適化すべき当該パラメータの、または最適化すべき複数のパラメータの最適調整は、好ましくは、個別画像に基づく、追加的な中間画像に基づく、または蛍光光の小部分を分離するポイント検出器の信号に基づくフィードバックによって、かつパラメータの変化によって算出される。したがって、たとえばパルス繰り返し周波数は、アプリオリに既知である、試料の屈折率ミスマッチから大まかに計算する代わりに、複数の個別画像が異なるパルス繰り返し周波数で撮像・評価されるというやり方で、個別画像の評価により、高い精度で最適化されることが可能である。本発明の考えでは、後の再構成では用いられないすべての画像を中間画像と呼ぶこととする。特に、そのフレームレートが相応に高い場合は、個別画像を複数の中間画像から統合することによって構成することが可能である。複数のパラメータを最適化する必要があれば、相当する多次元での変化を実行しなければならない。
特に好適な実施形態では、パラメータの変化は、励起光の、本質的に一定の平均強度において行われるが、これは信号の向上、つまり信号雑音比の改良は、退色の低減によってのみ成立することができるからである。励起光の、一定の平均強度として好ましくは、再構成用の個別画像を撮像する際にも利用されるような強度が用いられる。
変化と実験的フィードバックに対する代替案として、パラメータの最適調整を算出するために、好ましくは、既知のアプリオリな情報を用いて、照明、試料の反応および撮像のシミュレーションを実行することができる。実用的にはこの場合も、最適調整を算出するために、最適化すべきパラメータの変化を実施する。これによって、退色が完全に回避されるため、試料に負荷がかからない。それにもかかわらず、最適化すべきパラメータの最適調整は、高い精度で最適化可能である。このシミュレーションは特に、複数の最適化すべきパラメータにおいて、試料を保護するのに有利である。
有利には、(特に一変化時に)その調整において、中間画像、個別画像、または最終画像中で、最大信号雑音比または少なくとも1つの所定の信号雑音比が生じる場合に、調整は最適であると算出される。これによって、最終画像の解像度は、自動的に最大化されるか、またはユーザが関与することが可能となる。SIM法およびSPEM法の解像性能は依存するので、個別画像の信号雑音比が可及的に高いことは、可能な限りアーチファクトのない再構成を行うために必須である。
その上、最適調整を算出する際に、さらなる最適化標的の所定の重み付けが、信号雑音比のための重み付けと並んで考慮される実施形態が有効である。ユーザは最適化の優先順位を自身で決めることができる。たとえば、撮像時間を短縮することを最優先とし、信号雑音比の最大化は付随的にのみ最適化を実行することができる。最優先、または低い優先順位で実行することができる、さらなる可能な最適化目標は、撮影用カメラのダイナミック・レンジを可能な限り十分にレベル調整することである。
フィードバックの第1の代替的な変更形態では、最適化用の蛍光光受光が、代替的、または個別画像の撮像に追加的に、中間画像で、有利には、個別画像を撮像する際のフレームレートに対応するフレームレートで実行されるため、蛍光光が多数のパルス・シーケンス・サイクルを介して統合される。
フィードバックの第2の代替的な変更形態では、中間画像における蛍光光受光は、有利には、個別画像の撮像時よりも顕著に高いフレームレートで行われる。高いフレームレートにより、試料の励起および放射反応をより精緻に評価することができる。中間画像の合計によって、中間画像または、さらに個別画像が、比較的長い露光時間で計算される。その際、様々な露光時間の中間画像を、実用的にはコンピュータを用いて規格化することができる。
中間画像の高周波の撮像に関して、局所的に可変な撮像部を使用することによって、パルス・シーケンスを局部的、特にピクセルごとに変化させることが有利である。撮像部としては、たとえば、デジタル・マイクロ・ミラー・デバイス(ドイツ語:「Mikrospiegelfelder」/英語:「digital micro−mirror device」、DMD)、液晶ディスプレイ(ドイツ語「Fluessigkristallanzeigen」/英語:「light crystal display」、LCD)またはLCoS(英語:「liquid crystal on Silicon」)等の空間光変調器(英語:「spatial light modulator」、SLM)を用いることが可能である。撮像部は、照明ビーム経路の中間画像面に配置するのが有効である。照明野全体のパルス・シーケンスを全体的に変化させるほかに、局部的な変化によって、フィードバックされた最適化の範囲内でパルス・シーケンスを試料上の異なる局部的な状態(たとえば、異なる蛍光色素で着色された領域)に適合させるだけでなく、個別画像のダイナミックを拡大することが可能である。撮影用カメラの完全なレベル調整まで、またはそれ以上にさえも、全体的または局部的にこのダイナミックを拡大することができる。このダイナミック・レンジ拡大は、特に、中間画像全体の中間値、または中間画像の領域もしくはピクセル、またはさらに個別画像とのフィードバックによって果たされる。たとえば、個別画像へと合計される中間画像を撮像する際に、残りの試料の照明/画像撮像が継続されている一方で、最低限の退色で十分な信号雑音比に達するか、または所定の強度閾値に達した場合には、照明および/または画像撮像(露光)を1つの領域または1つのピクセルにおいて終了することが可能である。この方法で生じる照明・露光変化を、撮像された画像データとともに保存することが有効である。その撮像中にパルス・シーケンスが変えられた個別画像は、保存された変化情報に基づきパルス・シーケンスの変化に応じてその強度を修正するというやり方で、最終画像が再構成される前にダイナミック・レンジが拡大される。拡大されたダイナミックに関する保存情報は、それぞれの視覚化メディアのダイナミックを考慮したうえで、最適に再現するためにも利用することができる。ダイナミックの全体的または局部的な拡大は、特に、局部的に変化可能な撮像部を用いて、最適化とは独立にも実施可能である。
有利には、同一の撮像部でパルス・シーケンスを変化させ、かつ励起光を構造化することによって、追加的な撮像部は不要となり得る。
本発明に基づく方法は比較的時間がかかるので、撮像中に測定中止基準をテストしたり、測定しながら表示したり、または測定中止基準を満足したときに撮像を中止する、または少なくとも簡略化することが有利である。簡略化としては、たとえば、中間画像または個別画像によるフィードバックに基づいて、励起時に十分なレベルの非線形性が達成されないと計算された場合、SPEM法の測定中に純粋なSIM法の測定に切り替えることができる。
有利には、変調コントラストが所定のコントラスト閾値より小であるか、または試料の移動距離が所定の移動閾値より大であるかが測定中止基準としてテストされる。たとえば、変調コントラストは、すべての中間画像または個別画像において連続的に決定することができる。試料の動きはたとえばドリフト等によって発生し得る。動きの警告は、たとえば、中間画像または個別画像同士の相関関係から取得され得るが、位相位置の望みの変化を獲得するためには、構造化照明の変調周波数が事前に画像からフィルタリングされなければならない。これ以外に試料の動きを確認・評価する可能性は、透過光内での、微分干渉顕微鏡法(英語:「differential interference contrast」、DIC)による画像の同時撮像である。これは、特に生体細胞の検査の際に有利である。
本発明に基づく最適化は、通常の試料で実施されずともよく、特に有利にはテスト・プレパラートで実施することができ、そのテスト・プレパラートに基づき、最適調整が、通常の試料での画像撮像用のアプリオリな情報として獲得され得る。構造化照明のために特に有利なテスト・プレパラートは、均質で、光学的に薄い(100nm未満の)、対物レンズの液浸液に対する屈折率ミスマッチのない、つまり干渉のないマルチカラー色素フィルム、および200〜500nmの間の大きさのマルチカラー球体を含むテスト試料である。とりわけ、変調コントラストおよび構造化の位相不変性は色素フィルムを用いることでうまく最適化することができる一方で、球体テスト試料は、多くの色チャネルにおけるコローカリゼーションを校正するために有利である。
本発明に基づきさらに、蛍光色素の(特に最低の)三重項状態からより高い三重項状態の励起を減じるようなパルス・シーケンスによって時間・空間的に照明を行うことにより、励起状態の色素分子の感度を低下させ得ることが確認された。これにより、未だ励起状態の分子の励起が最小化され、こうして退色が阻止される。このような画像撮像技術は、独国特許出願公開第102006011176号明細書内で、誘導された放出および抑制(英語:stimulated emission depletion;STED)を用いた顕微鏡法用に開示されている。SPEMに必要な高いピーク強度をパルス化したレーザで達成する場合、本発明によれば、SPEMでT−REX技術を利用するため、励起された色素分子の大多数がそれぞれ次のレーザ・パルスまでには既に再び1重項基底状態に緩和するように、レーザのパルス繰り返し周波数を低下させる。必要なピーク強度を、本願明細書に開示内容を完全に援用する独国特許出願公開第102007047468号明細書に基づく構造化されたライン照明(英語:structured line illumination microscopy;SLIM)によって達成する場合、このラインは、ラインの通過毎に色素分子を平均して1回しか励起させないほど1か所でのライン滞在時間が短くなるように、走査(英語:scanning)によって試料上を高速に移動しなければならない。走査移動の速度がこのために十分でない場合、既に励起した色素分子のさらなる励起を阻止するため、パルス・シーケンスの部分として、走査中のレーザをさらに連続的にオンおよびオフすること(英語:blanking)により、高速走査を補うことができる。
励起光のパルス間に1または数マイクロ秒の励起ポーズを有するパルス・シーケンスを使用することが好ましい。最適なパルス・シーケンス、および走査型ライン照明では場合によっては最適な走査速度は、特に、上述の本発明による方法によって自動的または半自動的に計算することができる。
本発明に基づきさらに、退色が、パルス化した励起によってだけでなく、蛍光色素の(特に最低の)三重項状態を空乏化するために抑制光で試料を追加的に照明することによっても回避できることが確認された。第2の波長での適切なレーザ照明による三重項状態の積極的な抑制(エッゲリンク(Eggeling)ら,ChemPhysChem 2008,9,612−624;モンダル(Mondal),Appl.Phys.Lett.92,013902,2008)によって。このために、たとえば第2の光源がビーム経路内に入射される。これは、抑制光が検出側で蛍光から分離される場合、同時に励起のために行うことができる。
抑制光は、励起光と同じ様に構造化されるのが有用であり、このことは、試料への負荷を少なくする。
抑制光は、1または数MW/cmのエネルギー密度で使用するのが有用である。これまでに実施された実験およびシミュレーションは、有効な抑制には、抑制放射のこのように高い強度値が必要であることを示している。このような強度はライン状の照明によって達成されるのが好ましい。
本発明に基づいてさらに、中間画像を撮像し、この中間画像に基づき、照明によって引き起こされた蛍光色素の退色の範囲を計算し、そして最終画像を再構成する前に、計算された範囲に対応して個別画像を計算により修正することで、最終画像の再構成の精度、したがって達成可能な解像度を改善できることが確認された。この退色挙動の考慮は、扱いにくい試料の場合にもより高い解像度での再構成を可能にする。確かに、構造化された照明の場合の退色は、試料および照明による空間的変調の問題である。しかし本発明によれば、まさにこれを、特殊な修正のために利用することができる。試料の空間周波数と、構造化された照明の変調周波数の重畳を表す方程式では、退色は、さらなる未知数として考慮することができる。この連立方程式を解くには、より小さい、したがってより多くの位相ステップが必要である。
個別画像を撮像する前に中間画像を、または2つの個別画像の間にそれぞれ1つの中間画像を撮像することが好ましく、その際、試料は、構造化されてまたは一様に照明される。2つの個別画像撮像の間の(1つの格子方向に対し5つの位相画像の場合のたとえば60°の)等距離の位相ステップの場合、すべての中間画像が撮像されると、理想的な場合には構造化のない合計画像が結果として生じるべきであろう。構造化周波数でのそれぞれの残りの構造化は、正しい位相ステップ(これは、退色耐性のあるテスト試料で立証し得る)の場合、退色に由来しており、すべての以降の画像に対し、再構成の前に、個別画像において修正することができる。代替策として、規則的な間隔をあけて、個別画像の撮像中にそれぞれ1つの画像を構造化なしで撮像することもでき、同じ修正方法を適用することができる。
たとえば、格子の位相位置(ポジション)をずらした2つの像の間で、格子なしで像を撮像することができる。優れた近似では、試料が厚過ぎない場合、退色が焦点位置に依存しないので、この方法は、z軸方向の積層撮像の場合にも適用することができ、この場合、典型的には2つの格子移動の間で、軸方向の走査領域全体が移動する。退色修正を検査するために、すべての修正された個別画像を足し合わせることができる。合計画像において一定の強度が存在すれば、修正は成功している。
それぞれの格子位置および焦点位置に対し、個別画像の場合より高い画像繰り返し周波数で中間画像を撮像し、蛍光光の強度の低下から退色をピクセル毎に計算するのが好ましい。これは、本発明による局所的または全体的なパラメータ最適化と直接的に組み合わせて行うことができる。この場合、再構成では、1つの格子位置および焦点位置に帰属するすべての画像について平均化した画像を、(その前のすべての撮像工程を考慮した)退色効果の修正に基づき、相互に差引計算する。退色効果を、その後の撮像(中間画像および/または個別画像)の直後の決定に基づいて修正することもできる。
退色の計算による修正は、対応する振幅を有するフーリエ空間で行うのが好ましい。
本発明に基づいてさらに、少なくとも1つの参照画像に基づいて、個別画像の光学的収差の範囲を計算し、そして最終画像を再構成する前に、計算された範囲に対応して個別画像を計算によって修正することによっても、再構成の精度、したがって達成可能な解像度を改善できることが確認された。ここでも、まさに構造化の結果として生じる画像特性を、修正のために利用し得ることが有利である。
収差の範囲は、構造化パターンの歪み、特に変形および/または空間的な位相ズレに基づいて計算されるのが好ましい。構造化パターンの歪みから、エリアに依存した収差を推論することができ、この収差は、格子構造の判定に基づき、全体画像を修正するために利用することができる。
参照画像の撮像には、控えめな構造化空間周波数、好ましくは個別画像の撮像の場合より低い構造化空間周波数の参照励起光を使用することが有利である。これにより、SPEMの場合の非線形性が低い変調周波数と高い変調周波数で同じであるとの推定の下、高い空間周波数の場合に変調深さが小さいという問題が回避される。
励起光の構造化は、3つの回折次数によって行われることが好ましく、その際、3つのすべての回折次数の干渉の空間周波数より僅かに高い空間周波数がフィルタリングされることによって、参照画像が計算される。構造化を生成するための照明において0次回折および±1次回折を使用する場合、画像内には高い空間周波数での構造化(±1次の干渉)だけでなく、半分の空間周波数での構造化(0次および±1次の干渉)も生じる。したがって、比較的低い構造化周波数より僅かに高いすべての空間周波数のフィルタリングに基づき、収差を修正するための適切な画像が提供される。
SPEM用の蛍光励起は、励起強度と蛍光強度の間に非線形の関係が生じるように行うのが有用である。特に、ドロンパのような光切り替え可能な蛍光色素を、非線形性を達成するために使用することができ、pH値および/または酸素濃度および/または試料固定は、蛍光光の切り替えコントラストに対して最適化することができる。SPEMでは、切り替えコントラストは、達成可能な解像度のための重要な量である。
本発明に基づき、pH値、酸素濃度、および試料固定のやり方はここでもまた、切り替えコントラストに対応していることが確認された。構造化された照明のための再構成アルゴリズムから、非線形性によって生成された比較的高い変調次数の振幅を計算することができる。この振幅は、このパラメータ(pH値、固定)がどれほど最適に選択されたかに関する尺度である。一連の試料調製により、その後このパラメータは最大の切り替えコントラストを顧慮して最適化することができる。
この最適化にもかかわらず、非線形の相互作用のための条件は、試料の様々な位置で異なっている可能性がある。したがって第1の代替形態では、個別画像を撮像するための照明が、本発明に基づき局所的に、特にピクセル毎に変化する。このような空間的な(または様々な個別画像に対しては時間的な)適合により、時間的に連続的に、および空間的にすべての位置で、最適な非線形性を達成することができる。なぜなら非線形性は、環境条件にだけでなく、照明条件にも、つまり特に励起強度および活性化レーザの強度にも依存するからである。
第2の代替形態では、構造化は、その周波数の何倍もの周波数でも顕微鏡の顕微鏡対物レンズの伝送領域内に落ちるほど低い変調周波数によって行われる。その後、試料内での高調波の振幅が計算され、かつパラメータの最適な調整のための基準、特に「照明の波長」、「照明のパルス・シーケンス」、「撮像の波長領域」、「撮像の露光時間」、および「撮像の増幅」といった量の少なくとも1つのための基準内で、この振幅が使用される。このやり方は変調ズームと呼ぶことができる。非線形の試料相互作用により、変調周波数の高調波(調和波)が試料内で生成され、対物レンズによる伝送も可能なので、画像内でのこの高調波の振幅を、最適なSPEM条件のための尺度として使用し得ることが有利である。変調ズームによる高調波振幅の計算は、再構成アルゴリズムによる情報取得より明らかに少ししか中間画像を必要とせず、したがって試料負荷を低減させる。
これに対し再構成アルゴリズムによる高調波振幅の計算は、顕微鏡で、非常に小さな周波数への変調周波数の変更を実行しなくてもよく、固定の変調周波数しか必要ないという利点を有する。その際、照明パラメータの最適化は、画像全体にわたって全体的に行わなくてもよく、局所的に実施してもよい。空間的に最適な活性化(光スイッチ)または励起の場合に関しては、このために、複数の関心のある試料領域(英語:region of interest;ROI)内で、SPEMアルゴリズムによる判定を行わなければならず、この領域内では、これに対応して照明強度を適合させなければならない、または変調ズーム技術のために、複数のROIでの高調波の振幅の判定を実施しなければならない。
本発明に基づいてさらに、SPEMでは、試料内に含まれる、励起した蛍光色素と化学的に反応し得る遊離基を、化学的に、蛍光色素および/または試料の周囲から除去することによって、信号雑音比、したがって達成可能な解像度を上昇させ得ることが確認された。これは、非線形の効果の環境依存性および可変性に対し、不均質な試料内でSPEMができるように影響を及ぼすことを可能にする。SPEMでの高い空間的または時間的なピーク強度は、色素の退色を増大させる。この退色は、主に励起状態(1重項状態および3重項状態)からの化学反応によって引き起こされる。この励起状態でのすべての色素分子が、その周囲との破壊的な化学反応に対して非常に感受性が高いので、特に反応性の周囲分子(遊離基)を化学的な方法で色素分子の周囲から除去することにより、退色を減ずることができ、したがって信号雑音比を改善することができる。
遊離基、たとえば酸素遊離基は、除去のために酵素によって脱離反応させ、それによって試料から遠ざけるのが有利である。ほかの遊離基に関しても、化学の専門文献中に対応する反応が記載されている。試料調製のためのこのような遊離基除去反応の組合せは、ROXSという名称で記載されている[ザウアー(Sauer)ら,Photonics West 2008,Talk 6862−20]。
構造化されたライン照明によって試料を励起する本発明による方法の実施形態が特に好ましい。これは、高い励起出力の使用を可能にする。
その際、ライン照明の強度は、撮影しているカメラのダイナミック・レンジを完全に制御するように適合されるのが有利であり、その際、強度は行毎に記憶される。高いダイナミック・レンジは、高い信号雑音比、したがって高い達成可能な解像度を意味する。
蛍光光は、特にレーザ走査顕微鏡により、共焦点で検出されるのが好ましい。これにより、焦点外の光が効果的に弁別され、したがって信号雑音比が改善される。共焦点検出と構造化されたライン照明を組み合わせることにより、フィードバックに基づき、場合によっては既に画像撮像の際に、邪魔な背景が減らされるかもしれない。
すべての本発明による方法は、共に組み合わせることができる。
以下、例示的実施形態に関して本発明を詳細に説明する。
広視野顕微鏡の模式図である。 さらなる広視野顕微鏡のビーム経路の模式図である。 レーザ走査顕微鏡の模式図である。 フィードバックおよび再調整に基づく基本的な最適化方法の擬似フローチャートである。 例示的最適化方法の擬似フローチャートである。 最適化のために時間・空間的に変調された励起およびフィードバックを伴うさらなる広視野顕微鏡の模式図である。 光ファイバ構造化モジュールと局部的照明変動を伴うさらなる広視野顕微鏡の模式図である。 光ファイバ構造化モジュールと局部的照明変動を伴うさらなる広視野顕微鏡の模式図である。
すべての図面において、一致する部分には同一の符号が付されている。
図1は、本発明に基づいて改良されたSIM法およびSPEM法を使用することができる、広視野蛍光顕微鏡法用の例示的構成のビーム経路を模式図で示す。試料2が、位置決め可能な試料ホルダ3上に、顕微鏡対物レンズ5の前方に取り付けられている。本明細書にその開示内容を全面的に援用する独国特許出願公開第102007047466号明細書に基づく、位相構造を有するマスクが、たとえば試料2の上部または内部に構造化された光分布を生じるために、構造化モジュール7として、顕微鏡対物レンズOLの瞳9近傍またはこれと共役な平面内に配置されている。構造化モジュール7のマスクはアクチュエータ17によって可動であり、ここではマスクを回転させるためのステップモータまたはリニア駆動部であり得る。ここでは、ステップモータは直接、またはギアもしくはその他の機械ユニットを介して間接的に駆動することができる。撮像部19、たとえばLCDが、時間・空間的光モジュレータとして、結像レンズTLBによって生成され試料面に共役な中間画像面ZB内にある。光源LQは素子19を照明するが、この光源LQはたとえばレーザ、LED、高圧水銀灯または従来の白熱灯とすることができる。オプションでコリメーション光学系27を追加的に設けることもできる。光源LQは、単色のものであってもよく、または複数の波長を同時に、または時間的に順次に放出するものでもよい。本発明の好ましい実施形態では、構造化モジュール7の位相マスクが、対物レンズの瞳9内またはその近傍にある。多くの顕微鏡対物レンズにおいては、瞳には直接アクセスできないという構造的な制約がある。しかしながら、この場合は自由にアクセスできる中間画像面にリレー光学系(英語:relay optics)によって中間結像を行うことができ、この中間画像面の近傍に構造化モジュール7の位相マスクを配置することができる。位相マスク7が瞳面からどれだけ離れているかに応じて、個々の回折次数の直径は瞳面に対する間隔とともに拡大される。撮像部19により、光源LQから放出された光は、一方では、時間的に蛍光励起のためのパルス・シーケンスに分割され、他方では、光軸を横切って二次元的にピクセルに分割され得る。さらに、結像レンズTLDの後方には、空間解像性検出野32、たとえばCCDが撮像用カメラとして設けられている。ここで説明した蛍光検出用構成においては、蛍光光から励起光を分離するためのメイン・カラースプリッタ33、ならびに発光フィルタEFが設けられている。
図2は広視野顕微鏡のビーム経路を示し、ここでは、照明構造が、図1の構成の変形形態として、構造化モジュールによって生成され、この構造化モジュールは、剛性の格子Gを含み、この格子Gは、様々な異なる位相位置に変位可能または回転可能である。光源LQは、蛍光励起のためにパルス化されているか、または高速光モジュレータMを装備しており、いずれの場合も、パルス・シーケンスは制御ユニット34によって制御される。図示したビーム挙動は、例示的なものであり、他のビーム経路で置き換えて、当業者には公知のような広視野照明・検出、または走査顕微鏡もしくはニプコー円板を使用する場合のような平行共焦点照明・検出を伴う顕微鏡の共焦点ビーム経路を表すようにしてもよい。
図3は、レーザ走査顕微鏡(LSM)を使用した走査蛍光顕微鏡法用の例示的構成を図示し、この構成でも同様に、本発明に基づいて改良されたSIM方法およびSPEM方法が使用可能である。このLSMは、制御ユニット34によって制御される。このLSMは、光源LQとしてレーザを備えた照明モジュールLと、走査モジュールS(英語:scanning module)と、検出モジュールDと、顕微鏡対物レンズOLを備えた顕微鏡ユニットMlとからモジュール式に構成されている。レーザ光源LQの光は、光ファイバと結合光学系20を介して走査ユニットS内に供給されシリンダ光学系35および構造化モジュール7の後方で合体される前に、パルス化された照明を得る目的で、光弁24および減衰部25を介して制御ユニット34の制御を受けることができる。たとえば、構造化モジュール7は、回折格子または位相マスクとして、複数の位相段階(位相ステップ)で撮像するために変位可能または回転可能に構成されている。シリンダ光学系は、線形照明のためのビーム形成に使用される。メイン・ビームスプリッタ33と、2枚のガルバノメータ・ミラー(図示せず)を備えたX軸・Y軸走査ユニット30とを介して、照明光は顕微鏡対物レンズOLを通って試料22に達し、そこで光は線形のフォーカス・ボリューム(図示せず)を照明する。試料から放出された蛍光光は、顕微鏡対物レンズ21を通って走査ユニット30を介し、メイン・ビームスプリッタ30を通って検出モジュールDに達する。蛍光検出のために、たとえば、メイン・ビームスプリッタ30を二色性カラースプリッタとして形成することができる。検出モジュールDは、スリット遮光板31、フィルタ28、複数の検出素子を備えたライン状(リニア)検出領域32(英語:detector array)を各々備えた複数の検出チャネルを備えている。検出チャネルはスプリッタ29によって分離されている。共焦点スリット遮蔽板31は、フォーカス・ボリュームに由来しない試料光を弁別するために使用される。したがって、検出領域32は、フォーカス・ボリュームからの光のみを検出する。検出素子32をカメラとして使用して画像をピクセルごとに撮影するために、走査ユニット30のガルバノメータ・ミラーを適切に回転させることにより、共焦点で照明、撮像される、試料22のフォーカス・ボリュームを、走査ユニット30によって試料22上を移動させることができる。ガルバノメータ・ミラーの動きも、光弁24または減衰部25による照明の切り替えも、制御ユニット34によって直接制御される。検出領域32のデータ受信も同様に周辺部インターフェース4を介して行われる。
蛍光収量および信号雑音比を向上させ、退色を回避するには、数ナノ秒の範囲の短パルス励起を使用することが有効であり、その際、励起光パルス間には数マイクロ秒のポーズがある。これによって、最低三重項状態からより高い三重項状態への励起の低減を達成できる。その際、画像撮影用カメラは、通例の露光時間で、つまり多くのパルス・シーケンス・サイクルにわたって統合する。低いパルス繰り返し周波数および短いパルス時間によって低減した平均励起光強度は、蛍光収量の上昇によって少なくとも部分的に補償される。光源としては、場合によってはパルス繰り返し周波数を減少させるための高速光変調器(英語:pulse picker)を、たとえば音響光学変調器(AOM)を備える、パルス・レーザ(モードロック・レーザまたはQスイッチ・レーザ)、または駆動電流によって直接に変調される高速のレーザ・ダイオードもしくは発光ダイオード(LED)が問題となる。
SIM法またはSPEM法を使用した高解像度蛍光顕微鏡法において、蛍光収量の増大および退色の抑制は、色素と試料に大きく依存しているので、フィードバック制御された、蛍光収量の最適化は、一定の平均出力において(これにより信号上昇は退色の低減によってのみ生じる)パルス・シーケンス(パルス時間および/またはパルス繰り返し率)を変動させることによって実施される。図4は、光源LQ、構造化ユニット7およびフィルタを再調整するための、検出された蛍光信号からのフィードバックを図示している。図5は、たとえば蛍光色素に関する情報などのアプリオリな情報を考慮に入れた上で、2つの検出器、外部測定ユニットおよび励起光源によって顕微鏡測定するための例示的最適化を擬似フローチャートで示す。
試料に依存する画質の最適化は、他の照明または画像撮像パラメータに基づいても可能である。1つの方策は、所定の信号雑音比に達するまで蛍光信号を評価することによって、励起を最適化することである。ここで特に有利なのは、図6に概略的に図示するように、高い画像再生速度で読み込まれるカメラ画像を評価しながら、撮像部(有利には同時に構造化にも使用できる、DMD、LCD変調器、LCoS変調器)を用いて、パルス・シーケンスの形態で励起時間または励起強度を局部的に変動させることである。その際、構造化の位置および向きについて、このように撮像されたすべての個別画像を平均化する。しかしながら、やはり可能かつ技術的に特に簡単なのは、上述のように評価しながら、または、ビームスプリッタによって脱結合された蛍光光の小部分を検出する、カメラで校正されたポイント検出器の平均信号を評価することによって、レーザを直接変調させることにより、構造化モジュールの各位置における画像全体に関し、励起時間または励起強度を包括的に変動させることである。どちらの場合も、最終画像を再構成する前に、励起時間または励起強度の既知の局部的または全体的な変動に基づいて、構造化された画像を差引計算することにより、強度修正を行う。
このとき、同時にダイナミック・レンジの拡大が生じ、視覚化メディアのダイナミック・レンジを考慮しながら、これらの情報を、画像データを最適に表現するために利用する可能性も生じる。この最適化の際、焦点から外れた(状況によっては検出された蛍光信号よりも優勢であるかもしれない)光を弁別するためには、共焦点検出を伴う構造化されたライン照明が好ましい。
制御ユニット34によって実施される制御ソフトウェアにより、露光時間および/または励起パルス・シーケンスは、ユーザの選択に基づき、各々の個別画像においてカメラのダイナミック・レンジが完全にレベル調整されるように変更される。この際、カメラ強度、パルス・シーケンス、および露光時間の間の重み付けは、色素の退色率に関するアプリオリな情報に従って行い、または、たとえば、ユーザが画像撮像には重要でないと標識した、試料内の箇所(たとえば隣接する細胞)における退色率を測定することによって行う。追加的に、実際の撮像時間では、撮像のダイナミック・レンジを、カメラのダイナミック・レンジを超えてさらに拡大することが可能であり、これは、複数の露光パラメータ(積分時間、パルス・シーケンスおよびカメラ倍率)をもつ、構造化された照明画像スタックのすべての個別画像を撮像し、これらの画像を差引計算して、拡大されたダイナミック・レンジをもつ1つの画像スタックにすることによって可能となる。特に、ダイナミック・レンジは、画像中で全体的にパルス・シーケンスを適合させることによって拡大できるだけではなく、局部的にのみ最適に拡大することも可能である。この好ましい形態は、構造化されたライン照明において、ライン強度を適合させることであり、これによってカメラが各行でレベル調整され、使用されたライン強度が行毎に記録される。
照明・撮像パラメータの局部的最適化、ならびにダイナミック・レンジ拡大のためのさらなる構成が図7に図示されている。この構成は、中間画像ZB内にSLM、たとえばDMDを含み、これは、撮像の最大ダイナミック・レンジに達するために、構造化された照明を局部的に再調整する。この場合、構造化は、構造化モジュールSM_Pによって瞳面において生じ、このモジュールは、所望の、構造化された照明のフーリエ変換を試料2内において提供する。光ファイバを備えた構造化モジュールSM_Pの実施形態は、部分図7Bに示され、独国特許出願公開第102007047466号明細書に記載されている。ダイナミック・レンジ拡大にとって重要な情報は、使用された局部的レーザ強度および検出された蛍光に含まれる。ここで、これら両方の情報から、拡大されたダイナミック・レンジをもつ、構造化された照明アルゴリズムのための画像スタックが計算され、したがって差引計算によるアーチファクトを低減することができるが、これは、アーチファクトの振幅が、本質的に、個別画像のSNRに依存するからである。
SPEMにおいては、非線形性は、周囲条件のみならず、照明条件、すなわち、特に励起強度およびアクティブなレーザの強度にも依存するので、常に、かつどんな位置であれ最適な非線形性が達成されるように、これらも空間的に(ないし、様々な個別画像について時間的に)適合させるのが有利である。そのための可能な構成では、この局部的適合を達成するために中間画像面においてSLMを使用する。
また、照明構造の変調周波数(つまり空間周波数)も、本発明に従って最適化できる。たとえば、変調周波数を可能な限り大きく選択することが可能であり、これによって、基底に対する変調振幅のなお十分な比が達成される。これらの評価は、空間−または空間周波数領域で行うことが可能である。特に、変調周波数は、屈折率ミスマッチの試料において、深度の増大にともなう変調コントランストの低減に対して変調周波数を低下させることで対処するために、試料への侵入深さの関数として変更できる。
代替として、照明構造の変調周波数を、少なくともこの周波数を何倍かした周波数でもなお対物レンズに透過されるように小さく選択することも可能である。パルス・シーケンス、露光時間およびカメラ強度のような照明・撮像パラメータは、変調周波数の何倍もの振幅が試料の最小限の退色において最大になるまで変更される。これらの照明・撮像パラメータ、および顕微鏡対物レンズの境界周波数をわずかに下回る構造変調周波数のもとで、SPEM用の完全な画像スタックが撮像され、それから高解像度の最終画像が再構築される。
個別画像から得ることができる変調振幅とともに、アーチファクト振幅もまたフィードバック・パラメータとして変調周波数の選択に利用することができる。ここでは、アーチファクト振幅は、完全なSIM画像スタックと差引計算アルゴリズムに基づいて計算され、変調周波数を小さくすることによって、典型的な閾値を下回るまで最小化される。その際、アーチファクト振幅は、様々な次数の不十分な分離と、不十分な調整コントラストによる周波数スペクトルの落ち込みとによる、残余変調振幅から計算される。アーチファクト振幅は、再構成された最終画像中におけるアーチファクトの定量的尺度である。
2 試料
3 試料ホルダ
5 顕微鏡対物レンズ
7 構造化モジュール
9 瞳
17 アクチュエータ
19 撮像部
20 コリメーション光学系
21 顕微鏡対物レンズ
22 試料
23 レーザ
24 光弁
25 減衰部
26 ファイバ・カップラ
27 結像レンズ
28 フィルタ
29 二色性ビームスプリッタ
30 走査ミラー
31 アパチャ
32 検出野
33 メイン・ビームスプリッタ
34 制御ユニット
D 検出モジュール
MI 顕微鏡
L 照明モジュール
S 走査モジュール
LQ 光源
OL 顕微鏡対物レンズ
G 回析格子
M モジュレータ
TLB 照明側結像レンズ
TLD 検出側結像レンズ
ZB 中間画像面
EF 発光フィルタ
DMD デジタル顕微鏡野
SLM 空間光モジュレータ
SM_P 瞳面のファイバベース構造化モジュール

Claims (24)

  1. 顕微鏡を使用して、蛍光色素で標識された試料を高解像度で結像するための方法であって、
    該試料が複数の位相において、構造化及びパルス化された励起光によって順次照明され、該試料から放出された蛍光光が、位相毎に、各々構造化された個別画像において受光されることにより、複数の該個別画像から最終画像が高解像度で再構成される方法において、
    少なくとも1つの照明パラメータおよび少なくとも1つの撮像パラメータのうちの少なくとも一方について、最適調整が決定され、前記照明のパルス・シーケンスが、前記個別画像よりも高いフレームレートの前記蛍光光の中間画像の撮像に関して、ピクセルごとに変化させられ、パルス・シーケンスの形態で撮像の露光時間または撮像の強さが変動され、前記最終画像は、撮像の露光時間または撮像の強さの変動に基づいて前記パルス・シーケンスの変化に応じて前記個別画像の強度修正が行われた後に、再構成されることを特徴とする方法。
  2. 前記パラメータの前記最適調整が、前記個別画像に基づく、追加的な中間画像に基づく、または蛍光光の小部分を脱結合するポイント検出器の信号に基づくフィードバックによって、かつ該パラメータの変動によって決定される、請求項1に記載の方法。
  3. 前記パラメータの変動が、前記励起光の、本質的に一定な平均強度において行われる、請求項2に記載の方法。
  4. 前記パラメータの前記最適調整を決定するために、照明および撮像のシミュレーションが実行される、請求項1に記載の方法。
  5. 前記調整時に、中間画像、個別画像、または最終画像内で、最大の信号雑音比または少なくとも1つの所定の信号雑音比が生じる場合に、調整が最適であると決定される、請求項1乃至4のいずれか1項に記載の方法。
  6. 前記最適調整を決定する際に、さらなる最適化標的の所定の重み付けが、信号雑音比のための重み付けと並んで考慮される、請求項5に記載の方法。
  7. 同一の撮像部を用いて前記励起光が構造化される、請求項1に記載の方法。
  8. 前記撮像中に計測中止基準がテストされ、該計測中止基準が満たされた場合に、該撮像が終了または簡略化される、請求項1乃至7のいずれか1項に記載の方法。
  9. 計測中止基準として、変調コントラストが所定のコントラスト閾値より小であるかどうか、または試料の移動距離が所定の移動閾値より大であるかどうかがテストされる、請求項8に記載の方法。
  10. パラメータの最適調整を決定するために、前記顕微鏡の対物レンズの液浸液に対する屈折率ミスマッチのない、100nmより薄い均質なマルチカラー色素フィルムの形態か、または200〜500nmの大きさのマルチカラー・ビーズを含むテスト試料の形態のテスト・プレパラートが使用される、請求項1乃至9のいずれか1項に記載の方法。
  11. 前記最適調整は、照明の波長、照明のパルス・シーケンス、撮像の波長領域、撮像の露光時間、および撮像の強さのうち少なくとも1つの値について決定される、請求項1乃至10のいずれか1項に記載の方法。
  12. 蛍光励起が、励起強度と蛍光強度が非線形の関係となるように実行されることを特徴とする請求項1乃至11のいずれか1項に記載の方法。
  13. 光切り替え可能な蛍光色素が使用され、pH値および試料の固定のうちの少なくとも一方が、前記蛍光光の切り替えコントラストについて最適化される、請求項12に記載の方法。
  14. 前記個別画像の撮像用の前記照明が、局部的に変動する、請求項13に記載の方法。
  15. 前記個別画像の撮像用の前記照明が、ピクセルごとに変動する、請求項14に記載の方法。
  16. 前記構造化が、その変調周波数を何倍かした周波数でもなお前記顕微鏡の顕微鏡対物レンズの透過領域内に含まれるような低い変調周波数によって実行され、前記試料内における高調波の振幅が、決定され、パラメータの最適調整用の基準として使用される、請求項13に記載の方法。
  17. 前記試料内における高調波の振幅が、照明の波長、照明のパルス・シーケンス、撮像の波長領域、撮像の露光時間、および撮像の強さのうち少なくとも1つの値の最適調整用の基準として使用される、請求項16に記載の方法。
  18. 前記試料が、構造化されたライン照明によって励起される、請求項1乃至17のいずれか1項に記載の方法。
  19. 前記ライン照明の強度が、撮影するカメラのダイナミック・レンジが十分にレベル調整されるように適合され、該強度が行ごとに記憶される、請求項18に記載の方法。
  20. 前記蛍光光が共焦点で検出される、請求項1乃至19のいずれか1項に記載の方法。
  21. 請求項1乃至20のいずれか1項に記載の方法を実施するために設けられたコンピュータ・プログラム。
  22. 請求項1乃至20のいずれか1項に記載の方法を実施するために設けられた制御ユニット。
  23. 請求項22に記載の制御ユニットを備えた顕微鏡。
  24. 前記顕微鏡は、レーザ走査顕微鏡である、請求項23に記載の顕微鏡。
JP2011528231A 2008-09-30 2009-09-22 構造化照明を備えた顕微鏡法のための改良された方法および装置 Expired - Fee Related JP5738765B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102008049878A DE102008049878A1 (de) 2008-09-30 2008-09-30 Verbesserte Verfahren und Vorrichtungen für die Mikroskopie mit strukturierter Beleuchtung
DE102008049878.5 2008-09-30
PCT/EP2009/006818 WO2010037487A1 (de) 2008-09-30 2009-09-22 Verbesserte verfahren und vorrichtungen für die mikroskopie mit strukturierter beleuchtung

Publications (3)

Publication Number Publication Date
JP2012504252A JP2012504252A (ja) 2012-02-16
JP2012504252A5 JP2012504252A5 (ja) 2012-11-08
JP5738765B2 true JP5738765B2 (ja) 2015-06-24

Family

ID=41278530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011528231A Expired - Fee Related JP5738765B2 (ja) 2008-09-30 2009-09-22 構造化照明を備えた顕微鏡法のための改良された方法および装置

Country Status (5)

Country Link
US (1) US9348127B2 (ja)
EP (1) EP2347294B1 (ja)
JP (1) JP5738765B2 (ja)
DE (1) DE102008049878A1 (ja)
WO (1) WO2010037487A1 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010028138A1 (de) * 2010-04-22 2011-10-27 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Bestimmen der Verteilung einer Substanz durch Abtasten mit einer Messfront
DE102010016598A1 (de) * 2010-04-23 2011-10-27 Leica Microsystems Cms Gmbh Verfahren zum Untersuchen einer fluoreszierende Farbstoffe enthaltenden Probe mit Hilfe eines Mikroskops
EP2569615A4 (en) * 2010-05-12 2014-01-15 Li Cor Inc IMAGING WITH A WIDE DYNAMIC RANGE
DE102010017630B4 (de) 2010-06-29 2016-06-02 Leica Microsystems Cms Gmbh Verfahren und Einrichtung zur lichtmikroskopischen Abbildung einer Probenstruktur
JP5412394B2 (ja) 2010-09-30 2014-02-12 オリンパス株式会社 標本観察装置
WO2012153495A1 (ja) * 2011-05-06 2012-11-15 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法
JP5743209B2 (ja) * 2011-06-29 2015-07-01 横河電機株式会社 顕微鏡装置
JP5714997B2 (ja) * 2011-07-14 2015-05-07 オリンパス株式会社 蛍光顕微鏡装置
JP5641142B2 (ja) * 2011-07-15 2014-12-17 株式会社ニコン 構造化照明装置、構造化照明顕微鏡、構造化照明方法
JP6000554B2 (ja) 2012-01-24 2016-09-28 オリンパス株式会社 顕微鏡システム
DE102012206319A1 (de) * 2012-04-17 2013-10-17 Carl Zeiss Microscopy Gmbh Mikroskop und Mikroskopierverfahren
US9360660B2 (en) 2012-05-24 2016-06-07 Northwestern University Methods and apparatus for laser scanning structured illumination microscopy and tomography
DE102012211943A1 (de) * 2012-07-09 2014-06-12 Carl Zeiss Microscopy Gmbh Mikroskop
JP5888416B2 (ja) * 2012-07-19 2016-03-22 株式会社ニコン 構造化照明顕微鏡装置
WO2014057998A1 (ja) * 2012-10-12 2014-04-17 株式会社ニコン 照明装置及び顕微鏡、並びに照明方法及び観察方法
JP6128822B2 (ja) * 2012-12-05 2017-05-17 オリンパス株式会社 光学装置
DE102013100172A1 (de) 2013-01-09 2014-07-10 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochaufgelösten Abbilden einer einen Luminophor aufweisenden Struktur einer Probe
ES2935506T3 (es) * 2013-05-15 2023-03-07 The Administrators Of The Tulane Educational Fund Microscopia de una muestra de tejido mediante iluminación estructurada
US9350921B2 (en) * 2013-06-06 2016-05-24 Mitutoyo Corporation Structured illumination projection with enhanced exposure control
JP6264377B2 (ja) * 2013-07-17 2018-01-24 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
DE102013216409A1 (de) * 2013-08-19 2015-02-19 Carl Zeiss Microscopy Gmbh Mikroskop
WO2015052936A1 (ja) * 2013-10-09 2015-04-16 株式会社ニコン 構造化照明顕微鏡装置
US10595712B2 (en) * 2013-10-21 2020-03-24 University of Pittsburgh—of the Commonwealth System of Higher Education Adaptive optical laser beam steering through endoscope for laser surgery in kidney
CN104515759B (zh) * 2014-12-16 2017-05-31 中国科学院苏州生物医学工程技术研究所 非线性结构光照明显微成像方法及***
CN104570315B (zh) * 2014-12-30 2017-06-27 中国科学院西安光学精密机械研究所 一种基于结构照明的彩色三维层析显微成像***及方法
CN107683430B (zh) 2015-06-02 2021-01-01 生命技术公司 用于生成结构化照明图像的***和方法
WO2016199179A1 (ja) * 2015-06-08 2016-12-15 株式会社ニコン 構造化照明顕微鏡システム、方法及びプログラム
US9905200B2 (en) * 2015-10-19 2018-02-27 Yahoo Holdings, Inc. Computerized system and method for automatically creating and applying a filter to alter the display of rendered media
JP6797574B2 (ja) * 2016-06-16 2020-12-09 オリンパス株式会社 走査型顕微鏡
IT201600097811A1 (it) * 2016-09-29 2018-03-29 Fondazione St Italiano Tecnologia Metodo di analisi di informazioni spaziali e temporali di campioni mediante microscopia ottica
CN110178014B (zh) * 2016-11-14 2023-05-02 美国西门子医学诊断股份有限公司 用于使用图案照明表征样本的方法和设备
DE102017109645A1 (de) * 2017-05-05 2018-11-08 Carl Zeiss Microscopy Gmbh Lichtmikroskop und Verfahren zum Bereitstellen von strukturiertem Beleuchtungslicht
WO2019006433A1 (en) 2017-06-30 2019-01-03 Preza Chrysanthe MULTILAYER LIGHT SHEET STRUCTURED LIGHT EMITTING FLUORESCENCE MICROSCOPY SYSTEM
JP2019066706A (ja) * 2017-10-02 2019-04-25 ソニー株式会社 蛍光顕微鏡装置及び蛍光顕微鏡システム
NL2020622B1 (en) 2018-01-24 2019-07-30 Lllumina Cambridge Ltd Reduced dimensionality structured illumination microscopy with patterned arrays of nanowells
DE102018108657B4 (de) * 2018-04-12 2024-03-28 Jenoptik Optical Systems Gmbh Vorrichtung zur Aufnahme wenigstens eines mikroskopischen Bildes und Verfahren zur Aufnahme eines mikroskopischen Bildes
CN108490597A (zh) * 2018-06-05 2018-09-04 张红明 一种基于光纤耦合器的共聚焦显微***
TWI718557B (zh) * 2018-06-29 2021-02-11 美商伊路米納有限公司 用於預測結構照明參數之方法、系統和非暫時性電腦可讀取媒體
JP7380569B2 (ja) 2018-08-09 2023-11-15 ソニーグループ株式会社 光学顕微鏡装置及び光学顕微鏡システム
WO2020106972A1 (en) * 2018-11-21 2020-05-28 The Board Of Trustees Of The Leland Stanford Junior University Wide-field nanosecond imaging methods using wide-field optical modulators
DE102019102959B3 (de) * 2019-02-06 2020-06-10 Leica Microsystems Cms Gmbh Verfahren zur Bilderzeugung mittels eines Mikroskops und entsprechendes Mikroskop
US11604341B2 (en) 2019-04-02 2023-03-14 Thermo Electron Scientific Instruments Llc Enhanced sample imaging using structured illumination microscopy
TW202138866A (zh) * 2019-12-06 2021-10-16 美商伊路米納有限公司 從影像中估計值的裝置和方法
US11346763B2 (en) * 2019-12-18 2022-05-31 Jiangnan University Apparatus and method for microbial cell counting
US11640657B2 (en) * 2020-02-03 2023-05-02 Arizona Board Of Regents On Behalf Of The University Of Arizona System and method for measuring distorted illumination patterns and correcting image artifacts in structured illumination imaging
EP4106618A4 (en) * 2020-02-19 2024-04-24 Thermo Electron Scient Instruments Llc PHASE MASK FOR STRUCTURED LIGHTING
CN115917393A (zh) * 2020-06-08 2023-04-04 徕卡仪器(新加坡)有限公司 显微镜***及用于显微镜***的相应的***、方法和计算机程序
CN113049550B (zh) * 2021-02-04 2022-05-27 浙江大学 一种基于图像重构算法的纵向层析成像方法和装置
CN113433681B (zh) * 2021-06-25 2023-03-24 清华大学 结构光照明显微成像***、方法
CN113568294B (zh) * 2021-07-16 2022-07-12 西安交通大学 一种全息光镊融合结构光照明显微***和方法
CN113625439B (zh) * 2021-08-16 2023-06-06 深圳大学 平场照明的数字扫描结构光超分辨显微成像***及方法
KR20240066762A (ko) * 2022-11-08 2024-05-16 울산과학기술원 연속파동 레이저를 이용하는 비선형 현미경 기반의 3차원 이미징 시스템 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671085A (en) 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
DE19853407C2 (de) 1998-11-19 2003-09-11 Leica Microsystems Verfahren zur Einstellung der Systemparameter eines konfokalen Laserscanmikroskops
DE19908883A1 (de) 1999-03-02 2000-09-07 Rainer Heintzmann Verfahren zur Erhöhung der Auflösung optischer Abbildung
DE10155002A1 (de) * 2001-11-08 2003-05-22 Zeiss Carl Jena Gmbh Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
US7274446B2 (en) * 2001-04-07 2007-09-25 Carl Zeiss Jena Gmbh Method and arrangement for the deep resolved optical recording of a sample
EP1248132B1 (de) 2001-04-07 2010-12-29 Carl Zeiss MicroImaging GmbH Verfahren und Anordnung zur tiefenaufgelösten optischen Erfassung einer Probe
JP3818265B2 (ja) * 2002-03-04 2006-09-06 株式会社豊田中央研究所 微小物体の光固定化方法、微小物体固定化担体及び微小物体の観察方法
DE10259443B4 (de) * 2002-12-19 2015-01-22 Carl Zeiss Microscopy Gmbh Verfahren und Anordnung zur optischen Untersuchung und/oder Bearbeitung einer Probe
DE102004034962A1 (de) 2004-07-16 2006-02-16 Carl Zeiss Jena Gmbh Mikroskop mit erhöhter Auflösung
DE102006011176B4 (de) 2006-03-10 2008-01-24 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Vorrichtung zum räumlich hoch aufgelösten Abbilden einer mit einem Fluoreszenzfarbstoff markierten Struktur
JP4997588B2 (ja) * 2006-10-13 2012-08-08 独立行政法人産業技術総合研究所 光軸自動調整機能搭載2光子レーザ顕微鏡
DE102007047468A1 (de) 2007-09-28 2009-04-02 Carl Zeiss Microimaging Gmbh Verfahren und Anordnung zur optischen Erfassung einer beleuchteten Probe
DE102007047466A1 (de) 2007-09-28 2009-04-02 Carl Zeiss Microimaging Gmbh Verfahren und Anordnung zur optischen Erfassung einer beleuchteten Probe

Also Published As

Publication number Publication date
EP2347294B1 (de) 2016-07-06
US9348127B2 (en) 2016-05-24
WO2010037487A1 (de) 2010-04-08
JP2012504252A (ja) 2012-02-16
DE102008049878A1 (de) 2010-04-01
US20110182529A1 (en) 2011-07-28
EP2347294A1 (de) 2011-07-27

Similar Documents

Publication Publication Date Title
JP5738765B2 (ja) 構造化照明を備えた顕微鏡法のための改良された方法および装置
US8705172B2 (en) Microscopy method and microscope with enhanced resolution
US9535247B2 (en) Interferometric focusing of guide-stars for direct wavefront sensing
JP5485352B2 (ja) 解像度を高めたルミネセンス顕微鏡検査
JP3731073B2 (ja) 顕微鏡装置
US8704196B2 (en) Combination microscopy
US20210356757A1 (en) Method and device for high-resolution fluorescence microscopy
US7903247B2 (en) Method and microscope for high spatial resolution examination of samples
US7679741B2 (en) Method and microscope for high spatial resolution examination of samples
JP2012510066A (ja) 分解能増進顕微鏡法
CN110954523B (zh) 一种双光子扫描结构光显微成像方法及装置
JP2007233370A (ja) 試料を高い空間分解能で検査するための方法および顕微鏡
CN111971606A (zh) 具有高空间分辨率的时间分辨成像方法
CN115248498A (zh) 基于led光源的结构光超分辨自适应显微镜装置及成像方法
US20210003834A1 (en) Method and apparatus for optical confocal imaging, using a programmable array microscope
EP3583459A1 (en) Structured illumination scanning microscopy
US11885947B2 (en) Lattice light sheet microscope and method for tiling lattice light sheet in lattice light sheet microscope
US20230296515A1 (en) Method for single molecule localization microscopy
Neu et al. Time-resolved confocal microscopy using a digital micromirror device
Chen et al. Advanced Wide‐Field Fluorescent Microscopy for Biomedicine
US20200049968A1 (en) Flexible light sheet generation by field synthesis
Vitali Selective volume illumination microscopy for compressed sensing of time lapse series
Zhou et al. Confocal structured illumination microscopy
Li et al. Toward multi-focal spot remote focusing two-photon microscopy for high speed imaging
JP2019086562A (ja) 観察装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120921

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130820

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140902

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150422

R150 Certificate of patent or registration of utility model

Ref document number: 5738765

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees