JP6482773B2 - 3d高解像度局在顕微鏡法のための方法 - Google Patents

3d高解像度局在顕微鏡法のための方法 Download PDF

Info

Publication number
JP6482773B2
JP6482773B2 JP2014091187A JP2014091187A JP6482773B2 JP 6482773 B2 JP6482773 B2 JP 6482773B2 JP 2014091187 A JP2014091187 A JP 2014091187A JP 2014091187 A JP2014091187 A JP 2014091187A JP 6482773 B2 JP6482773 B2 JP 6482773B2
Authority
JP
Japan
Prior art keywords
image
sample
imaging
fluorescent marker
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014091187A
Other languages
English (en)
Other versions
JP2014224813A (ja
Inventor
リッター イェルク
リッター イェルク
ジーベンモルゲン イェルク
ジーベンモルゲン イェルク
カルクブレナー トーマス
カルクブレナー トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2014224813A publication Critical patent/JP2014224813A/ja
Application granted granted Critical
Publication of JP6482773B2 publication Critical patent/JP6482773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Description

本発明は、3D高解像度局在顕微鏡法のための方法に関する。この方法では、撮像側の境界面を有する試料を提供し、励起工程において、試料を励起放射線で照射することによって試料内に蛍光マーカーを励起して発光させ、撮像工程において、撮像光学系を用いて試料を撮像方向に沿って単一画像内に撮像する。単一画像は、発光する蛍光マーカーの像を含み、撮像光学系は、焦点面および光学的解像度を有し、励起工程および撮像工程を複数回繰り返すことによって、複数の画像を生成し、励起工程を、発光する蛍光体マーカーの少なくとも一部について、蛍光体マーカーの像が複数の画像のそれぞれにおいて隔離されるように行い、生成された複数の単一画像において、発光する蛍光マーカーの隔離された像から、それぞれの対応する蛍光マーカーの、光学的解像度を超える精度を有する位置情報を確定し、確定した位置情報から高解像度の全体画像を生成する。
従来技術では、顕微鏡法における回折限界を克服するための様々な方法が考案されている。特許文献1または特許文献2より、PALM(光活性化局在顕微鏡:Photo activated localisation microscopy)と略される方法が知られており、この方法では、試料を撮像するために、光学的放射によって活性化可能なマーキング物質が使用される。活性化された状態でのみ、マーキング物質は特定の蛍光放射線を放出することができる。マーキング物質の活性化されていない分子は、励起放射線を照射した後でも、規定された特性を有する蛍光放射線を全く発しないか、または少なくとも顕著には発しない。そのため、活性化放射線は、一般に切替信号(Umschaltsignal)と呼ばれている。PALM法では、活性化されたマーキング分子の少なくともいくつかが、隣接する活性化されたマーキング分子から、このマーキング分子の少なくともいくつかが顕微鏡の光学的解像度を尺度として分離されているように、または隔てられて後ほど画像処理法によって分離可能であるように、切替信号が照射される。これを、蛍光マーカーを隔離すると言い、この工程は隔離工程とも呼ばれている。その際、蛍光マーカーの全体集合のうちの部分集合が隔離されていれば十分である。試料は、次のように撮像される。少なくともいくつかの蛍光マーカーが隔離されて発光している、試料の単一画像を得る。次に、各蛍光マーカーについて、記録された放射線分布の中心を確定するが、この放射線分布は、解像度に制限されており、もちろん点状であるとは限らない。このように、光学的解像度が本来可能とする精度よりも高い精度で、蛍光マーカーの位置が数学的に局在化される。この工程は、局在化工程と呼ばれる。
隔離工程および局在化工程は繰り返し行われ、その結果、複数の画像が得られる。理想的には、各蛍光マーカーが、少なくとも1つの画像内で一度は隔離されている。単一画像から確定される位置情報によって、それぞれ光学的解像度を超えた精度を有する個々の蛍光マーカーの位置情報を含んだ全体画像を生成することができる。光学的解像度を上回る精度を有するこのような画像は、高分解度であると形容される。
蛍光マーカーを隔離するために、PALM原理では統計効果が利用される。所与の強度を有する切替信号によって、蛍光放射線を放出するように活性化可能な蛍光マーカーの場合には、切替信号の強度を調節することによって、試料の所与の面領域に存在する蛍光マーカーが活性化されるという見込みが十分に低いので、光学的解像度内で少なくともいくつかの隔離された蛍光マーカーを励起して蛍光放射線を放出させることができる、十分な部分領域が撮像される試料内に存在することが確実になる。このように活性化された試料を励起すると、蛍光マーカーが隔離されて発光する。
PALM原理は、活性化、すなわち、切替信号の照射に関してさらに発展した。したがって、例えば、蛍光を発しない長寿命の状態と、蛍光を発する短寿命の状態とを有する分子の場合には、励起放射線からスペクトル的に逸脱した活性化放射線による個別の活性化が全く必要にならない。むしろ、試料がまずは高強度の励起放射線で、分子の大部分が蛍光を発することが不可能な長寿命の状態(例えば、三重項状態)になるように照射される。残され、まだ蛍光を発している分子が、次に少なくとも部分的に隔離される。
一方で、PALM原理は技術文献において、例えばSTORM(Stochastic optical reconstruction microscopy)等の、他の略称を授けられている。本明細書では、蛍光マーカーをまずは隔離してから局在化することによって高解像度を達成する、全ての顕微鏡技術を同定するために、略称PALMを使用する。PALM法には、励起のために高い位置解像度が必要にならないという利点がある。容易な広範囲照射が可能である。
PALM原理は、二次元において、あるいは横方向に、すなわち、撮像方向に交差する方向に、高解像度を達成する。というのは、局在化は、投影において撮像方向に直交して位置する平面上に隔離された蛍光マーカーに対してのみ行うことができるからである。撮像方向に沿って、つまり深度方向に、相前後して位置する蛍光マーカーは、PALM原理そのものでは区別することができない。そのため、初期に実験的に実施されたPALM法では、使用される撮像光学系の被写界深度よりも著しく小さい、明確に定義された深度範囲からのみ蛍光マーカーが励起されることを確実にするために、TIRF(Total internal reflection fluorescence)照射が使用されていた。蛍光マーカーを異なる深度位置に割り当てる、という意味での深さ分解は行われなかった。
しかし、その間にも、従来技術ではさらなる方法および手法が生み出された。すなわち、第3の空間方向、つまり撮像に関して深度方向にも蛍光マーカーを隔離および局在化する3D局在顕微鏡法を達成されている。
ある別の手法が、非特許文献1の出版に続いて現れた。この手法では、発光する蛍光マーカーが放出する光子が自らと干渉させられる。このために、発光する蛍光マーカーを同時に観察するための、4π構成で取り付けられた2つの対物レンズが使用される。特殊な3方向ビーム・スプリッタを用いて、そのようにして得られる部分放射線経路からの放射線を干渉させる。得られた画像のそれぞれがカメラを用いて検出され、これらの画像の強度比から深度位置を知ることができる。
非特許文献2、および非特許文献3によれば、試料の画像を独立して検出される2つの分割画像に分割する、1:1ビーム・スプリッタが撮像放射線経路内に設置される。加えて、両方の部分放射線経路が、光学的最小解像度の半分または全体において深度方向に隔てられた2つの対物面を撮像するように、一方の部分放射線経路内のビーム・スプリッタの後方に、光路長の差が設けられている。これらの2つの対物面の間に位置する蛍光マーカーの深度位置は、この蛍光マーカーの2つの分割画像を(例えば、点画像退色(Punktbildverwaschung)の幅に関して)分析することによって得られる。この方法は、2つの高解像度の部分画像と、これらの2つの部分画像のサブ・ピクセル精度の重畳とを必要とする。この手法の、調節の手間を大幅に低減した発展構成が、特許文献3より知られている。
3D局在顕微鏡法において深度情報を得るための原理が、特許文献4に記載されている。この発明は、励起放射線および/または切替放射線のために、例えば非特許文献4に記載されている、いわゆる光シート照射を使用している。試料は前後して、軸方向に互いに対してずらされているが部分的に重なる2枚の光シートを介して照射される。両方の光シート位置において蛍光放射線を放出する分子は、必然的に両方の光シート位置の重複範囲に位置している。そのため、適切なフィルタリングが行われる。このように、深度の選定を、光シートの厚さを超えて著しく高めることができる。重複範囲の厚さは、フィルタリングの基準となる。この手法の欠点は、局在化のために2倍の数の単一画像を撮影しなければならないことである。つまり、各光シート位置について、従来のPALM撮像の際に必要であった数の画像が必要である。また、光シートのずれの正確な調節、および特にずれの再現性が、重複範囲の厚さにとって、したがって深さ分解にとっても重要である。最後に、フィルタリングされた重複範囲の内部では、概して有意義な分解が行われなくなる。
非特許文献5には、画像内に目標とする非点収差の歪みを生じさせる弱い強度の円柱レンズが配置された、PALM原理のための撮像放射線経路が記載されている。これにより、蛍光マーカーが試料の撮像の点像退色関数の対称点を示す焦点面の上方または下方に位置すると同時に、各蛍光マーカーの像がカメラ上で楕円形に歪む。歪みの向きおよび大きさから、発光する蛍光マーカーの深度位置に関する情報を得ることができる。この方法の欠点は、双極性分子の場合にも、その局所的な周囲および向きが、その蛍光マーカーが深度位置と関係が無いにもかかわらず、発光する蛍光マーカーの画像の歪みを引き起こし得ることである。その場合、このような発光する蛍光マーカーには、その空間位置に応じて、誤った深度値が与えられる。
局在顕微鏡法での深さ分解の別の原理が、撮像の点画像退色関数(以下ではPSF(Point spread function)とも略される)を意識的に歪ませる手法に続いて考案された。このような手法が、例えば特許文献5に記載されているが、この発明は、試料の撮像の際に、深度に依存した画像歪みが生じるように変更を加えている。例えば、点画像退色関数を一種のヘリックス構造に変更することによって、発光する点の撮像のために、エアリー・ディスクの代わりに、その相対位置、例えば回転位置が、撮像された発光する点の深度位置によって決まる、隣接する2つのローブが生じる。
PAL顕微鏡法では、蛍光マーカーは多くの場合、非常に限られた回数の活性化サイクルおよび/または励起サイクルしか受けることができないので、蛍光マーカーの不要な照射は不都合となり得る。この意味では、高解像度の撮像に利用されない全ての照射が不要である。
点画像退色関数の歪みは、蛍光マーカーの局在化に関して不都合である。一方では、蛍光マーカーの歪んだ像の中心を隔離するために計算の手間が増加する。他方では、歪んでいない、すなわち理想的なPSFの場合にはまだ分離できたであろう、蛍光マーカーの像がもはや分離できないという恐れがある。この結果、状況によってはより多くの単一画像が必要になり、つまり、本来は不要である蛍光マーカーの照射が行われる。
国際公開第2006/0127692号パンフレット 独国特許出願公開第102006021317号明細書 独国特許出願公開第102009060490号明細書 独国特許出願公開第102010044031号明細書 国際公開第2012/039636号パンフレット
シュテンゲルら(Shtengel et al.),PNAS 106,Seite 3125,2009 トプラクら(Toprak et al.),Nanolet. 7,Seiten 3285−3290,2009 ジュエッテら(Juette et al.),Nature Methods 5,Seite 527,2008 ピー ケラーおよびイー シュテルツァー(P.Keller und E.Stelzer),"Quantitative In Vivo Imaging of Entire Embryos with Digital Scanned Laser Light Sheet Fluorescence Microscopy",Current Opinion in Neurobiology,2009,Vol.19,Seiten 1−9 ビー ホワンら(B.Huang et al.),Science 319、Seite 810,2008
したがって、本発明の基礎を成す課題は、三次元の高解像度を実現することができ、蛍光マーカーの照射を最小限に抑えることができる、PAL顕微鏡法のための方法を提示することである。また、蛍光マーカーの局在化のための計算の手間も最小限に抑えられるべきである。
本発明によれば、この課題が冒頭に挙げた種類の方法によって解決される。この方法は、焦点面が境界面の上方に位置するように撮像光学系を調節し、単一画像において発光する蛍光マーカーの隔離された像をその像のサイズに関して分析し、その像のサイズから、対応する発光する蛍光マーカーが撮像方向に沿って境界面からどれほど下方に位置しているかを示す、深度位置に関する情報を導出することを特徴としている。
本明細書では、蛍光マーカーを、局在顕微鏡法に適した、つまり個々の蛍光マーカーを光学的解像度に関して隔離して発光させるために使用することができる、蛍光発光体として解釈する。その際、蛍光マーカーという概念は、試料の構造が相応する物質でマークされる場合を含み、また、試料には既に適した蛍光特性が自然に備わっている場合をも含むこととする。
本発明は、発光する蛍光マーカーの理想的な、回折限界の撮像の際にも、各像のサイズが撮像の焦点面までの距離よって決まる、という事実を利用する。焦点面では、極力小さい像が得られ、そこが回折限界点となる。焦点面から逸脱すれば、つまり、蛍光マーカーが焦点面の上方または下方に位置していれば、像が大きくなる。これが従来技術における点像退色関数の非対称的な歪みの理由なのであるが、撮像のサイズ自体からは、方向、すなわち、発光する蛍光発光体が焦点面の上または下に位置しているかを、導出することができない。
そのため、本発明は、焦点面を意識的に試料の境界面の上方に配置する。ここには蛍光発光体が存在していない。そのため、全ての蛍光発光体が(撮像方向に対して)試料の境界面の下方に位置していることが明らかである。それにより、発光する蛍光発光体の像のサイズが、焦点面からの距離だけでなく、方向をも示す。したがって、それ自体として所与の対称が破られる。
この容易な手段によって、本発明は、発光する蛍光発光体の深度情報を得ることができ、その際に、撮像の点画像退色関数を変更する必要がなく、または手間のかかる照射(例えば光シート照射)が必須でなくなるであろう。
本発明による手法は、むしろ、蛍光マーカーを隔離して発光させるために、撮像に使用される対物レンズによる通常の広範囲照射を使用することができる。もちろん、任意で光シートを照射に使用することもできる。
方向情報は、試料が存在していない範囲に焦点面が位置していることによって得られる。そのため、カバー・ガラスで覆わない試料については、焦点面を試料の上面の上方に、したがって試料の外側に配置する。カバー・ガラスで覆われる試料を使用する際は、焦点面をこのカバー・ガラス内に位置することができる。キュベット内に置かれた試料を使用する際は、焦点面をキュベットの底に配置することができる。(撮像方向から見て)試料の境界面を超えて位置する範囲に、焦点面が位置していることが重要である。ここでは、これに関連して「上」または「下」という概念が用いられる限り、これによって顕微鏡または試料の特定の方向に限定されると解釈するべきではない。むしろ、これらの概念によって、試料の撮像方向が一貫していると解釈すべきである。したがって、焦点面の上の区間は、焦点面と撮像光学系との間に位置する範囲である。その場合、焦点面の下に位置する区間は、焦点面がこの両方の範囲と撮像光学系との間に位置するように、位置している。
本発明は、軸方向の位置情報のために、隔離されて発光する蛍光マーカーの像のサイズを評価する。最小サイズの像は、境界面に直接位置している。これらの像は、距離確定のための参照値として用いることができる。つまり、特定の発展構成では、像のサイズが、単一画像に現れる最小のサイズを参照することが好ましい。この最小サイズは、境界面の軸方向位置を示す。
像のサイズは、特に計算が少ない実施形態では、面積を確定することによって評価される。面積の計算では、像の境界を決定するために最小強度値を設定することができる。面積は、深度位置、すなわち、試料の上面までの距離と関連付けられる。使用する関連付けは表に残すことができ、または関数を満たしてもよい。表または関数は、深度構造が知られている試料に基づいて、予め実験的に確定されている。この手法と、既に言及した像の最小サイズの考慮とを組み合わせれば、この最小サイズが、表または関数との関係で始点を確定するために役立つ。特に好ましい実施形態では、この関係が、試料の上面に対する相対深度位置を、確定されたサイズと最小サイズとの間の差の関数として示す。
面積の代わりに、像の最大寸法または最小断面を、大きさの基準として用いてもよい。
特に厳密なサイズの評価では、撮像の点画像退色関数が考慮される。この点画像退色関数は、従来技術においても既に記載したように、点発光体の像を決定することによって実験的に作成することができる。これは、実験的にまたはモデリングによって行うことができ、発光する点発光体の放射線がその中で散乱する体積が得られる。次に、この点退色画像において、実際の発光する蛍光マーカーの像に可能な限り近接した断面が求められる。この断面の位置が深度位置を示す。したがって、任意でx、y座標を確定してもよい。
この手法は、点退色画像のそのように得られた断面画像が観察された発光する蛍光マーカーの像に可能な限り一致するように、点退色画像を単一画像の画像平面において移動させることと、同義である。このように、蛍光発光体の深度位置だけでなく、任意でx、y座標をも確定することができる。というのは、点退色画像を予め確定することにより、体積内部のどこに点状の蛍光発光体が位置しているかが知られているからである。そうすれば、この予め知られている点退色画像の中心は、3つの座標で表された、回折限界が本来可能とする解像度よりもはるかに高い解像度を有する、観察される蛍光発光体の位置である。
画像分析のために、従来技術において局在化のために使用されていたものと同じアルゴリズムが使用される。
以下では本発明を、図面を参照しながら、例示的にさらにより詳しく説明する。
解像度が制限された体積内において活性化されたマーカー分子の概略図。 解像度が制限された体積内において活性化されたマーカー分子の概略図。 様々な活性化されたマーカー分子および活性化されていないマーカー分子の、位置分解能を有する検出器上の撮像の概略図。 PALM法における画像生成のフロー図。 図2の検出器上に撮像されたマーカー分子の、図3のフロー図に属する説明図。 PAL顕微鏡法のための顕微鏡の概略図。 深さ分解のための試料の撮像の部分図。
異なる図面において機能的または構造的に一致する要素には、説明の繰り返しを避けるために一貫して同一の符号を付す。
図1aは、蛍光を発するように励起されたマーカー分子1を概略的に示している。発光するマーカー分子1は、顕微鏡において物理的原理に基づいて、限られた光学的解像度のみで検出することができる。顕微鏡が光学的解像度の回折限界に達した場合でも、発光するマーカー分子1の光子は、依然として回折を制限されて散乱され、マーカー分子1がエアリー・ディスク2として検出される。つまり、顕微鏡は原理的に、図1に概略的に黒い円として描かれたマーカー分子1の幾何学的広がりの代わりに、図1にエアリー・ディスク2として視覚化された、より大きい対象物を像として再現する。エアリー・ディスク2のサイズは、使用される顕微鏡装置の品質によって左右され、光学的撮像の点画像退色関数の半値幅によって定義される。しかし、使用される光学系は、それが好ましいとしても、必ずしも回折限界で動作する必要はない。像つまりエアリー・ディスク2のサイズは、さらに焦点調節にも左右される。撮像されるマーカー分子1が正確に焦点になければ、エアリー・ディスク2が図1bに示されているように大きくなる。
ところで、マーカー分子1をエアリー・ディスク2の内部でより正確に局在化できるように、上記で一般論を説明したPALM法が使用される。この方法は、個々のマーカー分子を活性化するが、本明細書では活性化という概念を、マーカー分子の特定の発光特性の活性化として大まかに解釈する。つまり、発光励起性を活性化すること、および、特定の発光特性を活性化することに対応する発光スペクトルの変更も含まれる。ここで説明する実施例では、活性化の作用が光学的な活性化放射線によってもたらされる。しかし、他の、および特に非光学的な活性化機構も可能である。
活性化は、光学的解像度内で少なくとも辛うじて区別できる少なくともいくつかの分子が存在するように行われる。これらは隔離されたマーカー分子である。
図2は、単一画像5内の例示的な状況の概略平面図である。単一画像5は、撮像の光軸に直交するx/y平面で図示されている。図から分かるように、隣接する2つのマーカー分子のエアリー・ディスク2が部分的に重なった範囲3がある。しかし、この場合、図2の左側の範囲3から分かるように、先に活性化されていたマーカー分子1のみが重要である。活性化されていないマーカー分子1’は、単一画像5に捕えられた特定の蛍光放射線を放出しないので、何の影響も及ぼさない。
いくつかの範囲、例えば単一画像5の中央に配置された範囲4では、マーカー分子1が、そのエアリー・ディスク2が他の活性化されたマーカー分子1のエアリー・ディスクと重複しないように、位置している。単一画像5の右側より、活性化されたマーカー分子のエアリー・ディスクが部分的に重なった範囲3が、そうではない範囲4に完全に隣接して位置し得ることが分かる。さらに、右側の範囲4より、活性化されたマーカー分子1が活性化されていないマーカー分子1’に隣接していることが、検出に対して何の影響も及ぼさないことが再び明らかである。というのは、このようなマーカー分子1’は、単一画像5にとって重要である蛍光放射線を放出しない、つまり蛍光を発しないからである。
装置によって規定された光学的解像度を超えた詳細な画像、本明細書の趣旨では高分解度画像、を撮影するために、図3に概略的に図示された工程が使用される。
第1の工程S1では、切替信号を用いてマーカー分子の部分集合を活性化する。これらのマーカー分子は、特定の蛍光放射線を放出するように励起可能ではない第1の状態から、特定の蛍光放射線を放射するように励起可能な第2の状態に切り替えられる。もちろん、活性化信号によって選択的な非活性化作用をもたらしてもよい。つまり、工程S1では、逆の手段を用いてもよい。工程S1の後に、マーカー分子の一部のみが、特定の蛍光放射線を放出するように励起可能であることが重要である。活性化あるいは非活性化(以下では簡略化するために活性化の場合のみについて説明する)は、使用されるマーカー分子または固有の試料分子に応じて行われる。例えばDRONPA、PA−GEPのような色素または可逆に切替可能な合成色素(例えばアレクサ/シアン構造体(Alexa/Cyan-Konstrukten))の場合、活性化は光学的放射線によって行われ、つまり、切替信号は切替放射線である。
図3の下方に図示された図4には、工程S1の後の状態が部分図aに示されている。マーカー分子の一部のみが活性化されている。これらのマーカー分子は集合l_nを形成し、完全に際立たせた黒い点で再現されている。残りのマーカー分子は、この工程では活性化されていない。この集合は、図4の部分図aではl_n+1で示されている。蛍光色素として、好適には従来技術から知られている、PA−GFPまたはDRONPAのような蛍光タンパク質が使用される。活性化は、このような分子の場合には、405nmの範囲内の放射線を用いて行われ、蛍光放射線の励起が約488nmの波長で行われ、蛍光放射線が490nm以上の範囲にある。
マーカー分子が区別できなくなるように重複するエアリー・ディスクが、集合l_nにおいて可能な限り少なくなるように、活性化は、集合l_nにおいて光学的配置によって分解可能な体積に対して可能な限り多くのマーカー分子が隔離されるように調節される。
試料は、第2の工程S2において、蛍光放射線を放出するように励起される。これにより、活性化されていた全てのマーカー分子が発光する。
第3の工程S3において、このように放出された蛍光放射線が、例えば記録された蛍光光子の積分によって検出され、その結果、図3の下方にある図4の部分図bに図示された単一画像5の状況が生じる。図から分かるように、理想的には、全ての発光するマーカー分子1のエアリー・ディスク2が重複していない。次に、全ての活性化されたマーカー分子1が隔離される(isoliert)。エアリー・ディスクのサイズは、撮像の光学的解像度およびマーカー分子の深度位置によって規定される。加えて、図4の部分図bでは、活性化されていない集合l_n+1に属する蛍光分子の(理論上の)エアリー・ディスクが示されている。この活性化されていないマーカー分子は蛍光放射線を放出しないので、これらの分子の(理論上の)エアリー・ディスクに位置する蛍光放射線は、発光するマーカー分子の集合l_nの蛍光放射線の検出を妨げない。
もちろん、活性化されたマーカー分子1の集合l_n+1内にも、隔離されていないマーカー分子1があってもよい。この隔離されていないマーカー分子1は、局在化に関して考慮されない。これに加えて、後続の工程S4では、活性化されたマーカー分子1の集合l_n+1において、撮像の解像度に対して隔離された、蛍光を発するマーカー分子1を識別するフィルタリングが行われる。その際、エアリー・ディスク2は、場合によっては算術方法を利用して分離可能であると解釈される。この分離は、あるエアリー・ディスク2が、蛍光マーカー分子1から、または複数の蛍光マーカー分子1からのどちらから由来しているかを断言できる場合に可能である。局在化と呼ばれる位置決定には、フィルタリングにおいて隔離されていると識別された蛍光マーカー分子1のみが使用される。第4の工程S4では、隔離された発光するマーカー分子の位置が、さらに蛍光ディスクの回折分布から数学的に確定される。これにより、隔離されたマーカー分子1の位置を知るための解像度が、図4の部分図cに示されたように、光学的配置の解像度を超えて高められる。部分図cは、x/y平面内の位置情報のみを示している。z座標、つまり、深度平面に沿った位置情報については、以下でより詳しく説明する。
第5の工程S5では、局在化されたマーカー分子について、位置情報を1つの画像に合成するが、その位置解像度は光学的解像度より高い。ただし、この画像は、マーカー分子の先に活性化されていた部分集合に関する情報のみを含んでいる。
第6の工程S6では、この画像が全体画像内に配置される。続いて、工程S1に戻り、これまで蛍光を発していた分子が再び非活性化される。非活性化は、マーカー分子の種類に応じて、個別の放射線によって、または活性化状態の減衰によって達成される。また、既に撮像されたマーカー分子を、励起放射線によって見えなくする(bleichen)ことも可能である。
各回のフローの実施によって、さらなる画像が得られ、これが全体画像に寄与する。次回の実施では、例えば図4に図示された集合l_n+1のような他のマーカー分子が(同様に)隔離され局在化される。
工程S1からS6までを複数回実施することによって、光学系の撮像の解像度と比べてより鮮明な位置解像度でマーカー分子1の位置情報を示す、各回の実施で得られた画像から、全体画像が構成される。したがって、相応の回数の反復によって、高解像度の全体画像が連続的に生じる。
図5は、試料7を高解像度で撮像するための顕微鏡6を概略的に示している。顕微鏡6は、PALM法を実施するために形成されている。試料7は、対物レンズ15を用いて広範囲において検出器21上に撮像される。対物レンズ15は、対物レンズ15の具体的な構成によって決まる被写界深度範囲に既知の方法で取り囲まれた焦点面を規定している。
試料7は、例えば色素DRONPA(国際公報第2007009812号パンフレット参照)を用いてマークされる。活性化および蛍光励起のために、顕微鏡6は、単一のレーザ9および10を用いる放射線源8を備えており、これらのレーザの放射線が、ビーム結合器11を介してともに導かれる。レーザ9および10は、例えば405nm(活性化放射線)および488nm(蛍光励起および非活性化)で放射線を放出することができる。他の色素(例えばDENDRAという名称の色素(参照:グルスカヤら(Gurskaya et al.),Nature Biotech, Band 24, S.461-465, 2006))も知られており、この色素の場合は、活性化および蛍光励起を同じ波長で行うことができる。その場合、レーザは1つだけで足りる。
活性化と励起とを異なる波長の放射線で行うことは、単なる例であり、これに限定されるものではない。先ほど本明細書の導入部で、蛍光を発しない長寿命の状態と蛍光を発する短寿命の状態を備えたマーカー分子の例に関して説明したように、違っていてもよい。したがって、活性化放射線および励起放射線は、その波長に関して任意であり、照射の時点および強度において異なっている。そうすれば、顕微鏡6の放射線源8は、1つの波長のための手段のみが必要である。その場合は、例えば、レーザ10、ビーム結合器11、フィルタ12を省略することができる。
2つまたはそれ以上の波長を用いた構成では、音響光学フィルタ12が、波長選択および個々の波長の高速の切替または減衰に役立つ。光学系13は、放射線を、ビーム・スプリッタ14を介して対物レンズ15の瞳孔に焦点させるので、放射線源8の放射線が広範囲照射として試料7上に入射する。
試料7に生じる蛍光放射線は、対物レンズ15を介して集められる。二色性ビーム・スプリッタ14は、蛍光放射線を通過させるように構成されているので、蛍光放射線はフィルタ16を通ってチューブ・レンズ17に到達し、全体として蛍光を発する試料7が検出器21上に撮像される。
顕微鏡6の動作を制御するために、制御装置が、ここでは表示部19とキーボード20とを備えたコンピュータ18として設けられている。工程S2からS6は、制御装置、例えばコンピュータ18において行われる。マトリックス検出器のフレーム率は、測定の全体時間にとって決定的であるので、測定時間を低減するために、可能な限り高いフレーム率を有するマトリックス検出器5が有利である。
説明した方法では、例えば顕微鏡の光学的解像度に比べて10倍高い位置解像度を有する全体画像が、顕微鏡6を用いて実現される。顕微鏡6の光学的解像度は、例えば、横方向に250nm、軸方向に500nmであってもよい。
図1は、撮像される蛍光マーカー1のエアリー・ディスク2を、二次元で図示している。マーカー分子1の像のサイズにとっては、マーカー分子の深度位置が重要である。図6は、この状況を視覚化している。図6は、対物レンズ21によって光軸OAに沿って撮像される試料7の概略的な断面図である。光軸OAに沿って撮像の深度座標が延びている。この深度座標は、図6に概略的に示された座標系28のz座標である。z座標に直交して位置している座標x、yは、図1および図2においてエアリー・ディスク2の撮像が図示されていた平面に広がっている。対物レンズ21を用いた撮像は、その周囲に被写界深度範囲が与えられた焦点面24を有している。この被写界深度範囲は、撮像によって放射線部分27が伴うことに由来している。これによって、エアリー・ディスク2のサイズが規定される。容易に分かるように、エアリー・ディスクのサイズは、深度位置、すなわち、光軸OAに沿ったz座標によって決まる。最適条件下では、エアリー・ディスク2が円形であり、z座標に伴って変化する相対的なサイズが直径25である。このサイズを、焦点面24の範囲の前方に位置する放射線直径27は、原理的に下回られない。
そのため、エアリー・ディスク2の直径あるいはサイズを、深度位置すなわちz座標の尺度として定めることが可能である。しかし、図6に基づいて明らかであるように、放射線部分27は、エアリー・ディスクのサイズが、焦点面24からの距離が増すにつれて増加するように作用する。それに対してサイズそのものは、発光するマーカー分子が焦点面24から隔たる方向に関する情報を示すことができない。
試料7は、図6の例示的な図示においてカバー・ガラス23(厚さ比は全く縮尺通りではない)によって覆われていた、試料上面22を有している。そのため、冒頭で説明したPALM法での深さ分解のために、焦点面24を意識的に試料上面22の上方に、例えばカバー・ガラス23内に調節する。この措置によって、焦点面24から同一の距離でありながら異なる方向に離れて発光する2つのマーカー分子が存在することがなくなる。エアリー・ディスクのサイズは、z座標への一義的な割り当てを可能にする。そのため、工程S4では、エアリー・ディスク2のサイズも評価する。エアリー・ディスク2の中心は、x、y方向の座標を与える。また、z座標の大きさをも与える。例えばエアリー・ディスク2の直径25が大きくなるほど、焦点面24からの距離が大きくなる。特定の実施形態では、焦点面24のz位置が、例えば他の測定または顕微鏡の運用パラメータから知られている。その場合、発光する隔離されたマーカー分子1のz座標は、このz位置を参照することになる。それにより、絶対的な情報が得られる。
他の好ましい実施形態では、単一画像5において最小の直径26を用いてエアリー・ディスク2を求めることによって、試料上面22に対する相対測定値が得られる。そのマーカー分子1は、必然的に試料上面22上に直接位置している。そうすれば、三次元的に局在化されたマーカー分子1の深度位置を、試料上面に対して、最小の直径26と発光するマーカー分子1の実際の直径25との間の差異から、該当する発光する隔離されたマーカー分子1の試料上面22からのz距離の測定値を特定することによって、得ることができる。
図6には、焦点面24をカバー・ガラス23内に配置することが例示的に示されている。これは必須ではない。焦点面24が試料7の外部に配置されていることが確実であれば十分である。図6には同様に、試料上面22に対して、顕微鏡15を用いた撮像が上方で行われることが示されている。しかし、逆の構成も同程度に可能である。そのため、「試料上面」という概念は、絶対的にも、対物レンズ15に対しても、試料7の配向を規定するものではない。
図6の構成では、活性化放射線および励起放射線の照射が、対物レンズ15によって行われている。これもまた、必須ではない。対物レンズ15を用いた撮像が、焦点面24が試料7の外部に位置するように行われることのみが重要である。試料の照射、特に活性化および/または励起は、他の方向、例えば光軸OAに対して概ね垂直に照射される光シートによって、または例えば、Tokunaga、Nature Methods 5、Seite 259 ff、2008に記載された、同文献では「高度に傾けられ積層された光学シート」と呼ばれている、TIRF式の照射によって行ってもよい。
上述の説明は、マーカー分子の蛍光発光体に関して述べた。この概念は、限定的に理解されるべきではなく、試料内に存在し、適切な蛍光発光特性を有する、分子、分子複合体、タンパク質、またはその他のタンパク質構造の例としてのみ使用されるべきである。したがって、マーカー分子は、後から試料調製工程において付加される成分であっても、試料内に既に固有に存在する要素であってもよい。PALM法のためのこれに対応する試料調製が、従来技術において知られている。
1…蛍光マーカー、2…像、5…画像、7…試料、15、17…撮像光学系、22…境界面、24…焦点面。

Claims (7)

  1. 3D高解像度局在顕微鏡法のための方法であって、
    撮像側の境界面(22)を有する試料(7)が提供され、該試料(7)は、前記撮像側において透光部材と隣接し、前記境界面(22)は、前記試料(7)と、前記透光部材との間の境界面(22)であり
    励起工程において、該試料(7)を励起放射線で照射することによって、該試料(7)内に蛍光マーカーを励起して発光させ、
    撮像工程において、該試料(7)を、撮像光学系(15、17)を用いて撮像方向に沿って単一画像(5)に撮像し、該単一画像は、発光する蛍光マーカー(1)の像(2)を含み、該撮像光学系(15、17)は、焦点面(24)と光学的解像度とを有し、
    前記励起工程および前記撮像工程を複数回繰り返すことによって、複数の画像(5)が生成され、前記励起工程を、発光する前記蛍光マーカー(1)の少なくとも一部について、発光する前記蛍光マーカー(1)の像(2)が前記複数の画像(5)のそれぞれにおいて隔離されるように行い、
    生成される複数の画像(5)において、発光する前記蛍光マーカー(1)の隔離された像(2)から、光学的解像度を超えた精度を有するそれぞれの対応する前記蛍光マーカー(1)の位置情報が確定され、
    確定された前記位置情報から、高解像度の全体画像を生成する、前記方法において、
    前記撮像光学系(15、17)を、前記焦点面(24)が該透光部材内に位置するように調節し、
    前記単一画像(5)において、発光する前記蛍光マーカー(1)の隔離された像(2)をそのサイズ(25)に関して分析し、該サイズ(25)から、対応する発光する前記蛍光マーカー(1)が撮像方向に沿って、前記境界面(22)のどれほど下流に位置しているかを示す深度位置に関する情報を導出し、
    最小のサイズ(26)を有する発光する前記蛍光マーカー(1)の隔離された像(2)を求め、この蛍光マーカー(1)の深度位置は、前記境界面(22)上に位置していることを示し、
    前記最小のサイズ(26)を超える前記サイズ(25)を有する発光する前記蛍光マーカー(1)の隔離された像(2)について、深度位置に関する情報が、前記境界面(22)を参照する、方法。
  2. 前記励起放射線を、光シート(27)として照射することを特徴とする、請求項1に記載の方法。
  3. 前記撮像光学系は、対物レンズ(15)を含み、
    前記撮像光学系が、該対物レンズ(15)を通して前記励起放射線を照射することを特徴とする、請求項1または2に記載の方法。
  4. 前記励起放射線を広範囲照射として照射することを特徴とする、請求項に記載の方法。
  5. 前記透光部材は、カバー・ガラス(23)を含み、
    前記試料(7)を前記カバー・ガラス(23)で覆い、前記撮像光学系(15、17)を、前記焦点面(24)が該カバー・ガラス(23)内に位置するように調節することを特徴とする、請求項1乃至のいずれか1項に記載の方法。
  6. 前記像(2)の面積と前記像(2)の最大寸法または最小寸法とのうちの少なくとも一方を確定し、確定された前記像(2)の面積と前記像(2)の最大寸法または最小寸法とのうちの少なくとも一方を前記サイズ(25)の尺度として用いることによって、前記像(2)を、前記像(2)のサイズ(25)に関して分析することを特徴とする、請求項1乃至のいずれか1項に記載の方法。
  7. 先に決定された実験的なデータまたはモデルから、点画像退色関数を評価し、点状の発光する要素の点画像退色像を決定し、該点画像退色像の断面が、対応する前記発光する蛍光マーカー(1)の前記像(2)と最良に一致するまで、該点画像退色像を撮像方向に移動させることを特徴とする、請求項1乃至のいずれか1項に記載の方法。
JP2014091187A 2013-05-14 2014-04-25 3d高解像度局在顕微鏡法のための方法 Active JP6482773B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE201310208927 DE102013208927A1 (de) 2013-05-14 2013-05-14 Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
DE102013208927.9 2013-05-14

Publications (2)

Publication Number Publication Date
JP2014224813A JP2014224813A (ja) 2014-12-04
JP6482773B2 true JP6482773B2 (ja) 2019-03-13

Family

ID=50731928

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014091187A Active JP6482773B2 (ja) 2013-05-14 2014-04-25 3d高解像度局在顕微鏡法のための方法

Country Status (4)

Country Link
US (1) US20140339439A1 (ja)
EP (1) EP2803978B1 (ja)
JP (1) JP6482773B2 (ja)
DE (1) DE102013208927A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016109579A (ja) * 2014-12-08 2016-06-20 ソニー株式会社 情報処理装置、画像取得システム、情報処理方法、画像情報取得方法及びプログラム
JP2016206652A (ja) * 2015-04-21 2016-12-08 オリンパス株式会社 試料の3次元構造の撮像方法及び顕微鏡装置
EP3382439A4 (en) * 2015-11-27 2019-12-11 Nikon Corporation MICROSCOPE, OBSERVATION METHOD, AND IMAGE PROCESSING PROGRAM
DE102017211031A1 (de) * 2016-11-21 2018-05-24 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Ermitteln einer Fluoreszenzintensität
US10908072B2 (en) 2016-12-15 2021-02-02 The Board Of Regents Of The University Of Texas System Total internal reflection and transmission illumination fluorescence microscopy imaging system with improved background suppression
US10928621B2 (en) * 2017-10-31 2021-02-23 Samantree Medical Sa Sample dishes for use in microscopy and methods of their use
CN108470099B (zh) * 2018-03-15 2021-11-02 长沙天玖卫星科技有限公司 光学成像类小卫星成像能力分析与姿态控制指标分析方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5199407B2 (ja) * 2003-09-29 2013-05-15 オリンパス株式会社 顕微鏡システム及び観察方法
EP1623735A1 (de) 2004-08-05 2006-02-08 Gemü GmbH Durchflussregelventil
CA2609653C (en) 2005-05-23 2014-01-28 Harald F. Hess Optical microscopy with phototransformable optical labels
WO2007009812A1 (de) 2005-07-22 2007-01-25 Carl Zeiss Microimaging Gmbh Auflösungsgesteigerte lumineszenz-mikroskopie
DE102006021317B3 (de) 2006-05-06 2007-10-11 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren und Fluoreszenzlichtmikroskop zum räumlich hochauflösenden Abbilden einer Struktur einer Probe
EP2023127B1 (en) * 2006-05-31 2017-12-20 Olympus Corporation Biological specimen imaging method and biological specimen imaging apparatus
JP5070995B2 (ja) * 2007-08-29 2012-11-14 横河電機株式会社 共焦点顕微鏡装置
JP5526036B2 (ja) * 2007-12-21 2014-06-18 プレジデント アンド フェローズ オブ ハーバード カレッジ 三次元の回折限界未満の画像解像技術
DE102009043744A1 (de) * 2009-09-30 2011-03-31 Carl Zeiss Microlmaging Gmbh Verfahren und Mikroskop zur dreidimensional auflösungsgesteigerten Mikroskopie
US8570649B2 (en) * 2009-10-29 2013-10-29 California Institute Of Technology Dual-mode raster point scanning/light sheet illumination microscope
DE102009060793A1 (de) * 2009-12-22 2011-07-28 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
DE102009060490A1 (de) 2009-12-22 2011-06-30 Carl Zeiss Microlmaging GmbH, 07745 Hochauflösendes Mikroskop und Bildteileranordnung
WO2012039636A2 (en) 2010-09-24 2012-03-29 Christian Soeller "3d localisation microscopy and 4d localisation microscopy and tracking methods and systems"
DE102010044013A1 (de) * 2010-11-16 2012-05-16 Carl Zeiss Microimaging Gmbh Tiefenauflösungsgesteigerte Mikroskopie
DE102010044031A1 (de) 2010-11-17 2012-05-24 Robert Bosch Gmbh Ultraschallbasierte Richtungsbestimmung von Objekten in einer Fahrzeugumgebung
JP5278489B2 (ja) * 2011-05-09 2013-09-04 株式会社ニコン 顕微鏡、顕微鏡の焦点調節制御方法
FR2978254B1 (fr) * 2011-07-21 2014-01-24 Imagine Optic Methode et dispositif optique pour la localisation d'une particule en super resolution

Also Published As

Publication number Publication date
US20140339439A1 (en) 2014-11-20
EP2803978A1 (de) 2014-11-19
DE102013208927A1 (de) 2014-11-20
EP2803978B1 (de) 2022-12-21
JP2014224813A (ja) 2014-12-04

Similar Documents

Publication Publication Date Title
JP6482773B2 (ja) 3d高解像度局在顕微鏡法のための方法
JP6441587B2 (ja) 3d高解像度局在顕微鏡法のための方法
JP5894180B2 (ja) 深さ分解能が向上した顕微鏡検査
JP5485289B2 (ja) 分解能増進顕微鏡法
JP6282706B2 (ja) 物体の2次元または3次元の位置調整のための高解像度顕微鏡および方法
JP5335744B2 (ja) 光変換可能な光学標識を用いる光学顕微鏡法
JP6603403B2 (ja) 分光顕微鏡及びその方法
US8773758B2 (en) Microscope apparatus with an imaging system including an astigmatic difference changing device
JP2016529876A (ja) 画像形成サイトメータ
WO2014180566A1 (en) Method and apparatus for combination of localization microscopy and structured illumination microscopy
JP6148256B2 (ja) 高分解能3d蛍光顕微鏡法のための顕微鏡および方法
US20140333750A1 (en) High resolution dual-objective microscopy
JP2011511966A5 (ja)
WO2011132584A1 (ja) 膜電位変化検出装置および膜電位変化検出方法
JP6393474B2 (ja) 高分解能3d位置特定顕微鏡検査方法
JP5914242B2 (ja) 観察装置
CN110114709A (zh) 确定荧光强度的方法和显微镜
JP7472134B2 (ja) 試料の3次元領域の蛍光信号を検出するための方法および装置
JP2015064462A (ja) 共焦点顕微鏡
US20230384224A1 (en) Methods and apparatus for light-microscopic multicscale recording of biological specimens
JP6131568B2 (ja) 顕微鏡装置及び画像形成方法
KR101603726B1 (ko) 멀티모달 현미경
US11391937B2 (en) Method and device for determining a property of an object
US10883940B2 (en) Fluctuation-based fluorescence microscopy
Meijering et al. Implementation of 3D Multi-Color Fluorescence Microscopy in a Quadruple Trap Optical Tweezers System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190213

R150 Certificate of patent or registration of utility model

Ref document number: 6482773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250