JP2013539074A - ３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム - Google Patents
３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム Download PDFInfo
- Publication number
- JP2013539074A JP2013539074A JP2013530109A JP2013530109A JP2013539074A JP 2013539074 A JP2013539074 A JP 2013539074A JP 2013530109 A JP2013530109 A JP 2013530109A JP 2013530109 A JP2013530109 A JP 2013530109A JP 2013539074 A JP2013539074 A JP 2013539074A
- Authority
- JP
- Japan
- Prior art keywords
- image
- objective lens
- lobes
- radiator
- phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000386 microscopy Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims description 77
- 230000004807 localization Effects 0.000 title claims description 20
- 238000000926 separation method Methods 0.000 claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 11
- 230000010287 polarization Effects 0.000 claims description 9
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000001914 filtration Methods 0.000 claims 1
- 210000001747 pupil Anatomy 0.000 description 17
- 238000001514 detection method Methods 0.000 description 13
- 239000011324 bead Substances 0.000 description 11
- 239000000523 sample Substances 0.000 description 8
- 201000009310 astigmatism Diseases 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000005284 excitation Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 102000004243 Tubulin Human genes 0.000 description 3
- 108090000704 Tubulin Proteins 0.000 description 3
- 230000004075 alteration Effects 0.000 description 3
- 208000036815 beta tubulin Diseases 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 101100243959 Drosophila melanogaster Piezo gene Proteins 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 2
- 241000700159 Rattus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004413 cardiac myocyte Anatomy 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 210000001567 regular cardiac muscle cell of ventricle Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100035882 Catalase Human genes 0.000 description 1
- 108010053835 Catalase Proteins 0.000 description 1
- 241000669072 Chrysomphalus dictyospermi Species 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 108010015776 Glucose oxidase Proteins 0.000 description 1
- 239000004366 Glucose oxidase Substances 0.000 description 1
- 108010068977 Golgi membrane glycoproteins Proteins 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 229930040373 Paraformaldehyde Natural products 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 102100027780 Splicing factor, proline- and glutamine-rich Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- UFULAYFCSOUIOV-UHFFFAOYSA-N cysteamine Chemical compound NCCS UFULAYFCSOUIOV-UHFFFAOYSA-N 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001917 fluorescence detection Methods 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 229940116332 glucose oxidase Drugs 0.000 description 1
- 235000019420 glucose oxidase Nutrition 0.000 description 1
- 235000011187 glycerol Nutrition 0.000 description 1
- 238000010166 immunofluorescence Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003068 molecular probe Substances 0.000 description 1
- 229920002866 paraformaldehyde Polymers 0.000 description 1
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/0092—Polarisation microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Immunology (AREA)
- Biochemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
３Ｄ局在顕微鏡法システム、及び４Ｄ局在顕微鏡法システム又は放射体追跡システムが、対物レンズの一部分へ又は対物レンズの一部分から進む光と、対物レンズの別の部分へ又は対物レンズの別の部分から進む光との間の位相差を発生させて、２つのローブを含む点放射体画像を生成するように構成される。２つのローブ間の分離は、撮像システムの対物レンズに対する放射体の位置に関連し、４Ｄシステムでは、画像の更なる特性、又は対物レンズへの若しくは対物レンズからの上記光の更なる特性は、放射体の別のロケーション非依存特性に関連する。
Description
本発明は、３Ｄ局在顕微鏡法並びに４Ｄ局在顕微鏡法及び追跡方法並びに追跡システムに関する。
３Ｄ局在顕微鏡法（ＰＡＬＭ又はＳＴＯＲＭ等）を用いて、撮像エリア内の分子等の有機標的又は無機標的の３次元構造情報が得られ、標的の相対的なロケーションが求められ、結果のロケーション情報を用いて、通常、３０ナノメートルよりも良好な平面解像度まで、単一の３Ｄ画像又は３Ｄ表現が作成される。
撮像エリアは、蛍光を発するように照明された多くの蛍光マーカーで満ちており、それぞれのロケーションが求められる。適切な照明プロトコルを用いると、所与の時点において幾つかのマーカーのみが蛍光を発し、単一の画像フレーム内に記録される。蛍光を発するこれらのマーカーのロケーションが求められ、様々なランダムのマーカー集合からなる複数のそのような画像のロケーション情報が単一の３Ｄ画像又は３Ｄ表現に組み立てられる。２Ｄ画像から、ｘ軸及びｙ軸のロケーション情報のみでなく、ｚ軸のロケーション情報も得るための様々な方法が知られている。
顕微鏡の解像度は、その顕微鏡の光回折限界によって制限される。回折によって、顕微鏡の回折限界未満のサイズの単一点放射体がより大きなスポットとして撮像される。あてはめ(fitting)又は重心決定等のアルゴリズムを用い、顕微鏡の点拡がり関数（ＰＳＦ）を得ると、ｘ軸及びｙ軸における回折限界を超えるスポットの中心を求めることが可能である。
現在の３Ｄ局在戦略は、概して２つのカテゴリーに分かれる。すなわち、二方向手法及びｉＰＡＬＭ手法におけるような、分子の複数の同時観察値の取得と、非点収差法及び二重らせん法によって例示されるように、側方ＰＳＦプロファイルの焦点外れに依拠する形状において３Ｄ位置情報が符号化されるように点拡がり関数（ＰＳＦ）を設計する方法とである。二重らせん法では、撮像システムは、単一点放射体が２つの別個の画像スポットを生成するように設計されたＰＳＦを有し、ここで、２つのスポット間の（概念上の）線の角度は、放射体と対象との間の距離に依存する。対象のｚ軸に沿って放射体の位置を変更することによって、２つの画像スポットがともに回転し、すなわちそれらの画像スポット間の角度が特徴的に変化する。較正されると、試料又は対象のいずれも移動させる必要なく、この回転挙動を用いて単一の２Ｄ画像から放射体のｚ位置を推定することができる。米国特許第７７０５９７０号及び米国特許出願公開第２００９／０２１９５４９号はそのようなシステムを開示している。
本発明の幾つかの実施の形態の目的は、３Ｄ局在顕微鏡法の改善された方法又は少なくとも代替的な方法を提供することである。
本発明の他の実施の形態の目的はまた、３Ｄ局在顕微鏡法に追加の次元を導入して、発光体の追加の特性が符号化されることを可能にすること（本明細書では「４Ｄ局在顕微鏡法」の方法と呼ばれる）である。
１つの態様において、広義では、本発明は、３Ｄ局在顕微鏡法の一方法（本明細書において、本発明の３Ｄ方法とも呼ばれる）であって、
前記方法は、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つの画像ローブを含む点放射体画像を生成することを含み、
それによって、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に軸に沿った第１の互いに対向する方向に前記２つの画像ローブが互いから分離され、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に前記軸に沿った第２の互いに対向する方向及び各前記画像ローブの各相対位置からの前記放射体のｚ軸位置において前記２つの画像ローブが互いから分離される、方法を含む。
前記方法は、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つの画像ローブを含む点放射体画像を生成することを含み、
それによって、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に軸に沿った第１の互いに対向する方向に前記２つの画像ローブが互いから分離され、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に前記軸に沿った第２の互いに対向する方向及び各前記画像ローブの各相対位置からの前記放射体のｚ軸位置において前記２つの画像ローブが互いから分離される、方法を含む。
通常、本方法は、試料内で順番に１つ又は複数の放射体をオンにし、１つ又は複数の放射体のロケーションを求め、その後、複数の画像からロケーションデータを組み立てて３Ｄ画像又は３Ｄ表現にすることを含む。他の実施の形態では、本方法は、単一の画像からロケーションデータを求めて組み立て、３Ｄ画像又は３Ｄ表現にすることを含む。
別の態様において、広義では、本発明は、３Ｄ局在顕微鏡法システム（本明細書において、本発明の３Ｄシステムと呼ばれる）であって、
前記システムは、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つの画像ローブを含む点放射体画像を生成するように構成され、
それによって、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に軸に沿った第１の互いに対向する方向に前記２つの画像ローブが互いから分離され、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に前記軸に沿った第２の互いに対向する方向に前記２つの画像ローブが互いから分離される、３Ｄ局在顕微鏡法システムを含む。
前記システムは、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つの画像ローブを含む点放射体画像を生成するように構成され、
それによって、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に軸に沿った第１の互いに対向する方向に前記２つの画像ローブが互いから分離され、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に前記軸に沿った第２の互いに対向する方向に前記２つの画像ローブが互いから分離される、３Ｄ局在顕微鏡法システムを含む。
別の態様において、広義では、本発明は、局在顕微鏡法の一方法または単一放射体追跡方法（本明細書において、本発明の４Ｄ方法と呼ばれる）であって、
前記方法は、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つのローブを含む点放射体画像を生成することを含み、
前記２つのローブ間の分離は、撮像システムの前記対物レンズに対する前記放射体の位置に関連し、
前記画像の更なる特性、又は前記対物レンズへの若しくは前記対物レンズからの前記光の更なる特性は、前記放射体の別のロケーション非依存特性及び各前記画像ローブの各相対位置からの前記放射体のｚ軸位置に関連し、
前記方法は、前記別のロケーション非依存特性を評価することを含む、方法を含む。
前記方法は、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つのローブを含む点放射体画像を生成することを含み、
前記２つのローブ間の分離は、撮像システムの前記対物レンズに対する前記放射体の位置に関連し、
前記画像の更なる特性、又は前記対物レンズへの若しくは前記対物レンズからの前記光の更なる特性は、前記放射体の別のロケーション非依存特性及び各前記画像ローブの各相対位置からの前記放射体のｚ軸位置に関連し、
前記方法は、前記別のロケーション非依存特性を評価することを含む、方法を含む。
４Ｄ方法は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させて、２つの画像ローブを含む点放射体画像を生成することを含むことができ、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に軸に沿った第１の互いに対向する方向に前記２つの画像ローブが互いから分離され、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に前記軸に沿った第２の互いに対向する方向に前記２つの画像ローブが互いから分離される。
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に軸に沿った第１の互いに対向する方向に前記２つの画像ローブが互いから分離され、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に前記軸に沿った第２の互いに対向する方向に前記２つの画像ローブが互いから分離される。
別の態様において、広義では、本発明は、局在顕微鏡法システムまたは単一放射体追跡システム（本明細書において、本発明の４Ｄシステムと呼ばれる）であって、
前記システムは、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つのローブを含む点放射体画像を生成するように構成され、
前記２つのローブ間の分離は、撮像システムの前記対物レンズに対する前記放射体の位置に関連し、
前記画像の更なる特性、又は前記対物レンズへの若しくは前記対物レンズからの前記光の更なる特性は、前記放射体の別のロケーション非依存特性に関連する、システムを含む。
前記システムは、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つのローブを含む点放射体画像を生成するように構成され、
前記２つのローブ間の分離は、撮像システムの前記対物レンズに対する前記放射体の位置に関連し、
前記画像の更なる特性、又は前記対物レンズへの若しくは前記対物レンズからの前記光の更なる特性は、前記放射体の別のロケーション非依存特性に関連する、システムを含む。
４Ｄシステムは、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させて、２つの画像ローブを含む点放射体画像を生成するように構成することができ、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に軸に沿った第１の互いに対向する方向に前記２つの画像ローブが互いから分離され、
正の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に前記軸に沿った第２の互いに対向する方向に前記２つの画像ローブが互いから分離される。
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に軸に沿った第１の互いに対向する方向に前記２つの画像ローブが互いから分離され、
正の焦点外れを発生させる前記対物レンズに対する放射体の位置において、実質的に前記軸に沿った第２の互いに対向する方向に前記２つの画像ローブが互いから分離される。
更なる特性は、放射体の位置に関連する画像ローブ間の分離の軸に対し、或る角度（たとえば実質的に直交）を成す軸における画像ローブ間の分離等の画像ローブ間の分離とすることができる。代替的に、更なる特性は、放射体からの光のスペクトル成分、寿命、又は偏光状態のうちの任意の１つ又は複数とすることができる。
前記放射体の前記ロケーション非依存特性は、前記放射体からの光のスペクトル成分、寿命、又は偏光状態のうちの任意の１つ又は複数とすることができる。
３Ｄ方法及び３Ｄシステム並びに４Ｄ方法及び４Ｄシステムのいずれにおいても、前記対物レンズに対する放射体の、焦点の合った位置において、前記２つの画像ローブは、前記軸に沿って互いから実質的に分離しないことができる。また、前記対物レンズに対する放射体の焦点の合った位置において、前記２つの画像ローブは、前記軸に実質的に直交して互いから分離することができる。
３Ｄ方法及び３Ｄシステム並びに４Ｄ方法及び４Ｄシステムのいずれにおいても、撮像システム内の位相変更装置は、一方の側に線形位相傾斜等の位相傾斜（phase ramp）を備えるか、又は複数の位相傾斜を備えることができ、これらの位相傾斜は他方の側の位相に影響を与えないこともできるし、他方の側に正負符号若しくは大きさが変動する位相変更効果を有することもできる。撮像システム内の位相変更装置は、瞳面の両半分間に線形に変動する位相差が存在するように構成することができる。位相変更装置は、瞳面の一方の半分を覆う単一の位相傾斜の形態を取ることもできるし、両半分間に線形に変動する位相差が存在するように両半分を覆う、互いに異なる勾配の２つの位相傾斜の形態を取ることもできる。位相変更装置は、等しいが反対向きの勾配の２つの位相傾斜を含むことができる。なぜなら、これによって、挿入時に画像の変位が生じないためである。位相傾斜は連続している必要がなく、各セグメントが２Ｐｉの位相角を覆うように、鋸歯パターンの幾つかの線形セグメントからなることができる。瞳面の両半分は、追加の固定（すなわち空間的に変動しない）位相差を有することもでき、これは、双方の半分からの光の相互作用がコヒーレントであるか又は非コヒーレントであるようにすることができる。幾つかの実施の形態では、位相変更装置は、単一点発光体の画像が２つの画像ローブを含むようになっている。これらの２つの画像ローブは、（少なくとも焦点が合っているときに）単一の（伸長）画像を形成するのに十分近接しており、その形状又は分離は、対物レンズに対する放射体距離の変化（正の焦点外れ又は負の焦点外れ）とともに変動する。他の実施の形態では、単一点放射体の画像は、（少なくとも焦点に近いときに）２つの分離した画像ローブを含み、それらの画像ローブ間の分離は、対物レンズに対する放射体の距離の変化とともに変動する。
４Ｄ方法では、上記で参照したような放射体の第２のロケーション非依存特性を符号化するようにＰＳＦの一方又は双方のローブを変更する追加の光学素子を含めることができる。光学系は、直交方向におけるローブ分離が、放射体の他のロケーション非依存特性に依存するように設計される。代替的に、光学系は、２つのローブの相対的な明るさが、放射体の他方の特性に依存するように設計することができる。
本発明の４Ｄ方法及び４Ｄシステムの幾つかの実施の形態では、位相勾配の峻度によって、２つのローブを含む点放射体画像を生成することができ、ローブ間の分離は、１つの方向において、撮像システムの対物レンズに対する放射体の位置に関連し、他方の直交方向において、例えばスペクトル成分、蛍光寿命、又は偏光状態等の放射体の他の符号化される特性に関連する。
本明細書において、「蛍光」はリン光、ルミネッセンス、又はマーカー物体からの同様のモードの発光も含む。
「…を含む」または「…を備える」（comprising）という語は、本明細書では「少なくとも部分的に…からなる」を意味する。本明細書において「…を含む」または「…を備える」という語を含む各記載を解釈するとき、この語の前に置かれる単数又は複数の特徴以外の特徴も存在することができる。
３Ｄ局在顕微鏡法は、複数の分子又は放射体のロケーションの画像を構築することを含み、ここで所与のマーカーのロケーション情報は通常、空間的に静止した試料について得られる。粒子追跡顕微鏡法又は分子追跡顕微鏡法は、単数又は複数のマーカーに蛍光を発生させ、その運動を経時的に追跡することを含む。
添付の図面を参照して本発明を更に説明する。
図１を参照すると、蛍光顕微鏡が、キセノンアーク燈若しくは水銀蒸気燈又はレーザー励起等の光源７と、励起フィルター８と、二色性ミラー６又は二色性ビームスプリッターと、放射フィルター（図示せず）とを含む。各フィルター及び二色性のものは、標本を標識付けるのに用いられる蛍光物質（複数の場合もある）のスペクトル励起特性及び放射特性に合致するように選択される。顕微鏡は対象物１を支持しており、励起後に、蛍光物質からの光が対物レンズ２を通過して撮像平面（本明細書において代替的に瞳面とも呼ばれる）に達する。これは、例えば、カメラ３（又は他の撮像装置）において光の焦点を撮像平面３に合わせるチューブレンズ４を介してなされる。蛍光顕微鏡は、任意の既知の形態又は適した形態とすることができる。
顕微鏡は、位相変更装置（この実施形態では、対物レンズと撮像平面３との間の屈折位相傾斜(phase ramp)５等）を含む。特に、示される実施形態では、この位相変更装置によって、ビーム経路の無限共役部分内において、対物レンズの１つの部分から進む放射体からの光と、別の部分から進む光との間の位相差が生じ、結果として撮像平面において各点放射体の画像が得られる。この画像は、連結しているか又は分離した２つのローブを含み、それらの分離度合いは、以下で更に参照されるように、対物レンズからの放射体の距離に依存する。この実施形態では、位相傾斜要素５は、光路内の、対物レンズの後方開口のレベルにある。位相傾斜は対物レンズの無限空間（この無限空間では焦点の合った光は概ね平行である）内で後方開口にあるか又は後方開口に近い。非無限の補正された顕微鏡では、位相傾斜は後焦点面／フーリエ平面の或る近似内に存在することができる。この実施形態では位相傾斜装置は屈折装置であるが、他の実施形態では位相傾斜装置（複数の場合もある）は反射装置又は分散装置とすることができ、これについてはより詳細に説明する。
幾つかの実施形態では、追加のスペクトルフィルター素子９を位相傾斜５の前又は後に挿入することができる。こうすると、２つのローブの相対的な明るさは放射体のロケーション非依存特性に依存する。別の実施形態では、位相傾斜装置は付加的に薄膜コーティングするか、又は別の形で処置することができる。こうすると、２つのローブの相対的な明るさは、放射体のそのようなロケーション非依存特性に依存する。
本発明の３Ｄ又は４Ｄの局在顕微鏡法の使用において、試料内の１つ又は複数の放射体が光活性化されるか又は光切替えされ、それによって蛍光を発し、特定の波長の光子を放出する。照明は幾つかのマーカーのみをランダムに励起し、各蛍光物質が（永久に又は可逆的に）退色した後、蛍光物質のうちの１つ又は複数のロケーションが求められる。各放射体のｘ軸位置及びｙ軸位置は、重心方程式によって直接、又は、コンピューター画像処理システムにおいて、ＰＳＦモデルをマーカー画像にあてはめることによって、マーカー画像の重心の測定値から得ることができる。１つの実施形態では、３Ｄモデルを画像にあてはめて、放射体のｘ軸位置、ｙ軸位置、及びｚ軸位置の全てを同時に得ることができる。また、本発明によれば、ｚ次元は、画像の伸長(image elongation)の度合い又は２つの画像ローブ間の分離の度合いから求められ、これは放射体と対物レンズとの間の距離に関係する。先行する較正中に、対象物面における１つ又は複数の放射体（蛍光ビーズ等）が撮像される。対物レンズは、それぞれ対象物面／放射体（複数の場合もある）から既知の距離にある位置間で移動され、それによって画像形状が変化し、画像形状と焦点距離との間の関係が展開される。相対的なｚ軸位置と画像形状とを相関付けるルックアップデータを展開することができる。このため、使用において、放射体画像の伸長の度合い、又は放射体画像のローブ間の分離の度合いが、その放射体の相対的なｚ軸位置を示し、放射体のｚ軸位置を求めることができる。使用において、上記のステップは、１組の複数の画像又は画像データ及び放射体ロケーション情報を取得するように繰り返され、この情報を用いて単一の３Ｄ画像又は３Ｄ表現を作成することができる。代替的に、ロケーション情報及び３Ｄ画像を、結果としての単一の画像から求めることができる。本発明の顕微鏡法システムはコンピューター画像処理システムを備えることができる。このコンピューター画像処理システムは、関係アルゴリズムを用いるか、又は相対的なｚ軸位置と画像形状とを相関付けるルックアップデータ若しくは上記で言及したようなモデルを記憶し、放射体画像形状から相対的なｚ軸放射***置を求めるように構成される。１つの実施形態では、例えば、コンピューター画像処理システムは、画像形状を、画像のルックアップデータベースからの最も適合する画像、又は焦点外れに依存する画像の数学的モデル若しくは数値モデルに合致させるように構成することができる。本発明の４Ｄの粒子又は分子の追跡における使用において、放射体座標（幾つかの実施形態ではｘ、ｙ、及びｚと、１つ又は複数の他の放射体特性（放射体からの光のスペクトル成分、寿命、偏光状態(polarization)、等）を、画像の直接的なパラメータ化（画像重心、ローブ間の角度又は距離、及び関連する尺度）から推定することができる。
図２ａは、１つの側に瞳面の垂直方向の位相変化を有さず、別の側に線形位相傾斜を有する瞳面を表している。図２ｂは、これに類似した、１つの側に複数の位相傾斜を有する瞳面を表している。図２ｄは、瞳面の２つの側において互いに等しく反対向きの位相変化を有する瞳面を表している。図２ｅは、１つの側に瞳面の垂直方向に一定の非ゼロ位相変化を有し、別の側に線形位相変化を有する瞳面を示している。図２ｃは、放射体と顕微鏡対物レンズとの間の距離の変動が、本発明のシステムにおいて放射体画像の２つのローブの相対位置にどのように影響を及ぼし得るかを示している。対物レンズと放射体との間の距離が、撮像システムの焦点が合うようになっているとき、図２ｃ内の中央画像において示されるように、２つのローブ間の軸（たとえば軸Ｎ−Ｐ）に沿った２つのローブ間に存在する分離は、ゼロ又は最小となる。放射体が対物レンズにより近いか、又はより遠いとき、正又は負の焦点外れが生じ、この軸に沿った２つのローブ間の分離も変化し、示される実施形態では、それぞれ図２ｃの右側及び左側のそれぞれの４つの画像に示すように、分離は示されるような対物レンズからの放射体の距離に比例して増大する。図３は、これを更に説明する概略的な例である。図３ａは、焦点の合った画像における２つの焦点の合ったローブを示している。これらのローブは、１つの軸においてのみ（図では軸ＬＳにおいて垂直に）分離している。分離の度合いは位相傾斜の峻度に依存し、正及び負の焦点外れを有して一定のままである。図３ｂ及び図３ｃは、それぞれ負及び正の焦点外れを有して、直交軸ＯＳにおいて分離した２つの画像ローブを示しており、図３の例における分離の度合いはＦＤＳで示され、焦点外れが正であるか又は負であるかに依存して、この軸に沿った方向に示される。このため、負の焦点外れを引き起こす対物レンズからの放射体距離により、一方の画像ローブは焦点の合った位置から軸に沿って１つの方向に位置決めされ、他方の画像ローブは焦点の合った位置から軸に沿って反対方向に位置決めされる。正の焦点外れを引き起こす対物レンズからの放射体距離により、画像ローブは、焦点の合った位置から軸に沿って、負の焦点外れの場合とは反対方向に分離される。焦点の変更を伴う軸に沿った画像ローブの「移動」は、ほぼ線形であるか、又は実質的に線形である。
図４は、反射性位相変更装置を利用する、本発明の代替的な実施態様を示している。図４において、類似した参照番号は、図１と類似した要素を示す。反射面６は、対物レンズ共役面に、若しくはその近くに配置され、後焦点面の半分が、他方に対し線形位相勾配(linear phase gradient)を受けるような形状にされる。別の実施形態では、位相傾斜は、後焦点面の半分が、互いに対し線形位相勾配を受けるよう、互いに対し傾くように構成された複数の平面鏡からなることができる。別の実施形態では、位相傾斜は、後焦点面の半分が、互いに対し線形位相勾配を受けるように駆動された変形可能なミラーからなることができる。変形可能なミラー（又は同様の位相制御装置）は、位相パターンの重ね合わせを用いて（光学系及び／又は試料の）収差、及び後焦点面の２つの上記半分間の位相勾配を補正することができる。反射性位相傾斜を備えるシステムの利点は、各鏡面の相対角度を変動させることによって、初期ローブ分離を容易に調整又は設定することができることである。そのような調整は、いくつかの方法で達成することができる（調整可能なミラーマウント用いて手動で、又は、圧電起動式マウント（piezo-activated mount）、デジタルマイクロミラー装置、又は同様の装置を用いて電子的に）。このように初期ローブ分離を調整又は設定することが可能であることは、十分に大きなローブ分離（したがってロバストな軸識別）と、同時にアクティブである様々な放射体画像間の分離との任意のトレードオフを最適化するのに有用とすることができる（ローブ分離を増大することによって、単一の分子信号の「足あと」が増大し、このため、単一放射体を確実に分離することができるようにするための、それらの単一放射体間の距離が増大する）。変形可能なミラーを用いることによって、位相傾斜を、適応制御光学を通じた撮像収差の補正と組み合わせることが可能になる。
図５ａは、分散性位相変更装置（特に、２つの分散性位相傾斜を備える位相マスク）を利用する代替的な実施形態を示している。２つの分散性位相傾斜は、対物レンズ２とチューブレンズ４との間に位置決めすることができ、一方は高分散性位相傾斜９であり、一方は、高分散位相マスク９によって生じる過度な勾配の影響を低減する低分散位相マスク１０である（図５ｃに示す）。位相傾斜は分散性の材料(dispersive materials)から作製されるので、生じる位相勾配の峻度は、位相傾斜を通って進む光の波長に依存する。この結果、初期ローブ分離において波長に依存した変化が生じる。初期ローブ分離は、焦点外れとともに生じるローブ位置の変化に直交するので、点放射体画像のスペクトル成分及び空間成分の双方を独立して求めることが可能であり、したがって撮像対象物の色及びｚ軸における放射体の相対位置を求めることが可能である。幾つかの実施形態では、光は比較的小さな偏向角度でこれらの分散性位相マスクを通って進むことができ、他の実施形態では、分散性要素は（例えばプリズムを用いるとき）、より大きな偏向角度を発生させることができる。ｚ軸における相対的な放射***置と、ローブ分離における直交変化からの別の放射体特性（スペクトル成分、偏光、又は寿命等）との間の分離の原理は、任意の特性（ただし、位相勾配の峻度を、その放射体特性に特徴的に依存させることができる、そのような特性）に拡張することができる。
図６は、分散面、例えば回折格子１１からの反射を用いる位相変更装置を備える代替的な実施形態を示している。十分な波長依存性を提供するのに必要とされ得るような、任意の過度の位相勾配を、追加の平面鏡面１２を用いて巻き戻す（unwind）ことができる。対物レンズ後焦点面の両半分に回折格子及び平面鏡を配置することによって、より単純な構成を達成することができる。
図７は、本発明の３Ｄ又は４Ｄ局在顕微鏡法の一実施形態の画像解析アルゴリズムのフローチャートである。未加工画像を取得した後、最初に測定されたカメラ特性を用いて未加工画像内のオフセットが取り除かれ、画像の較正が光電子の観点から実行される。次に、較正された画像から背景画像を減算することによって、較正された画像に対し背景除去プロセスが実行される。背景画像は、現在較正されている画像に画像系列内で先行する、較正済みのＮ個の画像の平均を計算することによって推定することができる。較正プロセスの後に、較正された画像の各ピクセル内の光電子数の平方根を計算することによって、信号対雑音（ＳＮＲ）推定値も得られる。単一点放射体の回折の効果を除去するために、用いられている撮像システムの測定されたＰＳＦに関するデコンボリューション（deconvolution）が、較正された画像のＳＮＲ推定値および背景補正された画像のために必要とされる。デコンボリューションプロセスは、ウィナーフィルター、又はＰＳＦを用いた相関、又は最尤（ＭＬ）デコンボリューションのうちの任意のものによって複数ローブＰＳＦ収差を除去する。次に、デコンボリューションされたＳＮＲ推定値は、しきい値係数（threshold factor）を乗算される。これによって、使用において検出をロバストにし、ユーザーによって異なる画像状態にわたってしきい値を変更する必要をなくすことができる。次に、ＳＮＲベースのしきい値が画像をフィルタリングするのに用いられ、しきい値よりも大きな値のみが画像内で選択される。その後、画像の二値マスキング及び標識付けが実行され、画像上の連続領域が特定され、各連続領域の中央の輝度が計算され、その結果、開始位置のリストが得られることになる。一方、開始位置のリストは、ＰＳＦのローブ特性の結果生じる残余誤検出も含む場合があり、誤検出を除去し、図８に示される「デバウンス」手順によって開始位置のクリーンなリスト（clean list）を生成する必要がある。次に、開始位置のクリーンなリストは、図９によって表される「あてはめ」プロセスを受ける。ここで、リスト内の各開始位置は、用いられている顕微鏡の測定されたＰＳＦから導出された補間モデルを用いて補間される。次に、あてはめられた位置のリストを用いて３Ｄ画像を生成することができ、これはユーザーに表示することができる。
図８は、開始位置のリスト内に含まれる誤検出を破棄するデバウンス手順を示している。まず、リスト内の全ての開始位置、及び或る特定の範囲内にあるそれらの近傍点の情報が得られる。この範囲はＰＳＦサイズよりも僅かに大きいことが好ましい。以前のステップからのデコンボリューションされた画像も背景を除去され較正されており、各開始位置及びその近傍点の輝度情報を抽出するのに用いられる。開始位置の輝度がその近傍点の輝度よりも大きい場合、選択された開始位置が誤検出でないと結論付けることができる。開始位置の輝度がその近傍点の輝度未満である場合、開始位置は誤検出である場合があり、リストから破棄されることになる。次に、リスト内の次の開始位置が同じ方法を用いて処理される。これは、リスト内の全ての開始位置が検査され、誤検出のない開始位置のクリーンなリストが得られるまで行われる。
図９は、あてはめプロセスの表現であり、このあてはめプロセスの間、顕微鏡の測定されたＰＳＦから導出された補間モデルが、各開始位置のロケーションにおいて画像データにあてはめられる。補間モデルは、線形補間、三次スプライン補間、又はフーリエ領域シフトのうちの１つ又は複数によって実施することができる。あてはめされる開始位置ごとに、較正され背景補正された画像からデータＲＯＩ情報が、較正された画像のＳＮＲ推定値からＳＮＲ ＲＯＩ情報が、それぞれ抽出される。ＳＮＲ ＲＯＩは、あてはめ手順の開始パラメータを推定するのにも用いられる。ＰＲＩの場合、ＲＯＩの角度モーメントを用いて開始ｚ値を得ることができる。次に、各開始位置のあてはめプロセスが、補間モデル、データＲＯＩ（データ）、ＳＮＲ ＲＯＩ（重み）、及び開始パラメータを用いて実行される。あてはめプロセスは、重み付き最小二乗問題を解いて適合する位置を特定するレーベンバーグ−マルカートソルバ(Levenberg-Marquadt solver)によって実施することができる。あてはめプロセスは、最良適合位置のリストが推定されるまで、各開始位置において実行される。
［実験（Experimental）］
実験的な研究の以下の説明によって本発明を更に説明する。
実験的な研究の以下の説明によって本発明を更に説明する。
［実施例］
材料及び方法
［細胞単離及び標識付け］
成体ラットから心室筋細胞を酵素によって単離し、２％のパラホルムアルデヒドで１０分間にわたって固定した。次に、心室筋細胞は、標準的な免疫蛍光プロトコルに従って、マウス内で生じた一次抗体（T4026, Sigma-Aldrich, ニュージーランド）を用いてβチューブリンについて標識付けられ、Ａｌｅｘａ６８０が二次的に標識付けた（A21058, Molecular Probes/Invitrogen, ニュージーランド）。標識付けられた細胞を、グリセリン及びＰＢＳの８０：２０の混合物における０．５ｍｇ ｍＬ−１グルコースオキシダーゼ、４０μｇ ｍＬ−１カタラーゼ、１０％（ｗ／ｖ）グルコース、及び５０ｍＭのβメルカプトエチルアミンからなる「スイッチングバッファ（switching buffer）」（全てSigma-Aldrich, ニュージーランド、から得られる）にマウントした。
材料及び方法
［細胞単離及び標識付け］
成体ラットから心室筋細胞を酵素によって単離し、２％のパラホルムアルデヒドで１０分間にわたって固定した。次に、心室筋細胞は、標準的な免疫蛍光プロトコルに従って、マウス内で生じた一次抗体（T4026, Sigma-Aldrich, ニュージーランド）を用いてβチューブリンについて標識付けられ、Ａｌｅｘａ６８０が二次的に標識付けた（A21058, Molecular Probes/Invitrogen, ニュージーランド）。標識付けられた細胞を、グリセリン及びＰＢＳの８０：２０の混合物における０．５ｍｇ ｍＬ−１グルコースオキシダーゼ、４０μｇ ｍＬ−１カタラーゼ、１０％（ｗ／ｖ）グルコース、及び５０ｍＭのβメルカプトエチルアミンからなる「スイッチングバッファ（switching buffer）」（全てSigma-Aldrich, ニュージーランド、から得られる）にマウントした。
［撮像］
蛍光検出のために、６０倍の1.47NA TIRF対物レンズを有する変更されたNikon TE2000顕微鏡、及びAndor IXon DV887DCS-BV EMCCDカメラを用いて撮像を実行した。急傾斜の平面照明を、６７１ｎｍのレーザー光源とともに用い、約１０９Ｗ／ｍ２の焦点面輝度を得た。フレームあたり４０ｍｓの積分時間を用いて再構成ごとに約２００００個のフレームを撮影した。圧電焦点合わせ装置（piezo focusser）（Physik Intrumente、ドイツ）を用いて焦点合わせを実行し、２００ｎｍの軸ステップサイズを有するｚスタックを取得した。ｚスタックは、１．２μｍの範囲にわたる７個の軸位置を含んでいた。試料退色が異なる平面内で観察される信号量に影響を及ぼさないことを確実にするために、焦点が前後に（ｚレベルあたり１００フレームの、退色レートと比較して）迅速に動かされるｚサンプリング戦略を用い、各軸位置に対応する面を画像捕捉の完了後に照合した。試料内のＰＳＦローブ分離ｓを達成するのに必要な角度を、光線光学から、□＝ｓＭ／（ｆＴ（ｎ−１））として推定した。ここで、Ｍは対物レンズの倍率であり、ｆＴは対物レンズ設計チューブ長（objective design tube length）（ここではNikon CFI60対物レンズの場合２００ｍｍ）であり、ｎはスライドガラス(glass slide)の屈折率（１．５１）である。このため、小さいが６０倍の対物レンズで良好に分解可能な約４００ｎｍのスポット分離を、スライド面間の約５０秒角の角度で達成することができる。顕微鏡スライドガラスの２つの表面が非常に平坦であるが完全に平行ではないことを利用することによって位相マスクが作成される。小さいが６０倍の対物レンズで良好に分解可能な約４００ｎｍのスポット分離を達成するには、２分角〜３分角の通常のスライド平行度公差内に十分入る５０秒角の角度で十分である。スライドのボックスを検査することによって、スライドがフィルター交換器の下に挿入されて対物レンズの後方開口の半分を占め、それによって瞳面の半分を占め、分岐したＰＳＦが生じるときに適切な位相勾配を引き起こす幾つかのスライドを得た。位相傾斜が厳密に瞳面内にはなく、現代の無限補正対物レンズ(modern infinity-corrected objective)の裏の「無限空間」（試料内の点光源からの光が本質的にコリメートされる）内のいずれかの場所にあるとき、依然として効果が観察された。これによって、瞳面を再撮像する必要がなくなり、使用されていないＤＩＣ解析器スロット内のフィルター交換器の後の好都合なロケーションに位相傾斜を位置決めすることが可能になった。
蛍光検出のために、６０倍の1.47NA TIRF対物レンズを有する変更されたNikon TE2000顕微鏡、及びAndor IXon DV887DCS-BV EMCCDカメラを用いて撮像を実行した。急傾斜の平面照明を、６７１ｎｍのレーザー光源とともに用い、約１０９Ｗ／ｍ２の焦点面輝度を得た。フレームあたり４０ｍｓの積分時間を用いて再構成ごとに約２００００個のフレームを撮影した。圧電焦点合わせ装置（piezo focusser）（Physik Intrumente、ドイツ）を用いて焦点合わせを実行し、２００ｎｍの軸ステップサイズを有するｚスタックを取得した。ｚスタックは、１．２μｍの範囲にわたる７個の軸位置を含んでいた。試料退色が異なる平面内で観察される信号量に影響を及ぼさないことを確実にするために、焦点が前後に（ｚレベルあたり１００フレームの、退色レートと比較して）迅速に動かされるｚサンプリング戦略を用い、各軸位置に対応する面を画像捕捉の完了後に照合した。試料内のＰＳＦローブ分離ｓを達成するのに必要な角度を、光線光学から、□＝ｓＭ／（ｆＴ（ｎ−１））として推定した。ここで、Ｍは対物レンズの倍率であり、ｆＴは対物レンズ設計チューブ長（objective design tube length）（ここではNikon CFI60対物レンズの場合２００ｍｍ）であり、ｎはスライドガラス(glass slide)の屈折率（１．５１）である。このため、小さいが６０倍の対物レンズで良好に分解可能な約４００ｎｍのスポット分離を、スライド面間の約５０秒角の角度で達成することができる。顕微鏡スライドガラスの２つの表面が非常に平坦であるが完全に平行ではないことを利用することによって位相マスクが作成される。小さいが６０倍の対物レンズで良好に分解可能な約４００ｎｍのスポット分離を達成するには、２分角〜３分角の通常のスライド平行度公差内に十分入る５０秒角の角度で十分である。スライドのボックスを検査することによって、スライドがフィルター交換器の下に挿入されて対物レンズの後方開口の半分を占め、それによって瞳面の半分を占め、分岐したＰＳＦが生じるときに適切な位相勾配を引き起こす幾つかのスライドを得た。位相傾斜が厳密に瞳面内にはなく、現代の無限補正対物レンズ(modern infinity-corrected objective)の裏の「無限空間」（試料内の点光源からの光が本質的にコリメートされる）内のいずれかの場所にあるとき、依然として効果が観察された。これによって、瞳面を再撮像する必要がなくなり、使用されていないＤＩＣ解析器スロット内のフィルター交換器の後の好都合なロケーションに位相傾斜を位置決めすることが可能になった。
非点収差撮像について、軸が５００ｍｍの組み合わされた焦点距離(combined focal length)を与えるように位置合わせされた２つの１ジオプター（ｆ＝１ｍ）検眼士非点収差検眼レンズ（optometrists astigmatic trial lenses）を、カメラピクセルサイズを顕微鏡の倍率に合致させるのに用いられる望遠鏡内のビーム経路内に挿入した。
双方の場合に、直径２００ｎｍの複数の暗赤色の蛍光ビーズ（F-8807, Invitrogen, ニュージーランド）の画像を位置合わせし、平均をとることによって、実験的なＰＳＦを得た。ビーズサイズは、一見してあてはめプロセスに悪影響を及ぼさなかった。
［データ解析］
単一分子の位置を、補間された測定されたＰＳＦの、撮像データへのレーベンバーグ−マルカート重み付き最小二乗あてはめを実行することによって抽出した。３つの異なる補間戦略（すなわち、フーリエ領域シフト、三次スプライン補間、及び単純線形補間）を調査した。フーリエ領域シフトを用いて得られた結果と三次スプライン補間法を用いて得られた結果との間で大きな差は観察されなかった。線形補間がはるかに最も高速であった。あてはめアルゴリズムにおいて用いられる重み付けは、任意の所与のピクセルにおける計算された雑音（ポアソン過程、電子倍増過程、及び読出し雑音過程を考慮に入れる）に対応し、収束時の共分散行列の解析から、あてはめ誤差の推定値が得られることを可能にする。
単一分子の位置を、補間された測定されたＰＳＦの、撮像データへのレーベンバーグ−マルカート重み付き最小二乗あてはめを実行することによって抽出した。３つの異なる補間戦略（すなわち、フーリエ領域シフト、三次スプライン補間、及び単純線形補間）を調査した。フーリエ領域シフトを用いて得られた結果と三次スプライン補間法を用いて得られた結果との間で大きな差は観察されなかった。線形補間がはるかに最も高速であった。あてはめアルゴリズムにおいて用いられる重み付けは、任意の所与のピクセルにおける計算された雑音（ポアソン過程、電子倍増過程、及び読出し雑音過程を考慮に入れる）に対応し、収束時の共分散行列の解析から、あてはめ誤差の推定値が得られることを可能にする。
［画像再構成］
各局在事象をガウス分布としてレンダリングすることによって、図１０ｂに示すような深度が符号化された射影画像を得た。ここで、色はそのあてはめられたｚ位置に対応し、標準偏差は平均横方向局在精度に等しい。次に、結果としての画像を、ＧＩＭＰ画像編集プログラムを用いて穏やかに輝度飽和させ、弱い構造の視認性を向上させた。３Ｄガウス分布として各事象をレンダリングすることによって、３Ｄボリュームデータを得た。ここで、横方向及び軸方向の標準偏差は、横方向及び軸方向の事象の推定局在誤差に対応する。定位置の位相プレートを用いて得られた広視野画像は劣化し、ゴーストを発生させるアーチファクトを示す。通常の広視野ＰＳＦの横方向及び軸方向の標準偏差に対応する横方向及び軸方向の標準偏差を用いて、同じ励起波長で各事象をレンダリングすることによって、局在事象から、従来の回折制限された解像度のボリュームデータを再構成した。ＯｐｅｎＤＸ（www.opendx.org）を用いてボリュームデータの等値面レンダリングを実行した。
各局在事象をガウス分布としてレンダリングすることによって、図１０ｂに示すような深度が符号化された射影画像を得た。ここで、色はそのあてはめられたｚ位置に対応し、標準偏差は平均横方向局在精度に等しい。次に、結果としての画像を、ＧＩＭＰ画像編集プログラムを用いて穏やかに輝度飽和させ、弱い構造の視認性を向上させた。３Ｄガウス分布として各事象をレンダリングすることによって、３Ｄボリュームデータを得た。ここで、横方向及び軸方向の標準偏差は、横方向及び軸方向の事象の推定局在誤差に対応する。定位置の位相プレートを用いて得られた広視野画像は劣化し、ゴーストを発生させるアーチファクトを示す。通常の広視野ＰＳＦの横方向及び軸方向の標準偏差に対応する横方向及び軸方向の標準偏差を用いて、同じ励起波長で各事象をレンダリングすることによって、局在事象から、従来の回折制限された解像度のボリュームデータを再構成した。ＯｐｅｎＤＸ（www.opendx.org）を用いてボリュームデータの等値面レンダリングを実行した。
図１０ａは、位相傾斜と、ＰＳＦに対するその影響とを示している。先行する較正中、ＰＳＦは２００ｎｍの蛍光ビーズを撮像することによって記録された。様々な焦点外れ値でかつ３ＤレンダリングされたＰＳＦ画像内に見られるような２つのローブの焦点に依存した動きに留意されたい。図１０ｃは、スライドガラス上に固定化されたＡｌｅｘａ６８０標識付け抗体から得られたｚ位置のヒストグラムである。これらの点の最大値の半分の拡がりにおける幅全体は、軸方向解像度に約８２ｎｍの上限を課す。図１０ｂは、本発明の方法を用いて捕捉された、ラット心筋細胞におけるβチューブリンのｚ射影再構成である。深度は、パネルＤに示すルックアップテーブルに従って符号化された色である。スケールバー１μｍ(Scale bar 1μｍ)。図１０ｄは、図１０ｂの点線領域に対応する再構成画像のエリアの等値面図である。従来の回折制限された解像度の再構成が比較のために示される。本発明の方法の３次元全てにおいて大幅に改善した解像度が明確に示される。
図１１は、位相傾斜ＰＳＦを、直径２００ｎｍの３つの暗赤色の蛍光ビーズの一連の画像にあてはめることによって得られた実際の焦点外れ及び結果を示している。１つのビーズからの位置データを用いて残留ドリフトを補正し、１０フレームトップハットフィルターを通してフィルタリングした。ゼロ焦点外れにおけるビーズごとのｚ局在の測定スプレッド（標準偏差（std.dev.））は約９ｎｍであり、あてはめ残余に基づく推定平均局在誤差と良好に合致した。
図１２ａ及び図１２ｂを参照すると、本発明の方法を非点収差検出と比較するために、心筋細胞におけるβチューブリンの取得からの焦点外れの関数として、推定局在誤差、及び適合事象数がプロットされている。それぞれの平均輝度を中心とした狭い（１０％）輝度窓内に入る事象のみが選択される。これによって、検出の輝度依存性に起因した影響が複雑になることが回避される。「局在可能な」事象数及び関連する局在誤差数の双方が、非点収差よりも位相傾斜撮像について、より大きい軸方向範囲にわたって妥当な範囲内にとどまった。
［実施例２］
図１３は、本方法（ＰＲＩ）の軸方向局在精度と、２つの既存の３Ｄ局在法、すなわち非点収差検出及び二方向検出の軸方向局在精度との理論的比較を示している。精度を比較するために、３つの方法の点拡がり関数をシミュレートし、クラメル−ラオ下限を計算するのに用いた。これは、点拡がり関数形状に含まれる情報に基づき、所与の雑音条件下の可能な限り最小の局在誤差（完全な解析アルゴリズムを用いて得られるもの）を表す。雑音計算のために、雑音がポワソン統計に従い、各蛍光分子から合計２０００個の光子が検出されると仮定した。本発明の方法は、他の方法と比較して、より優れた軸方向精度および全体にわたる３Ｄ精度を有するものとして示されることを見てとることができ、横方向精度がより広い軸範囲にわたって維持されることを見てとることができる。
図１３は、本方法（ＰＲＩ）の軸方向局在精度と、２つの既存の３Ｄ局在法、すなわち非点収差検出及び二方向検出の軸方向局在精度との理論的比較を示している。精度を比較するために、３つの方法の点拡がり関数をシミュレートし、クラメル−ラオ下限を計算するのに用いた。これは、点拡がり関数形状に含まれる情報に基づき、所与の雑音条件下の可能な限り最小の局在誤差（完全な解析アルゴリズムを用いて得られるもの）を表す。雑音計算のために、雑音がポワソン統計に従い、各蛍光分子から合計２０００個の光子が検出されると仮定した。本発明の方法は、他の方法と比較して、より優れた軸方向精度および全体にわたる３Ｄ精度を有するものとして示されることを見てとることができ、横方向精度がより広い軸範囲にわたって維持されることを見てとることができる。
［実施例３］
図１４は、２つのローブの相対振幅に対する波長依存を、光学フィルターを用いて生成することができることを示している。実験的な撮像システム（これ以外では実施例１において概略が示されたようなもの）において、位相傾斜が瞳面の半分に挿入され、ロングパス干渉フィルターが残る半分に挿入された。この構成は、３つの異なる色において蛍光ビーズを撮像するのに用いられ、これらのビーズタイプのそれぞれに対応する点拡がり関数を通じた焦点の合った部分が図１４ａ〜図１４ｃに示されている。各ＰＳＦの中心を通る線プロファイルが図１４ｄとしてプロットされ、異なるビーズタイプがそれらの相対的なローブ高さによって明確に区別可能であることを示している。
図１４は、２つのローブの相対振幅に対する波長依存を、光学フィルターを用いて生成することができることを示している。実験的な撮像システム（これ以外では実施例１において概略が示されたようなもの）において、位相傾斜が瞳面の半分に挿入され、ロングパス干渉フィルターが残る半分に挿入された。この構成は、３つの異なる色において蛍光ビーズを撮像するのに用いられ、これらのビーズタイプのそれぞれに対応する点拡がり関数を通じた焦点の合った部分が図１４ａ〜図１４ｃに示されている。各ＰＳＦの中心を通る線プロファイルが図１４ｄとしてプロットされ、異なるビーズタイプがそれらの相対的なローブ高さによって明確に区別可能であることを示している。
上記は、本発明の好ましい実施形態を含めて本発明を説明している。当業者に明らかとなる代替形態及び変更形態は、添付の特許請求の範囲において規定されるような本発明の範囲内に組み込まれることが意図される。
Claims (51)
- ３Ｄ局在顕微鏡法システムであって、
前記３Ｄ局在顕微鏡法システムは、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つの画像ローブを含む点放射体画像を生成するように構成され、
それによって、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、前記２つの画像ローブが、実質的に軸に沿った第１の互いに対向する方向に互いから分離され、
正の焦点外れを発生させる前記対物レンズに対する放射体の位置において、前記２つの画像ローブが、実質的に前記軸に沿った第２の互いに対向する方向に互いから分離される、３Ｄ局在顕微鏡法システム。 - ４Ｄ局在顕微鏡法システムまたは放射体追跡システムであって、
前記４Ｄ局在顕微鏡法システムまたは前記放射体追跡システムは、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つのローブを含む点放射体画像を生成するように構成され、
前記２つのローブ間の分離は、撮像システムの前記対物レンズに対する放射体の位置に関連し、
前記画像の更なる特性、又は前記対物レンズへの若しくは前記対物レンズからの前記光の更なる特性は、前記放射体の別のロケーション非依存特性に関連する、
４Ｄ局在顕微鏡法システムまたは放射体追跡システム。 - 前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させて、２つの画像ローブを含む点放射体画像を生成するように構成され、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、前記２つの画像ローブが、実質的に軸に沿った第１の互いに対向する方向に互いから分離され、
正の焦点外れを発生させる前記対物レンズに対する放射体の位置において、前記２つの画像ローブが、実質的に前記軸に沿った第２の互いに対向する方向に互いから分離される、請求項２に記載のシステム。 - 前記更なる特性は前記画像ローブ間の分離である、請求項２又は３に記載のシステム。
- 前記更なる特性は、前記放射体の前記位置に関連する前記画像ローブ間の前記分離の前記軸に対し或る角度を成す軸における前記画像ローブ間の分離である、請求項４に記載のシステム。
- 前記画像の前記更なる特性は、前記放射体の前記位置に関連する前記画像ローブ間の前記分離の前記軸に対し実質的に直交する軸における前記画像ローブ間の分離である、請求項４に記載のシステム。
- 前記更なる特性は、前記放射体からの光の輝度、スペクトル成分、寿命、又は偏光状態である、請求項２又は３に記載のシステム。
- 前記放射体の前記ロケーション非依存特性は、前記放射体からの光のスペクトル成分、寿命、又は偏光状態のうちの任意の１つ又は複数である、請求項２〜７のいずれか１項に記載のシステム。
- 前記システムは、前記対物レンズに対する放射体の、焦点の合った位置において、前記２つの画像ローブが、前記放射体の前記位置に関連する前記画像ローブ間の分離の前記軸に沿って互いから実質的に分離されないように構成される、請求項１〜８のいずれか１項に記載のシステム。
- 前記システムは、前記対物レンズに対する放射体の、焦点の合った前記位置において、前記２つの画像ローブが、前記放射体の前記位置に関連する前記画像ローブ間の分離の前記軸に実質的に直交して互いから分離されるように構成される、請求項１〜９のいずれか１項に記載のシステム。
- 屈折位相変更装置を備え、
前記屈折位相変更装置は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させるように構成される、請求項１〜１０のいずれか１項に記載のシステム。 - 前記屈折位相変更装置は位相傾斜を備える、請求項１１に記載のシステム。
- 前記位相傾斜は線形位相傾斜である、請求項１２に記載のシステム。
- 前記位相変更装置は、単一の位相傾斜を備え、
前記単一の位相傾斜は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させるように構成される、請求項１２又は１３に記載のシステム。 - 前記位相変更装置は、少なくとも２つの位相傾斜を備え、
少なくとも１つの位相傾斜は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光に対し位相変化を発生させるように構成され、
少なくとも１つの別の位相傾斜は、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光に対し位相変化を発生させるように構成される、請求項１１に記載のシステム。 - 前記２つの位相傾斜は、互いに異なる位相変化勾配を有する、請求項１５に記載のシステム。
- 前記２つの位相傾斜は、互いに反対向きの位相変化勾配を有する、請求項１５又は１６に記載のシステム。
- 前記２つの位相傾斜は、互いに等しいが反対向きの位相変化勾配を有する、請求項１５に記載のシステム。
- 前記位相変更装置は、鋸歯構成の複数の線形傾斜を備える、請求項１１に記載のシステム。
- 前記システムは反射性位相変更装置を備え、
前記反射性位相変更装置は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させるように構成される、請求項１〜１０のいずれか１項に記載のシステム。 - 前記反射性位相変更装置は、少なくとも２つの反射性位相傾斜を備え、
少なくとも１つの反射性位相傾斜は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光に対し位相変化を発生させるように構成され、
少なくとも１つの別の反射性位相傾斜は、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光に対し位相変化を発生させるように構成される、請求項２０に記載のシステム。 - 前記反射性位相変更装置は、固定の相対角度での反射面を備える、請求項２１に記載のシステム。
- 前記反射性位相変更装置は、調整可能な相対角度での反射面を備える、請求項２１に記載のシステム。
- 前記反射性位相変更装置は、線形に変動する位相差を発生させるように構成される、請求項２１〜２３のいずれか１項に記載のシステム。
- 前記反射性位相変更装置は、鋸歯構成の複数の線形反射性位相傾斜を備える、請求項２１に記載のシステム。
- 前記反射性位相変更装置は変形可能なミラーを備える、請求項１９に記載のシステム。
- 前記システムは分散性位相変更装置を備え、
前記分散性位相変更装置は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させるように構成される、請求項１〜１０のいずれか１項に記載のシステム。 - 前記分散性位相変更装置は、２つの分散性位相変更装置を備え、
前記２つの分散性位相変更装置は、高分散位相変更装置と、低分散位相変更装置とを含む、請求項２７に記載のシステム。 - 前記システムは位相変更装置を備え、
前記位相変更装置は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させるように構成され、
前記位相変更装置は回折格子を備える、請求項１〜１０のいずれか１項に記載のシステム。 - 前記位相変更装置は回折格子と及び平面鏡とを備える、請求項２９に記載のシステム。
- 各前記画像ローブの各相対位置から前記放射体のｚ軸位置を評価するように構成された画像処理システムを備える、請求項１〜３０のいずれか１項に記載のシステム。
- 画像処理システムを備え、
前記画像処理システムは、各前記画像ローブの各相対位置を、数学的モデル若しくは数値モデル又はルックアップデータベースに合致させることによって前記放射体のｚ軸位置を評価するように構成される、請求項１〜３０のいずれか１項に記載のシステム。 - 画像処理システムを備え、
前記画像処理システムは、
未加工画像を捕捉するステップと、
前記未加工画像の背景が減算された推定値及び前記未加工画像の信号対雑音比（ＳＮＲ）推定値を得るステップと、
前記未加工画像の前記背景が減算された推定値及び前記ＳＮＲ推定値における対象物コントラストを最大にするステップと、
しきい値処理された画像及び前記しきい値処理された画像上の開始位置のリストを得るステップと、
前記リスト内の誤検出された開始位置を破棄するステップと、
前記撮像システムの点拡がり関数、前記未加工画像のＳＮＲ推定値及び背景推定値を用いて、前記開始位置のリストに対し最適化あてはめプロセスを実行するステップと、
あてはめられた開始位置を前記未加工画像の３Ｄ画像に組み立てるステップと、
を含む複数のステップによって、少なくとも未加工放射体画像の３Ｄ放射体画像を生成する、請求項１〜３２のいずれか１項に記載のシステム。 - 画像処理システムを備え、
前記画像処理システムは、
前記未加工画像のオフセットを補正し、
光電子数の観点から前記画像を較正し、
現在の未加工画像に系列内で先行する複数の画像の平均を減算する
ことによって、前記背景が減算された推定値を捕捉するように構成される、請求項３３に記載のシステム。 - 前記画像処理システムは、前記未加工画像の各ピクセル内の光電子数の平方根を計算することによって前記ＳＮＲ推定値を得るように構成される、請求項３３又は３４に記載のシステム。
- 前記画像処理システムは、
ウィナーフィルタリング、
前記撮像システムの点拡がり関数を用いた相関、又は
最尤デコンボリューション
のうちの任意の１つ又は複数によって、前記背景が減算された推定値における対象物コントラストを最大にするように構成される、請求項３３〜３５のいずれか１項に記載のシステム。 - 前記しきい値処理された画像は、前記背景が減算されコントラストが強化された推定値が、前記ＳＮＲ推定値に一定の係数を乗算したものよりも明るいエリアを示すマスクである、請求項３３〜３６のいずれか１項に記載のシステム。
- 開始位置のリストは、
前記画像内の連続エリアを取り出すために二値標識付けを実行するステップと、
前記二値標識付けがなされた画像内の各標識付けられた領域の輝度中心を計算するとともに、これを前記標識付けられた領域の前記開始位置として用いるステップと、
によって、前記しきい値処理された画像から計算される、請求項３３〜３７のいずれか１項に記載のシステム。 - 前記画像処理システムは、
開始位置の選択された範囲内の近傍点の情報を抽出するステップと、
前記開始位置及び前記選択された近傍点の輝度を計算するステップと、
前記開始位置及び前記近傍点の前記輝度を比較するステップと、
前記開始位置の輝度が近傍点の輝度よりも大きくない場合、前記開始位置を破棄するステップと、
を含む複数のステップによって、誤検出された開始位置を破棄するように構成される、請求項３３〜３８のいずれか１項に記載のシステム。 - 前記画像処理システムは、
「データＲＯＩ」及び「ＳＮＲ ＲＯＩ」を得るために、背景補正された画像内の各開始位置の周りの関心領域（ＲＯＩ）及びＳＮＲ推定値から情報を抽出するステップと、
これらの領域からの前記データを用いて開始パラメータを計算するステップと、
前記撮像システムの前記点拡がり関数から導出された補間モデルと、
開始パラメータと、
前記ＳＮＲ ＲＯＩと
を用いて前記データＲＯＩをあてはめることによって、最適化プロセスを実行するステップと、
を含む複数のステップによって、背景補正された画像における関心領域に対する最適化あてはめプロセスを、各開始位置について実行するように構成される、請求項３３〜３９のいずれか１項に記載のシステム。 - 近傍点の前記選択された範囲は、前記撮像システムの前記点拡がり関数よりも大きなサイズである、請求項３９に記載のシステム。
- ３Ｄ局在顕微鏡法の一方法であって、
前記方法は、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つの画像ローブを含む点放射体画像を生成することを含み、
それによって、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、前記２つの画像ローブが、実質的に軸に沿った第１の互いに対向する方向に互いから分離され、
正の焦点外れを発生させる前記対物レンズに対する放射体の位置において、前記２つの画像ローブが、実質的に前記軸に沿った第２の互いに対向する方向及び各前記画像ローブの各相対位置からの前記放射体のｚ軸位置において、互いから分離される、３Ｄ局在顕微鏡法の一方法。 - ４Ｄ局在顕微鏡法の一方法または放射体追跡方法であって、
前記方法は、対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の位相差を発生させて、２つのローブを含む点放射体画像を生成することを含み、
前記２つのローブ間の分離は、撮像システムの前記対物レンズに対する前記放射体の位置に関連し、
前記画像の更なる特性、又は前記対物レンズへの若しくは前記対物レンズからの前記光の更なる特性は、前記放射体の別のロケーション非依存特性及び各前記画像ローブの各相対位置からの前記放射体のｚ軸位置に関連し、
前記方法は、前記別のロケーション非依存特性を評価することを含む、
４Ｄ局在顕微鏡法の一方法または放射体追跡方法。 - 前記方法は、前記対物レンズの一部分へ又は前記対物レンズの前記一部分から進む光と、前記対物レンズの別の部分へ又は前記対物レンズの前記別の部分から進む光との間の前記位相差を発生させて、２つの画像ローブを含む点放射体画像を生成することを含み、
負の焦点外れを発生させる前記対物レンズに対する放射体の位置において、前記２つの画像ローブが、実質的に軸に沿った第１の互いに対向する方向に互いから分離され、
正の焦点外れを発生させる前記対物レンズに対する放射体の位置において、前記２つの画像ローブが、実質的に前記軸に沿った第２の互いに対向する方向に互いから分離される、請求項４３に記載の方法。 - 前記画像の更なる特性は、前記画像ローブ間の分離である、請求項４３又は４４に記載の方法。
- 前記画像の前記更なる特性は、前記放射体の前記位置に関連する前記画像ローブ間の前記分離の前記軸に対し或る角度を成す軸における前記画像ローブ間の分離である、請求項４５に記載の方法。
- 前記画像の前記更なる特性は、前記放射体の前記位置に関連する前記画像ローブ間の前記分離の前記軸に対し実質的に直交する軸における前記画像ローブ間の分離である、
請求項４５に記載の方法。 - 前記画像の前記更なる特性は、前記放射体からの光の輝度、スペクトル成分、寿命、又は偏光状態である、請求項４３又は４４に記載の方法。
- 前記放射体の前記ロケーション非依存特性は、前記放射体からの光のスペクトル成分、寿命、又は偏光状態のうちの任意の１つ又は複数である、請求項４３〜４８のいずれか１項に記載の方法。
- 前記対物レンズに対する放射体の、焦点の合った位置において、前記２つの画像ローブが、前記放射体の前記位置に関連する前記画像ローブ間の分離の前記軸に沿って互いから実質的に分離されない、請求項４３〜４９のいずれか１項に記載の方法。
- 前記対物レンズに対する放射体の、前記焦点の合った前記位置において、前記２つの画像ローブが、前記放射体の前記位置に関連する前記画像ローブ間の分離の前記軸に実質的に直交して互いから分離される、請求項４３〜４９のいずれか１項に記載の方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NZ588199 | 2010-09-24 | ||
| NZ58819910 | 2010-09-24 | ||
| PCT/NZ2011/000200 WO2012039636A2 (en) | 2010-09-24 | 2011-09-26 | "3d localisation microscopy and 4d localisation microscopy and tracking methods and systems" |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016147913A Division JP6416160B2 (ja) | 2010-09-24 | 2016-07-28 | ３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013539074A true JP2013539074A (ja) | 2013-10-17 |
Family
ID=44993857
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013530109A Ceased JP2013539074A (ja) | 2010-09-24 | 2011-09-26 | ３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム |
| JP2016147913A Active JP6416160B2 (ja) | 2010-09-24 | 2016-07-28 | ３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016147913A Active JP6416160B2 (ja) | 2010-09-24 | 2016-07-28 | ３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US9523846B2 (ja) |
| JP (2) | JP2013539074A (ja) |
| DE (1) | DE112011103187B4 (ja) |
| WO (1) | WO2012039636A2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013250430A (ja) * | 2012-05-31 | 2013-12-12 | Nikon Corp | 顕微鏡装置 |
| JP2015072472A (ja) * | 2013-09-30 | 2015-04-16 | カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ | 微視的標本を検査するための光学顕微鏡および顕微鏡方法 |
| JP2020515907A (ja) * | 2017-04-04 | 2020-05-28 | ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション | 顕微鏡における高精度波長抽出用の位相板 |
Families Citing this family (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7838302B2 (en) | 2006-08-07 | 2010-11-23 | President And Fellows Of Harvard College | Sub-diffraction limit image resolution and other imaging techniques |
| CN101918816B (zh) | 2007-12-21 | 2015-12-02 | 哈佛大学 | 三维中的亚衍射极限图像分辨率 |
| DE102012201003A1 (de) * | 2012-01-24 | 2013-07-25 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren für die hochauflösende 3-D Fluoreszenzmikroskopie |
| DE102012201286A1 (de) * | 2012-01-30 | 2013-08-01 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren für die wellenlängenselektive und örtlich hochauflösende Mikroskopie |
| DE102012202730A1 (de) * | 2012-02-22 | 2013-08-22 | Carl Zeiss Microscopy Gmbh | Wellenlängenselektive und örtlich hochauflösende Fluoreszenzmikroskopie |
| EP2660639B1 (en) | 2012-05-02 | 2016-04-13 | Centre National De La Recherche Scientifique | Method and apparatus for single-particle localization using wavelet analysis |
| DE102013208415B4 (de) | 2013-05-07 | 2023-12-28 | Carl Zeiss Microscopy Gmbh | Mikroskop und Verfahren für die 3D-hochauflösende Lokalisierungsmikroskopie |
| DE102013208927A1 (de) | 2013-05-14 | 2014-11-20 | Carl Zeiss Microscopy Gmbh | Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie |
| DE102013208926A1 (de) | 2013-05-14 | 2014-11-20 | Carl Zeiss Microscopy Gmbh | Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie |
| DE102013015933A1 (de) | 2013-09-19 | 2015-03-19 | Carl Zeiss Microscopy Gmbh | Hochauflösende Scanning-Mikroskopie |
| WO2017090210A1 (ja) | 2015-11-27 | 2017-06-01 | 株式会社ニコン | 顕微鏡、観察方法、及び画像処理プログラム |
| CN105403170B (zh) * | 2015-12-11 | 2018-05-25 | 华侨大学 | 一种显微3d形貌测量方法及装置 |
| US10908072B2 (en) | 2016-12-15 | 2021-02-02 | The Board Of Regents Of The University Of Texas System | Total internal reflection and transmission illumination fluorescence microscopy imaging system with improved background suppression |
| JPWO2018116851A1 (ja) * | 2016-12-21 | 2019-10-24 | 株式会社ニコン | 情報処理装置、画像処理装置、顕微鏡、情報処理方法、及び情報処理プログラム |
| DE102017105103A1 (de) | 2017-03-10 | 2018-09-13 | Carl Zeiss Microscopy Gmbh | 3D-Mikroskopie |
| CN107133964B (zh) * | 2017-06-01 | 2020-04-24 | 江苏火米互动科技有限公司 | 一种基于Kinect的抠像方法 |
| US11169368B2 (en) * | 2018-01-02 | 2021-11-09 | King's College London | Method and system for localisation microscopy |
| CN109080144A (zh) * | 2018-07-10 | 2018-12-25 | 泉州装备制造研究所 | 基于中心点判断的3d打印喷头末端实时跟踪定位方法 |
| CN108982454B (zh) * | 2018-07-30 | 2021-03-02 | 华中科技大学苏州脑空间信息研究院 | 一种轴向多层并行扫描显微成像方法及*** |
| US20200056462A1 (en) | 2018-08-16 | 2020-02-20 | Saudi Arabian Oil Company | Motorized pump |
| US20200056615A1 (en) | 2018-08-16 | 2020-02-20 | Saudi Arabian Oil Company | Motorized pump |
| DE102018122652A1 (de) | 2018-09-17 | 2020-03-19 | Carl Zeiss Microscopy Gmbh | Spektralauflösende, hochauflösende 3D-Lokalisierungmikroskopie |
| DE102018128590A1 (de) | 2018-11-14 | 2020-05-14 | Carl Zeiss Microscopy Gmbh | Fluktuationsbasierte Fluoreszenzmikroskopie |
| US11347040B2 (en) * | 2019-02-14 | 2022-05-31 | Double Helix Optics Inc. | 3D target for optical system characterization |
| DE102020113998A1 (de) | 2020-05-26 | 2021-12-02 | Abberior Instruments Gmbh | Verfahren, Computerprogramm und Vorrichtung zum Bestimmen von Positionen von Molekülen in einer Probe |
| US11371326B2 (en) | 2020-06-01 | 2022-06-28 | Saudi Arabian Oil Company | Downhole pump with switched reluctance motor |
| US11499563B2 (en) | 2020-08-24 | 2022-11-15 | Saudi Arabian Oil Company | Self-balancing thrust disk |
| US11920469B2 (en) | 2020-09-08 | 2024-03-05 | Saudi Arabian Oil Company | Determining fluid parameters |
| US11644351B2 (en) | 2021-03-19 | 2023-05-09 | Saudi Arabian Oil Company | Multiphase flow and salinity meter with dual opposite handed helical resonators |
| US11591899B2 (en) | 2021-04-05 | 2023-02-28 | Saudi Arabian Oil Company | Wellbore density meter using a rotor and diffuser |
| US11913464B2 (en) | 2021-04-15 | 2024-02-27 | Saudi Arabian Oil Company | Lubricating an electric submersible pump |
| US11994016B2 (en) | 2021-12-09 | 2024-05-28 | Saudi Arabian Oil Company | Downhole phase separation in deviated wells |
| DE102022200841B3 (de) | 2022-01-26 | 2023-05-04 | Carl Zeiss Microscopy Gmbh | Verfahren, Anordnung und Mikroskop zur dreidimensionalen Bildgebung in der Mikroskopie unter Nutzung einer asymmetrischen Punktbildübertragungsfunktion |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006071950A (ja) * | 2004-09-01 | 2006-03-16 | Canon Inc | 光学機器 |
| JP2006317261A (ja) * | 2005-05-12 | 2006-11-24 | Olympus Corp | 走査型サイトメータの画像処理方法及び装置 |
| WO2006127692A2 (en) * | 2005-05-23 | 2006-11-30 | Hess Harald F | Optical microscopy with phototransformable optical labels |
| JP2008122856A (ja) * | 2006-11-15 | 2008-05-29 | Citizen Holdings Co Ltd | 液晶光変調素子、液晶光変調装置、および液晶光変調素子の駆動方法 |
| US20080137059A1 (en) * | 2006-06-05 | 2008-06-12 | University Of Colorado | Method And System For Optical Imaging And Ranging |
| WO2008132976A1 (ja) * | 2007-04-12 | 2008-11-06 | Nikon Corporation | 顕微鏡装置 |
| JP4288323B1 (ja) * | 2008-09-13 | 2009-07-01 | 独立行政法人科学技術振興機構 | 顕微鏡装置及びそれを用いた蛍光観察方法 |
| WO2009100830A1 (de) * | 2008-02-13 | 2009-08-20 | Carl Zeiss Microimaging Gmbh | Vorrichtung und verfahren zum räumlichen hochauflösenden abbilden einer struktur einer probe |
| WO2009115244A1 (en) * | 2008-03-19 | 2009-09-24 | Ruprecht-Karls-Universität Heidelberg | A method and an apparatus for localization of single dye molecules in the fluorescent microscopy |
| WO2010060515A1 (de) * | 2008-11-03 | 2010-06-03 | Carl Zeiss Microlmaging Gmbh | Kombinationsmikroskopie |
| WO2010060545A1 (de) * | 2008-11-27 | 2010-06-03 | Carl Zeiss Microimaging Gmbh | Auflösungsgesteigerte mikroskopie |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0695038A (ja) * | 1992-03-19 | 1994-04-08 | Matsushita Electric Ind Co Ltd | 超解像走査光学装置、光学装置の超解像用光源装置及び光学装置の超解像用フィルター |
| JP4789177B2 (ja) | 2005-07-06 | 2011-10-12 | 独立行政法人科学技術振興機構 | ３次元位置観測方法及び装置 |
| KR100743591B1 (ko) * | 2005-09-23 | 2007-07-27 | 한국과학기술원 | 사이드 로브가 제거된 공초점 자가 간섭 현미경 |
| US7924432B2 (en) * | 2006-12-21 | 2011-04-12 | Howard Hughes Medical Institute | Three-dimensional interferometric microscopy |
| WO2009029843A1 (en) | 2007-08-31 | 2009-03-05 | The General Hospital Corporation | System and method for self-interference fluoresence microscopy, and computer-accessible medium associated therewith |
| CN101918816B (zh) * | 2007-12-21 | 2015-12-02 | 哈佛大学 | 三维中的亚衍射极限图像分辨率 |
| US7772569B2 (en) * | 2008-04-01 | 2010-08-10 | The Jackson Laboratory | 3D biplane microscopy |
| DE102008049886B4 (de) | 2008-09-30 | 2021-11-04 | Carl Zeiss Microscopy Gmbh | Vorrichtung, insbesondere ein Mikroskop, zur Untersuchung von Proben |
| WO2010080030A2 (en) | 2009-01-09 | 2010-07-15 | Aleksey Nikolaevich Simonov | Optical rangefinder an imaging apparatus with chiral optical arrangement |
| US8620065B2 (en) * | 2010-04-09 | 2013-12-31 | The Regents Of The University Of Colorado | Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation |
| US8711211B2 (en) * | 2010-06-14 | 2014-04-29 | Howard Hughes Medical Institute | Bessel beam plane illumination microscope |
| US9500846B2 (en) * | 2014-03-17 | 2016-11-22 | Howard Hughes Medical Institute | Rapid adaptive optical microscopy over large multicellular volumes |
| US10341640B2 (en) * | 2015-04-10 | 2019-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Multi-wavelength phase mask |
-
2011
- 2011-09-26 JP JP2013530109A patent/JP2013539074A/ja not_active Ceased
- 2011-09-26 DE DE112011103187.4T patent/DE112011103187B4/de active Active
- 2011-09-26 WO PCT/NZ2011/000200 patent/WO2012039636A2/en active Application Filing
- 2011-09-26 US US13/825,794 patent/US9523846B2/en active Active
-
2016
- 2016-07-28 JP JP2016147913A patent/JP6416160B2/ja active Active
- 2016-11-03 US US15/342,615 patent/US10007103B2/en active Active
-
2018
- 2018-03-28 US US15/938,627 patent/US10571674B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006071950A (ja) * | 2004-09-01 | 2006-03-16 | Canon Inc | 光学機器 |
| JP2006317261A (ja) * | 2005-05-12 | 2006-11-24 | Olympus Corp | 走査型サイトメータの画像処理方法及び装置 |
| WO2006127692A2 (en) * | 2005-05-23 | 2006-11-30 | Hess Harald F | Optical microscopy with phototransformable optical labels |
| US20080137059A1 (en) * | 2006-06-05 | 2008-06-12 | University Of Colorado | Method And System For Optical Imaging And Ranging |
| JP2008122856A (ja) * | 2006-11-15 | 2008-05-29 | Citizen Holdings Co Ltd | 液晶光変調素子、液晶光変調装置、および液晶光変調素子の駆動方法 |
| WO2008132976A1 (ja) * | 2007-04-12 | 2008-11-06 | Nikon Corporation | 顕微鏡装置 |
| WO2009100830A1 (de) * | 2008-02-13 | 2009-08-20 | Carl Zeiss Microimaging Gmbh | Vorrichtung und verfahren zum räumlichen hochauflösenden abbilden einer struktur einer probe |
| WO2009115244A1 (en) * | 2008-03-19 | 2009-09-24 | Ruprecht-Karls-Universität Heidelberg | A method and an apparatus for localization of single dye molecules in the fluorescent microscopy |
| JP4288323B1 (ja) * | 2008-09-13 | 2009-07-01 | 独立行政法人科学技術振興機構 | 顕微鏡装置及びそれを用いた蛍光観察方法 |
| WO2010060515A1 (de) * | 2008-11-03 | 2010-06-03 | Carl Zeiss Microlmaging Gmbh | Kombinationsmikroskopie |
| WO2010060545A1 (de) * | 2008-11-27 | 2010-06-03 | Carl Zeiss Microimaging Gmbh | Auflösungsgesteigerte mikroskopie |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013250430A (ja) * | 2012-05-31 | 2013-12-12 | Nikon Corp | 顕微鏡装置 |
| JP2015072472A (ja) * | 2013-09-30 | 2015-04-16 | カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ | 微視的標本を検査するための光学顕微鏡および顕微鏡方法 |
| JP2020515907A (ja) * | 2017-04-04 | 2020-05-28 | ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション | 顕微鏡における高精度波長抽出用の位相板 |
| JP7144438B2 (ja) | 2017-04-04 | 2022-09-29 | ザ ユニバーシティ オブ ユタ リサーチ ファウンデイション | 顕微鏡における高精度波長抽出用の位相板 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130300833A1 (en) | 2013-11-14 |
| DE112011103187T5 (de) | 2013-07-25 |
| US10007103B2 (en) | 2018-06-26 |
| JP2016197260A (ja) | 2016-11-24 |
| US20180348499A1 (en) | 2018-12-06 |
| DE112011103187T8 (de) | 2013-09-26 |
| US9523846B2 (en) | 2016-12-20 |
| WO2012039636A3 (en) | 2012-07-12 |
| US10571674B2 (en) | 2020-02-25 |
| US20170168283A1 (en) | 2017-06-15 |
| JP6416160B2 (ja) | 2018-10-31 |
| DE112011103187B4 (de) | 2021-10-14 |
| WO2012039636A2 (en) | 2012-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6416160B2 (ja) | ３ｄ局在顕微鏡法並びに４ｄ局在顕微鏡法及び追跡方法並びに追跡システム | |
| US11156821B2 (en) | High-illumination numerical aperture-based large field-of-view high-resolution microimaging device and a method for iterative reconstruction | |
| JP6444869B2 (ja) | 誘導放出抑制顕微鏡検査 | |
| EP2817670B1 (en) | Multi-focal structured illumination microscopy systems and methods | |
| Backlund et al. | The double-helix point spread function enables precise and accurate measurement of 3D single-molecule localization and orientation | |
| Murray | Methods for imaging thick specimens: confocal microscopy, deconvolution, and structured illumination | |
| US20100224796A1 (en) | Imaging System Using Dynamic Speckle Illumination | |
| CN109477954A (zh) | 具有相位调制元件的scape显微术和图像重构 | |
| US20080033677A1 (en) | Methods And System For Compensating For Spatial Cross-Talk | |
| JP6255389B2 (ja) | 試料中の関心組織を高空間分解能で画像化するための顕微鏡 | |
| US10234672B2 (en) | Light-microscopic method of localization microscopy for localizing point objects | |
| US8599479B2 (en) | Modulation contrast microscope | |
| Bourgenot et al. | Comparison of closed loop and sensorless adaptive optics in widefield optical microscopy | |
| CN115248498A (zh) | 基于led光源的结构光超分辨自适应显微镜装置及成像方法 | |
| JP2003255231A (ja) | 光イメージングシステム及び光イメージのデータ処理方法 | |
| Fuseler et al. | Types of confocal instruments: basic principles and advantages and disadvantages | |
| WO2018151599A1 (en) | Structured illumination scanning microscopy | |
| Liu et al. | Total internal reflection fluorescence pattern-illuminated Fourier ptychographic microscopy | |
| CN111189807A (zh) | 基于波动的荧光显微术 | |
| Cannell et al. | Practical aspects of localization microscopy | |
| US20220364994A1 (en) | Methods and microscope with a correction device for correcting aberration-induced imaging errors | |
| US20230296515A1 (en) | Method for single molecule localization microscopy | |
| WARD | Development of enhanced multi-spot structured illumination microscopy with fluorescence difference | |
| US20230288689A1 (en) | Method, device, microscope and computer program for estimating a position of an emitter in a sample | |
| Lin | Super-Resolution Structured Illumination Microscopy with Adaptive Optics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20130725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130725 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140617 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150522 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150625 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160530 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160628 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20161025 |