JP6235563B2 - ウェーブレット分析を用いた単一粒子位置特定の方法および装置 - Google Patents
ウェーブレット分析を用いた単一粒子位置特定の方法および装置 Download PDFInfo
- Publication number
- JP6235563B2 JP6235563B2 JP2015509335A JP2015509335A JP6235563B2 JP 6235563 B2 JP6235563 B2 JP 6235563B2 JP 2015509335 A JP2015509335 A JP 2015509335A JP 2015509335 A JP2015509335 A JP 2015509335A JP 6235563 B2 JP6235563 B2 JP 6235563B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- wavelet
- particles
- dimension
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002245 particle Substances 0.000 title claims description 207
- 238000000034 method Methods 0.000 title claims description 68
- 238000004458 analytical method Methods 0.000 title claims description 23
- 230000004807 localization Effects 0.000 title description 52
- 238000003384 imaging method Methods 0.000 claims description 49
- 230000011218 segmentation Effects 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 30
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 13
- 201000009310 astigmatism Diseases 0.000 claims description 9
- 239000011324 bead Substances 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 5
- 102000034287 fluorescent proteins Human genes 0.000 claims description 5
- 108091006047 fluorescent proteins Proteins 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 4
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 claims description 3
- 239000002041 carbon nanotube Substances 0.000 claims description 3
- 229910021393 carbon nanotube Inorganic materials 0.000 claims description 3
- 239000010432 diamond Substances 0.000 claims description 3
- 229910052751 metal Inorganic materials 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 239000002096 quantum dot Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 35
- 238000013459 approach Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000005284 excitation Effects 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 238000009826 distribution Methods 0.000 description 10
- 238000004088 simulation Methods 0.000 description 9
- 230000006978 adaptation Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 210000004027 cell Anatomy 0.000 description 6
- 238000000386 microscopy Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000000399 optical microscopy Methods 0.000 description 4
- 102000004243 Tubulin Human genes 0.000 description 3
- 108090000704 Tubulin Proteins 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 210000003520 dendritic spine Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000010869 super-resolution microscopy Methods 0.000 description 3
- 102000007469 Actins Human genes 0.000 description 2
- 108010085238 Actins Proteins 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 229930040373 Paraformaldehyde Natural products 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920002866 paraformaldehyde Polymers 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 235000008906 Aiphanes caryotifolia Nutrition 0.000 description 1
- 244000126587 Aiphanes caryotifolia Species 0.000 description 1
- 101100149678 Caenorhabditis elegans snr-3 gene Proteins 0.000 description 1
- 108010052285 Membrane Proteins Proteins 0.000 description 1
- 102000018697 Membrane Proteins Human genes 0.000 description 1
- 102000029749 Microtubule Human genes 0.000 description 1
- 108091022875 Microtubule Proteins 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 101100221606 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) COS7 gene Proteins 0.000 description 1
- CZMRCDWAGMRECN-UGDNZRGBSA-N Sucrose Chemical compound O[C@H]1[C@H](O)[C@@H](CO)O[C@@]1(CO)O[C@@H]1[C@H](O)[C@@H](O)[C@H](O)[C@@H](CO)O1 CZMRCDWAGMRECN-UGDNZRGBSA-N 0.000 description 1
- 229930006000 Sucrose Natural products 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 208000036815 beta tubulin Diseases 0.000 description 1
- 230000031018 biological processes and functions Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 210000004292 cytoskeleton Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 210000004295 hippocampal neuron Anatomy 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003365 immunocytochemistry Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 239000011325 microbead Substances 0.000 description 1
- 210000004688 microtubule Anatomy 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000008823 permeabilization Effects 0.000 description 1
- 230000002186 photoactivation Effects 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000006862 quantum yield reaction Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000002000 scavenging effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000005720 sucrose Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- GPRLSGONYQIRFK-MNYXATJNSA-N triton Chemical compound [3H+] GPRLSGONYQIRFK-MNYXATJNSA-N 0.000 description 1
- 239000012905 visible particle Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/168—Segmentation; Edge detection involving transform domain methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N2015/0238—Single particle scatter
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1486—Counting the particles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
- G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
Description
図2Aは、超解像度結像のための2Dおよび3D両方の単一粒子位置特定を実施するように構成されている、蛍光顕微鏡200を示す。図2Aは、蛍光顕微鏡を示すが、当業者は、本明細書に開示されるウェーブレットベースの技法が、任意の好適な結像システムと適合性があり、それに対して拡張され得ることを容易に理解するであろう。例えば、ウェーブレットベースの粒子位置特定はまた、広視野顕微鏡、共焦点顕微鏡、多光子蛍光顕微鏡、および全内部反射蛍光(TIRF)顕微鏡を含む、任意の好適な蛍光顕微鏡とともに使用されることができる。
図2Cは、3Dウェーブレットベースの画像セグメント化および粒子位置特定プロセス250と、3Dプロセス250の一部を形成する、2D(リアルタイム)ウェーブレットベースの単一粒子位置特定プロセス260の両方を図示する流れ図である。プロセス250および260は両方とも、例えば、図2Aに示される顕微鏡200または任意の他の好適な結像システムを使用した、ゼロ、1つ、または2つ以上の蛍光粒子を伴う、少なくとも1つの2D画像の取得(ステップ252)から開始する。(粒子が画像内に現れない場合、粒子は、位置特定されない。)ウェーブレットフィルタ処理は、画像雑音を除去し、ハード閾値法およびオブジェクトセグメント化を可能にする。流域アルゴリズムが、標識化後に適用され、密接に融合した粒子が分離され、重心セグメント化を使用して、2Dにおいて位置特定される。PSF形状に対する適合が使用され、位置特定された粒子の軸方向位置を読み出し、粒子の3D位置をもたらす。
ステップ254では、プロセッサ(例えば、図2Aに示されるハイブリッドCPU/GPUプロセッサ240)が、3次Bスプライン曲線を使用する「a trous」と呼ばれる冗長ウェーブレット変換を使用して、2D画像をウェーブレットマップに分解する。(他のウェーブレット変換も、同様に機能し得る。)a trousウェーブレット変換は、周知であり、以下により詳細に説明される。プロセッサは、a trousウェーブレット分解を迅速かつ正確に実行し、1つ以上の等方性の点を検出することができる。この分解は、雑音の大部分が存在する場所である、高周波数の源画像(例えば、以下に説明される、図4の2列目に示されるような)を含む第1のウェーブレットマップ(または、第1のウェーブレット平面)をもたらす。また、回折限界に近いサイズを伴う構造(例えば、図4の3列目に示されるような)を含む第2のウェーブレットマップ(または、第2のウェーブレット平面)をもたらす。この第2のウェーブレットマップは、単一粒子位置特定に非常に好適である。より高次のウェーブレットマップは、より粗い画像詳細およびより低い空間周波数を含み得る。
3D位置特定は、結像システムのPSFの演繹的知識を利用し、粒子の軸方向位置、すなわち、3D空間内の第3の次元(例えば、z次元)における位置を見出すことを伴う。例えば、非点収差レンズを使用する、PSF工学は、軸方向位置の読み出しを可能にする。実際、この情報は、通常、最尤推定法(MLE)または非線形最小二乗法(NLLS)のような高度な方法を使用して、粒子の周囲にガウス適合を適用することによって計算される。位置特定精度の観点におけるMLEおよびNLLSの信頼性にかかわらず、最終画像を再構成するために要求される時間は、ルーチンにおけるデータ生成の障害のままである。QuickPALM(古典的Hogbom「CLEAN」法)またはLivePALM(fluoroBancroftアルゴリズム)のような他の方法も提案された。これらの技法は、計算時間の観点から非常に効率的であるが、オフライン処理(後処理)に限定され得る。
V{i}をレベルiにおける係数マップ、W{i}をレベルiにおけるウェーブレット(または、詳細)係数マップとして定義する。V{i}およびW{i}は、オリジナル画像と同一のサイズを有する。W{2}は、前述のように、閾値および流域技法を使用してセグメント化された第2のウェーブレットマップである。一実装では、a trousウェーブレット分解は、以下のステップを含む。
図2Dは、リアルタイムまたは近リアルタイム粒子位置特定を使用して、結像システム291による画像取得を制御するためのシステム290を図示する。結像システム291は、1つ以上のレンズ(例えば、対物レンズ208(図2A))または他の光学要素および/または3D空間の場所(標本S(図2A))に対する焦点面の位置を変化させるための1つ以上のステージを含み得る。システム290は、画像(フレーム)を取得するためのCCDカメラ220と、画像分析292を実施するためのGPU244(例えば、ハイブリッドプロセッサ240の一部)およびメモリ230とを含み、画像分析292は、超解像度画像再構成294、ライブ粒子/画像統計296、および自動結像システム制御298のための粒子位置特定を含む。
単離された単一点放出体のシミュレーションは、ウェーブレットセグメント化の検出および位置決定ならびに重心決定の速度、信頼性、および精度を図示する。
単一粒子画像が、最大強度I0、標準偏差σ、および強度オフセットBの2D等方性ガウス分布を使用してシミュレートされ、ピクセルサイズDの離散空間内でサンプリングされた。σおよびDは、それぞれ、物体空間内の対物レンズの解像度およびCCDカメラピクセルサイズを指す。この場合、高NA対物レンズに対する理想的サンプリングをシミュレートするために、σ=1およびD=100nmである。2πσI0は、単一粒子あたりの収集される光子の数NPを指す。オフセットIB値は、1000グレーレベルであり、I0強度は、超解像度顕微鏡法において使用される従来の一般的蛍光タンパク質および有機単一粒子色素によって放出される光子の数に匹敵する、100〜1000グレーレベルの範囲であった。画像は、ポアソン(光子)およびガウス(電子)雑音の混合物によって変質される。各ピクセルpにおいて、シミュレートされた画像の強度IPに対する雑音モデルは、限定光子数NPから生じる率μPのポアソン雑音と、電子雑音を集約する平均IBおよび分散σBのガウス雑音BPとの和となる。利得は、CCDによって収集された画像内の光電子あたりのグレーレベルの比率を表す。最後に、強度は、IP=gNP+BPとして記述され得る。各画像に対して、SNRは、以下のように定義される。
生成された画像は、速度および精度の観点から、ウェーブレットセグメント化アプローチおよびガウス適合アプローチの性能を比較するために使用されることができる。この比較は、ガウス適合アプローチとして、多標的追跡(MTT)を使用して行われた。MTTは、理論的限界に近い性能を伴う、高密度単一粒子検出計算のためのロバストな技法である。MTTは、粒子検出のための仮説検定に続いて、多パラメータガウス適合を使用し、単一粒子のサブピクセル位置を推定する。MTTは、重複PSFの位置を決定可能であり、追跡能力を含むが、この比較は、収縮ループおよび軌道決定を除く、単一PSFの検出および位置決めに限定される。
効率的結像実験を実施する要素の1つは、取得の間またはその直後に実験構成を改変し得る決定を行う能力である。これは、顕微鏡下の実験の効果的時間が、試料の生理学的条件を維持するために限定され得る、生体細胞実験において、特に有用であり得る。長い後処理時間(すなわち、実際の実験後)は、したがって、数十万個の単一粒子データ点の定量的分析を伴う超解像度結像実験の設計および可能な用途を大幅に制限し得る。
再構成された画像の解像度は、各単一蛍光体の位置を決定する際の精度に依存する。故に、任意の位置特定技法の全体的性能が、計算速度にわたり指示精度を損なわないことが望ましい。各粒子の位置特定における誤差を特性評価する方法の1つは、シミュレートされたデータの座標と、分析されたデータ内の最も近い座標との間のユークリッド距離を測定することである。位置特定精度が、次いで、各データセットの全検出に対して計算された位置決め誤差の平均値として定義され得る。
検討すべき別のパラメータは、粒子検出の信頼性、すなわち、雑音の多い画像内で個々のPSFを検出する能力である。例えば、シミュレートされたデータ内に存在する粒子が、半径100nm以内に、分析されたデータセット内に一致する検出を有していない場合、検出漏れの検出としてカウントされ得る。同様に、誤検出の検出は、半径100nm以内に、シミュレートされたデータに存在しなかった、分析されたデータセット内の粒子の識別として定義され得る。
図9A−9Cは、幅200nm〜6nmの範囲のサイズの交互黒色および白色ストライプから作成される試験パターンを使用したシミュレーションを図示する。このタイプの試験パターンは、X線結像システムの解像度を決定するために、放射線学において広く使用されている。これは、セグメント化性能を視覚的に監視し、再構成された画像から変調伝達関数(MTF)を計算するために使用されることができる。MTF(f)は、比率C(f)/C(0)として、試験パターンの各周波数fに対して計算され、式中、C(f)は、周波数fに対するコントラストであり、C(0)は、低周波数に対するコントラストである。
超解像度結像が、倒立蛍光顕微鏡上で行われた。光活性化は、405nmレーザを用いて行われ、励起は、561nmレーザを用いて行われ、両方とも、顕微鏡にコリメートされ、高NA(1.49)100倍対物レンズの背面に集束され、したがって、広視野構成において、試料を照明する。光子密度は、3×10−2kW/cm2(405nm)および4kW/cm2(561nm)であった。単一粒子信号が、561nmダイクロイックを用いて分離され、617nmを中心とするスペクトル幅70nmの放出フィルタを用いてフィルタ処理された。信号は、1.5倍レンズを用いて拡大され、ピクセルサイズ16μmを用いて、EMCCD上に集束され、したがって、画像平面上のピクセルサイズは、107nmとなった。蛍光体の事前に変換された形態の低解像度画像が、照明(励起485nm、放出525nm)のための水銀灯を使用して得られた。
図11Aおよび11Bは、Alexa647蛍光体で標識されたチューブリンの回折限界画像である。図11Cは、一連の回折限界画像を含み、単一分子の種々の配向を示す。図11Dおよび11Eは、それぞれ、図11Aおよび11Bに示される場面からリアルタイムで構成されたdSTORM超解像度強度画像である。図11Fおよび11Gは、それぞれ、図11Dおよび11Eに示される分子の3Dマッピングを示す。これらの3Dマッピングは、図11Dおよび11Eに示される2D超解像度画像の構成後に生成された。
COS7細胞が、18mmカバースリップ上に置かれ、4%パラホルムアルデヒドおよびスクロースを使用して固定され、PBS、次いで、PBSを含む1%BSAで洗浄された。洗浄された細胞は、透過化に先立って、5分間、NH4Cl50mMでインキュベートされた。これらは、0.1%トリトンを使用して透過処理され、30分間、1%BSAを含むPBSでインキュベートされた。これらは、次いで、30分間、マウス抗βチューブリン抗体(T4026、Clone2.1、Sigma)でインキュベートされ、1%BSAを含むPBSで数回洗浄された。一次抗体が、次いで、Alexa647連結抗マウスIgG二次抗体(A21245、Invitrogen)を室温で30分間インキュベートすることによって現れた。
染色されたカバースリップは、翌日、100X、1.45NAPL−APO対物レンズおよびパーフェクトフォーカスシステムを具備する、倒立電動顕微鏡(Nikon Ti,Japan)上に搭載された密閉されたチャンバ(Ludin Chamber, Life Imaging Services,Switzerland)内において、室温で結像され、傾斜照明モードで長期取得を可能にした。結像は、還元および酸素除去系を含む、細胞外溶液中で行われた。dSTORMの場合、Alexa647の蛍光集合は、最初に、30−50kW/cm2強度で、640nmレーザを使用して、暗状態に変換された。蛍光集合が、フレームあたり所望の密度の単一粒子に変換されると、レーザ電力が、7−15kW/cm2まで減少され、20,000フレームに対して50fpsで連続して結像された。フレームあたりの単一粒子のレベルは、405nmレーザ(Omicron, Germany)を使用することによって制御された。レーザ電力は、確率的に活性化された粒子の特定のレベルを保つように調節され、取得の間、良好に分離された。
本発明の種々の実施形態が、明細書に説明および図示されたが、当業者は、機能を果たし、および/または本明細書に説明される結果および/または利点のうちの1つ以上を得るために、種々の他の手段および/または構造を容易に想起し、そのような変形例および/または修正はそれぞれ、本明細書に説明される本発明の実施形態の範囲内であると見なされる。より一般的には、当業者は、本明細書に説明される全パラメータ、寸法、材料、および構成が、例示であることが意図され、実際のパラメータ、寸法、材料、および/または構成が、本発明の教示が使用される、具体的用途または複数の用途に依存するであろうことを容易に理解するであろう。当業者は、本明細書に説明される本発明の実施形態に特有の多くの均等物を認識する、またはルーチンにすぎない実験を使用して、確認可能であろう。したがって、前述の実施形態は、一例として提示されるにすぎず、具体的に、説明および請求されない限り、添付の請求項およびその均等物の範囲内において、本発明の実施形態が実践され得ることを理解されたい。本開示の本発明の実施形態は、本明細書に説明される各個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。加えて、2つ以上のそのような特徴、システム、物品、材料、キット、および/または方法の任意の組み合わせも、そのような特徴、システム、物品、材料、キット、および/または方法が、互に矛盾しない限り、本発明の本開示の範囲内に含まれる。
Claims (28)
- 3次元(3D)空間内で1つ以上の粒子の位置を推定するための装置であって、
光学軸を画定し、前記光学軸に対して非対称である点広がり関数(PSF)を有する結像システムと、
前記結像システムと光学連通し、前記3D空間内の平面の画像を検出するように構成されている検出器と、
前記検出器に動作可能に連結され、前記画像の表現を記憶するように構成されているメモリと、
前記メモリに動作可能に連結されているプロセッサと
を備え、前記プロセッサは、
(a)前記3D空間内の平面の画像のウェーブレット分解を実施し、前記画像のウェーブレットマップを形成することと、
(b)前記ウェーブレットマップを所定の閾値を上回る強度値を有する少なくとも1つの領域にセグメント化することと、
(c)前記少なくとも1つの領域の重心の位置を推定することであって、前記重心の位置は、前記3D空間内の第1の次元および第2の次元における前記粒子の位置に対応することと、
(d)前記ウェーブレットマップのセグメント化の間に特定された少なくとも1つの領域の前記重心の周囲のデータを用いて、前記少なくとも1つの領域に対する前記PSFの適合性を決定することと、
(e)前記ウェーブレットマップのセグメント化の間に特定された前記データを用いて、前記適合性から前記3D空間の第3の次元における前記粒子の位置を推定することと
を行うように構成されている、装置。 - 前記粒子は、生物細胞、分子、蛍光タンパク質、有機蛍光体、量子ドット、カーボンナノチューブ、ダイヤモンド、金属ビーズ、誘電ビーズ、および蛍光体で標識された粒子のうちの少なくとも1つ含む、請求項1に記載の装置。
- 前記結像システムは、非点収差結像システムである、請求項1に記載の装置。
- 前記プロセッサは、(a)、(b)、および(c)を行うように構成されているグラフィック処理ユニット(GPU)を備えている、請求項1に記載の装置。
- (a)は、前記ウェーブレット分解 a trousを実施することを含む、請求項1に記載の装置。
- (b)は、前記ウェーブレットマップの少なくとも一部の流域計算を実施することを含む、請求項1に記載の装置。
- (b)は、
(i)前記ウェーブレットマップに関連付けられた背景雑音レベルを決定することと、
(ii)前記背景雑音レベルに関連付けられた標準偏差を推定することと、
(iii)前記標準偏差に基づいて、前記所定の閾値を選択することと、
をさらに含む、請求項1に記載の装置。 - (iii)は、前記所定の閾値を前記標準偏差の0.5倍〜2.0倍であるように選択することを含む、請求項7に記載の装置。
- (c)は、前記第1の次元および前記第2の次元における前記粒子の位置を1nm〜5nmの精度まで推定することを含む、請求項1に記載の装置。
- (e)は、前記第3の次元における前記粒子の位置を10nm〜50nmの精度まで推定することを含む、請求項1に記載の装置。
- 前記プロセッサは、前記結像システムが、前記3D空間の別の画像を取得する間、(a)、(b)、および(c)を実施するようにさらに構成されている、請求項1に記載の装置。
- 前記1つ以上の粒子による蛍光放出を励起させる光源をさらに備え、
前記プロセッサは、前記画像の分析を実施し、前記画像の分析に基づいて、前記光源の強度および波長のうちの少なくとも1つを調節するようにさらに構成されている、請求項1に記載の装置。 - 前記プロセッサは、前記画像の分析を実施し、前記画像の分析に基づいて、前記結像システムの焦点、視野、フレームサイズ、フレーム率、および積分時間のうちの少なくとも1つを調節するようにさらに構成されている、請求項1に記載の装置。
- 3次元(3D)空間内で1つ以上の粒子の位置を推定する方法であって、前記方法は、
(a)前記3D空間内の平面の画像のウェーブレット分解を実施し、前記画像のウェーブレットマップを形成するステップと、
(b)前記ウェーブレットマップを所定の閾値を上回る強度値を有する少なくとも1つの領域にセグメント化するステップと、
(c)前記少なくとも1つの領域の重心の位置を推定するステップであって、前記重心の位置は、前記3D空間内の第1の次元および第2の次元における前記粒子の位置に対応する、ステップと、
(d)前記ウェーブレットマップのセグメント化の間に特定された少なくとも1つの領域の前記重心の周囲のデータを用いて、前記少なくとも1つの領域に対するPSFの適合性を決定するステップと、
(e)前記ウェーブレットマップのセグメント化の間に特定された前記データを用いて、前記適合性から前記3D空間の第3の次元における前記粒子の位置を推定するステップと
を含む、方法。 - 前記粒子は、生物細胞、分子、蛍光タンパク質、有機蛍光体、量子ドット、カーボンナノチューブ、ダイヤモンド、金属ビーズ、誘電ビーズ、および蛍光体で標識された粒子のうちの少なくとも1つを含む、請求項14に記載の方法。
- (a)は、前記ウェーブレット分解a trousを実施することを含む、請求項14に記載の方法。
- (b)は、前記ウェーブレットマップの少なくとも一部の流域計算を実施することを含む、請求項14に記載の方法。
- (b)は、
(i)前記ウェーブレットマップに関連付けられた背景雑音レベルを決定することと、
(ii)前記背景雑音レベルに関連付けられた標準偏差を推定することと、
(iii)前記標準偏差に基づいて、前記所定の閾値を選択することと
をさらに含む、請求項14に記載の方法。 - (iii)は、前記所定の閾値を前記標準偏差の0.5倍〜2.0倍であるように選択することを含む、請求項18に記載の方法。
- (c)は、前記第1の次元および前記第2の次元における前記粒子の位置を1nm〜5nmの精度まで推定することを含む、請求項14に記載の方法。
- (e)は、前記第3の次元における前記粒子の位置を10nm〜50nmの精度まで推定することを含む、請求項14に記載の方法。
- 前記PSFは、前記3D空間の第3の次元に対して非対称であり、(a)の前に、
前記PSFによって特徴付けられる結像システムを用いて、画像を取得することをさらに含む、請求項14に記載の方法。 - 前記結像システムは、非点収差結像システムである、請求項22に記載の方法。
- 前記3D空間の複数の画像を取得することであって、前記複数の画像内の各画像は、前記3D空間の異なる平面に対応する、ことと、
前記複数の画像内の各画像に対して、ステップ(a)、(b)、および(c)を実施することと
をさらに含む、請求項14に記載の方法。 - ステップ(a)、(b)、および(c)のうちの少なくとも1つを実施する間、前記3D空間内の別の平面の別の画像を取得することをさらに含む、請求項14に記載の方法。
- 前記画像の分析を実施することと、
前記画像の分析に基づいて、前記結像システムの焦点、視野、フレームサイズ、フレーム率、および積分時間のうちの少なくとも1つを調節することと
をさらに含む、請求項14に記載の方法。 - 前記画像は、前記1つ以上の粒子による蛍光放出を表し、前記方法は、
前記画像の分析を実施することと、
前記画像の分析に基づいて、前記蛍光放出を励起させるために使用される光源の強度および波長のうちの少なくとも1つを調節することと
をさらに含む、請求項14に記載の方法。 - 非一過性コンピュータプログラム製品であって、
前記プログラム製品は、プロセッサによって実行されると、
(a)3D空間内の平面の画像のウェーブレット分解を実施し、前記画像のウェーブレットマップを形成することと、
(b)前記ウェーブレットマップを所定の閾値を上回る強度値を有する少なくとも1つの領域にセグメント化することと、
(c)前記少なくとも1つの領域の重心の位置を推定することであって、前記重心の位置は、前記3D空間内の第1の次元および第2の次元における粒子の位置に対応する、ことと、
(d)前記ウェーブレットマップのセグメント化の間に特定された少なくとも1つの領域の前記重心の周囲のデータを用いて、前記少なくとも1つの領域に対するPSFの適合性を決定することと、
(e)前記ウェーブレットマップのセグメント化の間に特定された前記データを用いて、前記適合性から前記3D空間の第3の次元における粒子の位置を推定することと
を前記プロセッサに行わせる、
非一過性コンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12166450.2 | 2012-05-02 | ||
EP12166450.2A EP2660639B1 (en) | 2012-05-02 | 2012-05-02 | Method and apparatus for single-particle localization using wavelet analysis |
PCT/EP2013/050706 WO2013164103A1 (en) | 2012-05-02 | 2013-01-16 | Method and apparatus for single-particle localization using wavelet analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015516063A JP2015516063A (ja) | 2015-06-04 |
JP6235563B2 true JP6235563B2 (ja) | 2017-11-22 |
Family
ID=47561625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015509335A Active JP6235563B2 (ja) | 2012-05-02 | 2013-01-16 | ウェーブレット分析を用いた単一粒子位置特定の方法および装置 |
Country Status (7)
Country | Link |
---|---|
US (2) | US9117273B2 (ja) |
EP (2) | EP2660639B1 (ja) |
JP (1) | JP6235563B2 (ja) |
CN (1) | CN104285175B (ja) |
AU (1) | AU2013200219B2 (ja) |
CA (1) | CA2802420C (ja) |
WO (1) | WO2013164103A1 (ja) |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9599611B2 (en) | 2005-04-25 | 2017-03-21 | Trustees Of Boston University | Structured substrates for optical surface profiling |
US9291562B2 (en) * | 2011-11-15 | 2016-03-22 | Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E.V. | Method and apparatus for tracking a particle, particularly a single molecule, in a sample |
WO2014144820A1 (en) | 2013-03-15 | 2014-09-18 | The Regents Of The University Of Colorado | 3-d localization and imaging of dense arrays of particles |
CN107209110B (zh) | 2014-08-28 | 2020-01-17 | 辛格科技公司 | 高吞吐量生化筛查 |
GB2535473A (en) * | 2015-02-16 | 2016-08-24 | Univ Bar Ilan | Cell analysis using dynamic biophysical methods |
EP3620838A1 (en) * | 2015-06-02 | 2020-03-11 | Life Technologies Corporation | Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image |
US10031328B2 (en) * | 2015-07-24 | 2018-07-24 | General Electric Company | Systems and methods for image processing in optical microscopes |
EP3353528B1 (en) | 2015-09-22 | 2023-11-29 | Trustees of Boston University | Multiplexed phenotyping of nanovesicles |
DE102015219121A1 (de) * | 2015-10-02 | 2017-04-06 | Carl Zeiss Microscopy Gmbh | Mikroskopsteuerungsverfahren und Mikroskop |
JP6617774B2 (ja) | 2015-11-27 | 2019-12-11 | 株式会社ニコン | 顕微鏡装置 |
DE102016000873A1 (de) * | 2016-01-27 | 2017-07-27 | Diehl Defence Gmbh & Co. Kg | Verfahren zum Erkennen eines Objekts in einem Suchbild |
US11262359B2 (en) | 2016-02-05 | 2022-03-01 | NanoView Biosciences, Inc. | Detection of exosomes having surface markers |
CN105699276B (zh) * | 2016-03-07 | 2018-09-25 | 广东工业大学 | 一种超分辨成像装置及方法 |
CN106023121B (zh) * | 2016-04-29 | 2018-08-31 | 中国科学院生物物理研究所 | 一种贝叶斯显微成像方法 |
CN109154552B (zh) * | 2016-05-19 | 2022-08-12 | 通快光电器件有限公司 | 光学颗粒传感器 |
US10768406B2 (en) | 2016-06-20 | 2020-09-08 | Scanogen Inc. | Imaging system |
CN106373116B (zh) * | 2016-08-24 | 2019-04-12 | 中国科学院自动化研究所 | 基于双光子图像的突触检测方法 |
CN106897969B (zh) * | 2017-02-20 | 2019-08-30 | 华中科技大学 | 一种用于超分辨定位显微成像的数据处理装置及方法 |
CN107153632B (zh) * | 2017-05-10 | 2021-04-20 | 广西师范大学 | 一种量子Haar小波变换实现量子线路设计的方法 |
TWI659227B (zh) * | 2017-06-20 | 2019-05-11 | Academia Sinica | 以影像導引之顯微照射的顯微鏡系統及方法 |
EP3735606B1 (en) * | 2018-01-02 | 2023-03-22 | King's College London | Method and system for localisation microscopy |
CN107991769B (zh) * | 2018-01-12 | 2020-07-10 | 凝辉(天津)科技有限责任公司 | 二维扫描器件 |
EP3514600A1 (en) * | 2018-01-19 | 2019-07-24 | Leica Instruments (Singapore) Pte. Ltd. | Method for fluorescence intensity normalization |
DE102018103714A1 (de) * | 2018-02-20 | 2019-08-22 | Volume Graphics Gmbh | Verfahren zur Bestimmung von Fehlern von aus digitalen Objektdarstellungen abgeleiteten Parametern |
CN112154317A (zh) * | 2018-04-26 | 2020-12-29 | 贝克顿·迪金森公司 | 颗粒分析仪的表征和分选 |
JP7306810B2 (ja) | 2018-09-28 | 2023-07-11 | シスメックス株式会社 | 顕微鏡システムの制御方法、顕微鏡システム、プログラム、記録媒体 |
CN109409281A (zh) * | 2018-10-22 | 2019-03-01 | 河南科技大学 | 一种基于改进的小波阈值函数的降噪方法 |
DE102018220779A1 (de) * | 2018-12-03 | 2020-06-04 | Carl Zeiss Microscopy Gmbh | Nachweisverfahren von induzierten Lichtsignalen in einer dreidimensionalen Region einer Probe |
CN109727672B (zh) * | 2018-12-28 | 2023-04-07 | 江苏瑞尔医疗科技有限公司 | 患者胸腹部肿瘤呼吸运动预测跟踪方法 |
US11523046B2 (en) * | 2019-06-03 | 2022-12-06 | Molecular Devices, Llc | System and method to correct for variation of in-focus plane across a field of view of a microscope objective |
CN110161008B (zh) * | 2019-06-04 | 2021-10-29 | 山东理工大学 | 共光轴度和放大倍数可自校准的荧光颗粒示踪方法与装置 |
US11389066B2 (en) * | 2019-06-20 | 2022-07-19 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral, fluorescence, and laser mapping imaging system |
US12013496B2 (en) * | 2019-06-20 | 2024-06-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed laser mapping imaging system |
US11540696B2 (en) | 2019-06-20 | 2023-01-03 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11471055B2 (en) | 2019-06-20 | 2022-10-18 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11925328B2 (en) | 2019-06-20 | 2024-03-12 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed hyperspectral imaging system |
US11898909B2 (en) | 2019-06-20 | 2024-02-13 | Cilag Gmbh International | Noise aware edge enhancement in a pulsed fluorescence imaging system |
US11300515B2 (en) * | 2019-07-30 | 2022-04-12 | Washington University | Methods for quantifying and enhancing accuracy in microscopy using measures of localization confidence |
US11585755B2 (en) * | 2020-01-16 | 2023-02-21 | The Texas A&M University System | System for measuring anomalous diffusion using fluorescence recovery after photobleaching and associated method |
CN113686546B (zh) * | 2020-05-19 | 2022-07-12 | 复旦大学 | 一种离轴成像***点扩散函数的测量方法和建模方法 |
CN111696067B (zh) * | 2020-06-16 | 2023-04-07 | 桂林电子科技大学 | 一种基于图像融合***的宝石图像融合方法 |
US11740180B2 (en) * | 2020-09-28 | 2023-08-29 | Purdue Research Foundation | Method of measuring diffusion in a medium |
CN112232267A (zh) * | 2020-10-29 | 2021-01-15 | 国网河北省电力有限公司 | 一种滞留人员检测方法及*** |
CN112730352A (zh) * | 2020-12-08 | 2021-04-30 | 北京林业大学 | 实时观察植物细胞核蛋白的结构、面积和空间分布的方法 |
TWI830680B (zh) * | 2021-05-07 | 2024-01-21 | 由田新技股份有限公司 | 螢光檢測方法 |
CN115308129A (zh) * | 2022-07-01 | 2022-11-08 | 江苏诺鬲生物科技有限公司 | 一种自动确定荧光暗场相机聚焦位置的方法和装置 |
KR102530482B1 (ko) * | 2022-11-17 | 2023-05-09 | (주)서용엔지니어링 | 정수처리시설 내 미세 유충 감지 장치 |
CN117092206A (zh) * | 2023-08-09 | 2023-11-21 | 国网四川省电力公司电力科学研究院 | 电缆铅封区域的缺陷检测方法、计算机设备及存储介质 |
CN117422735B (zh) * | 2023-12-13 | 2024-03-26 | 南方科技大学 | 粒子测速方法、粒子测速装置、电子设备及存储介质 |
CN117788396A (zh) * | 2023-12-18 | 2024-03-29 | 江苏省特种设备安全监督检验研究院 | 一种基于深度学习的dr图像缺陷智能识别算法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5736410A (en) * | 1992-09-14 | 1998-04-07 | Sri International | Up-converting reporters for biological and other assays using laser excitation techniques |
JP3127111B2 (ja) * | 1996-02-22 | 2001-01-22 | 株式会社日立製作所 | フロー式粒子画像解析方法および装置 |
JP2001509612A (ja) * | 1997-07-10 | 2001-07-24 | ルプレヒト−カールス−ウニヴェルジテート ハイデルベルク | ウェーブフィールド顕微鏡、ウェーブフィールド顕微鏡法、dna順序決定のためのウェーブフィールド顕微鏡法、およびウェーブフィールド顕微鏡に対する較正方法 |
US20080208511A1 (en) * | 2005-03-07 | 2008-08-28 | Michael Trainer | Methods and apparatus for determining characteristics of particles |
US8334514B2 (en) * | 2004-05-20 | 2012-12-18 | Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno | Method, system, and computer program product for localizing photons and a light source emitting the photons |
US8031926B2 (en) * | 2004-05-20 | 2011-10-04 | Board Of Regents Of The Nevada System Of Higher Education, On Behalf Of The University Of Nevada, Reno | Discrete event distribution sampling apparatus and methods |
WO2006127692A2 (en) * | 2005-05-23 | 2006-11-30 | Hess Harald F | Optical microscopy with phototransformable optical labels |
JP4789177B2 (ja) * | 2005-07-06 | 2011-10-12 | 独立行政法人科学技術振興機構 | 3次元位置観測方法及び装置 |
US7705970B2 (en) * | 2006-06-05 | 2010-04-27 | The Regents Of The University Of Colorado | Method and system for optical imaging and ranging |
US7776613B2 (en) * | 2006-08-07 | 2010-08-17 | President And Fellows Of Harvard College | Sub-diffraction image resolution and other imaging techniques |
US8369642B2 (en) * | 2006-11-21 | 2013-02-05 | Stmicroelectronics (Research & Development) Ltd | Artifact removal from phase encoded images |
JP4845698B2 (ja) | 2006-12-06 | 2011-12-28 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
CN105403545B (zh) * | 2007-12-21 | 2019-05-28 | 哈佛大学 | 三维中的亚衍射极限图像分辨率 |
WO2009115108A1 (en) * | 2008-03-19 | 2009-09-24 | Ruprecht-Karls-Universität Heidelberg | A method and an apparatus for localization of single dye molecules in the fluorescent microscopy |
JP5554776B2 (ja) * | 2008-05-30 | 2014-07-23 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 1以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法 |
EP2609742A4 (en) * | 2010-08-27 | 2015-07-08 | Univ Leland Stanford Junior | MICROSCOPIC IMAGING DEVICE WITH ADVANCED IMAGING FEATURES |
US9523846B2 (en) * | 2010-09-24 | 2016-12-20 | Carl Zeiss Microscopy Gmbh | 3D localisation microscopy and 4D localisation microscopy and tracking methods and systems |
US8624986B2 (en) * | 2011-03-31 | 2014-01-07 | Sony Corporation | Motion robust depth estimation using convolution and wavelet transforms |
-
2012
- 2012-05-02 EP EP12166450.2A patent/EP2660639B1/en active Active
- 2012-05-02 EP EP15182080.0A patent/EP2966492B1/en active Active
-
2013
- 2013-01-15 US US13/741,606 patent/US9117273B2/en active Active
- 2013-01-16 AU AU2013200219A patent/AU2013200219B2/en active Active
- 2013-01-16 WO PCT/EP2013/050706 patent/WO2013164103A1/en active Application Filing
- 2013-01-16 JP JP2015509335A patent/JP6235563B2/ja active Active
- 2013-01-16 CN CN201380023395.0A patent/CN104285175B/zh active Active
- 2013-01-16 CA CA2802420A patent/CA2802420C/en active Active
-
2015
- 2015-07-17 US US14/802,183 patent/US10115013B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CA2802420A1 (en) | 2013-11-02 |
EP2966492B1 (en) | 2020-10-21 |
AU2013200219A1 (en) | 2013-11-21 |
EP2966492A1 (en) | 2016-01-13 |
WO2013164103A1 (en) | 2013-11-07 |
EP2660639A1 (en) | 2013-11-06 |
US9117273B2 (en) | 2015-08-25 |
CA2802420C (en) | 2020-08-04 |
EP2660639B1 (en) | 2016-04-13 |
US20160086027A1 (en) | 2016-03-24 |
AU2013200219B2 (en) | 2016-07-21 |
CN104285175A (zh) | 2015-01-14 |
JP2015516063A (ja) | 2015-06-04 |
US10115013B2 (en) | 2018-10-30 |
US20130294645A1 (en) | 2013-11-07 |
CN104285175B (zh) | 2017-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6235563B2 (ja) | ウェーブレット分析を用いた単一粒子位置特定の方法および装置 | |
Chen et al. | Three-dimensional residual channel attention networks denoise and sharpen fluorescence microscopy image volumes | |
US11222415B2 (en) | Systems and methods for deep learning microscopy | |
Izeddin et al. | Wavelet analysis for single molecule localization microscopy | |
US10930061B2 (en) | Three-dimensional image processing to locate nanoparticles in biological and nonbiological media | |
US10955331B2 (en) | Imaging or measurement methods and systems | |
JP2020530637A (ja) | 予測タグ付けを有する画像を生成するための画像処理のためのシステム、デバイス、および方法 | |
US20170322516A1 (en) | Autofocus System and Method in Digital Holography | |
Prigent et al. | SPITFIR (e): a supermaneuverable algorithm for fast denoising and deconvolution of 3D fluorescence microscopy images and videos | |
WO2019246478A1 (en) | Systems and methods for interferometric multifocus microscopy | |
Prigent et al. | SPITFIR (e): A supermaneuverable algorithm for restoring 2D-3D fluorescence images and videos, and background subtraction | |
Middleton | Machine learning improves image restoration | |
Zhao et al. | Enhancing detectable fluorescence fluctuation for high-throughput and four-dimensional live-cell super-resolution imaging | |
EP4249850A1 (en) | Controller for an imaging system, system and corresponding method | |
Vicente et al. | Development of a semi-automatic algorithm for deconvolution and quantification of three-dimensional microscopy images | |
Ye et al. | Universal and High-Fidelity Resolution Extending for Fluorescence Microscopy Using a Single-Training Physics-Informed Sparse Neural Network | |
Keller et al. | Super‐Resolution Data Analysis | |
Yu | Introduction of Fourier Ring Correlation (FRC) and Apply to Validate Blind Inpainting Method | |
Hui et al. | Deep Learning-Enabled Transformation of Scanning Superlens Microscopy Images into Scanning Electron Microscopy-like Large Depth-of-Field Images | |
Patwary | Performance Aanalysis of PCA-based Image Reconstruction in 3D Wide Field Fluorescence Microscopy | |
Wilson | Quantitative analysis of microscopy | |
Andronov | Development of advanced methods for super-resolution microscopy data analysis and segmentation | |
Altinok | Computational analysis of biological images: A study of microtubule dynamic behavior | |
Temerinac-Ott | Multiview reconstruction for 3D Images from light sheet based fluorescence microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20151119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20151119 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170424 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170420 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170511 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6235563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |