JP6503335B2 - 生物学的な及び非生物学的な媒質でナノ粒子の位置を特定するための3次元画像処理 - Google Patents

生物学的な及び非生物学的な媒質でナノ粒子の位置を特定するための3次元画像処理 Download PDF

Info

Publication number
JP6503335B2
JP6503335B2 JP2016501501A JP2016501501A JP6503335B2 JP 6503335 B2 JP6503335 B2 JP 6503335B2 JP 2016501501 A JP2016501501 A JP 2016501501A JP 2016501501 A JP2016501501 A JP 2016501501A JP 6503335 B2 JP6503335 B2 JP 6503335B2
Authority
JP
Japan
Prior art keywords
light
biological
dimensional
cell
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016501501A
Other languages
English (en)
Other versions
JP2016520798A (ja
Inventor
ジームズ エム. ビーチ、
ジームズ エム. ビーチ、
サミュエル エム. ローレンス、
サミュエル エム. ローレンス、
バイロン ジェイ. チーザム、
バイロン ジェイ. チーザム、
ジェームズ エル. ウルツ、
ジェームズ エル. ウルツ、
ロバート ピー. ドウアティ、
ロバート ピー. ドウアティ、
Original Assignee
サイトヴィヴァ, インコーポレイテッド
サイトヴィヴァ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サイトヴィヴァ, インコーポレイテッド, サイトヴィヴァ, インコーポレイテッド filed Critical サイトヴィヴァ, インコーポレイテッド
Publication of JP2016520798A publication Critical patent/JP2016520798A/ja
Application granted granted Critical
Publication of JP6503335B2 publication Critical patent/JP6503335B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/10Condensers affording dark-field illumination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N2015/0038Investigating nanoparticles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1434Optical arrangements
    • G01N2015/144Imaging characterised by its optical setup
    • G01N2015/1445Three-dimensional imaging, imaging in different image planes, e.g. under different angles or at different depths, e.g. by a relative motion of sample and detector, for instance by tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Description

(先行技術文献の相互参照)
本願は、2013年3月12日に出願された、シリアル番号61/776,977の「生物学的な及び非生物学的な媒質でのナノ粒子の位置を特定するための3次元画像処理」という名称の同時継続中の米国仮出願の優先権を主張し、参照によって組み込む。
生細胞への薬物及び化学薬品の導入は、最近、100ナノメータサイズより小さいナノスケールの物体及び/又はキャリアとして様々な構造の、本明細書では対象粒子として周知の、顕微鏡でしか見えない物体を使用し始めた。例えば、治療薬物は、金や銀のようなナノサイズの粒子で被膜されるか、又は内部に入れられる。機能化された対象粒子は、体内に導入されて組織に吸収され、最終的に細胞に取り込まれる。薬物を受容すべき細胞のみを目標とするための能力は、細胞表面によって認識される、粒子への機能的な被膜によって可能とされる。対象粒子の細胞の摂取処理、及び薬物粒子の細胞内処理の研究は、薬物治療プロセスの開発のために重要である。細胞内での摂取及び分配に関係する細胞の対象粒子の相互作用は、種々の技術を用いた多くの異なるタイプの研究によって解明される。
最も広く用いられるツールの一つは、蛍光顕微鏡によって細胞を画像化することである。従来の蛍光顕微鏡では、細胞の3次元ボリュームの観察が可能ではなかった。このため、3次元の細胞構造を観察するために、共焦点蛍光顕微鏡がボリューム中の細胞の複数の薄片分を映し出すために使用される。しかし、これらの方法は、蛍光標識化の導入を必要とする。対象粒子又は細胞構造への蛍光物質の付着は、投薬のための意図された効用を変えてしまい、さらに細胞製剤の難しさを著しく増加する。それゆえ、ナノ医療の進展を促進しながらも、投薬のための意図された効用を変えることなく、3次元における対象粒子の位置の判断を可能とする装置及び方法が関心をもたれ、さらにナノ薬物の投与の理解を高める重要な役割を果たす可能性を有する。
本開示は、未染色及び蛍光化された細胞内の対象粒子の位置、又は半透明の非生物学的な媒体及び光が透過される例えば繊維マトリクスのような他の媒体の対象粒子の位置を判断できる広視野顕微鏡方法を提供する。本開示は、未染色で蛍光化された細胞製剤内の機能化された対象粒子から画像データを獲得するための新しい方法を提供する。さらに、蛍光化細胞と粒子を必要とする現在の方法と異なる方法として、細胞ボリュームから拡散された広帯域の照明光を用いる3次元細胞−対象粒子画像を生成するための方法も提供される。そのような画像は、暗視野照明方法を用いることにより獲得されるし、さらに、特定の蛍光物質用に設計されたフィルターキューブを用いる従来の蛍光方法に代わって、画像区分化技術を用いることにより、獲得される。照明の適切な装置及び方法の非制限的な例は、米国特許番号7,564,623の「顕微鏡照明装置及びそのアダプタ」、米国特許番号7,542,203の「顕微鏡照明装置及びそのアダプタ」に教示され、その両方は参照として本明細書に全体が組み込まれる。
さらに、本開示は、暗視野画像部分の3次元デコンボリューション(3次元逆畳み込み演算(3D deconvolution))を実行するための新規なコンピュータ計算方法及び、さらにそれによって細胞構造に関連して対象粒子の位置を明らかにするための新規なコンピュータ計算方法も提供する。これらの新しい方法は、特定の蛍光物質の波長用に設計された単一の点像分布関数(single PSF(point spread function)s)に対して、広スペクトル範囲にわたって画像焦点を修正するために、多重点像分布関数(multiple point spread functions)を用いる。新しい点像分布関数PSFsが、暗視野顕微鏡用に用いられる可変及び固定の絞り対物レンズと共に動作するように設計される。新しいデコンボリューション方法は、各細胞構造のための分離点像分布関数PSFsの使用を通して画像中の細胞構造及び対象粒子を自動的に検出し、さらにその方法は、3次元画像の再構成を最適化するために目当ての対象粒子のタイプを通して画像中の細胞構造及び対象粒子を自動的に検出する。一具体例として、対象粒子は波長の狭い範囲にわたって反射されるが、細胞画像は波長の広い範囲にわたって、又は波長の異なる範囲にわたって形成される。
前記デコンボリューションの固有の特徴は、球状アイコンへの全ての対象粒子の3次元画像変換である。球状のアイコンは、3次元ボリュームの対象粒子座標に正確に配置される。対象粒子の位置の全てを含むデータセットがこの方法から結果的に得られ、さらにそのデータセットによってユーザは顕微鏡のステージを3次元に動かすことによって目当ての特定の対象粒子を検査することができる。例えば、ユーザは、超スペクトル顕微鏡の使用を通して薬物が粒子に付着又は非付着しているかを知らせるスペクトル特性を評価するために、特定の対象粒子を検査することができる。
本開示の方法は、それら方法が共焦点顕微鏡の代わりに標準の研究用広視野顕微鏡にて実行できるという点で相違し、さらに独特である。蛍光の標識付けの必要性の排除は、多くの場合、効用を変えてしまう、機能化された対象粒子の複雑さを低減する。3次元画像加工される、広いスペクトル範囲は、赤外線波長範囲に近い可視のどこででも観察される多様な対象粒子構造を用いることを前記方法に可能とさせる。光学顕微鏡の分野において最先端技術ではない方法が細胞内の対象粒子の位置を自動的に判断することができるために周知である。
本開示の多くの態様は、以下の図面を参照して良好に理解される。参照によって本明細書に組み込まれている、図面の各構成部分は、開示の原則を明確に示すのを強調するために、倍率が正しくはない。さらに、図面において、同様の参照番号は複数の図にわたり相当する部分を示す。
本開示の様々な実施形態に係る画像形成方法を説明するフローチャートである。 本開示の様々な実施形態に係る対象粒子の位置特定方法を説明するフローチャートである。 本開示の様々な実施形態に係る画像形成方法を説明するフローチャートである。 本開示の様々な実施形態に係るコンピュータ処理装置の概略的なブロック図である。
以下の考察では、コンピュータ処理装置の全般的な説明及びその装置の各部が説明され、続いてその装置及び各部の動作が考察される。この明細書には、暗視野顕微鏡の使用により、媒体での対象粒子の3次元画像データの獲得及びコンピュータによる計算処理のための方法及び装置の実施形態が記載されている。対象粒子であるオブジェクト(object)は、機能化された金属及び非金属のナノ粒子及びナノロッド、単層及び多層の炭素ナノチューブ、金の殻(gold shells)、量子点及びナノフィラメントを含む。本明細書にて考察される例示の実施形態は、細胞媒質に言及するが、本開示の方法及び装置は、生物学的な媒質に限定されるものではなく、適切な透明、半透明、又は拡散透光体に用いられる。さらに、細胞のナノ粒子の画像化は本開示の方法及び装置の一つの可能なアプリケーションを代表するが、本開示の対象粒子はナノサイズ化された粒子に限定される必要がなく、本開示の方法及び装置を用いての画像化はいかなる大きさの粒子にも適用される。加えて、本開示の媒質は、細胞のような生物学的な媒質に限定される必要はなく、繊維マトリクス、フィルタマトリクス、乳状液(emulsions)、及び任意の適切な透明、半透明、又は本開示の方法及び装置を用いて得られる画像を可能とする拡散透光体のような非制限的な具体例を含むことができる。
図面を参照すると、本開示の一つ以上の好ましい実施形態が記載されている。
開示される方法
本明細書にて開示される方法及び装置は、二つの全般的なカテゴリに分類される。暗視野顕微鏡を用いる、対象粒子を含む生物学的な媒質及び非生物学的な媒質の3次元(3D)画像データを獲得するために用いられる獲得方法が記載される。さらに、これまでにはかなえられなかった画像データについての3次元デコンボリューション処理を拡張する方法及び装置が記載される。
獲得方法
このセクションは3次元画像データの方法及び装置を説明する。暗視野画像方法を用いる記録化は、対象粒子が散りばめられているいくつかの媒質を有する、定義されたボリュームを含んで構成される。記録化は、非制限的具体例として、米国特許第7、564、623の「顕微鏡照明装置及びそのアダプタ」に記載されている装置のような、任意の適切な暗視野顕微鏡装置に対応して構成される。媒質は、細胞体のような生物学的な的な媒質でも、又は繊維マトリクスのような非生物学的な的な媒質でもよい。対象粒子がない媒質の記録化は、同様の技術を用いても得られる。対象粒子が含まれるとき、本開示に記載されている処理のために、対象粒子は検出されるため及び局在化されるために蛍光的に標識付けされる必要がない。媒質及び細胞はガラスのスライドによって支持され、さらにカバーの下に固定されるか、又は媒質及び細胞は生物学的な細胞をサポートすることのできる環境フローチャンバ(environmental flow chamber)であってもよい。
記録化は、各画像間の垂直(又は焦点)方向の固定距離にて得られる2次元画像のスタックを含む。生物学的な細胞製剤において、細胞及び対象粒子の位置は画像のスタックを行うため必要とされる数秒の間、時間と空間的に安定化されるべきである。画像のスタックは、交互に画像を取り込むこと、その後、顕微鏡ステージを垂直方向に沿って新たな所定の位置に動かすことによって行われる。結果的に得られた画像のストックは、ボリュームの低解像度表示を描写し、コンピュータ計算による処理のための入力である。生物学的な媒質及び対象粒子が共に未染色(非蛍光化)であると、コンピュータ計算による処理は、細胞及び対象粒子から乱雑に反射される広帯域照明の使用を許容する。対象粒子が特定の波長にて共振ピークを有し、未染色の細胞が異なる反射スペクトルを有すると、コンピュータ計算による処理は、一つが対象粒子のピーク波長を強調するスペクトル、もう一つが細胞反射率、照明、及びカメラ感度という特徴を強調するスペクトルという、まとめると、二つのスペクトルを許容する。3次元画像データの方法は、両方のスペクトルを同時に説明するので、両タイプのオブジェクトは効率的に描写される。
代替的に、コンピュータ計算による処理は、画像についてのコンピュータ計算処理の動作を低減するように、第1狭帯域波長が対象粒子ピークを変えるのを許容する。この第2の場合は、細胞研究にて用いられる対象粒子の多くから反射する光が少なくとも1マグニチュードだけ細胞反射より強いので有益である。最も高い係数が用いられると、細胞構造が画像で適切な値であったとき、対象粒子の位置で画像は飽和する。本開示は二つの記録を用いて両方のタイプのオブジェクトを記録するダイナミックレンジを拡大するための方法をさらに説明する。二つの記録は、対象粒子を飽和なしでとらえるために一つの画像では露光時間が短くされ、細胞構造をとらえるため他の画像では露光時間が長くされながらも、同一の焦点位置にて、高ダイナミックレンジカメラによって得られる。コンピュータ計算による処理は、その後、長い露光画像の飽和画素を短い露光画像の同じ画素値で置き換える。前記同じ画素値は、共通の露光時間を反映するための倍率とされ、そのデータは浮動点フォーマットで示される。16ビット以上の固定されたポイントフォーマットにて新しい画像を表すことも可能である。
いくつかの実施形態において、コンピュータ計算による処理は細胞構造が蛍光的に標識付けされるのを可能とする。細胞放射が一波長で生じ、かつ対象粒子の共振ピークが異なる波長であると、コンピュータ計算による処理は、各点像分布関数の使用によって後述するように分離波長を利用することができる。このタイプの獲得は、クゥーツハロゲンソースのような光源の連続スペクトルタイプで実行される。
細胞の蛍光性が水銀アークのようなアークランプの強いピークによって代わりに励起されると、蛍光化された細胞構造からの信号は未染色の対象粒子からの信号と比較して増大されるという他の利点がある。これを達成するため、第1に細胞構造用の狭帯域と第2に対象粒子用の広帯域の光の制御された混合が必要とされるので、各オブジェクトからの相対的な信号強度は調整される。サイトビーバ(Cytoviva(登録商標))によって開発され、さらに商品化されたデュアルモード蛍光性モジュールは、二つのスペクトル領域からの光を混合するための装置の非制限的な具体例である。その装置は、狭帯域波長を通過させる回転可能なホィールの蛍光励起フィルタを含む。その装置は、濾波されない光源(unfiltered light source)の一部も照明ビームの一部にするのを可能とするために、蛍光励起フィルタが一方側からわずかに動かされるのを許容する。目的が蛍光性のオブジェクトを画像にすることであると、多重パス放射フィルタ(multi-pass emission filter)が顕微鏡に加えられる。前記オブジェクトから放射された狭帯域波長は前記多重パス放射フィルタの一つのチャンネルを通過する。デュアルモード蛍光性モジュールから出た直接光は前記多重パス放射フィルタの他のチャンネルを通過し、未染色のオブジェクトを画像にするために用いられる。実際、残存放出フィルタ帯域を通過するアークランプからの直接光は、アークランプスペクトルのピークから離隔するので、この方法により、対象粒子は細胞構造よりも弱く照らされる。混合量が比例的に制御されるので、データが3次元デコンボリューションのコンピュータ計算による処理に入力される前に、標識付された細胞構造及び未染色の対象粒子からの信号強度は等しくされる。この処理は、細胞構造の画素値を高く保ちながらも、入力データ中の飽和された画素を照らすことによって3次元デコンボリューションをかなり向上する。
暗視野顕微鏡の使用により対象粒子を含む生物学的な媒質/非生物学的な媒質を画像化するための3次元デコンボリューションへの拡張
このセクションは、前述のようにして獲得されたデータから3次元画像を計算するための3次元デコンボリューション処理装置及び方法を考察する。暗視野顕微鏡において、光源からの光はオブジェクトによって拡散される。拡散の強度、つまりオブジェクトの画像は、カメラによって行われる記録化での暗視野に対して比較的輝いている。蛍光において光はオブジェクトの標識によって拡散される。蛍光による放射の強さは比較的に弱く、さらに記録された蛍光は狭帯域波長内に含まれる。蛍光での暗い光状態に対して、オブジェクトによって拡散された光は広帯域波長を含み、さらに蛍光よりも通常はかなり強い。対象粒子を含む細胞のような未染色の生物学的な媒質において、このことは、デコンボリューションアルゴリズムにおいて両方が処理される弱信号オブジェクト(細胞)と強信号オブジェクト(対象粒子)があるかもしれないことを意味する。
次に、暗視野顕微鏡からのデータを処理して3次元画像を形成するための適用可能なステップを説明する。図1のフローチャートに示されるように、前述のようにして獲得された画像のスタックが、獲得されて次に、本明細書ではコンピュータ計算として説明される、3次元デコンボリューション及び表示処理に入力される。このアプローチにより、共に未染色の生物学的な及び非生物学的な媒質中の対象粒子の3次元画像が、暗視野顕微鏡によって獲得される。3次元デコンボリューションは、画像スタックに含まれる蛍光オブジェクトの画像を鮮明化する(deblurring (シャープニングsharpening))方法として既に説明された。本開示は、同じ目的のための方法に、暗視野顕微鏡にて画像化される非蛍光材料を適用する。
蛍光と暗視野反射光の間の相違は、蛍光オブジェクトから狭帯域波長にわたって直接的に光が生じるが、暗視野反射光ではオブジェクトは広範囲波長をカバーする光源から生じる光によって観察される、ことである。サンプルに注がれる照明としてコヒーレントな干渉である、レーザが蛍光励起のために使用されると、暗視野反射では、インコヒーレントな光の使用がサンプルのより均質な照明を作り出す。オブジェクトからの直接的な蛍光放射とオブジェクトからの反射光は、概して、干渉性及び偏光状態のような異なる光学特性を持つ。蛍光は蛍光標識が示されているところからのみ放射されるが、暗視野光反射は全ての材料表面から得られ、よって点光源が異なる。いくつかの実施形態では、広帯域光の付加は、狭帯域又はレーザ光が要求されないか入手できない、3次元デコンボリューション方法に潜在的な能力を加える。
広帯域光で3次元デコンボリューションを実行するために、新しい方法が開発された。図1のフローチャートにさらに示されるように、広帯域光に含まれる全波長範囲用に設計された特有の多重点像分布関数(multiple-PSF)が、計算によるか又は測定による、複数の狭帯域点像分布関数PSFsの合成から形成される。本明細書に説明される加重積分は、複数の波長で得られる個々の点像分布関数PSFsの合計によって実質的に実現される。いくつかの不連続の波長が広帯域光のスペクトル範囲内で取り上げられる。正確な数は、点像分布関数が波長でどのくらい変化するかに依存している。点像分布関数PSFの各中央波長のため、点像分布関数PSFの複数の円環の間の間隔が変化する。いくつかの実施形態において、50nmから100nm毎の中央波長の間の間隔は、デコンボリューションの速度と精度についての望ましい妥協(tradeoff)を与える、複数の点像分布関数PSFsのセットを作り出すために用いられる。一つの点像分布関数(PSF)は、各波長用に計算又は測定される。広帯域光によって形成される画像のデコンボリューションを可能とするように多重点像分布関数(multiple-PSF)を得るため、複数の点像分布関数PSFsがその後合計される。光の強度が異なる波長で変化すると、異なる複数の点像分布関数PSFsが合成ステップの前に点像分布関数PSFの中央波長における光の強度によって重み付される。
図1のフローチャートにさらに示されるように、本明細書では対象粒子の位置を得、さらに3次元画像を構築するために記載されるように、画像データは多重点像分布関数(multiple-PSF)を用いてデコンボリューション(逆畳み込み演算)される。多重点像分布関数(multiple-PSF)を適用する処理は、始めに対象粒子の位置を閾値及び本明細書の他の箇所にて説明されるスプラインピークファインダ(spline peak finder)を用いて判断することである。所定の範囲を用いることで、入力、非補間、グリッドのボクセルは、それらが対象粒子の分類範囲内に位置されるか否かに応じて対象粒子ボクセル又は非対象粒子ボクセルに分類される。デコンボリューションアルゴリズムの間、対象粒子PSFは対象粒子ボクセルに適用され、さらに非対象粒子の点像分布関数PSFは非対象粒子ボクセルに適用される。もちろん、これはFFTベースの高速デコンボリューションの基本をなす並進不変推定を破る。この問題は、各反復工程で二つのFFTコンボルーション(畳み込み演算、convolution)を実行することによって処理される。二つのFFTコンボルーションの内の一つは、対象粒子ソース再構成を用いることであり、他は非対象粒子ソース配分を適用することである。二つのコンボルーションの結果は、各ステージでの更新用に用いられるモデルを作るために合計される。この更新はボクセル位置に係る対象粒子又は非対象粒子ソースに適用される。いくつかの実施形態において、サンプルのボリュームを通して集められた、画像のスタックに含まれる画像は、まず、ローパスフィルタを用いて不鮮明化される(より鈍く)。このステップは、次のステップために雑音を低減する。この処理は、次に、不鮮明化された画像のそれぞれで、対象粒子の確かな位置として推定される最も輝く点を見つける。これは、対象粒子が暗視野画像にて一般的に最も輝き、さらに最も点のような部分であると見なされるためである。次に処理は、一実施形態にあって、Z軸(焦点方向)に沿う光の強度のためのキュービックスプラインフォームを推定する。スプラインが最も大きくなるz値が判断され、さらにこれは対象粒子のz値の推定として獲得される。このz値は、一般的に、複数の入力画像スライスのz値の間にある。対象粒子位置のx及びy値は平滑な画像で局所的に最も輝いている画素の位置として判断される。キュービックスプラインは、この処理の後のステージで、逆畳み込み演算された細胞結果をアイソトープのグリッドに補間するために用いられる。
いくつかの実施形態で、複数の点像分布関数(PSFs)の分離セットは、一つが生物学的な/非生物学的な媒質及び他が対象粒子であり、本開示に記載される処理のために最適化される。いくつかの実施形態は一つの方法を用い、それによって対象粒子は一つの点像分布関数(PSF)により処理され、記録化の生物学的な又は非生物学的な媒質の残りは少なくとも一つの他の点像分布関数(PSF)により処理される。理論的根拠は、各コンポーネントが異なる波長(又は波長範囲)であり、さらに3次元デコンボリューション処理がナノ材料及び細胞又は他のオブジェクト用に分離され、その後、再結合されることでもある。
いくつかの実施形態では、暗視野画像方法が、生物学的な又は非生物学的な媒質での蛍光標識を照らしさらに励起するために特に用いられる。蛍光画像のコンテキストでの暗視野照明方法の使用は、一般的な実施ではないが、ここに効果的に示される。いくつかの実施形態にあって、3次元デコンボリューションは、対象粒子が機能化された化学薬品で被膜されると、効用がある。この機能化された化学薬品は、対象粒子の光学反射又は共振特性を次々に変質させる。本明細書に記載された獲得及びコンピュータ計算による方法は広帯域画像用に適用されるので、前記処理は可能である。
いくつかの実施形態にあって、共に未染色の、生物学的な又は他の媒質での対象粒子の3次元画像は、暗視野顕微鏡により獲得可能である。いくつかの実施形態では、本明細書に記載の方法及び装置は、染色された生物学的な及び非生物学的な媒質にのみ適用されてもよい。蛍光染色された細胞の3次元画像は周知であるが、いくつかの実施形態において、蛍光標識によって特定の細胞構造を示す蛍光化された生物学的な媒質の特定の細胞構造に対する未染色の対象粒子の位置を判断することは暗視野顕微鏡によって入手可能である。
対象粒子と生物学的な又は非生物学的な構造の間の空間的な関係を判断する方法も本明細書に開示されている。図2のフローチャートに例示されているように、いくつかの実施形態では、x、y及びz座標が3次元画像の特定のボリュームセクタ(キューブ)に割り当てられる、前記3次元画像に含まれる対象粒子のベクトル記述が判断され、さらに特定のボリュームセクタを部分的に重ねる細胞構造が判断されるので、細胞構造に関する対象粒子の分布の量的な記載が明らかにされる。いくつかの実施形態は、対象粒子が細胞の内又は外にあるのか、又は対象の生物学的な又は非生物学的なオブジェクトであるのかという二つの結果の空間的相関の定義を広めるし、さらに容易にする。いくつかの実施形態はピークアイソレーションステップを各横の画素用の垂直キュービックスプライン関数に適用することにより垂直方向の逆畳み込み演算された3次元画像を先鋭化(sharpen)する。各垂直キュービックスプライン関数のため、関数における全ての局所の最小値を特定することによってこのステップは始まる。一つの局所最小値と次の局所最小値の間のキュービックスプライン関数がピークである。このピークの質量の中心が判断され、さらにそのピークが、質量の中心に位置されるピークの積分された領域に等しい値を除くすべてのゼロを含む関数によって置き換えられる。
いくつかの実施形態にあって、対象粒子の密度関数、又は言い換えると、細胞内部の異なる部分での対象粒子の密集が判断される。この方法は、前述の3次元細胞セクタのアイディアを用いる。いくつかの実施形態において、この方法論は染色された細胞にも適用される。いくつかの実施形態は、染色された媒質を用いる。この染色された媒質では、細胞構造への蛍光性の抗体標識によって明らかにされた一つ以上の細胞構造に対して対象粒子が位置づけられ、細胞構造が細胞内又は細胞外の空間(細胞プラズマ膜)を定義し、又は細胞構造が細胞内の細胞小器官(リゾソーム、細胞核など)に細胞の内又は外を定義する。いくつかの実施形態にあって、密度関数(対象粒子の密集)は、細胞境界と同様に細胞内の細胞小器官によって囲まれる。
いくつかの実施形態は、ユーザ対話方法を使用する。このユーザ対話方法では、特定の細胞構造がユーザによる3次元ボリュームディスプレイ画像の視認によって選択され、さらに個々の対象粒子と細胞構造の間の最も短い距離が判断され、特定の対象粒子が順次選択されて、最小距離ベクトルを示すラインセグメントが視覚効果のために加えられる。前述された全ての新規な方法が生物学的な媒質の対象粒子の搬送の研究に適用される。
いくつかの実施形態において、3次元画像内の対象粒子の存在は、生物学的な又は他の構造の存在を視覚化する支援として人工的にマークされる。いくつかの実施形態では、対象粒子の位置が球状のオブジェクト、又はアイコンとして表示される。このアイコンは、その中心が、3次元の計算によって判断されるオリジナル対象粒子のx、y及びz座標にあり、アイコンの色が3次元画像の細胞構造の色と容易に区別される。いくつかの実施形態では、アイコンと細胞構造は、無地で半透明のいくつかの色のそれぞれによって表示され、3次元画像が回転されるので、細胞構造内の対象粒子アイコンの可視が容易である。
図3のフローチャートに示されるように、いくつかの実施形態は、獲得と画像計算のための方法を含む。この画像計算は、フル3Dデコンボリューション処理に入力される画像に含まれる値の範囲を拡大する。このため、生物学的な又は他の構造からの弱い信号構造は正確に表現されるが、対象粒子からの著しく強い信号は画像にて許されるフルスケール内に保たれる。この方法によって、サンプルの各面で画像のセットは、一つは短く一つは長くというように、異なる露光時間を用いて記録される。ここで、短い露光は画像の飽和を起こさずに対象粒子の光強度の変化を獲得し、長い露光は細胞構造によって引き起こされるよりわずかな強度変化を獲得する。そして、シングル画像は、長い露光画像で飽和画素を識別することによって、さらに短い露光画像で前記飽和画素に相当する画素の値を用いて飽和画素の値を置き換えることによって生成され、さらに共通の露光時間を反映するために最終画像の値は変倍される。
ここで図4を参照すると、本開示の一実施形態に係るコンピュータ処理装置400の概略的なブロック図が示されている。コンピュータ処理装置400は、例えばプロセッサ403及びメモリ406を有する少なくとも一つのプロセッサ回路を有する。プロセッサ403及びメモリ406は共にローカルインターフェース409に接続される。本発明の目的のため、コンピュータ処理装置400は、例えば少なくとも一つのサーバコンピュータ又は類似の装置を有する。ローカルインターフェース409は、例えばアドレス/コントロールバスを付随するか他の適切なバス構造を付随するデータバスを備える。
メモリ406に蓄積されるのは、データ及びいくつかのコンポーネントである。コンポーネントはプロセッサ403により実行される。特に、メモリ406に蓄積され、プロセッサ403により実行されるのは、画像獲得アプリケーション412、画像処理アプリケーション415及び場合によっては他のアプリケーション418である。画像獲得アプリケーション412及び/又は画像処理アプリケーション415は、コンピュータ処理装置400により実行されると、図1乃至図3のフローチャートに関連して前述したようなコンピュータ計算による処理の様々な態様を実行する。例えば、画像獲得アプリケーション412は画像記録の獲得及び/又は蓄積を容易とし、画像処理アプリケーション415は画像の処理を容易にする。いくつかの実施形態では、画像獲得アプリケーション412と画像処理アプリケーション415が一つのアプリケーションに合体されてもよい。メモリ406に蓄積されるのは、例えば記録化、画像、ビデオ及び他のデータを含むデータ蓄積部421でもよい。さらに、オペレーティングシステムがメモリ406に蓄積され、かつプロセッサ403に実行可能とされてもよい。メモリには他のアプリケーションが蓄積され、さらにプロセッサ403によって適切に実行可能であることが理解される。
本明細書にて考察される任意のコンポーネントは多くのプログラム言語の任意の一つのようなソフトウェアの形式にて実行される。多くのプルグラム言語は、例えばC、C++、C#、オブジェクティブC、Java(登録商標)、JavaScript(登録商標)、Perl、PHP、VisualBasic(登録商標)、Python(登録商標)、Ruby、Delphi(登録商標)、Flash(登録商標)又は他のプログラム言語である。多くのソウトウェアコンポーネントがメモリに蓄積され、プロセッサ403により実行可能である。この点で、用語「実行可能な」はプロセッサ403により最終的に動作される形式のプログラムファイルであるのを意味する。実行可能なプログラムの具体例は、例えば、コンパイルプログラムである。このコンパイルプログラムは、メモリ406のランダムアクセス部に加えられ、さらにプロセッサ403によって動作されるマシーンコード、メモリ406のランダムアクセス部に加えられ、さらにプロセッサ403によって実行可能であるオブジェクトコードのような適切なフォーマットで表現されるソースコード、又はプロセッサ403によって実行されるようにメモリ406のランダムアクセス部で命令を生成するため、他の実行可能なプログラムによって解釈されるソースコードなどに翻訳される。実行可能なプログラムは、例えばランダムアクセスメモリ(RAM)、リードオンリィメモリ(ROM)、ハードドライバ、ソリッドステートドライバ、USBフラッシュドライバ、メモリカード、コンパクトディスク(CD)又はディジタルバーサタイルディスク(DVD)などの光学ディスク、フロッピー(登録商標)ディスク、磁気テープ、又は他のメモリコンポーネントを含むメモリの任意の一部又はコンポーネントに蓄積される。
メモリ406は、揮発性及び不揮発性メモリ及びデータストレージコンポーネントを含むように定義される。揮発性コンポーネントは無電力であるとデータを保持しない。不揮発性コンポーネントは無電力でもデータを保持する。このように、メモリ406は例えばランダムアクセスメモリ(RAM)、リードオンリイメモリ(ROM)、ハードディスクドライバ、ソリッドステートドライバ、USBフラッシュドライバ、メモリカードリーダを介してアクセスされるメモリカード、対応するフロッピー(登録商標)ディスクドライバを介してアクセスされるフロッピー(登録商標)ディスク、光学ディスクドライバを介してアクセスされる光学ディスク、適切な磁気テープドライバを介してアクセスされる磁気テープ、及び/又は他のメモリコンポーネント、又は任意の二つ以上のこれらのメモリコンポーネントの組み合わせを備える。さらに、RAMは例えばスタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、又は磁気ランダムアクセスメモリ(MRAM)及び他の類似のデバイスを備える。ROMは、例えばプログラマブルリードオンリィメモリ(PROM)、消去可能なリードオンリィメモリ(EPROM)、電気的に消去可能なプログラマブルリードオンリィメモリ(EEPROM)又は類似の他のメモリディバイスを備える。
また、プロセッサ403は複数プロセッサ403でもよいし、メモリ406も並列処理回路で動作する複数メモリ406でもよい。そのような場合、ローカルインターフェース409は、任意の二つ以上のプロセッサ403、任意のプロセッサ403と任意のメモリ406の間、又は任意の二つのメモリ406などの間の通信を容易にする適切なネットワークであってもよい。プロセッサ403は電気的又は他の使用可能な構成でもよい。
画像獲得アプリケーション412、画像処理アプリケーション415、及び本明細書にて記述されている他の様々なシステムはソフトウェア又は汎用目的のハードウェアによって実行されるコードで具現化されてもよく、代替的に同じものが汎用目的のハードウェア又はソフトウェア/一般目的ハードウェア及び特定目的のハードウェアの組み合わせで具現化されてもよい。特定目的のハードウェアに具現化されると、それぞれは多くの技術の内の任意の一つ又は組み合わせを用いる回路又はステートマシンとして実行される。これらの技術は、制限されるものではないが、様々な論理機能を、一つ以上のデータ信号のアプリケーション、適切な論理ゲート有する特定統合回路のアプリケーションや、他のコンポーネントで実行するための論理ゲートを有する離散的な論理回路を備えてもよい。そのような技術は、当業者によって一般的に周知であるので、本明細書には記載しない。
画像獲得アプリケーション412及び画像処理アプリケーション415は論理的な機能及び/又はシステムの動作を実行するためのプログラム命令を備える。プログラム命令はプログラム言語によって記述された人間が読めるステートメントを含むソースコード、又はコンピュータシステム或いは他のシステムのプロセッサのような適切な実行システムによって認識可能な数値指示を含む機械コードの形式で具現化される。機械コードはソースコードなどから変換されてもよい。ハードウェアによる具現化では、各ブロックは特定論理的機能を実行するための回路又は相互に連結された回路を示す。
図1乃至3のフローチャートは、実行の特定の順番を示すが、実行の順番は描写により異なることが理解される。例えば、二つ以上のブロックの実行の順番は、示される順番を変えてもよい。さらに、図1乃至3において連続して示されている二つ以上のブロックは、同時に又は部分的に一致して実行されてもよい。さらに、いくつかの具現化例では、図1乃至3に示される一つ以上のブロックは、飛ばされても又は省略されてもよい(好ましくは、例えば伝播時間が測定される)。さらに、カウンタ、ステートバリアブル、ワーニングセマフォ、又はメッセージの任意の数は、強化されたユーティリティ、アカウンティング、性能測定の目的のため、又はトラブルシューティング支援などを提供するため、本明細書に記載された論理的フローに加えられてもよい。そのような変形の全ては本開示の範囲内にあることが理解される。
さらに、本明細書に記載された、ソフトウェア又はコードを含む画像獲得アプリケーション412及び画像処理アプリケーション415を含む任意の論理又はアプリケーションは、例えばコンピュータシステム又は他のシステムのプロセッサ403のような命令実行システムによる使用のため又は前記命令実行システムと通信されるように、非一時的なコンピュータ読取可能媒体に具現化される。同様に、前記論理は、コンピュータ読取可能媒体から取り出され、かつ命令実行システムによって実行される命令及び宣言を含む、例えばステートメントを備える。本開示のコンテキストにおいて、「コンピュータ読取可能な媒体」は、命令実行システムによる使用のため、又は命令実行システムとの通信のために本明細書にて記載の論理又はアプリケーションを含み、格納し、又は維持することのできる任意の媒体である。
コンピュータ読取可能な媒体は、例えば磁気、光学、又は半導体媒体のような物理的な媒体の任意の一つを備えることもできる。適切なコンピュータ読取可能な媒体のさらに詳細な具体例は、制限されるものではないが、磁気テープ、磁気フロッピー(登録商標)ディスケット、磁気ハードドライブ、メモリカード、固体素子ドライブ、USBフラッシュドライブ、又は光学ディスクを含むかもしれない。さらに、コンピュータ読取可能な媒体は、例えばスタティックランダムアクセスメモリ(SRAM)及びダイナミックランダムアクセスメモリ(DRAM)を含むランダムアクセスメモリ(RAM)、又は磁気ランダムアクセスメモリ(MRAM)であってもよい。さらに、コンピュータ読取可能な媒体は、リードオンリィメモリ(ROM)、プログラマブルリードオンリィメモリ(PROM)、消去可能なリードオンリィメモリ(EPROM)、電気的に消去可能なプログラマブルリードオンリィメモリ(EEPROM)、類似の他のメモリディバイスを備える。
一実施形態において、とりわけ、サンプルの3次元ボリューム画像を獲得するための方法は、暗視野顕微鏡によって前記サンプルから複数の2次元画像を獲得することを含んで提供される。複数の2次元画像は、焦点方向に沿って等間隔の複数のサンプル位置のそれぞれで撮影される少なくとも一つの2次元画像を含む。各2次元画像は、焦点が合っているか、さらに焦点がずれているサンプルからの光の両方を含む。この方法は、サンプルに存在する少なくも一つの構造の位置を判断するために3次元画像のコンピュータ計算による方法に複数の2次元画像を入力すること、及びサンプルに存在にする少なくとも一つの構造の位置を示す3次元画像で、サンプルの3次元ボリューム画像を構築することを含んで提供される。
任意の一つ以上の実施形態において、サンプルは少なくとも一つの細胞及び/又は他の類似の生物学的な又は非生物学的な構造と、さらに少なくともひとつの細胞内の未染色の対象粒子を含む。暗視野顕微鏡は前記サンプルの照明用の広帯域光を使用することができる。少なくとも一つのサンプル及び/又は他の類似の生物学的な又は非生物学的な構造は蛍光性であり、少なくとも一つの未染色の対象粒子は非蛍光性であり、及び/又は暗視野顕微鏡はサンプルの照明のために蛍光性の励起光の特定波長が合成された広帯域光を含む。前記サンプルに存在する少なくとも一つの構造は、少なくとも一つの細胞及び/又は他の類似の生物学的な又は非生物学的な構造、少なくとも一つの細胞及び/又は他の類似の生物学的な又は非生物学的な構造内の少なくとも一つの標識付けされた細胞構造、及び/又は少なくとも一つの細胞及び/又は他の類似の生物学的な又は非生物学的な構造内の少なくとも一つの非蛍光性対象粒子を含む。暗視野顕微鏡は前記サンプルを照射するために狭帯域光及び広帯域光の混合光を含む。狭帯域光は少なくとも一つの標識付けされた細胞構造を励起し、及び広帯域光は少なくとも一つの蛍光性対象粒子で拡散する。
任意の一つ以上の実施形態にあって、前記方法は画像の少なくとも一つの標識付けされた細胞構造及び少なくとも一つの対象粒子の明るさを等しくするために狭帯域光と広帯域光の相対的な強度を調整することを含む。ここで、少なくとも一つの標識付けされた細胞構造は画像に弱く寄与し、さらに前記少なくとも一つの対象粒子は前記画像に強く寄与する。さらに前記方法は、飽和していない3次元画像において、少なくとも一つの標識付けされた細胞構造の位置及び少なくとも一つの対象粒子の位置を示すことを、前記調整することに加えるか、又は別に備える。任意の一つ以上の実施形態において、前記方法はスペクトル出力において少なくとも一つのピークを含むアークランプの使用を通して狭帯域光と広帯域光の混合光を生成することを含む。アークランプの光の強さは、少なくとも一つのピークによって定義される狭波長範囲にわたって強く、さらに前記少なくとも一つのピークによって定義される狭波長範囲の外側の広波長範囲にわたって弱い。前記方法は、少なくとも一つのピークの波長を通す通過帯域(pass band)を有する励起フィルタを通してアークランプからの光を通すこと、前記励起フィルタを通過した狭帯域光を少なくとも一つの標識付けされた細胞構造に照射すること、前記アークランプからの広帯域光を同時に前記少なくとも一つの対象粒子に照射すること、一つの放射フィルタの第1通過帯域を介して光を受光すること、及び/又は前記放射フィルタの第2通過帯域を通して光を受光することを備える。ここで、前記第1通過帯域は少なくとも一つの標識付けされた細胞構造から放射された光を通すが励起フィルタの前記通過帯域内の光を通さない。また、前記放射フィルタの前記第2通過帯域は前記放射フィルタの前記第1通過帯域内の光を通さない。
他の実施形態において、一つのサンプル内の少なくとも一つの対象粒子の3次元位置を判断するための方法は、暗視野顕微鏡による前記サンプル内の少なくとも二つの画像を獲得すること、前記少なくとも二つの画像を3次元デコンボルーション(deconvolution)により解析すること、前記少なくとも二つの画像を3次元コンボルーション(convolution)により解析することの結果の少なくとも一つの対象粒子の位置を判断すること、及び一つ以上の3次元画像を獲得することを含んで提供される。ここで、二つの画像のそれぞれは焦点方向に沿って異なるサンプル位置で撮影される。また、前記解析することは、少なくとも一つの多重点像分布関数(multiple-PSF)の使用を含む。さらに、前記一つ以上の3次元画像は前記少なくとも一つの対象粒子の3次元位置を示す。
任意の一つ以上の実施形態において、暗視野顕微鏡は広帯域光を含む。前記少なくとも一つの多重点像分布関数(multiple-PSF)は、一つの波長範囲にわたって複数の狭帯域点像分布関数(PSFs)のスペクトル的に加重される積分を含む。複数の狭帯域点像分布関数(PSFs)は、少なくとも一つのコンピュータ計算による狭帯域点像分布関数(PSF)
及び/又は少なくとも一つの測定による狭帯域点像分布関数(PSF)を含む。
任意の一つ以上の実施形態において、前記方法は少なくとも一つの3次元画像を不鮮明化すること、前記少なくとも一つの3次元画像を焦点方向に補間すること、及び/又は前記少なくとも一つの3次元画像内にピークの位置を特定すること含む。少なくとも一つの多重点像分布関数(multiple-PSF)は、一つの対象粒子ボクセル点像分布関数(PSF)及び一つの分離された非対象粒子ボクセル点像分布関数(PSF)を含む。少なくとも一つの対象粒子は被膜され、この被膜されることで少なくとも一つの対象粒子の光学スペクトルが変えられる。サンプルは生物学的なサンプルである。生物学的なサンプルは未染色又は染色されている。サンプルは半透明材料及び/又は繊維マトリクスを含むことができる。
他の実施形態にあって、少なくとも一つの対象粒子の位置と細胞内及び/又は他の類似の生物学的な又は非生物学的な構造内の少なくとも一つの細胞構造の位置との間の少なくとも一つの空間的相関を判断するための方法は、3次元座標系内の少なくとも一つの対象粒子の位置を判断すること、3次元座標系内の少なくとも一つの細胞構造の位置を判断すること、3次元座標系での少なくとも一つの細胞構造の位置に対する少なくとも一つの対象粒子の位置のベクトル記述を定式化すること、及びベクトル記述から空間的相関を判断することを含んで提供される。
任意の一つ以上の実施形態において、前記少なくとも一つの空間的相関を判断するための方法は、前記細胞内及び/又は他の類似の生物学的な又は非生物学的な構造内の細胞内空間の位置に対する少なくとも一つの対象粒子の位置を判断すること及び/又は前記細胞内及び/又は他の類似の生物学的な又は非生物学的な構造外の細胞外空間の位置に対する少なくとも一つの対象粒子の位置を判断することを含む。任意の一つ以上の実施形態において、前記少なくとも一つの空間的相関を判断するための方法は、少なくとも一つの細胞構造の境界によって囲まれる3次元密度関数を得ることを含むことができる。この3次元密度関数は、複数の対象粒子を記述する。任意の一つ以上の実施形態において、前記少なくとも一つの空間的相関を判断するための方法は、内部細胞小器官空間の位置に対する少なくとも一つの対象粒子の位置を判断すること、及び/又は外部細胞小器官空間の位置に対する少なくとも一つの対象粒子の位置を判断することを含むことができる。
任意の一つ以上の実施形態において、前記少なくとも一つの対象粒子は複数の対象粒子を含む。前記少なくとも一つの細胞構造は細胞小器官を含む。前記少なくとも一つの細胞構造は完全な細胞構造及び/又は他の類似の生物学的な又は非生物学的な構造を含む。前記少なくとも一つの細胞構造は、染色又は未染色である。任意の一つ以上の実施形態において、前記少なくとも一つの対象粒子は、複数の対象粒子のそれぞれの位置と前記少なくとも一つの細胞構造の位置との間の最小の距離を判断することを含む。前記少なくとも一つの細胞構造は前記細胞及び/又は他の類似の生物学的な又は非生物学的な構造の染色された境界である。前記少なくとも一つの細胞構造は、染色された細胞核膜である。
他の実施形態において、少なくとも一つの対象粒子の位置を表示する方法は、暗視野顕微鏡によって一つのサンプルの少なくとも二つの画像を得ること、3次元デコンボリューションを介して少なくとも二つの画像を分析すること、3次元コンボリューションを介して前記少なくとも二つの画像を分析することの結果から前記少なくとも一つの対象粒子の位置を判断すること、及び一つ以上の3次元画像を得ることを含んで提供される。この方法において、前記少なくとも二つの画像のそれぞれは焦点方向に沿った異なるサンプル位置で撮影され、前記少なくとも二つの画像を分析することは少なくとも一つの多重点像分布関数(multiple-PSF)の使用を含み、前記一つ以上の3次元画像は前記少なくとも一つの対象粒子の3次元位置での球状アイコンを表示することによって前記少なくとも一つの対象粒子の3次元位置を表し、前記球状アイコンは特有の3次元空間座標として描写される。一つ以上の任意の実施形態において、前記少なくとも一つの対象粒子の位置を表示する方法は、前記一つ以上の3次元画像内に細胞構造の半透明ボリューム画像を表示することを含む。前記少なくとも一つの対象粒子の3次元位置は細胞構造の前記半透明構造ボリューム内部に表示される。
他の実施形態において、弱強光源を含むサンプルから獲得された3次元画像のダイナミックレンジを拡大するための方法は暗視野顕微鏡によってサンプルから短露光時間の3次元画像を得ること、暗視野顕微鏡によって前記サンプルから長露光時間の3次元画像を得ること、前記長露光画像における飽和画素を識別すること、前記長露光画像から識別された飽和画素を励起すること、最終画像を形成するために前記長露光画像の前記励起画素を前記短露光画像からの対応画素で置き換えること、及び共通露光時間を反映するために前記最終画像の倍率を変更することを含んで提供される。この方法で、前記短露光画像は短露光時間の使用を通して得られ、前記長露光画像は長露光時間の使用を通して得られる。他の実施形態において、垂直方向での3次元画像のシャープニングための方法は、局所の最小点を識別するために各横画素の垂直輪郭を処理すること及び前記局所の最小点の間の前記輪郭部分を前記輪郭部分の積分と等しい単一の値を除いた0を含む新しい輪郭部分で置き換えることを含んで提供される。ここで、前記単一の値は垂直方向で、前記輪郭部分の質量の中心に位置される。
本開示の前述の実施形態は、本開示の原理の明瞭な時間のための明記された実行の単に可能な具体例である。多くの変形及び改良が本開示の精神及び原則から実質的に逸脱することなく前述の開示によって成される。そのような変形及び改良は、本開示の範囲内に含まれること、及び以下の特許請求項によって保護されることを意図している。

Claims (7)

  1. サンプルの3次元ボリューム画像を得るための方法であって、
    焦点方向に沿って等間隔とされた複数のサンプル位置のそれぞれで撮影された少なくとも一つの2次元画像を含む複数の2次元画像であり、さらに前記サンプルから焦点の合った、及び焦点のずれた光の両方を含有するそれぞれの2次元画像を含む前記複数の2次元画像を対象粒子並びに少なくとも一つの細胞及び/又は他の類似の生物学的な若しくは非生物学的な構造を含む前記サンプルから暗視野顕微鏡によって得ること、
    前記サンプルに存在する前記少なくとも一つの細胞及び/又は他の類似の生物学的な若しくは非生物学的な構造の位置を判断するための3次元のコンピュータ計算方法に前記複数の2次元画像を投入すること、
    前記サンプルに存在する対象粒子並びに少なくとも一つの細胞及び/又は他の類似の生物学的な若しくは非生物学的な構造の位置を表す、前記サンプルの3次元ボリューム画像を構築すること
    少なくとも一つの多重点分布関数(multiple-PSF)を用いて3次元デコンボリューションを介して前記複数の2次元画像を分析し、
    3次元コンボリューションを介して前記複数の2次元画像を分析した結果から前記対象粒子の位置を判断すること
    を含む前記サンプルの3次元ボリューム画像を得るための方法。
  2. 前記サンプルは、前記少なくとも一つの細胞及び/又は他の類似の生物学的な若しくは非生物学的な構造内の少なくとも一つの未染色の対象粒子をさらに含む請求項1記載の前記方法。
  3. 前記暗視野顕微鏡は、広範囲の波長にわたり前記サンプルの照明に連続スペクトルを提供する広帯域光を用いる請求項1又は2記載の前記方法。
  4. 前記少なくとも一つの細胞及び/又は他の類似の生物学的な若しくは非生物学的な構造は蛍光性であり、
    前記少なくとも一つの未染色の対象粒子は非蛍光性であり、
    前記暗視野顕微鏡は狭範囲の波長にわたり前記サンプルの照明のために蛍光励起光の特定波長が混合された広帯域光を含む請求項2記載の前記方法。
  5. 前記サンプルに存在する前記少なくとも一つの構造は、
    前記少なくとも一つの細胞及び/又は他の類似の生物学的な若しくは非生物学的な構造内の少なくとも一つの標識付けされた細胞構造と、
    前記少なくとも一つの細胞及び/又は他の類似の生物学的な若しくは非生物学的な構造内の少なくとも一つの非蛍光性対象粒子を備え、
    さらに前記暗視野顕微鏡は前記サンプルを照射するために、狭波長範囲にわたり前記少なくとも一つの標識付けされた細胞構造を励起する狭帯域光と、前記狭波長範囲の外側の広波長範囲において連続スペクトル光を有し、前記少なくとも一つの非蛍光性対象粒子から拡散する広帯域光との混合光を含む前記請求項1〜4のいずれか一項記載の前記方法。
  6. 前記3次元ボリューム画像に弱く寄与する前記少なくとも一つの標識付けされた細胞構造と前記3次元ボリューム画像に強く寄与する前記少なくとも一つの非蛍光性対象粒子との前記3次元ボリューム画像における輝きを等しくするために前記狭帯域光と前記広帯域光の相対的な強さを調整すること、
    少なくとも一つの標識付けされた細胞構造の前記位置と、前記少なくとも一つの非蛍光性対象粒子の前記位置を飽和のない前記3次元ボリューム画像に表すことを含む、請求項5記載の前記方法。
  7. スペクトル出力の少なくとも一つのピークを含むアークランプの使用を通して狭帯域光及び広帯域光の混合光を発生することであり、前記アークランプの光の強度は前記少なくとも一つのピークによって定義される狭波長範囲にわたって強く、前記少なくとも一つのピークによって定義される狭波長の外側の広波長範囲にわたって弱い、前記混合光を発生すること、
    前記狭帯域光を発生するために前記少なくとも一つのピークの波長を通す通過帯域を有する励起フィルタに前記アークランプからの光を通すこと、
    前記励起フィルタを通された前記狭帯域光を少なくとも一つの標識付けされた細胞構造に照射すること、
    前記アークランプからの前記広帯域光を前記少なくとも一つの対象粒子に同時に照射すること、
    放射フィルタの、前記少なくとも一つの標識付けされた細胞構造から放射された光を通過させかつ前記励起フィルタの前記通過帯域内に光を通過させない第1通過帯域を介して光を受光すること、
    前記放射フィルタの、前記第1通過帯域内に光を通過させない第2通過帯域を介して光を受光すること
    を含む請求項1〜6のいずれか一項記載の前記方法。
JP2016501501A 2013-03-12 2014-03-12 生物学的な及び非生物学的な媒質でナノ粒子の位置を特定するための3次元画像処理 Active JP6503335B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361776977P 2013-03-12 2013-03-12
US61/776,977 2013-03-12
PCT/US2014/024346 WO2014165091A2 (en) 2013-03-12 2014-03-12 Three-dimensional image processing to locate nanoparticles in biolgical and nonbiological media

Publications (2)

Publication Number Publication Date
JP2016520798A JP2016520798A (ja) 2016-07-14
JP6503335B2 true JP6503335B2 (ja) 2019-04-17

Family

ID=50841937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016501501A Active JP6503335B2 (ja) 2013-03-12 2014-03-12 生物学的な及び非生物学的な媒質でナノ粒子の位置を特定するための3次元画像処理

Country Status (5)

Country Link
US (2) US10152823B2 (ja)
EP (1) EP2972231B1 (ja)
JP (1) JP6503335B2 (ja)
CN (1) CN105190290B (ja)
WO (1) WO2014165091A2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9799113B2 (en) * 2015-05-21 2017-10-24 Invicro Llc Multi-spectral three dimensional imaging system and method
CN104931397B (zh) * 2015-06-29 2018-04-10 广州机械科学研究院有限公司 基于励磁吸附的三维数字颗粒图像生成装置及方法
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CN106225778A (zh) * 2016-07-18 2016-12-14 北京邮电大学 多介质传播中随机波动的视觉定位研究
WO2018069283A1 (de) * 2016-10-10 2018-04-19 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Verfahren zum räumlich hochauflösenden bestimmen des orts eines vereinzelten, mit anregungslicht zur emission von lumineszenzlicht anregbaren moleküls in einer probe
US10302923B2 (en) * 2016-10-26 2019-05-28 Molecular Devices, Llc Trans-illumination imaging with use of interference fringes to enhance contrast and find focus
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US20210192721A1 (en) * 2017-10-26 2021-06-24 Konica Minolta, Inc. Image Processing Device, In-Focus Position Specifying Method, and In-Focus Position Specifying Program
US10694113B1 (en) * 2019-05-01 2020-06-23 Xiris Automation Inc. Dark field illumination for laser beam delivery system
US11854281B2 (en) 2019-08-16 2023-12-26 The Research Foundation For The State University Of New York System, method, and computer-accessible medium for processing brain images and extracting neuronal structures

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5671085A (en) 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
IL127359A0 (en) 1998-12-01 1999-10-28 Yeda Res & Dev Computerized adaptive imaging
US6563265B1 (en) 2000-11-06 2003-05-13 General Electric Company Applying prealloyed powders as conducting members to arc tubes
US6905881B2 (en) * 2000-11-30 2005-06-14 Paul Sammak Microbead-based test plates and test methods for fluorescence imaging systems
US7197193B2 (en) * 2002-05-03 2007-03-27 Creatv Microtech, Inc. Apparatus and method for three dimensional image reconstruction
CN101069115B (zh) * 2004-04-16 2010-05-12 奥本大学 显微镜照明装置及其适配器
KR101442261B1 (ko) * 2005-07-15 2014-09-22 어번 유니버시티 암시야 및 명시야 조명을 위한 현미경 조명장치 및 어댑터
JP4572162B2 (ja) * 2005-11-22 2010-10-27 株式会社ジーオングストローム 顕微鏡装置
US20070229823A1 (en) * 2006-03-31 2007-10-04 Intel Corporation Determination of the number concentration and particle size distribution of nanoparticles using dark-field microscopy
DK200801722A (en) * 2008-12-05 2010-06-06 Unisensor As Optical sectioning of a sample and detection of particles in a sample
CN101414056B (zh) * 2008-12-05 2010-08-11 南京东利来光电实业有限责任公司 暗视场照明物镜装置
EP2488860A4 (en) * 2009-10-12 2015-12-16 Ventana Med Syst Inc MULTIMODALITY CONTRAST AND WIDE-FIELD CONTEXTING FOR IMPROVED PATHOLOGY ASSESSMENT AND MULTANALYTE DETECTION IN TISSUE
JP5818125B2 (ja) 2010-01-15 2015-11-18 株式会社センテック 測定方法
CN102388402B (zh) * 2010-02-10 2015-08-19 杜比国际公司 图像处理装置及图像处理方法
US8744164B2 (en) * 2010-04-06 2014-06-03 Institute For Systems Biology Automated analysis of images using bright field microscopy
US8620065B2 (en) * 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
US9224031B2 (en) * 2010-05-21 2015-12-29 Chemometec A/S Compact dark field light source and dark field image analysis at low magnification
CN101963582B (zh) * 2010-09-13 2012-03-14 深圳大学 一种三维荧光纳米显微成像方法、***及成像设备
DE102011079941A1 (de) 2011-07-27 2013-01-31 Leica Microsystems Cms Gmbh Mikroskopbeleuchtungsverfahren und Mikroskop
US9295431B2 (en) * 2011-10-28 2016-03-29 New York University Constructing a 3-dimensional image from a 2-dimensional image and compressing a 3-dimensional image to a 2-dimensional image
CN102565395B (zh) * 2012-02-14 2014-04-16 北京大学 用包被抗体的金纳米颗粒检测细菌数量的方法

Also Published As

Publication number Publication date
US20160027206A1 (en) 2016-01-28
EP2972231A2 (en) 2016-01-20
WO2014165091A3 (en) 2014-11-27
CN105190290B (zh) 2019-06-14
US10152823B2 (en) 2018-12-11
JP2016520798A (ja) 2016-07-14
US20190108674A1 (en) 2019-04-11
CN105190290A (zh) 2015-12-23
EP2972231B1 (en) 2022-09-07
US10930061B2 (en) 2021-02-23
WO2014165091A2 (en) 2014-10-09

Similar Documents

Publication Publication Date Title
JP6503335B2 (ja) 生物学的な及び非生物学的な媒質でナノ粒子の位置を特定するための3次元画像処理
Baddeley et al. 4D super-resolution microscopy with conventional fluorophores and single wavelength excitation in optically thick cells and tissues
Bolte et al. A guided tour into subcellular colocalization analysis in light microscopy
EP2601513B1 (en) Enhancing visual assessment of samples
JP6235563B2 (ja) ウェーブレット分析を用いた単一粒子位置特定の方法および装置
EP2516994B1 (en) System and method for imaging using dense-stochastic-sampling
Becker et al. Deconvolution of light sheet microscopy recordings
US20140056505A1 (en) Visualization and measurement of cell compartments
EP3724854A1 (en) Generating virtually stained images of unstained samples
US20170307440A1 (en) Devices, methods, and systems relating to super resolution imaging
US20230384223A1 (en) Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning
Zhao et al. Quantitatively mapping local quality of super-resolution microscopy by rolling Fourier ring correlation
Hoppe et al. Three-dimensional FRET reconstruction microscopy for analysis of dynamic molecular interactions in live cells
Becker et al. Visualizing minute details in light‐sheet and confocal microscopy data by combining 3D rolling ball filtering and deconvolution
US20210302316A1 (en) Method and device for estimating a sted resolution
Maalouf Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF
Wouterlood 3‐D reconstruction of neurons from multichannel confocal laser scanning image series
Wouterlood Combined fluorescence methods to determine synapses in the light microscope: multilabel confocal laser scanning microscopy
CN115004076B (zh) 无透镜显微成像***、方法及生化物质检测***、方法
Li THE NOISE AND INFLUENCE ON FLUORESCENCE MICROSCOPY
Hardo et al. Quantitative Microbiology with Microscopy: Effects of Projection and Diffraction
JP2023107419A (ja) 定量方法、定量装置および定量プログラム
Wu Deep Learning-Enabled Computational Imaging in Optical Microscopy and Air Quality Monitoring
Alain Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF
CN114878530A (zh) 基于opt和神经网络流体三维动态成像方法及成像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R150 Certificate of patent or registration of utility model

Ref document number: 6503335

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250