JP2006518050A - 焦点深度拡張顕微鏡法 - Google Patents

焦点深度拡張顕微鏡法 Download PDF

Info

Publication number
JP2006518050A
JP2006518050A JP2006503580A JP2006503580A JP2006518050A JP 2006518050 A JP2006518050 A JP 2006518050A JP 2006503580 A JP2006503580 A JP 2006503580A JP 2006503580 A JP2006503580 A JP 2006503580A JP 2006518050 A JP2006518050 A JP 2006518050A
Authority
JP
Japan
Prior art keywords
image
imaging device
focus
changing
psf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006503580A
Other languages
English (en)
Inventor
マイケル イー. ドレッサー
ジョセ−エンジェル コンチェロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oklahoma Medical Research Foundation
Original Assignee
Oklahoma Medical Research Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oklahoma Medical Research Foundation filed Critical Oklahoma Medical Research Foundation
Publication of JP2006518050A publication Critical patent/JP2006518050A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

撮像手法。撮像装置の焦点は、物体の像を獲得しながら変化する。結果としてのぼかされた像にデコンボリューションを施し、1つの態様では、物体の3次元の2次元投影像を生成する。

Description

発明の背景
1.発明の分野
本発明は、概して多次元撮像に関する。更に具体的には、本発明は、像の取得中に焦点を変化させ、その後で像にデコンボリューションを施すことによって取得される3次元(3D)顕微鏡法に関する。なお、本願は、2003年2月18日に出願された米国特許仮出願第60/448,653号の優先権を主張し、これは参照として本明細書に組み入れられる。
2.背景
デジタル撮像ベース顕微鏡法を使用する3D撮像の取得(例えば、蛍光信号の3Dでの獲得)の速度は、多数の応用で重要な要因である。焦点の深度は比較的浅く、対物レンズの解像力が増加するにつれて(開口数が増加するにつれて)浅くなるので、多くの場合、可能性として重要な信号ソースの欠落を避けるため、対象となる物体において複数レベルの焦点で像試料を獲得することが必要である。大きな試料サイズが必要な応用では、獲得の速度が、可能なスループットに上限を設定する。対象となる物体が、獲得中に運動する応用では、この速度は、獲得像の運動ぼけ(motion blur)量と直接相関する。
現在の実施は、各々の獲得の間に焦点を移動することによって別々のサンプリング平面で個々の像「スライス」を獲得し、続いて、これらのスライスを像スタック(「ボリューム」)へ概念的に結合することである。像スタックは、更に必要に応じて処理される。この手順は幾つかの障害を導入する。即ち、(1)焦点を急激に変化させることは、像を劣化させる振動を試料内に導入し、振動の制動を待機すること、または焦点を低速で移動することはプロセスを遅くし、(2)像を収集、デジタル化、および個別に送信しなければならず、その各々の段階が遅延を導入し、(3)3Dデータセットを処理して、焦点外れのぼけを除去することは、計算的に厄介である。必要とされるものは、迅速で信頼できるデータ獲得を可能にする一連の手法である。
参照した欠点は、包括的なものではなく、これまで知られた撮像手法の効果を低減しようとする多くの欠点の一部分であるが、ここで言及した欠点は、当技術分野において行われている手順が全く満足的なものでなく、本開示で説明および請求する手法に対して顕著な必要性が存在することを例証するのに十分である。
発明の概要
従来技術の特定の欠点は、本開示で説明する手法によって低減または除去される。
1つの局面において、本発明は撮像方法に関連する。撮像装置は物体の像を獲得しながら1つの次元で変位し、それによって像をぼかす。ぼかされた像は、物体の多次元写像(multidimentional representation)を生成するためデコンボリューションが施される。
別の局面において、本発明は撮像方法に関連する。撮像装置の焦点は、物体の像を獲得しながら変化し、それによって像をぼかす。ぼかされた像は、物体の写像を生成するためデコンボリューションが施される。
別の局面において、本発明は撮像方法に関連する。物体の獲得像の獲得を開始するため、撮像装置のシャッターが開かれる。撮像装置の焦点は、シャッターが開かれている間変化し、それによって獲得像をぼかす。撮像装置に関連づけられた点像分布関数(PSF)が決定される。光学的伝達関数(OTF)が、PSFを使用して決定される。物体推定が決定される。物体推定はOTFを使用してPSFでコンボリューションが施され、推定像を生成する。推定像は、比を取得するため、獲得像と比較される。比は、OTFの共役複素数を使用して、PSFのミラー像でコンボリューションが施され、コンボリューションの施された比を形成する。物体推定は、コンボリューションの施された比が乗じられ、最新の物体推定を形成し、これらの段階が1回または複数回反復されて、最新の物体推定から物体の3次元の2次元投影像を生成する。
別の局面において、本発明は撮像システムに関連する。撮像装置は、物体の像を獲得しながら焦点を変化させるように構成され、撮像装置と作用関係にあるプロセッサは、結果としてのぼかされた像にデコンボリューションを施すための機械読み取り可能命令を実行して、物体の写像を生成するように構成される。
別の局面において、本発明は撮像システムを変換する改良(retrofit)キットに関連する。キットは、撮像装置が物体の像を獲得しながら焦点を変化させることを可能にする手段、および、ぼかされた像にデコンボリューションを施して、物体の3次元の2次元投影像を生成する手段を含む。
他の特徴および関連した利点は、具体的な態様の以下の詳細な説明を添付の図面と組み合わせて参照することによって、明らかとなるであろう。
本開示の手法は、ここで与えられる例示的態様の詳細な説明と組み合わせて、添付の図面の1つまたは複数を参照することによって、より良好に理解されるであろう。図面は実物大ではない。
例示的な態様の説明
本開示の手法は、前述したような3D撮像の欠点に対処または除去することを目的とする。この手法は、第3次元における(焦点方向に沿った)信号位置情報の代償としてではあるが、焦点方向に沿った微細なサンプリングおよび増加した獲得速度を達成させる。一般的な態様において、2つの主な段階が利用される。即ち、
(1)焦点を変化させながら2次元(2D)像を獲得し、従って第3次元にわたって信号を累積し、
(2)次に、同じ方法または適切な数学モデルを使用した数値計算によって獲得した点光源像を使用して2Dデコンボリューションを実行する。
これらの段階は、特に、対象となる試料の全体から発生する信号の獲得速度を増加する。
図1は、本発明の態様を実行する適切な方法100の流れ図である。段階102において、撮像装置は(または同等に、研究される試料が撮像装置と相対的に)、像を獲得しながら1つの次元で変位する。例えば、顕微鏡は、撮像中にxまたはy方向で変位してもよい。そのような変位は、電気的または機械的に制御されるステージなどの使用によって成されうる。1つの態様において、圧電性構成要素によって制御されるステージが使用されてもよい。それらの構成要素は、当技術分野において知られているように、入力電圧および他のパラメータを制御することによって、プログラムされた移動をうける。他の態様において、撮像装置の対物レンズは、圧電性構成要素を使用して移動できる。
更に、焦点を変化させることによって顕微鏡はz方向で変位することができる。具体的には、研究される試料と撮像光学系との間の距離が、像の収集が起こっている間に増加および/または減少されうる。1つの態様において、焦点調節機構(例えば、対物レンズまたはステージ)が、圧電性構成要素によって制御されうる。それらの構成要素は、当技術分野において知られているように、入力電圧および他のパラメータを制御することによって、プログラムされた移動をうける。
像獲得中の変位に起因して、現れる像は、移動軸に沿ったロケーションの範囲に関する情報を必然的に含む。例えば、もし撮像装置がx方向に移動すれば、結果の像は、その方向に沿った試料のロケーション範囲に関する情報を含むであろう。もし像の獲得中に焦点が変化すれば、試料に関する深度情報が得られる(即ち、焦点の異なったレベルで、試料の異なった深度は「焦点内」にあり、従ってプローブされる)。
更に、この変位に起因して、結果の像は、移動方向で著しくぼかされるであろう。更に、厚い標本が撮像されるとき、標本の焦点外構造が視野の中にあり、従ってコントラストおよび解像度を低減する。段階104は、像がぼかされることを示す。
本発明の態様は、このぼけを分析および「除去」することによって、変位方向に沿って存在する豊富な情報を収集する。段階106は、この概念を表す。段階106において、ぼかされた像は、以下で詳細に説明する数学的手法を使用してデコンボリューションまたはぼけの除去が施される。
段階106におけるぼかされた像の再構成は、ぼけを除去された物体像を生じる。像は、段階108で示すように、研究される物体の多次元写像である。物体の「多次元写像」とは、単に最終像が、移動次元に沿って、物体に関する情報を含むことを意味する。焦点が像の獲得中に変化する場合(z方向が移動方向である)、研究される試料の3D領域の2D投影像を作り出すため、本開示の手法が使用されうる。2D投影像は「多次元写像」である。なぜなら、それは第3の次元(試料の深度)に関する情報を含むからである。同様に、前記の手法を使用して、2D区域の1次元(1D)投影像を生成することができる。従って、1D投影像は多次元写像である。
図2は、本発明の好ましい態様を実行する他の方法200の流れ図である。図2は図1と類似しているが、図2は、撮像装置の焦点(z方向)が変位することを示す。段階202において、焦点は像の獲得中に変化する。段階204において、ぼかされた像が生じる。段階206において、ぼかされた像はデコンボリューションが施され、ぼけから試料の深度に沿った情報を再構成する。段階208において、多次元写像(1つの態様における、試料の3D領域の2D投影像)が生じる。
図1および図2において、撮像装置は、デジタル像(またはデジタル情報へ変換可能なアナログ像)を生成するのに適切な、当技術分野において知られた撮像装置の1つまたは組み合わせであってもよい。好ましい態様において、撮像装置は蛍光顕微鏡であってもよい。
図1および図2において、撮像装置が移動をうけている間に像を取得することは、幾つかの方法の1つで達成されうる。好ましい態様において、変位が起こっている間、撮像装置のシャッターは開かれたままである。従来の蛍光顕微鏡撮像装置は、特に、焦点が変化している間、シャッターが開かれたままにならないようにする。しかし、この機能は、ソフトウェア、ファームウェア、または装置の他の動作パラメータを修正することによって無効にし、そのようなぼけ防止機構をオフにすることができる。
図1および図2において、ぼかされた像は、1つより多くの段階で獲得できる。例えば、z移動の第1の範囲が起こり、データが保存またはオフロードされ、次にz移動の第2の範囲が起こってもよい。従って、変位が、バッファ、電子回路、またはシステムの他の構成要素に過負荷をかけるか飽和させる状況を避けることができる。むしろ、変位は、必要に応じて、多数の、より小さくて、より管理可能な増分へ分割されうる。
図3は、図1および図2に関して説明した一般的手法を採用し、より具体的で好ましい態様を示す。方法300の段階302において、撮像装置(例えば、蛍光顕微鏡)のシャッターは、像の獲得中に開かれたままである。段階304において、焦点が変化し(例えば、圧電性の制御される焦点調節機構またはモータ駆動スタンドによって)、撮像する物体の深度に沿った撮像信号が取得される。
段階306〜段階322において、結果としてのぼかされた像にデコンボリューションを施すための好ましい態様を示す。当業者によって理解されるように、本開示を利用して、当技術分野において知られた多くの他のデコンボリューション・アルゴリズムを使用することができる。
段階302において、撮像装置のシャッターは、物体像の獲得を開始するために開かれる。段階304において、シャッターが開かれている間に焦点が変化し、多数の個別のスライス像を取ることなく焦点方向での物体に関する情報の獲得が可能となる。焦点の変化は、シャッターが開かれる前、開かれる時、または開かれた後で開始できることが理解される。段階306において、当技術分野において知られた幾つかの方法の1つを使用して、撮像装置の点像分布関数(PSF)が決定される。段階308において、光学的伝達関数(OTF)が、当技術分野において知られた幾つかの方法の1つを使用し、PSFを使用して決定される。
段階310において、初期物体推定が決定される。これは、
Figure 2006518050
として表現されうる。段階312において、推定像を取得するため、物体推定が点像分布関数(PSF=点光源の像)でコンボリューションが施される。
Figure 2006518050
式中、Oは物体空間、即ち、z軸に沿って投影されたときの、標本およびその環境を含むピクセル・ロケーション一式である。
段階318において、推定像は、比の形式で記録像と比較される。
Figure 2006518050
式中、g(xi)は、記録像、即ち、検出器内で点xi=(xi,yi)における検出された強度である。
段階320において、コンボリューションの施された比を取得するため、比はPSFのミラー像でコンボリューションが施される。
Figure 2006518050
式中、Iは像空間、即ち、像を作るピクセルロケーション一式である。
段階322において、最新の物体推定を形成するため、物体推定は、コンボリューションの施された比で乗じられ、PSFの積分で除される。
Figure 2006518050
式中、
Figure 2006518050
である。
図4は、本開示の態様に従った撮像システム400の略図である。システム内には、圧電性焦点調節機構406によって制御される撮像装置408、および1つまたは複数のプロセッサ、メモリ記憶装置、および必要に応じて他の周辺装置を含むコンピュータ402が含まれる。コンピュータ402は、圧電性焦点調節機構406(図示する)を介して撮像装置408へ結合するか、撮像装置の他の部分、例えばモータ駆動スタンドへ結合することができる。カップリング404は、直接配線接続、ネットワーク、または信号通信を可能にする適切な他の方法によって結合することができる。当業者によって認識されるように、カップリング410および404は、単一の接続を構成してもよい。
好ましい態様において、コンピュータ402内のプロセッサは、物体の多次元写像を生成するため、ぼかされた像にデコンボリューションを施す命令を実行するように構成される。具体的には、コンピュータ402内のプロセッサは、図1、図2、および図3のそれぞれの段階106、206、および306〜322を実現するようにプログラムされてもよい。プロセッサは、ファームウェア、ソフトウェア、または「ハードコーデッド」(即ち、特定用途集積回路(「ASIC」))を介してプログラムされてもよい。好ましい態様において、コンピュータ402内のプロセッサ、または専用コントローラは、焦点調節機構406を制御するようにプログラムされてもよい。更に、プロセッサは、図4の要素412で表すように、ぼけを除去された最終像を表示または出力する能力を有していてもよい。
好ましい態様において、撮像装置408は、焦点変化の間に開かれたままであるシャッターを組み込まれた蛍光顕微鏡であってもよい。好ましい態様において、圧電性焦点調節機構406は、照明および/またはカメラシャッターを適切にトグルする回路と組み合わせられて、プログラム的に制御され、例えば、物体の検査中に撮像装置の焦点を上下させる振動移動をうけるように構成されていてもよい。代替的に、顕微鏡スタンド内の焦点調節機構は、像を獲得しながら焦点を変化させるように制御されていてもよい。像(例えば、蛍光像)を獲得しながら、焦点を安定した速度で変化させる任意の方法が、このアプローチに適した像を提供するであろう。
本開示の手法を使用して、従来の撮像装置を焦点深度拡張顕微鏡法に適した装置へ変換する改良キットを作り出すことができる。特に、従来の撮像装置は、像の獲得中に焦点を変化させるように修正されうる。更に、例えば、撮像された物体の3次元の2次元投影像を形成するため、適切なハードウェア、ソフトウェア、またはファームウェアを追加して、獲得像にデコンボリューションを施すことができる。
本開示の利点として、当業者は、ここで説明した手法が、顕著な利点を提供することを認識するであろう。従来の手法は、一連の焦点調節像を個別に処理し、続いて適切に組み合わせて、多次元写像を形成することを必要とするが、ここで開示する手法は、焦点を変化させながら、または更に一般的には、或る方向に沿った平行移動中に、単一の像を獲得させる。そのような像は、例えば、(1)回折、(2)収差、(3)焦点外れ物質の存在、または(1)、(2)、および(3)の組み合わせに起因して必然的にぼかされる。その1つの像のデコンボリューションは最終像を提供し、獲得時間を大いに縮小する。
本開示の手法の商業的応用は広大である。なぜなら、手法は、大きな障害(多くの生物学的問題に対処するため必要なデータを獲得するときの比較的に遅いスループット速度)を回避するからである。方法は信頼性に富み有効であって、既存の市販顕微鏡システムで実現可能である。具体的には、この能力を既存のシステムへ追加するために必要な一体的機器およびソフトウェアを供給するだけでよい。
本明細書で使用する不定冠詞「a」および「an」は、厳密に「1つ」の意味に解釈すべきではない。しかし、本発明の文脈が、そのような解釈を必然的および絶対的に要求する場合を除く。
以下の実施例は、本開示の具体的で非限定的な態様を例証するために含められる。当業者が理解すべきことは、以下の実施例で開示した手法は、本発明の実施で良好に機能することを発明者によって発見された手法を表し、従って、その実施の具体的形態を構成するものと考えられることである。しかし、当業者は、本開示の観点から、開示した具体的態様には多くの変更がなされうることを理解すべきであり、本発明の趣旨および範囲から逸脱することなく同様または類似の結果を得ることができるであろう。
実施例1:獲得/装置
獲得方法#1:
3D顕微鏡標本の単一の蛍光デジタル像は、露出中に標本の全体で焦点調節することによって作られる。焦点が能動的に変化している間、カメラへのシャッターは開かれたままである。これは、必然的に、かなりのぼけを含む最終像を生じる。必要とされる像を獲得するため、Polytec PI(Tustin,CA)から購入した圧電性焦点調節機構を使用してもよい。例えば、Polytec PIから購入したP-721.10 PIFOC対物レンズ配置器を有するE-662コントローラを使用してもよい。この焦点調節機構は、(a)入力電圧を変化させるか、(b)E-662コントローラを使用して焦点調節機構の独立制御振動移動を開始することによって、露出中に焦点を変化させるように駆動可能である。2つのアプローチが同じ結果を与えるが、2つのアプローチは以下で説明する。像獲得中に必要とされる焦点変化距離が圧電性機構の作業距離を超過する場合、顕微鏡スタンドに埋め込まれたモータ駆動焦点調節機構が使用されうる。
(a)入力電圧は、Measurement Computing(Middleboro,MA)から購入したデジタル-アナログ・コンピュータ・ボードによって供給されうる。例えば、Measurement Computing,Corp.からのCIO-DAC02/16ボードを使用してもよい。このボードは、Measurement Computingから購入した汎用ライブラリからのソフトウェアによって制御されうる。このソフトウェアは、E-662コントローラを介して焦点変化を駆動するために使用できる出力電圧を制御する。像は、Roper Scientificから購入したデジタルカメラを使用して収集されうる。例えば、Roper Scientificから購入したQuantix 57カメラを使用してもよい。このカメラは、再販業者Nikon Instrument Group(Lewisville,TX)を介して購入できる。カメラは、電圧コントローラ・ソフトウェア・ルーチンと組み合わせてRoper Scientificからソフトウェア開発者キットの一部分として提供されるソフトウェアで制御されうる。例えば、C++で書かれたコードを使用して、対物レンズ配置器への電圧を一様に変化させる間に、時間調節されたカメラ露出を開始し、獲得が進行している間に、焦点移動を駆動することができる。
(b)Polytec PI E-662コントローラへコマンドを送ることによって、圧電性焦点調節機構を連続発振上下移動モードへ投入することができる。Roper Scientificによって提供されたソフトウェア開発者キットによって支援される一般的ソフトウェアを使用して、これらのコマンドを送り、適切な時間長の露出を行うように(焦点の1つの完全な振動往復運動行程を可能とするように)カメラを制御することができる。配置器の移動を開始するASCIIベース・コマンドは、シリアル・ポートによってE-662コントローラへ送られる。次に、カメラは、像を獲得するため、Roper Scientific PVCAM APIを介して制御される。この方法は、カメラ作業と相関するように焦点移動の安定した制御を可能にするが、再び2つのアプローチは、類似または同一の結果を与える。注意すべきは、簡単なASCIIベース・シリアル通信によって、顕微鏡スタンドに埋め込まれた焦点調節機構を同じように制御でき、再び類似または同一の結果をもたらすことである。
獲得方法#2:
上記のようにして獲得したデジタル像は、非常に長い蓄積を必要とするので、カメラチップは全ての信号を一度に保持できない場合がある。この状態では、像は幾つかの部分または段階に分けて作られてもよい。例えば、焦点範囲の上半分を獲得し、次に下半分を獲得し、これらの2つを、処理段階の前に単一の2D像へ組み合わせてもよい。
実施例2:処理
前述のようにして獲得像はぼかされているが、ぼけを除去できるようになっている。ぼけの除去は、デコンボリューションとも呼ばれ、計算方法によって顕微鏡的に獲得した蛍光像について使用されうる。
ぼけの除去には多数のアプローチが存在し、アプローチの2つの大きな種類は、デコンボリューションの多数の反復を必要とするものと、一度の通過でぼけを除去するものである。多数の反復を必要とするものは、より高い解像度の像を提供するが、より長い時間を必要とする。もしぼけを除去されるべき像が2次元であれば(もっとも、獲得は3Dで行われる)、多数反復アルゴリズムは、3D像の現在の代替アルゴリズムと比較して非常に速い。この理由によって、多数反復アルゴリズムが有用であり、1つの適切なアルゴリズムは、以下を必要とする。
1. 標準手段によって3D点像分布関数(PSF)を計算し、Z軸に沿って合計する。1つの態様において、例えば、F.S.Gibson,and F.Lanni,「Experimental test of an analytical model of aberration in an oil-immersion objective lens used in three-dimensional light microscopy」J.Opt.Soc.Am.A, 8(11),pp.1601-1613(1991)で開示するような「GibsonおよびLanni」モデルを使用してもよい。この文献は参照として本明細書に組み入れられる。
2. PSFから光学的伝達関数(OTF)を取得する。
3. 1に等しいDC成分を有するようにOTFを正規化する。
4. 顕微鏡から獲得像で標本推定を初期化する。
5. (フーリエ空間内でOTFを使用して)PSFで標本推定にコンボリューションを施す。
6. 結果と獲得像とを比によって比較する。
7. (フーリエ空間内のOTFの共役複素数を介して)PSFの「ミラー像」で比にコンボリューションを施す。
8. 標本推定にコンボリューション結果を乗じる。
9. 指定の回数だけ段階5〜8を反復する。
最終像は、ぼけを除去した結果である。これは、好ましい態様では、焦点外れのぼけを有しない3D標本蛍光の2D投影/総和である。
最大尤度(ML)像推定に基づく前述したアルゴリズムに対して、変形および代替の双方が存在する。変形の幾つかは、欠陥を有する像ピクセルの補正、所望の解像度と比較して大きな像ピクセルの補正、および標本よりも小さな視野の補正を含む。当業者は、本開示の利点を有する幾つかの他の変形および代替を認識するであろう。
実施例3
図5は、S.セレビジエ(S.cerevisiae)の7個の生きた細胞を示す。各々の細胞は、その核の中に1〜3個の運動蛍光スポットを有する。「a」〜「c」のラベルを付けられた個々の像は、異なった時間に作られた。従って、スポットは、像ごとに、核の中の少し異なったロケーションに存在する。「a」のラベルを付けられた像は、単一の焦点平面で作られ、スポットの多くは明瞭でない。「b」のラベルを付けられた像は、像を収集しながら焦点を移動することによって作られた。「c」のラベルを付けられた像は、「b」と同じようにして作られ、次にデコンボリューションが施された。拡大率のバーは5μmを表す。
図5の全ての像は、100X、1.4NA対物レンズおよびモータ駆動スタンドを有するZEISS AXIOPLAN 2ie、およびROPER QUANTIX 57カメラを使用して収集された。デコンボリューションは、図3に記述のアルゴリズムを実現するMATLABを使用し、計算されたPSFからスタートして実行された。
本開示の利点によって、当業者は、ここで請求および前述した手法が、修正されて多数の追加の異なった応用へ適用され、同一または類似の結果を達成できることを理解するであろう。例えば、物体を移動することは、焦点を変化させること(または撮像装置の他の変位)と同等であることが認識されるであろう。特許請求の範囲は、本開示の範囲および趣旨の範疇の全ての修正を網羅する。
参照文献
以下の参照文献の各々は、参照として本明細書に組み入れられる。
Figure 2006518050
Figure 2006518050
Figure 2006518050
本開示の態様に従った撮像方法を示す流れ図である。 本開示の態様に従った撮像方法を示す別の流れ図である。 本開示の態様に従った撮像方法を示す別の流れ図である。 本開示の態様に従った撮像システムを示す略図である。 S.セレビジエの7つの生きた細胞を示し、各々の細胞が、核の中に1つから3つの移動する蛍光スポットを有する図であって、本開示の態様を示す図である。

Claims (24)

  1. 以下の段階を含む撮像方法:
    物体の像を獲得しながら撮像装置を1つの次元で変位させて像をぼかす段階;および
    ぼかされた像にデコンボリューションを施して物体の多次元写像(multidimensional representation)を生成する段階。
  2. 以下の段階を含む撮像方法:
    物体の像を獲得しながら撮像装置の焦点を変化させて像をぼかす段階;および
    ぼかされた像にデコンボリューションを施して物体の写像を生成する段階。
  3. 写像が物体の3次元の2次元投影像を含む、請求項2記載の方法。
  4. 撮像装置が蛍光撮像装置を含む、請求項2記載の方法。
  5. 焦点を変化させる段階が、撮像装置のシャッターが開かれている間に起こる、請求項2記載の方法。
  6. 焦点を変化させる段階が、撮像装置の圧電性焦点調節機構への入力電圧を変化させる段階を含む、請求項2記載の方法。
  7. 焦点を変化させる段階が、撮像装置の圧電性焦点調節機構へ信号を印加して焦点調節機構の振動移動を生成する段階を含む、請求項2記載の方法。
  8. 焦点を変化させる段階が、スタンドに設置された焦点調節機構を使用して速度制御焦点変化を開始する段階を含む、請求項2記載の方法。
  9. 像の獲得が2つ以上の段階で達成される、請求項2記載の方法。
  10. 以下の段階を含む撮像方法:
    (a)撮像装置を使用して物体の獲得像を収集する段階;
    (b)獲得像を収集しながら撮像装置の焦点を変化させて、獲得像をぼかす段階;
    (c)撮像装置に関連づけられた点像分布関数(PSF)を決定する段階;
    (d)PSFを使用して光学的伝達関数(OTF)を決定する段階;
    (e)物体推定を決定する段階;
    (f)OTFを使用し、PSFで物体推定にコンボリューションを施して、推定像を生成する段階;
    (g)推定像と獲得像とを比較して、比を取得する段階;
    (h)OTFの共役複素数を使用し、PSFのミラー像で比にコンボリューションを施して、コンボリューションの施された比を形成する段階;
    (i)物体推定に、コンボリューションの施された比を乗じて、最新の物体推定を形成する段階;および
    (j)段階(f)から(i)までを1回または複数回反復して、最新の物体推定から物体の3次元の2次元投影像を生成する段階。
  11. 撮像装置が蛍光撮像装置を含む、請求項10記載の方法。
  12. 撮像装置が感光性カメラチップを含む、請求項10記載の方法。
  13. 獲得像を収集する段階が、撮像装置の連続クリアリングを停止する段階を含む、請求項10記載の方法。
  14. 獲得像を収集する段階が、撮像装置のシャッターを開く段階を含む、請求項10記載の方法。
  15. 焦点を変化させる段階が、撮像装置のシャッターが開いている間に起こる、請求項14記載の方法。
  16. 焦点を変化させる段階が、撮像装置の圧電性焦点調節機構への入力電圧を変化させる段階を含む、請求項10記載の方法。
  17. 焦点を変化させる段階が、撮像装置の圧電性焦点調節機構へ信号を印加して、焦点調節機構の振動移動を生成する段階を含む、請求項10記載の方法。
  18. 焦点を変化させる段階が、スタンドに設置された焦点調節機構を使用して速度制御焦点変化を開始する段階を含む、請求項10記載の方法。
  19. 像を獲得する段階が2つ以上の段階で達成される、請求項10記載の方法。
  20. 以下を含む撮像システム:
    物体の像を獲得しながら焦点を変化させるように構成された撮像装置;および
    撮像装置と作用関係にあり、結果としてのぼかされた像にデコンボリューションを施すための機械読み取り可能命令を実行して、物体の写像を生成するするように構成されたプロセッサ。
  21. 写像が、物体の3次元の2次元投影像を含む、請求項20記載のシステム。
  22. 撮像装置が蛍光撮像装置を含む、請求項20記載のシステム。
  23. 命令が以下の段階についての命令を含む、請求項20記載のシステム:
    (a)撮像装置に関連づけられた点像分布関数(PSF)を決定する段階;
    (b)PSFを使用して光学的伝達関数(OTF)を決定する段階;
    (c)物体推定を決定する段階;
    (d)OTFを使用し、PSFで物体推定にコンボリューションを施して、推定像を生成する段階;
    (e)推定像と獲得像とを比較して、比を取得する段階;
    (f)OTFの共役複素数を使用し、PSFのミラー像で比にコンボリューションを施して、コンボリューションの施された比を形成する段階;
    (g)物体推定に、コンボリューションの施された比を乗じて、最新の物体推定を形成する段階;および
    (h)段階(d)から(g)までを1回または複数回反復する段階。
  24. 以下を含む、撮像システムを変換するための改良(retrofit)キット:
    撮像装置が物体の像を獲得しながら焦点を変化させる段階を可能にする手段;および
    ぼかされた像にデコンボリューションを施して、物体の3次元の2次元投影像を生成する手段。
JP2006503580A 2003-02-18 2004-02-13 焦点深度拡張顕微鏡法 Pending JP2006518050A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US44865303P 2003-02-18 2003-02-18
PCT/US2004/004372 WO2004075107A2 (en) 2003-02-18 2004-02-13 Extended depth of focus microscopy

Publications (1)

Publication Number Publication Date
JP2006518050A true JP2006518050A (ja) 2006-08-03

Family

ID=32908625

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006503580A Pending JP2006518050A (ja) 2003-02-18 2004-02-13 焦点深度拡張顕微鏡法

Country Status (4)

Country Link
US (1) US7444014B2 (ja)
EP (1) EP1602065A4 (ja)
JP (1) JP2006518050A (ja)
WO (1) WO2004075107A2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102294A (ja) * 2006-10-18 2008-05-01 Olympus Corp 位相物体の可視化方法とその顕微鏡システム
JP2009175661A (ja) * 2007-12-26 2009-08-06 Olympus Corp 生体観察装置
WO2011030614A1 (ja) * 2009-09-11 2011-03-17 浜松ホトニクス株式会社 画像取得装置
JP2013105087A (ja) * 2011-11-15 2013-05-30 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
JP2013109077A (ja) * 2011-11-18 2013-06-06 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
US8791427B2 (en) 2007-12-26 2014-07-29 Olympus Corporation Biological-specimen observation apparatus
JP2014530387A (ja) * 2011-10-11 2014-11-17 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡、およびspim顕微鏡検査方法
WO2015156378A1 (en) * 2014-04-10 2015-10-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing system
JP2020521171A (ja) * 2017-05-19 2020-07-16 ザ ロックフェラー ユニヴァーシティ 撮像信号抽出装置およびそれを使用する方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738945B2 (en) * 2002-04-19 2010-06-15 University Of Washington Method and apparatus for pseudo-projection formation for optical tomography
US7260253B2 (en) 2002-04-19 2007-08-21 Visiongate, Inc. Method for correction of relative object-detector motion between successive views
WO2004063989A2 (en) * 2003-01-16 2004-07-29 D-Blur Technologies Ltd. Camera with image enhancement functions
US8019803B2 (en) * 2004-10-14 2011-09-13 Lightron Co., Ltd. Method and device for restoring degraded information
EP1801754B8 (en) * 2004-10-14 2011-09-14 Lightron Co. Ltd. Degradation information restoring method and device
US7417213B2 (en) * 2005-06-22 2008-08-26 Tripath Imaging, Inc. Apparatus and method for rapid microscopic image focusing having a movable objective
EP1991708A4 (en) * 2006-03-13 2009-12-02 Ikonisys Inc METHOD FOR COMBINING IMMUNOCOLORATION AND HYBRIDIZATION IN FLUORESCENCE IN SITU (FISH) USING COVALENTLY BINDING FLUOROPHORES
US7835561B2 (en) * 2007-05-18 2010-11-16 Visiongate, Inc. Method for image processing and reconstruction of images for optical tomography
US7787112B2 (en) 2007-10-22 2010-08-31 Visiongate, Inc. Depth of field extension for optical tomography
US8143600B2 (en) 2008-02-18 2012-03-27 Visiongate, Inc. 3D imaging of live cells with ultraviolet radiation
US8090183B2 (en) 2009-03-12 2012-01-03 Visiongate, Inc. Pattern noise correction for pseudo projections
US8254023B2 (en) 2009-02-23 2012-08-28 Visiongate, Inc. Optical tomography system with high-speed scanner
US8155420B2 (en) 2009-05-21 2012-04-10 Visiongate, Inc System and method for detecting poor quality in 3D reconstructions
JP2011091533A (ja) * 2009-10-21 2011-05-06 Sony Corp 画像処理装置および方法、並びに、プログラム
KR101849930B1 (ko) 2010-01-05 2018-05-30 코닌클리케 필립스 엔.브이. 이미지 투영 장치 및 방법
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
DE102010064387B4 (de) 2010-12-30 2019-11-21 Carl Zeiss Meditec Ag Abbildungssystem und Abbildungsverfahren
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US9201008B2 (en) 2012-06-26 2015-12-01 Universite Laval Method and system for obtaining an extended-depth-of-field volumetric image using laser scanning imaging
TWI583918B (zh) * 2015-11-04 2017-05-21 澧達科技股份有限公司 三維特徵資訊感測系統及感測方法
US11069054B2 (en) 2015-12-30 2021-07-20 Visiongate, Inc. System and method for automated detection and monitoring of dysplasia and administration of immunotherapy and chemotherapy
CA3089228A1 (en) * 2018-01-29 2019-08-01 The Regents Of The University Of California Method and apparatus for extending depth of field during fluorescence microscopy imaging
US10536686B1 (en) 2018-08-02 2020-01-14 Synaptive Medical (Barbados) Inc. Exoscope with enhanced depth of field imaging

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047968A (en) * 1988-03-04 1991-09-10 University Of Massachusetts Medical Center Iterative image restoration device
US5193124A (en) * 1989-06-29 1993-03-09 The Research Foundation Of State University Of New York Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images
US5790692A (en) * 1994-09-07 1998-08-04 Jeffrey H. Price Method and means of least squares designed filters for image segmentation in scanning cytometry
US5671085A (en) * 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
US5737456A (en) * 1995-06-09 1998-04-07 University Of Massachusetts Medical Center Method for image reconstruction
US5778038A (en) * 1996-06-06 1998-07-07 Yeda Research And Development Co., Ltd. Computerized tomography scanner and method of performing computerized tomography
US6608682B2 (en) * 1999-01-25 2003-08-19 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells
US6671044B2 (en) * 1999-01-25 2003-12-30 Amnis Corporation Imaging and analyzing parameters of small moving objects such as cells in broad flat flow
US6525302B2 (en) * 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008102294A (ja) * 2006-10-18 2008-05-01 Olympus Corp 位相物体の可視化方法とその顕微鏡システム
JP2009175661A (ja) * 2007-12-26 2009-08-06 Olympus Corp 生体観察装置
US8791427B2 (en) 2007-12-26 2014-07-29 Olympus Corporation Biological-specimen observation apparatus
US9229212B2 (en) 2009-09-11 2016-01-05 Hamamatsu Photonics K.K. Image-acquisition device
WO2011030614A1 (ja) * 2009-09-11 2011-03-17 浜松ホトニクス株式会社 画像取得装置
JP2011059515A (ja) * 2009-09-11 2011-03-24 Hamamatsu Photonics Kk 画像取得装置
JP2017194704A (ja) * 2011-10-11 2017-10-26 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡、およびspim顕微鏡検査方法
JP2014530387A (ja) * 2011-10-11 2014-11-17 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡、およびspim顕微鏡検査方法
US9715095B2 (en) 2011-10-11 2017-07-25 Carl Zeiss Microscopy Gmbh Microscope and method for SPIM microscopy
JP2013105087A (ja) * 2011-11-15 2013-05-30 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
JP2013109077A (ja) * 2011-11-18 2013-06-06 Sony Corp 画像取得装置、画像取得方法及び画像取得プログラム
JP2015203704A (ja) * 2014-04-10 2015-11-16 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム
WO2015156378A1 (en) * 2014-04-10 2015-10-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing system
US10269103B2 (en) 2014-04-10 2019-04-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image processing system
JP2020521171A (ja) * 2017-05-19 2020-07-16 ザ ロックフェラー ユニヴァーシティ 撮像信号抽出装置およびそれを使用する方法
JP7159216B2 (ja) 2017-05-19 2022-10-24 ザ ロックフェラー ユニヴァーシティ 撮像信号抽出装置およびそれを使用する方法

Also Published As

Publication number Publication date
WO2004075107A3 (en) 2005-10-06
EP1602065A4 (en) 2009-01-07
EP1602065A2 (en) 2005-12-07
US7444014B2 (en) 2008-10-28
US20040228520A1 (en) 2004-11-18
WO2004075107A2 (en) 2004-09-02

Similar Documents

Publication Publication Date Title
JP2006518050A (ja) 焦点深度拡張顕微鏡法
US11169367B2 (en) Three-dimensional microscopic imaging method and system
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
US9726876B2 (en) Machine vision inspection system and method for obtaining an image with an extended depth of field
US10642017B2 (en) Imaging system and imaging method
JP7436379B2 (ja) 入力信号データにおけるベースライン推定のための装置および方法
JP6598660B2 (ja) 画像処理装置および画像処理方法
JP6799924B2 (ja) 細胞観察装置および細胞観察方法
WO2015157769A1 (en) Scanning imaging for encoded psf identification and light field imaging
JP2015192238A (ja) 画像データ生成装置および画像データ生成方法
JP4958806B2 (ja) ぶれ検出装置、ぶれ補正装置及び撮像装置
JP2019515348A (ja) 角度選択照明に対するアーティファクト低減
JP2006221190A (ja) 共焦点走査型顕微鏡システム
CN111656163A (zh) 用于在荧光显微成像期间扩展景深的方法和装置
US20170278259A1 (en) Microscope system and specimen observation method
JP5471715B2 (ja) 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP2015133069A (ja) 画像処理装置、画像処理プログラム及び撮像装置
JP2019520897A (ja) 拡張された被写界深度を有する口腔内イメージング装置
CN113472984B (zh) 图像获取方法、装置、***、存储介质和设备
JP2015191362A (ja) 画像データ生成装置および画像データ生成方法
WO2021100328A1 (ja) 画像処理方法、画像処理装置および画像処理システム
WO2004061769A1 (en) Deconvolution for the reduction of blurring induced by internal reflections
JPH08241396A (ja) 光学像再構成装置
JP2009063912A (ja) 動いている対象のスキャン画像の復元方法及び装置