JP7233129B2 - 時間的多重化ライトシートを利用する高速体積蛍光顕微鏡法のための装置及び方法 - Google Patents

時間的多重化ライトシートを利用する高速体積蛍光顕微鏡法のための装置及び方法 Download PDF

Info

Publication number
JP7233129B2
JP7233129B2 JP2021517034A JP2021517034A JP7233129B2 JP 7233129 B2 JP7233129 B2 JP 7233129B2 JP 2021517034 A JP2021517034 A JP 2021517034A JP 2021517034 A JP2021517034 A JP 2021517034A JP 7233129 B2 JP7233129 B2 JP 7233129B2
Authority
JP
Japan
Prior art keywords
light
array
light sheet
sheets
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021517034A
Other languages
English (en)
Other versions
JP2022502704A (ja
Inventor
ケビン・キン・マン・ツィア
ユーシュエン・レン
ジアンライ・ウー
アンディ・カム・セン・ラウ
クイニー・ツー・クワン・ライ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Hong Kong HKU
Original Assignee
University of Hong Kong HKU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Hong Kong HKU filed Critical University of Hong Kong HKU
Publication of JP2022502704A publication Critical patent/JP2022502704A/ja
Application granted granted Critical
Publication of JP7233129B2 publication Critical patent/JP7233129B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Description

生物学的撮像は、何年にもわたって生理学的に関連するシステムの撮像に利用されてきた。
3次元(3D)で複雑な生物学的システムの生命プロセスを理解するのに大きな課題は、十分に高い時空間分解能と低レベルの光損傷でダイナミクスなモニタリングを可能にする撮像方法の欠如にある。確立された3D生物学的撮像技術、すなわち、共焦点及び多光子顕微鏡、並びにライトシート蛍光顕微鏡(LSFM)は、照射光路と検出光路とを分離することによって動作する生物学的撮像技術であって、様々な照射技術を使用して、システムの光子収集効率を最適化する。しかしながら、これらの光ベースの撮像システムは、生物学的サンプルに光損傷を引き起こし、光毒性を誘発する可能性がある。これらの光ベースの撮像システムは、3D視野(FOV)全体をガルバノメトリックスキャナー(galvanometric scanner)又は大きな撮像レンズを含む機械的動作によって連続的にスキャンする必要があるため、撮像速度を低下させる場合が多いレーザスキャンに主に依存している。スキャン速度を調整するために様々な手法が開発されているが、専用のビームスキャン制御及びハードウェア同期など、システムの複雑さが必然的に求められることとなる。実際に、レーザスキャンベースの撮像は、空間デューティサイクル(duty cycle)が常に1よりはるかに小さいため、固有的に電力効率が悪くなる(すなわち、ボリュームフレーム時間内にボリュームの全体の一部のみが読み取られる)。更に悪いことに、多くのスキャンアプローチは、焦点が合っていない蛍光を繰り返し励起し、その結果、光退色及び光損傷の発生が加速される。
従来の光ベースの生物学的撮像システムは、単一のライトシートを用いて、生物学的サンプルをスキャンするか、ライトシートと検出対物レンズとの両方を同期的にスキャンすることにより、3次元(3D)体積撮像を実行する。従って、撮像速度はスキャン速度によって制限され、システム内に共振振動を引き起こす場合がある。この振動により、スキャン進行中にシステムが不安定になる場合がある。
従来の格子ライトシート顕微鏡技術は、相関する画像のコントラストから情報を推測することにより、生体細胞の機能的及び構造的情報を検出する。これらの手法も空間分解能に力を入れているが、時間分解能が不足しており、サンプルステージ、又は照射ビームと検出対物レンズとの両方のいずれかをスキャンすることに依存する。これらの手法は、ボリュームフレームレートが非常に低く、且つ、スキャンによって引き起こされるステージドリフトのネガティブ影響を受ける。
これらの課題に対処するために、並列照射(検出)の概念、すなわち、すべてのボクセル(voxel)が同時に励起(記録)されるという概念が、先進な3D撮像の主流となっている。撮像速度の向上以外に、照射(検出)の並列化により、空間デューティサイクルを最大化することができるため、フォトンバジェット(photon budget)を最大化することができる。これは、生物学的標本の生存率を維持するために特に重要である。しかしながら、現在の並列化方法は、これまでには、2D(例えば、LSFM)又は3Dでのスパースサンプリング(例えば、多焦点又はマルチライトシート顕微鏡)のいずれかに制限されている。特に、利用可能なマルチライトシート撮像システムは、ビーム干渉、コヒーレント波面エンジニアリング(空間又はフーリエ領域において)、又はビーム分割に大きく依存している。しかしながら、コヒーレントビームと高散乱組織との相互作用から生じる照射アーチファクト(illumination artifact)(スペックルノイズ(speckle noise)など)を回避するために、これらの方法は通常、限られた数のライトシートを用いたスパースサンプリングモード(aparse sampling mode)で実行することによって、ライトシートの時間平均インコヒーレント重ね合わせを実現している。
もう1つの注目技術は、マイクロレンズのアレイによって2Dカメラの構造寸法を介して軸方向の情報を区別できるライトフィールド顕微鏡法である。最終的な3D画像は、逆問題を解決するアルゴリズムを使用して計算によって再構築されるが、これにより、横方向の解像度が低下し、画像の計算が複雑になるという制限が生じる。
選択的面照射顕微鏡(SPIM)システムは、最大ミリメートルサイズのサンプルの多次元画像を生成する。SPIMは、ライトシート照射及び直交の検出システムを使用して、アレイ検出器を用いた高速並列検出を実現する。これらのシステムは、マダカ胚やキイロショウジョウバエの胚発生を含む生物を撮像することができる。これらのシステムには、マルチビュー(multiView)及びアイソビュー(isoView)蛍光体積撮像システムを含む多くの派生物(derivatives)がある。しかしながら、これらのSPIMシステムは全て、複数の自由度を有する複数のビームでサンプルをスキャンする。これにより、撮像速度の低下が加速される。更に、データ処理は、単一の体積マルチビュー画像を再構築するのに24時間もかかる場合がある。
デジタル走査ライトシート顕微鏡は、集束ビームを1次元に沿って走査することにより、細長い照射ポイント伝搬関数を生成する。この手法は、時間的に共有される1次元(1D)のポイント伝搬関数を生成し、サンプルを継続的に照射することを回避するが、同レベルの蛍光カウントを生成するには、より高いレーザ出力が必要される。更に、ボリュームフレームをキャプチャするにはサンプルステージをスキャンする必要があるため、ボリュームフレームレートは低い。その結果、固有のステージドリフトが画質の低下を引き起こす。
本発明の一実施形態において、本明細書に記載の体積蛍光顕微鏡技術又はコード化ライトシートアレイ顕微鏡(CLAM)は、並列化されたライトシート照射及び検出を可能にする。この手法は、インコヒーレントで周波数エンコードされたライトシートアレイの再構成可能な生成に基づくものである。CLAMを使用すれば、機械的スキャン又はアクティブビーム操作をすることなく、光セクショニングされた全ての画像面を、10Hzを超えるビデオボリュームレートで同時にキャプチャすることができる。この3D並列化機能により、従来の顕微鏡技術(共焦点蛍光顕微鏡など)に比べて、ピクセル滞留時間が長くなり、露光が穏やかになる。
当該撮像技術は、一対の高反射率ミラーを使用して、光ビームを一連の平行な互いにインコヒーレントなライトシートに変換し、そして、この一連のライトシートを生物学的サンプルに導入する。生物学的サンプルからの蛍光信号は、各周波数で時間的に変調された複数のライトシートによって励起される。アレイ検出器は、時間的に変調された複数のライトシートを記録でき、記録された信号がその後オフラインで多重分離されて、サンプルからの3D信号情報を分析することができる。
このシステムは、スキャンせずに体積画像を取得するため、機械的及び環境的な振動に対する耐性を高めることができる。非走査体積撮像は、2つの特徴によって可能となる。まず、高反射率ミラーによって、ミラー間で光源の光を複数回反射し、そしてインコヒーレントなライトシートを再帰反射することである。これらの反射されたインコヒーレントなライトシートは、一連の仮想光源から発せられているように見ることができる。生物学的サンプルは、体積ライトシートで照射することができる。次に、各インコヒーレントなライトシートは、可変周波数チョッパによって時間的にセグメント化され、各周波数で変調されることである。サンプルの異なる面は、異なる変調周波数に応答することができる。生物学的サンプル(組織内の血管、植物細胞、ゼブラフィッシュの胚など)の体積画像は、サンプルの様々な深さの画像を1つの画像に合成する時間的多重分離デバイスによって分析することができる。
本発明の別の実施形態において、本明細書に記載の方法は、完全な並列化された多重面蛍光撮像を利用し、コード化ライトシートアレイ顕微鏡と名づけられた(CLAM)。この技術は、広く採用されているコヒーレントマルチライトシート生成の概念に依存しないため、複雑である正確な位相制御及び機械的ビームスキャン/ディザリング処理を必要としない。代わりに、CLAMは、角度がずれたミラーペアに基づく「合わせミラー」の概念を利用して、アレイ密度とコヒーレンスとの両方において再構成可能なライトシートアレイを生成することにより、3D並列照射を実現する。これにより、ビームディザリングすることなく、密集したライトシートのアレイのインコヒーレントな重ね合わせが保証される。これにより、照射アーチファクト及びスペックルノイズを最小限に抑えた深部散乱組織の撮像が可能となる。
並列化された3D画像の検出に関して、CLAMは蛍光信号の多重化された画像面エンコーディングを実行する。スキャン機構なしで光セクショニングが保証されるため、高速のボリュームフレームレートが可能になる。検出における100%の空間デューティサイクルは、ボクセル滞留時間が長くなることも意味する。言い換えれば、CLAMは必要な照射強度が低く、信号対雑音比(SNR)を犠牲にすることなく、更に光損傷及び光退色を低減することができる。CLAMの概念は、ハードウェア又はソフトウェアの変更を最小限に抑えて、簡単に既存のLSFMシステムに適合することができる(複雑な反復画像再構成アルゴリズムを必要としない)。
CLAMは、生きている細胞、組織、及び生物に対して長時間の動的体積撮像、及びアーカイブ生物学的サンプルの3D組織病理学的調査のためのハイスループット体積撮像に特に適している。どちらも幅広い生物学研究、特に神経科学及び発生生物学において、役に立つ手法である。この技術は、超大規模集積回路(VLSI)半導体デバイスなど、高スループットの体積品質管理用の産業用アプリケーションにおける大量生産検査にも使用できることが注目されるべきである。
既存のライトシート撮像技術とは対照的に、本発明は、試料を3Dで照射するための機械的走査光学系の使用を回避している。従って、より高い、且つ長期的な撮像安定性を提供することができる。並列化されたライトシートアレイ照射は、ライトシートのサブセットを活性化することにより、任意の選択的平面撮像を可能にすることもできる。本発明は、全ての撮像平面からの蛍光信号の多重化エンコーディングによる3D並列検出を実行する。これは、予め定められたコードセットでライトシートアレイの光変調によって実行される。各コードは、各画像面を一意に表す。本発明は、スキャン機構なしで光セクショニングを保証し、従って、カメラのフレームレートにのみ制限される高速のボリュームフレームレートを可能にする。本発明は、検出における空間デューティサイクルを最大化し、従って、より長いボクセル滞留時間を可能にする。言い換えれば、CLAMは、利用可能なレーザ走査型共焦点顕微鏡及びLSFMに比べて、必要な照射強度が低く、信号対雑音比(SNR)を犠牲することなく、光損傷及び光退色を更に低減する。本発明は、軸方向及び横方向の両方においてFOVを増加させるように、波面コーディング/整形を用いて実行することができる。CLAMは、軸方向に沿ってデジタル構造化照射を実行することもでき、解像度の等方性を向上することができる。
エンコードされたライトシート体積撮像デバイスの一実施形態のブロック図である。 エンコードされたライトシート体積撮像デバイスの一実施形態のブロック図である。 CLAM装置の一実施形態の概略図である。 CLAM装置の一実施形態の概略図である。 測定されたライトシートアレイ(N=10,20,30,及び40)の(x-z及びy-z平面に沿った)横方向プロファイルであって、各ケースの対応する強度線スキャンプロファイルは青で示されている。 ミラー間隔がS~20mmの別のレーザ光源(中心波長710nm、Lc~0.5mm)を用いたCLAMに係るライトシートアレイ生成の実験的評価を示す図である。 (上)インコヒーレントCLAMビーム(N=40)及び(下)コヒーレント広視野照射によって撮影された散乱ゲルサンプルの画像を示す図である。 光平面照射アレイの3D多重化の実行を示す図である。 周波数分割多重(FDM)エンコーディングに基づくCLAMの画像再構成の例示的なワークフローを示す図である。 エンコード周波数と深度の間の線形関係を示す周波数対深度のマップ(N=40)。個々のライトシート(周波数チャネル)間で最小限のクロストークが観察されている(左上の挿入図)。(下の挿入図)回転レチクル(reticle)(すなわち、ライトシートエンコーダ)の概略図、及び投影された仮想光源(緑色の点)。スケールバーは50μmを表す。 高速体積撮像デバイスの画像を示す図であって、高速体積撮像デバイスの画像ポイント伝搬関数(psf)のシミュレーションの画像であり、様々な軸方向の深さZpを示す画像である。 高速体積撮像デバイスの手順を示す図であって、周波数分割多重化を使用した高速体積撮像デバイスの画像形成の手順を示す図である。 様々な照射深度で2%のアガロースゲルに埋め込まれた蛍光微粒子の体積画像を示す図である。図5(a)は、照射深度30μmで2%のアガロースゲルに埋め込まれた蛍光微粒子の体積画像である。図5(b)は、照射深度100μmで2%のアガロースゲルに埋め込まれた蛍光微粒子の体積画像である。図5(c)は、照射深度300μmで2%のアガロースゲルに埋め込まれた蛍光微粒子の体積画像である。 デジタル構造化照射による軸方向の解像度の向上を示す図である。 異なる時間での蛍光ポリマービーズの体積画像である。図7(a)、80msのマイクロ流体フローに連れられた蛍光ポリマービーズの体積画像を示す。図7(b)は、680msの蛍光ポリマービーズの体積画像を示す。図7(c)は、1.36sの蛍光ポリマービーズの体積画像を示す。図7(d)は、1.92sの蛍光ポリマービーズの体積画像を示す。 様々な血管網の体積画像である。図8(a)は、マウスの腸内の血管網構造の体積画像である。図8(b)は、光学的に透明なマウスの腎臓組織の血管網に付着した糸球体を示している。 CLAMの単一対物レンズ構成を示す図である。同一の対物レンズが斜めのライトシートアレイ照射を生成し、蛍光信号を収集する。 軸方向及び横方向の両方においてFOVを操作するための波面コーディング/整形を有する本発明の実施を示す図である。 FOVを拡張するための空間光変調器(SLM)を使用する「ライトシートアレイタイリング(light-sheet-array tiling)」を示す図である。(左)装置概略図であって、画像のフーリエ面にあるSLMは、FACEDミラーペアの後の光ビームにバイナリレンズフェースマップを与える。(右)SLMにレンズフェースが適用されている場合(下)と適用されていない場合(上)とのライトシートアレイのプロファイルであって、スケールバーは50μmを表す。 CLAMのシステムレイアウトを示す図であって、Mはミラー、fは複数のレンズ、Lはレンズ、PBSは偏光ビームスプリッタ、λ/2は半波長板、λ/4は1/4波長板、(CL1及びCL2)はシリンドリカルレンズ、(T1、T2、及びT3)は望遠鏡、(O1及びO2)は対物レンズ、LPはロングパスフィルターを表す。二重丸の矢印(ドット)は、水平(垂直)偏光を示す。赤い米印でラベル付けされた位置は、仮想光源の共役面である。 画像再構成の実施形態を示す図である。 強く散乱するアガロースゲルに埋め込まれた蛍光マイクロビーズのCLAM体積画像を示す図である。 13.2vol/s(体積:170×25×28μm)のボリュームフレームレートでマイクロピペット内で流れる微粒子のCLAM撮像を示す図である。 CLAMによる光学的に透明なマウス組織の体積撮像を示す図である。
以下の開示及び例示的な実施形態は、当業者が本発明による高速体積撮像デバイスを作製及び使用することを可能にするために提示される。実施形態への様々な修正は当業者にとって容易であり明らかである。また、本明細書の一般原理は他の実施形態に適用されることもできる。従って、高速体積撮像デバイスに関連するデバイス及び方法は、示される実施形態に限定されることを意図するものではなく、本明細書に記載の原理及び特徴と一致する最も広い範囲をカバーすべきである。
図1Aは、符号化されたライトシートアレイ体積撮像システム100の実施形態のブロック図を示している。光源110は、連続波レーザ又はパルス波レーザであってもよい。光源110によって生成された光ビームは、パワーコントロールすることができ、ビームエキスパンダー120は、ビームを適切なサイズに拡張又は集束をすることができる。これによって、コリメートされたビームは、シリンドリカルレンズ(図示せず)によって水平方向に沿って、角度がずれたミラーペア130に集束することができる。そして、ビームはミラーペア130の間で複数回反射することができ、光シートを入射口(図示せず)に再帰反射することができ、そこで4分の1波長板と偏光ビームスプリッタが再帰反射されたライトシートを下流の光学系にカップリングすることができる。光シートは、リレー光学系140によってエンコーダ150に向けて伝搬することができる。エンコーダ150は、周波数変調器と時間変調器とを含むことができるが、これらに限定されない。周波数変調器は、インコヒーレントなライトシートアレイをセグメント化し、各ライトシートをそれぞれの周波数でエンコードする。時間変調器は、アダマール演算(Hadamard)又はランダムマスクを含む任意の直交エンコード基準によってインコヒーレントなライトシートアレイをセグメント化する。一実施形態において、周波数変調器は、ビームエンコーダを含むが、これに限定されない。ビームエンコーダは、移動又は回転をする空間光変調器(例えば、周波数変調レチクル)の形態であるか、又は走査光ビームによる静的な空間的にパターン化されたマスク照射の形態である。ライトシートは、エンコーダ150によって断片化され、様々な周波数又は基本的な手法でエンコードすることができる。次に、エンコードされたライトシートは、リレー光学系140を通して伝搬され、照射対物レンズ160によって生物学的又は非生物学的サンプル170に集束することができる。検出対物レンズ180は、照射対物レンズ(図示せず)に対して直交して配置される。次に、検出対物レンズ180内のチューブレンズ(tube lens)は、サンプル170からの蛍光信号を高速カメラ(2D画像センサ、又はCMOSカメラ若しくはEMCCDカメラなどのカメラ190を含むが、これらに限定されない)に転送することができる。
並列化された個々のライトシートアレイ照射は、ライトシートの任意のサブセットを選択する別の自由度も提供する。リレー光学系140に含まれる予め規定されたマスク(例えば、走査光ビームによる静的な空間的にパターン化されたマスク照射、又は空間光変調器を使用する能動的に制御可能なマスク)によって、当該ユーザ規定の選択的平面照射を実現することができる。
図1Bは、エンコードされたライトシート体積撮像デバイスの別の実施形態のブロック図である。CLAMは、機械的な走査を必要とすることなく、完全に並列化された3D撮像を可能にする体積撮像技術である。まず、角度がずれたミラーペアに基づく「合わせミラー」の概念を利用して、アレイ密度とコヒーレンシとの両方において再構成可能なライトシートアレイを生成することにより、3D並列照射を実現する。並列化された3D画像の検出に関して、CLAMは、(ライトシートエンコーダを利用することによって)蛍光信号の多重化された画像面エンコーディングを実行し、スキャンメカニズムなしで光セクショニングを保証し、これによって高速のボリュームフレームレートを可能にする。
本発明者らは、この独自の特性を利用して、概ね平行なミラーペアを使用してパルスレーザビームを超高速ライン走査ビームに変換し、パルス又は連続波(CW)ライトシートアレイを生成する。ライトシートの密度及びコヒーレンスは、図2Bに示すように、ミラーペアの幾何学構成(geometry)(たとえば、ミラーの間隔S、ミラーの長さL、ずれた角度α)を調整することにより、柔軟に再構成することができる。
図1Bに示すように、入力光はまず空間ビーム整形器121を通過する。空間ビーム整形器121は、任意のタイプの回折光学構成要素(回折格子、空間光変調器等)、又はマイクロレンズアレイ、又は任意タイプの単一若しくは複数のビーム発散要素、例えば、レンズなどであってもよい。ただし、実施形態はそれらに限定されない。入力は、例えば、光源111の自由空間出力から直接、又は光ファイバなどの光ガイドからカップリングすることができるが、実施形態はそれに限定されない。空間ビーム整形器を通過した後、整形された光ビームは、ビーム集束光学系122によって円錐角(Δθ)で線集束(すなわち、一次元で集束)され、入口Oにおける一対の概ね平行な高反射率ミラー311に入射される。次に、ビームはN個のビームレットの集合に分割され(N=Δθ/α)、各ビームレットは,2つのミラーの間で空間的にチャープされた固有のジグザグパスを辿る。光ビーム追跡法に基づいて、カーディナルモードと呼ばれるこれらのN個の離散光パスは、同じパス(例えば、図2Bのボックスbの赤いパス220)に沿って入口Oに再帰反射される。他方、任意のカーディナル光ビームから外れた光パス(例えば、図2Bのブロックbの青い経路230)は、戻ることができるが、入口Oにおいてカーディナル光ビームからわずかな横方向のシフトを有する。事実上、k番目に戻るカーディナル光ビームは、Ok(図2Bのボックスbに示す)にある非常に低い開口数(<<0.1)の仮想光源から発されているかのように「光ファン」が伴う。その結果、ミラーペアに入る入射集束光円錐内のすべての入射光ビームは再帰反射され、N個の個々のビームレットのアレイに変換され、N個の仮想光源アレイ(図2Bのボックスbに示す)から発された光ビームに相当する。唯一の光損失は、99%を超える高いミラー反射率に起因するものである。
ライトシートは、リレー光学系140によってライトシートエンコーダ150に向けて生成することができる。エンコーダ150は、周波数変調器と時間変調器とを含むことができるが、これらに限定されない。周波数変調器は、インコヒーレントなライトシートアレイをセグメント化し、各ライトシートをそれぞれの周波数でエンコードする。時間変調器は、アダマール演算(Hadamard)又はランダムマスクを含む任意の直交エンコード基準によってインコヒーレントなライトシートアレイを断片化する。一実施形態において、周波数変調器は、ビームエンコーダを含むが、これに限定されない。ビームエンコーダは、移動するか又は回転する空間光変調器(例えば、周波数変調レチクル)の形態であるか、又は走査光ビームによる静的な空間的にパターン化されたマスク照射の形態である。ライトシートは、エンコーダ150によって断片化され、様々な周波数又は基本的な手法でエンコードすることができる。次に、エンコードされたライトシートは、リレー光学系140を通して伝搬され、リレー光学系140は、ライトシートのサブセットを画像化すべきサンプルにルーティング及び選択することができる。ライトシートは更に波面整形モジュール145を介して伝搬することができる。波面整形モジュール145、解像度及び撮像視野の点において撮像パフォーマンスを向上することができる。次に、光シートは、照射対物レンズ160によって、生物学的又は非生物学的サンプル170上に集束される。検出対物レンズ180は、照射対物レンズ(図示せず)に対して直交して配置される。検出された光は、被写界深度を増加させる点像分布関数(PSF)エンジニアリングモジュール185によって修正することができる。次に、検出対物レンズ180内のチューブレンズは、サンプル170からの蛍光信号を高速2D画像センサ又はカメラ190(CMOSカメラ又はEMCCDカメラを含むが,これらに限定されない)に送信することができる。
図2Aは、本発明の一実施形態において体積光顕微鏡がどのように機能するかを示す図である。図2Aにおいて、(a)は、エンコードライトシート体積撮像デバイスを示す図である。(b)は、共通焦点面(CFP)付近のビームの画像である。(c)は、デバイスの光学レンズの上面視の図である。(d)は、デバイスの光学レンズの側面視の図である。
コリメートされたビームは、シリンドリカルレンズCLによって水平方向に集束され、1D光円錐を形成する。当該光円錐は、偏光ビームスプリッタPBS及びλ/4波長板を通過してから、角度がずれた平行ミラーペア210によって分割される。再帰反射されたビームはλ/4波長板を通過し、垂直方向に偏光される。レンズLは、変調されたビームを更に集束させ、共通焦点面CFPの付近に線形仮想光源アレイを生成する。
得られたビームは、これらのビームは、それぞれがそれぞれの変調周波数又は各仮想光源の基本的な基準でエンコードされるように、カスタム設計されたライトシートエンコーダ150によって断片化される。ライトシートエンコーダ150は、インコヒーレントなライトシートのアレイを断片化し、それぞれの周波数で各ライトシートをエンコードする周波数変調器、又はアダマール演算又はランダムマスクを含む任意の直交エンコード基準によってインコヒーレントなライトシートアレイを断片化する時間変調器を含むが、これに限定されない。一実施形態において、周波数変調器は、移動又は回転をする空間光変調器(例えば、周波数変調レチクル)の形態、又は走査光ビームによる静的な空間的にパターン化されたマスク照射であるビームエンコーダを含むが、これらに限定されない。次に、周波数変調されたビームは、顕微鏡システム及びシリンドリカルレンズCLによって中継される(例えば、図2(c)及び図2(d)を参照)。各仮想光源は、生物学的サンプルの平面上の平面照射ライトシートを形成する。検出顕微鏡対物レンズは、照射対物レンズに直交して取り付けられているため、各照射ライトシートに直交している。従って、生物学的サンプルの各照射領域は、高速アレイ検出器によって同時に検出することができる。
一般に、検出経路と照射経路は、同一の対物レンズを共有することができ、励起ライトシートは、発光経路が照射ライトシートに直交となるような角度で対物レンズに入ることができる。このデュアル対物レンズ構成は、高速体積撮像デバイスの動作原理と両立することができる。この構成はまた、励起パスを検出パスから切り離し、画質を操作するための追加の自由度を提供します。また、この構成は、励起パスを検出パスから切り離して、画質を操作するための追加の自由度を提供することもできる。
図2Bは、本発明の別の実施形態に係る体積光顕微鏡がどのように機能するかを示す図である。ボックスaは、CLAM装置の一般的な概略図を示す。ボックスbは、仮想光源(O)の生成を示している。角度がずれたミラーペアの間で跳ね返るk番目のビームレット内に、全ての光ビームが2k回の反射を受け、入口Oの後の光ビームは、軌道が僅かに異なる(例えば、赤と青の光ビーム。青い実線:前方への光パス、点線:後方への光パス)。ボックスcは、コード化されたライトシートアレイが並列照射を提供することを示している。z方向に沿った様々な深さからの蛍光信号は、ライトシートエンコーダによって生成された一意の時間的コードでタグ付けされる。
仮想光源は、リレーレンズモジュールを介して投射し、N個のライトシートのアレイを形成する(図2Bのボックスa、c)。これにより、並列化された3D照射が可能になり、ビーム又は対物レンズのスキャンが不要となるため、同期させる必要が回避される。図2Cに見られるように、発明者は、ミラーペアによってサポートされるライトシート(仮想光源)Nの数は、ミラーの幾何学構成(例えば、S、α、L)によって柔軟に調整できることに着目した。ライトシートの数は、撮像の仕様(例えば、解像度、FOV、フォトンバジェット)によって選択される。具体的には、本実験においてNが100ライトシートを超えるように選択された。強度の均一性を確保するために、M個の最高次カーディナルモード(M<<N)がCLAM照射として選択される。
図2Cは、測定されたライトシートアレイ(N=10、20、30、及び40)の(x-z面及びy-z面に沿った)横方向プロファイルを示している。各々の対応する強度線スキャンプロファイルは青色で示されている。
並列化された個別のライトシートアレイ照射は、ライトシートの任意のサブセットを任意に選択するための別の自由度も提供する。予め規定されたマスク(例えば、走査光ビームによる静的な空間的にパターン化されたマスク照射、又は空間光変調器を使用する能動的に制御可能なマスク)によって、当該ユーザ規定の選択的平面照射を実行することができる。これは、脳撮像アプリケーションにおける神経活動レコーディングのスパースサンプリング(sparse sampling)において特に興味深いであろう。
更に、ライトシート間のコヒーレンス度を柔軟に調整することができる。各ライトシート自体はコヒーレント性を保っているが、アレイ内の複数のライトシート間の非コヒーレンス性は、ミラーの間隔(S)を、仮想光源間の光路長差(D)(すなわち、D=2S)がレーザ光源のコヒーレンス長Lcよりも長くなるように調整することで実現することができる。発明者の以前の研究では、隣接する仮想光源間の光路長差(時間的遅延)が、ミリメートル(ピコ秒)からメートル(ナノ秒)までの数桁にわたって再構成できることを実証した。このような制御可能な非コヒーレンス性は、特に散乱媒体におけるイメージアーチファクト及びスペックルの発生を最小限に抑えることができる。
図2Dは、ミラー間隔Sが20mmの別のレーザ光源(中心波長が710nmで、Lc~0.5mm)を用いたCLAMでのライトシートアレイ生成の実験評価を示している。(a)は、対物レンズO1の後の伝搬軸(x軸)に沿った異なる位置でのライトシートアレイプロファイルである。(b)は、ミラーの角度のずれが減少したとき(左から右へ)のライトシートアレイプロファイルの変化である。下の枠内には、(a)及び(b)に示された強度線プロファイルを示している(黄色のライン)。(a)及び(b)に示されたスケールバーは、100μmを表す。
一実施形態において、レーザ光源(中心波長が710nmで、Lc~0.5mm)及び間隔Sが20mmのミラーペアが用いられる。この構成は、図2Dの(a)に示すように、ライトシートアレイ全体で均一な強度プロファイルを示している。個々のシートの厚さは、一般に、図2Dの(a)に示すように、照射対物レンズによって規定されたレイリー範囲内に保たれている。更に重要なことに、図2Dの(b)に示すように、ミラーの角度のずれを調整することで、ライトシートのアレイ密度を再構成することができる。ライトシートの密度が非常に高く、個々のライトシートが区別できない場合、ライトシートのインコヒーレントな重ね合わせは、滑らかな照射プロファイルのように明確に表されることに留意されたい(図2Dの(b)の最右端のプロファイルを参照)。これは、仮想光源の間隔(S~20mm)が測定された光源のコヒーレンス長(レーザのスペクトルから計測されたLc~0.5mm)よりも大きいとの事実と一致している。
別の実施形態において、非コヒーレンス性は、構成(Lc~4.2mm、且つS~50mm)で更に検証され、当該実験は、散乱ゲル媒体にわたって、スペックルのないライトシートアレイ照射分布を示した。これは、同じ領域に対して、単一のコヒーレントガウスレーザビームから広がったコヒーレントワイドフィールド照射の場合、図2Eに示すようなハイスペックルパターン(highly speckled patterns)の結果とは明らかに対照的である。
従来のLSFMデバイスとは対照的に、高速体積撮像デバイスは、ビーム、対物レンズ、試料の走査を必要としない、サンプル/システムへの物理的な負担を軽減することができる。図5は、ナイルレッドフルオロフォアでコーティングされ、TiOナノ粒子を含む2%のアガロースゲルに埋め込まれた直径1μmのポリスチレン球体から作られた組織模倣ファントム(tissue-mimicking phantom)の体積画像を示している。TiOナノ粒子は、人間の***組織の散乱効果を模倣した1.2mg/mlの濃度を有する。図5(a)は、照射ビームの侵入深度を30μmに設定した場合の体積画像を示し、図5(b)は、照射ビームの侵入深度を100μmに設定した場合の体積画像を示し、図5(c)は、照射ビームの侵入深度を300μmに設定した場合の体積画像を示している。高速体積撮像デバイスは、最大200μmの侵入深度で蛍光ビーズを撮像することができる。図5(c)に見られるように、侵入深度が300μmの場合、蛍光ビーズが見えるが、信号対雑音比が低下している。
高速体積撮像デバイスは、1対の高反射率ミラー(R>99%)を採用して、互いにインコヒーレントな仮想光源を構成し、それぞれがライトシートを生成する。生成されたライトシートの光ビームは、互いにインコヒーレントである。互いの非コヒーレンス性により、構造が強い散乱効果を誘発する組織内に埋め込まれている場合でも、光ビーム間のクロストークを最小限に抑えて、微細構造を撮像することができる。2つの反射ミラーがビームを一連の仮想光源に分割し、そして、それらの仮想光源がライトシートアレイに変換される。従来のライトシート顕微鏡装置とは対照的に、この装置は生物学的サンプルを3Dで照射するための走査光学系を必要としないため、より長期的に高度な機械的安定性を提供することができる。
高速体積撮像デバイスは、各ライトシートを時間的に変調して、それぞれの周波数で各シートをエンコードする。一連のリレー光学系を使用して複数のライトシートを、一連の変調周波数を提供するカスタム変調マスクに結合する。このプロセスは、それぞれの変調周波数で各ライトシートをエンコードする。
生物学的サンプルからの蛍光信号は、オフラインで多重分離することができる。蛍光信号は、時分割多重化、周波数多重化方式、ランダムベース、又はアダマール変換方式によって柔軟に操作され、高速画像の取得を可能にすることができる。この特徴は、時間変調によって独自に活用され、既存の商用周波数チョッパーシステムには見られないものである。
高速体積撮像デバイスの更なる特徴は、図3に示すように、FDM又はCDMのいずれかに基づく3D多重化である。一般に、3Dスタック(z方向)を横切るk番目の2D画像面I(x,y)は、一意コードm(t)で時間変調される。2Dイメージセンサは、全ての2D平面を同時にキャプチャするために使用される。数学的には、キャプチャされた2D生データは、次のように表すことができる。すなわち、I(x,y,t)=ΣI(x,y)×m(t)。合計は全てのkにわたって合算される。FDMに基づく方法の場合、コードは正弦波変調である(例えば、m(t)=cos(2πft)、ここで,fはk番目の平面に割り当てられた変調周波数である)。周波数エンコードされた平面は、短時間フーリエ変換(STFT)を使用して多重分離することができる。次に、3D FOV I(x,y,z)全体を再構築できる。最大変調周波数fmaxは、ナイキスト(Nyquist)のサンプリング基準に従って、カメラの2Dフレームレートfcam、より正確にはfcam≦fcam/2の関係によって制限される。FDMの場合、分解可能な光セクショニングされた平面の数Nは、分解可能な周波数の数によって制限され、N≧2M=fcam/f3D、ここで、f3Dは3Dフレームレートである。Nが100乃至120の分解可能な平面の範囲内にある場合、高速sCMOSカメラ(fcam=2400Hz)を使用して、f3D=12-20Hzの高速3D撮像レートを実現することができる。高速体積撮像デバイスの3D撮像レートは、sCMOSカメラテクノロジーの継続的な進歩とともに増加する。コーディングの性質により、3Dスタック全体で光セクショニングが固有的に提供されることに注意されたい。3D多重化により、高速体積撮像デバイスは、点走査型顕微鏡又はLSFM技術に比べて、光退色及び/又は光毒性を最小限に抑えることができる。
CDMの場合、各2D平面に割り当てられるコードm(t)は、ウォルシュアダマール(Walsh Hadamard:WH)コード(又はエラー修正直交コード、又は疑似ランダムノイズ(pseudo-random noise:PN)シーケンスのようなランダムノイズに表れる決定的なバイナリシーケンス)であってもよい。両方のタイプのコードに基づく多重化(つまり、拡散スペクトル変調)は、ノイズに耐性があり、通信システムでの高い信号忠実度において有利である。
高速体積撮像デバイスは、生物医学及び臨床アプリケーションにおける検査のための3D体積蛍光ライトシート撮像にも使用することができる(例えば、発生生物学、細胞生物学、大量生産検査、高スループットの体積品質管理用の産業用アプリケーション、及び超大規模集積回路(VLSI)半導体デバイス)。
従来の共焦点顕微鏡装置は、数十MW/cmのオーダーの出力密度の集束ビームで生物学的サンプルを照射する。高速体積撮像デバイスは、従来のデバイスよりも約6桁小さい電力密度を有する。パワー密度の低減は、外因性蛍光標識による光退色及び細胞毒性を軽減し、生物学的サンプルへの光損傷を低減することができる。従来の顕微鏡技術(例えば、広視野、共焦点)も、高速体積撮像デバイスよりも多くの放射を生物学的サンプル内に導入することとなる。本発明のデバイスは、生物学的サンプルの撮像平面のみを照射することで放射の発生を抑え、光損傷及び光毒性を最小限に抑える。
高速体積撮像デバイスは、各ライトシートの可変周波数変調により、ライトシートをスキャンすることなく高速体積撮像を実現することができる。体積蛍光信号の時間変調により、信号を周波数領域で多重分離することができる。仮想光源は、ロックインドライブによって制御される可変周波数変調器に画像化することができる。そして、時間的に変調された光ビームは、顕微鏡の対物レンズ下で個々のライトシートに変換され、生物学的サンプルを照射することができる。
CLAMにおける並列化された体積検出は、多重化ライトシートエンコーディングによって実現される。これは、空間変調マスクに投射されたライトシートアレイの強度変調によって実現することができる。図3に示すように、空間変調マスクは、回転するパターン化されたレチクル/マスク、又は走査光ビームによる静的なパターン化されたマスク、又は走査ラインビームを有する空間光変調器(SLM)などの能動的再構成可能なパターン化マスクであってもよい。図3Aは、回転レチクルによってレーザが変調されることを示し、当該回転レチクルは、2つのシリンドリカルレンズで形成された4fシステムの共通焦点面に配置されている。図3Bは、静的な反射マスク(すなわち、液晶SLM、又はデジタルマイクロミラーデバイス(DMD))を横切って1D集束ビームを走査することによってレーザが変調されることを示している。どちらのアプローチでも、1つの次元(x方向)に沿って異なるコード(例えば、FDMの変調周波数又はCDMのPN/WHコード)でビームをエンコードすることができる。エンコードされたビームは、その後照射アレイの3Dスタックの異なるライト面/ライトシートにマッピングされる。
従って、k番目のセクションIem(x,y,z-zk)からの蛍光信号は、一意の時間的コードm(t)(図2Bのボックスc)で強度変調され、zは隣接するライトシートの間隔である。直交検出対物レンズは、2Dイメージセンサに記録された多重化蛍光発光を収集する。カメラによって取得された2D生データは次のように表すことができる。
Figure 0007233129000001
コードの直交性が満たされると、画像を、平面間のクロストークが最小限で、忠実に復元することができる。コーディングは、周波数分割多重化(frequency-division multiplexing:FDM)及びコード分割多重化(coded-division multiplexing:CDM)であってもよいが、これらに限定されない。信号は、FDMでは一意の搬送周波数でエンコードされるが、CDMでは疑似ランダムコードシーケンスでエンコードされる。CDMでは、各2D平面に割り当てられたコードm(t)は、エラー修正直交コードであるWalsh Hadamard(WH)コード、又は疑似ランダムノイズ(pseudo-random noise:PN)シーケンスのようなランダムノイズに表れる決定的なバイナリシーケンスである。
無線通信ネットワークの直交周波数分割多重方式(OFDM)に影響され、一実施形態において、m(t)=cos(ωt)でライトシートを変調することができる。ここで、ωは、k番目のライトシートの深さに依存する変調周波数である。周波数キャリアは、期間Tにわたって直交性を満たす。すなわち、<m(t),m(t)>=δij、ここで、δijはデルタ関数であり、<*>は内積を表す。従って、異なる深さの2Dセクションは、識別可能な変調周波数でタグ付けされ、イメージセンサに記録された単一の2Dフレームシーケンスに多重化される(図3A)。2D画像シーケンスIcam(x,y,t)に短時間フーリエ変換を適用すると以下の式が得られる。
Figure 0007233129000002
ここで、Icam(x,y,ω)は、Icam(x,y,t)の時間フーリエ変換を示す。既存の周波数多重撮像アプローチとは対照的に、CLAMは2D画像スタックを多重化して、ライトシートアレイにわたって周波数チャープ強度変調による並列化2D撮像を可能にする。図3Bは、画像の多重化と多重分離のステップを例示しており、分岐した血管の体積画像は、多重分離された画像シーケンスから得ることができる。
レチクルパターンの設計根拠は、一般に、CLAMのパフォーマンスを決定的に決定する2つの主要な仕様によって決められる。第1に、隣接するライトシート間の変調周波数の間隔(Δf)は、体積撮像レート(fvol)を規定する。すなわち、fvol=Δf。更に、達成可能な最高の軸方向分解能を確保するために、Δfは、エンコードされた周波数チャネル間の関連する空間的間隔(すなわち、Δd=βΔf、ここでβは深さと周波数との較正された変換係数)が各ライトシートの厚さ(wLS)と同等であるか又はそれよりも小さく保たれる(すなわち、Δd<wLS)ように選択する必要がある。第2に、ナイキストのサンプリング基準とカメラのフレームレートの両方によって制約され、全てのライトシートをエンコードできるトータル変調周波数範囲(BW)によって、ライトシートの数(すなわち、N)が決定される。
ナイキスト基準に従って、変調周波数(f)の上限は、カメラのフレームレート(fcam)の半分よりも低く、すなわち、f<fcam/2にする必要がある。(高速モードにおいて、f~1400Hz<fcam/2と設定する)。一方、変調周波数(f)の下限は、高次調和振動によるクロストークを排除するために、周波数の上限の半分よりも高く、すなわち、f>f/2に必要がある。与えられた周波数帯域幅、すなわち、BW=f-f(レチクルと回転速度の設計によって決まる)の場合、周波数「チャネル」の数、或いは同じく割り当てることができるライトシートの数(N)は、N=BW/δf=BW/fvolである。従って、CLAMは、Nが20乃至70のライトシートを忠実に生成して、fvol=1-20vol/secの3D撮像レートを実現することができる。このようなボリュームレートは、最先端のスキャンベースのLSFMプラットフォームに匹敵し、多くの生物学的撮像アプリケーションで必要とされる速度に匹敵するが、CLAMの多重化の特徴により、ボリューム内の全てのボクセルが並列に読み取られる(すなわち、100%の空間デューティサイクル)ため、感度が更に向上することができる。これは、ボリュームレートを損なうことなく、ファクター多重化数(N)で有効ボクセル滞留時間を増加させる。この改善により、CLAMは照射パワーも低下させ、そして、光退色及び光毒性を低下させる。発明者は、限られたショットノイズの条件が課された場合、多重化は固有的に全ての2Dスタックにショットノイズを分散させるため、この感度の向上は、理論的に蛍光サンプルのスパース性(sparsity)で調整することが分かった。
FDMエンコーディングスキームに基づく一実施形態において、時間信号に対して、ピクセルごとに短時間フーリエ変換を適用することにより、CLAMシステムからの周波数深度マップが生成され、図3Bに示すように、エンコードされた深度と変調周波数(N=40)との間の明確な線形関係が示されている(R=0.995、勾配β=0.23μm/Hz)。これは、ビームレットアレイにわたって線形周波数チャープを生成するレチクル設計と一致する(補足情報を参照)。図3Bに示すように、平均厚さが~1.5μmの個々のデコードされたライトシートは、450Hz乃至750Hzの特徴的な中心周波数でタグ付けされ、常に有限の帯域幅(~3Hz)に関連する。全ての周波数チャネルの平均SNRは>5dBであり、周波数深度マップで示されたように、隣接チャネル間のクロストークは最小限に抑えられている。発明者は、各周波数チャネルの残留サイドローブは、主に、回転レチクルの機械的ジッタ及びぐらつきに起因することが分かった。ショットタイムフーリエ変換を適用することに加えて、デジタル直交デコーディング又はアークタンジェントデコーディング法などの他のデコーディングスキームを実装して、変調段階中に導入されるノイズを低減し、必要な信号の長さを更に短縮して、ボリュームフレームレートを向上させることもできる。
本発明の実施形態は、機械的/電気的にスキャンすることなく、生物学的サンプルの体積撮像ビデオを生成するために使用することができる。照射ライトシート又はサンプルステージのいずれかをスキャンする既存のライトシート顕微鏡技術に比べ、本明細書で説明する技術は、ステージドリフト及び光損傷の影響を最小限に抑えることができる。対象デバイスの非走査コード化ライトシート顕微鏡法は、マイクロ流体フロー内の約16μm/秒の流量の蛍光球体の体積撮像ビデオを捕捉することができる。捕捉ボリュームフレームレートは、25vol/secまでの高い値を実現することができる。カメラの速度を上げると、体積レートを更に増やすことができる。これにより、従来のスキャン技術又は構造化ビームライトシート顕微鏡よりも高速となる。この技術は、空間光変調器、音響光学デフレクター、ピエゾステージなどの高価で複雑なビーム制御デバイスの使用を最小限にする。従って、追加の複雑な制御メカニズムなしで体積画像を生成することができ、ビームの歪みを最小限に抑えることができる。
一実施形態において、CLAMは、二重対物レンズ又は単一対物レンズアプローチのいずれかで実現することができる。二重対物レンズ構成では、互いに直交する2つの別個の対物レンズが、それぞれ照射と蛍光とを検出するために使用される。このスキームに基づいて、光シートアレイを複数の方向から伝搬することにより、同時にマルチビューCLAMを実現することもできる。これは、光散乱が存在する場合の画質及び解像度の等方性を向上させるのに効果的な方法であると証明された。図9に示すように、単一対物レンズ構成では、同一の対物レンズが斜めのライトシートアレイ照射を生成し、且つ、蛍光信号を収集する。
図10は、本発明は、軸方向と横方向との両方の方向でFOVを操作するように、波面コーディング/整形で実現できることを示している。図10の画像aは、誘導球面収差に基づく被写界深度(DOF)の拡張の実現を示している。これは、サンプルと検出対物レンズとの間にPDMSブロックを配置することによって実現される。図10の写真bは、PDMSブロックがある場合とない場合のCLAM画像のDOFの比較を示している。スケールバーは50μm(上)と20μm(下)とを表す。写真cは、PDMSブロックがない場合(赤)とある場合(青)の深さ(z)に沿って測定されたPSFの半値全幅(FWHM)(最小値に対する)を示している。実線は2次近似であり、球面収差が存在する場合、DOFは~32%拡張された。
一実施形態において、球面収差を利用して被写界深度(DOF)を拡張することができる。これは、基本的に、図1Bに示す波面コーディング(WFC)145によるPSF技術のステップである。これは、サンプルと検出対物レンズとの間に高屈折率材料のブロック(屈折率n=1.42、厚さ5mmのポリジメチルシロキサン(PDMS))を導入することで可能となる(図10のaを参照)。高屈折率媒体の存在により、蛍光発光の光ビーム、特に周辺の光ビームは、深さ軸に沿った異なる点に集束され、それによって、相当大きさの、均一な球面収差が生じる。これにより、横方向の解像度を大幅に低下させることなく、DOFを効果的に拡張することができる(図10のb)。発明者は、2つの場合、すなわち、DOFの拡張がある場合とない場合において、FOVにわたってPSFのFWHMを実験的に測定した(図10のb)。比較すると、DOFの拡張がない点像分布関数(PSF)は、軸方向に沿ってより急速的に広がっている。FWHMが達成可能な最小FWHMの√2以内に維持される範囲としてDOFを定義すると、発明者の観察結果によれば、現在の構成により、DOFを~32%拡張可能である(すなわち、軸方向のFOVは31μmから41μmまで拡張された)(図10のc)。別の実施形態において、DOFを調整するために、例えば、アキシコン、立方位相マスク、又は可変音響勾配屈折率分布レンズを使用して、非回折照射ビームを用いたPSF技術を更に適用することができる。
別の実施形態において、横方向のFOVは、波面整形(図1Bの波面整形145を参照)、例えば、ライトシートタイリング又はベッセルビーム生成に使用できるリモートフォーカス技術を採用することによって拡張することができる。「ライトシートアレイタイリング」の場合、空間光変調器(SLM)を使用し、CLAMによって生成されたライトシートアレイにバイナリ球面位相パターンを与えることができる。したがって、図11に示すように、ライトシート照射のアレイの全体をx方向に沿ってすばやくシフトさせることできる。
高速体積撮像デバイスの別の特徴は、軸方向に沿ってデジタル構造化照射を実行する能力である(すなわち、解像度の等方性を改善する)。FDM技術を使用して、各2D平面の周波数エンコーディング性質を利用して、3Dスタックのサブセットをデジタル的に選択して(図1A及び1Bに示すリレー光学系140に含まれているライトシートエンコーダ150又は他の予め規定されたマスクを使用する)軸方向に変調された3D画像を形成することができる(例えば、図6に示すように、二つずつの平面を取り、軸方向に沿って周期的なストライプパターンを有する3D画像を形成する)。それぞれの位相シフトを有するそれぞれのサブセットを選択することにより、軸方向にわたって高解像度の画像を再構成することができる。各2D平面がエンコードされるため、軸方向に沿って3Dスタックをオーバーサンプリングすることにより、3Dスタックの3つのサブセット(赤、緑、青)をデジタル的に選択することができる。各サブセットは、周期的な構造化照射によってキャプチャされた画像に似ており、それぞれが固定位相(Φ1、Φ2、Φ3)を有する。3つの画像サブセットを有するで、それらの周波数スペクトルは、最終画像の通過帯域が拡張されるように、すなわち、解像度が向上するように、再配置することができる。
より高い分解能を得るためには、軸方向の変調周期を理論上の分解能限界よりわずかに小さくするか、等しくする必要がある。フレームレートが損なわれることなく、より高い解像度を得ることができる。通常のSIMのように順次ではなく、複数の構造化画像を同時に取得することができる。必要に応じて、高速体積撮像デバイスをSIMモードで動作させ、解像度の等方性を実現することができる。
図6は、FDMエンコーディングに基づくCLAMにおけるデジタル構造化照射を示している。各2D平面がエンコードされているため(ここでは、f1、f2、f3、f4などで周波数エンコードされている)、軸方向に沿って3Dスタックをオーバーサンプリングすることによって、3Dスタックの3つのサブセット(赤、緑、青)をデジタル的に選択することができる。各サブセットは、周期的な構造化照射によってキャプチャされた画像に似ており、それぞれが固定位相(Φ1、Φ2、Φ3)を有する。3つの画像サブセットを有するで、それらの周波数スペクトルは、最終画像の通過帯域が拡張されるように、すなわち、解像度が向上するように、再配置することができる。これは、SIMで採用されている通常の画像処理と本質的に同様である。
本発明は、多色蛍光撮像に適用可能であって、画像検出のために複数のレーザ(パルス及び連続波(CW))レーザであって、波長が紫外線から近赤外線までの波長範囲(蛍光体の励起スペクトルに依存する)を含むが、これに限定されない)、及び1つ以上の2D画像センサを使用して実現することができる。異なる波長の光は、ダイクロイックフィルター(dichronic filter)又は音響光学可変フィルター(AOTF)によって組み合わせることができ、同じ光学系を使用してミラーペアに伝搬することができる。CLAMは、励起光が短パルスレーザ(通常はフェムト秒)である多光子撮像にも適用することができる。これには、2光子及び3光子蛍光体積光シート顕微鏡が含まれるが、これらに限定されない。
CLAMは、軸方向に沿ってデジタル構造化照射を実行することもでき、これは、解像度の等方性を向上させる。一実施形態において、例としてFDMに基づいて、各2D平面の周波数エンコードされている特性を利用し、3Dスタックのサブセットをデジタル的に選択して、軸方向に変調された3D画像(例えば、図6に示すように、1つずつの2つの平面を取り、軸方向に沿って周期的なストライプパターンを有する3D画像)を形成することができる。それぞれが互いに位相シフトを有する、周期的3Dスタックの他のサブセットを選択することにより、構造化照射顕微鏡(SIM)で採用されているアルゴリズムと同様に、これらのサブセットに基づいて、(軸方向にわたって)高解像度画像を計算で再構築することができる。より高い解像度を得るには、軸方向の変調周期は、理論上の解像度の制限よりもわずかに小さいか等しい必要がある。複数の構造化画像は、通常のSIMのように順次ではなく、同時に取得されることに注意されたい。すなわち、フレームレートが損なわれることなく、より高い解像度を得ることができる。
(例示的な実施形態)
ダイオード励起固体レーザ(CW、波長が532nm、出力が400mW)からのコリメートされたビームは、入り口Oで、シリンドリカルレンズ(fCL=200mm)によって角度がずれたミラーペア(反射率R>99%、間隔S=50mm、長さL=200mm)にラインフォーカスされる。ビームは、入射角によって決められる(空間的にチャープされた)ジグザグパスの個別のセットに分割される。ビームレットの数N(30乃至70の範囲で選択される)は、主に角度のずれと、光円錐角度と、可変スリットとによって制御される。このビームはレンズ(f=200mm)によって収集され、望遠鏡T2(倍率2倍)を介して回転レチクル(すなわち、OFDMに基づくライトシートアレイエンコーダ)に中継され、別の望遠鏡T2(倍率1/4)によってFOVに一致される。全ての仮想光源は、LとT2の共通焦点面(CFP)の近くの面に画像化される。この構成により、基本的に、全ての仮想光源が照射対物レンズのDOF内で画像化されることが保証される(図12)。ビームは、照射チューブレンズTL1(f=200mm)とシリンドリカルレンズCL1(f=50mm)を通過し、照射対物レンズO1(20×、NA=0.45、W.D.が8.2-6.9mm)によって集束され、ライトシートアレイを生成する。直交する検出対物レンズO2(10×、NA=0.25、W.D.が10.6mm)は、多重化蛍光の発光を収集し、収集された蛍光は、最大3183fpsのフレームレートでローリングシャッターモードで動作する2Dイメージセンサに記録される。検出アームのロングパスフィルター(543nmでカットオフ)が励起光をクリーニングし(図12)、周波数レチクルは透過機能を有する。
Figure 0007233129000003
ここで、ω=2πrは半径に依存する変調周波数であって、sgn()は符号関数である(図6)。周波数レチクルは、透明フィルム(直径20mm)で製造され、フェーズロック角速度制御を有するステップモーター(回転速度=120-2000rpm)で回転される。光退色性能を評価するために、実験装置は、CLAM、シングルビームライトシート、及び共焦点顕微鏡に対応する3つの照射シナリオを生成するように構成されている。シングルビームライトシート及び共焦点の場合、コヒーレント照射は、追加の(シリンドリカル)レンズを利用してミラーペアをバイパスし、入射プロファイルを操作する。
複雑な計算を行わなく、画像の再構成は、周波数多重化データのピクセルごとの短時間フーリエ変換と、それに続く標準のリチャードソン-ルーシー(Richardson-Lucy)デコンボリューションに基づいて実現される。CLAMの3D点像分布関数(PSF)は、傾斜したカバースライド上に分散した蛍光ビーズ(直径=100nm)を画像化することによって評価された。測定された横方向の分解能(~1.2μm、半値全幅(FWHM))は回折限界(NA=0.25)に近いのに対し、軸方向の分解能(~2.7μm)は、図13、a‐bに示すように、ライトシートの厚さ、並びに検出対物レンズの間隔及び光学伝達関数によって決められる。図13において、(左)は3D PSF(ボリューム:90×40×25μm)であり、(右)は2つのビーズ(1及び2)から測定された投影2D PSFである。スケールバーはμmを表し、bは3次元に沿って測定された解像度の箱ひげ図である。
CLAMは、最大300μmの侵入深度を示し、その範囲内で画質が全体的に維持される。検証するために、組織模倣ファントムに埋め込まれた蛍光マイクロビーズ(直径が1μm)を撮像した。マイクロビーズの蛍光プロファイルは、深さ300μmまで一貫しており、深刻な歪みはなかった(図14、a‐d)。個々のナノ粒子の画像の横方向及び線形プロファイルを考察することによって、画質を解析することができる(図14、e‐h)。ファントム内の二酸化チタン(TiO)ナノ粒子は、透過型電子顕微鏡で特定された平均直径160nmである。ミー散乱計算は、減少した散乱係数であって、532nmでのμ’sが22cm-1であることを示し、これは生物学的組織の減少した散乱係数に匹敵する。このような性能は、高密度でインコヒーレントなライトシートアレイを使用した3D並列照射、そして多重化ライトシートコーディングが、最先端のスキャンベースの共焦点及びLSFMモダリティ(深さ~100μm)に比べ、高散乱媒体内の侵入深度を損なうことがないことを示唆している。図14では、深さは,a、eが30μm、b、fが100μm、c、gが200μm、及びd、hが300μmである。c、dの右上隅は、比較のためにノイズ除去されている。深さはa~dで色分けされている。e~hは、a~dでマークされたビーズの最大強度投影(左)と線形強度プロファイル(右)とを示している。スケールバーは40μm(a~d)と5μm(e~h)とを表す。
本明細書に記載の方法及びプロセスは、コード及び/又はデータとして具体化することができる。本明細書に記載のソフトウェアコード及びデータは、1つ以上の機械可読媒体(例えば、コンピュータ可読媒体)に格納することができ、当該機械可読媒体は、コンピュータシステムに使用されるコード及び/又はデータを格納できる任意のデバイス又は媒体を含むことができる。コンピュータシステム及び/又はプロセッサが、コンピュータ可読媒体に格納されたコード及び/又はデータを読み取って実行するとき、コンピュータシステム及び/又はプロセッサは、コンピュータ可読ストレージ内に格納されたデータ構造及びコードとして具体化された方法及びプロセスを実行する。
コンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、及びコンピューティングシステム/環境によって使用される他のデータなどの情報の記憶に使用できる取り外し可能及び取り外し不可能な構造/デバイスを含むことは当業者に理解されるべきである。コンピュータ可読媒体には、ランダムアクセスメモリ(RAM,DRAM,SRAM)などの揮発性メモリ、及びフラッシュメモリ、様々な読み取り専用メモリ(ROM,PROM,EPROM)などの不揮発性メモリ、磁気及び強誘電体/強誘電体メモリ(MRAM,FeRAM)、並びに磁気及び光ストレージデバイス(ハードドライブ、磁気テープ、CDs、DVDs)、ネットワークデバイス、又はコンピュータで読み取り可能な情報/データを保存できる、現在知られている、又は今後開発されるその他のメディアが含まれるが、これらに限定されない。コンピュータ読み取り可能なメディアは、任意の信号伝達を含むと解釈されるべきではない。本発明のコンピュータ可読媒体は、例えば、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、フラッシュメモリデバイス、揮発性メモリ、又は外付けのHDD又はコンピューティングデバイスのHDDなどのハードディスクドライブ(HDD)であってもよいが、実施形態はこれらに限定されない。コンピューティングデバイスは、例えば、ラップトップコンピュータ、デスクトップコンピュータ、サーバ、携帯電話、又はタブレットであってもよいが、実施形態はこれらに限定されない。
本発明及びその多くの利点についてのより深い理解は、例示として挙げられた以下の例から得ることができる。以下の実施例は、本発明のいくつかの方法、用途、実施形態、及び変形例を例示している。当然ながら、それらは本発明を限定するものであると考えるべきではない。本発明に関して多くの変更及び修正を行うことができる。
(例1)
高速体積撮像デバイスは、生物学的サンプル内で発生する動的プロセスの連続ビデオを捉えることができる。これを実証するために、直径が1μmの蛍光ポリマービーズを水に投入し、シリンジポンプによって四角いガラスピペットに注入した。照射対物レンズと検出対物レンズとは、ガラスピペットの隣接する側面に直交して配置された。この構成により、検出対物レンズが、マイクロ流体の流れの中で蛍光ポリマービーズの動的な動きを捉えることができる。図7(a)は80msでの蛍光ポリマービーズの体積画像を示している。図7(b)は680msでの蛍光ポリマービーズの体積画像を示している。図7(c)は1.36sでの蛍光ポリマービーズの体積画像を示している。図7(b)は1.92sでの蛍光ポリマービーズの体積画像を示している。ボリュームフレームレートは-25vol/secで、ビデオを使用して流速を27μm/secと推測した。
(例2)
高速体積撮像デバイスを使用して、マウスの腸の血管系とマウスの腎臓の糸球体を撮像した。腸と腎臓の組織は、光学的透明性を高めるためにOPTICLear溶液で清澄化し、内皮細胞膜にDil(DilC18)色素で標識した。図8(a)は、腸内の血管のネットワーク構造の体積画像である。この画像は、血管新生の芽でさえもはっきりと視覚化できることを示している。図8(b)は、光学的に透明なマウスの腎臓組織の血管網に付着した3つの糸球体を示している。ボリュームフレームレートは1.6vol/secであった。
(例3)
高速体積撮像デバイスは、拡張焦点深度(DOF)と波面コーディング(WFC)を組み込むように構成することができる。予め規定した位相マスクを検出パスに配置し、システムの点像分布関数(psf)を設計して、深さの変動を少なくすることができる。デコンボリューション中にキュービック位相マスク(CPM)に基づくWFCスキームを使用して、高速ボリューム撮像デバイスの拡張DOFを実現することができる。CPM位相関数は、φ(u,v)=r(u+v)で表すことができ、ここで、u及びvは空間周波数座標であって、rはフリー最適化パラメーターである。CPMは、検出対物レンズ(20×、NA=0.4)のバック焦点面に配置されている。psfは、50μmを超える深さにわたって概ね不変である。これは、CPMなしのpsf(DOFがわずか~5μmである)に比べ、明らかな拡張DOF効果を示している。CPMは位相を変調するのみであって、ロスを生じない。psfシミュレーション研究において、CPMを追加したときのpsfの深さ不変性(50μm以上)が示されている(例えば、図4を参照)。CPMを使用して生成されたpsf画像は非対称のぼやけを示したが、これはデコンボリューションによって改善することができる。
高速体積撮像デバイスの性能を評価するために、異なる軸方向位置(Zp=-25,0,及び+25μm)に位置する3つの画像面をシミュレートした。各位置は、それぞれ400、500、及び600Hzで時間的変調された。画像は2kHzでサンプリングされ、3Dフレームレートは4Hzに設定された。画像のぼやけ及びフォトンノイズも加えられた。各サンプル時点の3つの画像面の全ての合計を取り、CPMを含む500の多重化画像のシーケンスが得られた。3つの画像面の多重分離は、時間的画像シーケンスにフーリエ変換を行うことで実行した。全変動(TV)正則化アルゴリズム(繰り返し100回、TV=0.001)でリチャードソン-ルーシーデコンボリューションを使用して、3つの画像を復元した。復元された画像は主要な元の特徴を全て保持するとともに、ぼやけが抑制された。
図3に示す多重分離の概念とデコンボリューションアルゴリズムとのいずれかを使用することにより、3つの画像の主要な元の特徴が復元された。画像のぼやけはデコンボリューションによって除去することができる。図3A及び図3Bに示すアプローチは、それぞれが1つの方向(x方向)に沿って異なるコード(例えば、FDMにおける変調周波数、又はCDMにおけるPN/WHコードなど)でビームをエンコードするために利用することができる。これらのコードは、その後照射アレイの3Dスタック内の異なるライト面/ライトシートにマッピングされる。
(例4)
発明者は、マイクロ流体ポンプによって流体チャネル(四角いガラスピペット、内側の辺長が1mm)に供給される流れる蛍光ビーズを撮像することによって、CLAMの撮像速度を更に評価した。図15に示すように、概念実証実験として、1100乃至1400Hzの周波数範囲(BW)内で、合計N=24のライトシートで構成されたCLAMシステムは、図15に示すように、流れ(流速が~20μm/s)の中で、最大体積レートfvolが13vol/secで微粒子を捉えることができる。現在の装置の実際の体積レートは、実験に必要なライトシートの数(N)に応じて更に向上することができることに注意されたい。例えば、軸方向に沿った撮像FOVが半分に減少すれば(すなわち、N=12)、現在のカメラで体積レートを~25vol/sに増加することができる。
(例5)
組織の透明処理は、解剖学的構造を変更することなく、構成の一部を交換、取り除き、変更することで屈折率を均一化することにより、大きな生物学的サンプル、例えば生物全体を透明にすることである。これにより、光散乱を最小限に抑えて光学顕微鏡下での組織構造の分析が可能となるが、画像の劣化が生じる。CLAMは、組織の透明処理と併せた組織構造の3D視覚化のための先進なツールを提供する。ここでは、OPTIClearと呼ばれる最近の方法を使用して、組織の透明処理を行う。これは、界面活性剤及び変性剤を使用せず、構造及び分子の変化を最小限にするためである。OPTIClearで処理したマウス組織(回腸と腎臓)を、親油性カルボシアニン色素(DiI)で灌流し、CLAMを使用して画像化する。球面収差を利用した拡張DOFを実現するために、試料を媒体(n=1.47)に浸漬した。
発明者は、図16のaに見られるような管状上皮構造と、図16のbに見られるようなマウス腎臓の糸球体と、図16のcに見られるようなマウス腸の血管脈管構造との全てを、~6.6vol/secの体積レートで視覚化できることを実証している。図16のa乃至eに示すように、CLAMは、合計最大34の密に集まった多重化ライトシートを使用して、ビームスキャン又は対象物の作動をすることなく、全ての光セクショニングされた平面を同時に捉えることができた。更に重要なことに、生物学的撮像においてCLAMの適用性は、3D並列化を利用することで、光損傷及び/又は光退色のリスクがはるかに低いことによって更に実証されている。例で示されているこの利点は、LSFMとCLAMとのそれぞれに対応する2つの連続照射シナリオ間の光退色効果の比較によるものである(方法を参照)。図16のfに示すように、明らかに、CLAMはLSFMよりも非常に遅い光退色の点で優れている。CLAMの光退色レートが低く、そして光損傷/光毒性のリスクが低いことは、SNR及び撮像速度を犠牲にすることなく、より低い照射強度を必要とし、より長い露光時間を有する高度な並列化操作(100%の空間デューティサイクル)に由来するものである。標準的な共焦点顕微鏡は、パワー密度が数十kW/cmオーダーの集束ビームでサンプルを照射することに注意されたい。コード化されたライトシート蛍光顕微鏡に関する本発明は、約4桁小さい出力密度を有し、これは、外因性蛍光標識に関連する光退色及び細胞毒性、並びに生物学的標本への光損傷を防止する。従って、CLAMは、長期的な生物学的モニタリング応用、特に発生生物学において特に価値があると予想される。
図16のaは、6.6vol/secの体積レートでのマウス腎臓(N=34)の管状上皮構造の3つの直交標準偏差強度投影(SDIP)を使用した3D描画された画像である。体積は、230×73×65μm。bのSDIPは糸球体(矢印を参照)であり、cは3つの直交軸に沿ったマウスの腸血管脈管構造である。d-eは、b、cの画像のそれぞれの2D断面のモンタージュである。cは、単一のライトシート(SLS、N=1、赤)とライトシートアレイ(CLAM、N=40、青)との2つの照射条件の光退色の比較である。影付きの領域は、各条件の±1標準偏差を表している(SLSとCLAMとは、それぞれ20回測定と30回測定)。スケールバーは、b及びcにおいて20μmを表し、d及びeにおいては、40μmを表している。
本明細書の実施例及び説明された実施形態は、例示を目的のみとしており、それに照らして、様々な修正又は変更が当業者に提案され、本出願の精神及び範囲内に含まれることを理解されたい。
本明細書で参照又は引用された全ての特許、特許出願、仮出願、及び刊行物は、本明細書の明示的な教示と矛盾しない範囲で、全ての図及び表を含めて、参照によりその全体が本明細書に組み込まれる。

Claims (15)

  1. ライトシートベースの顕微鏡デバイスであって、
    1D光ビームを放射するように構成された光源と、
    一対の平行ミラーであって、前記1Dビームを受け取り、受け取った前記1D光ビームを前記平行ミラー間で複数回反射してインコヒーレントなライトシートのアレイを生成するように構成された、前記一対の平行ミラーと、
    前記インコヒーレントなライトシートのアレイをエンコードするように構成されたエンコーダであって、
    前記インコヒーレントなライトシートのアレイをセグメント化し、各ライトシートをそれぞれの周波数でエンコードするように構成された周波数変調器、又は
    アダマールベース又はランダムマスクを含む任意の直交エンコーディング基準によって前記インコヒーレントなライトシートのアレイをセグメント化するように構成された時間変調器、を含む、
    前記エンコーダと、
    エンコードされたライトシートを生物学的サンプルに向けさせるように構成されたレンズと、
    前記生物学的サンプルから蛍光信号を受信するように構成された画像キャプチャデバイスと、
    を備える、
    ライトシートベースの顕微鏡デバイス。
  2. 前記光源は、連続波レーザ又はパルス波レーザの少なくとも1つ、又は複数の異なる波長の、連続波レーザ又はパルス波レーザの組み合わせである、請求項1に記載のライトシートベースの顕微鏡デバイス。
  3. 前記一対の平行ミラーは、それぞれが99%を超える反射率を有する、請求項1に記載のライトシートベースの顕微鏡デバイス。
  4. 前記光源からの光ビームを拡張又は集束するように構成されたビームエキスパンダーを更に含む、請求項1に記載のライトシートベースの顕微鏡デバイス。
  5. 前記周波数変調器は、移動又は回転をする空間光変調器、又は走査光ビームによる静的な空間的にパターン化されたマスク照射の形を有するビームエンコーダである、請求項1に記載のライトシートベースの顕微鏡デバイス。
  6. 光を前記生物学的サンプルに伝送するように構成された照射対物レンズと、前記照射対物レンズに直交して配置された検出対物レンズとを更に備える、請求項1に記載のライトシートベースの顕微鏡デバイス。
  7. 画像信号を多重分離するための回路を更に備える、請求項1に記載のライトシートベースの顕微鏡デバイス。
  8. 光を前記生物学的サンプルに伝送するように構成された照射対物レンズを更に備え、
    前記画像キャプチャデバイスは、2D画像センサ又はカメラであって、前記画像キャプチャデバイスはビデオを捉えるように構成されており、
    画像キャプチャデバイスの対物レンズは、前記照射対物レンズに直交して配置されているか、又は前記照射対物レンズと一直線上に配置されている、
    請求項1に記載のライトシートベースの顕微鏡デバイス。
  9. ライトシートベースの顕微鏡デバイスであって、
    1D光ビームを放射するように構成された光源と、
    角度がずれたミラーペアであって、前記1D光ビームを受け取り、受け取った前記1D光ビームを前記角度がずれたミラーペア間で複数回反射してライトシートのアレイを生成し、前記ライトシートのアレイの密度とコヒーレンスとは、前記角度がずれたミラーペアの幾何学構成を調整することによって再構成可能である、前記角度がずれたミラーペアと、
    前記ライトシートのアレイをエンコードして並列照射を形成するように構成されたライトシートエンコーダと、
    エンコードされたライトシートを生物学的サンプルに向けさせるように構成されたレンズと、
    前記生物学的サンプルから蛍光信号を受信するように構成された画像キャプチャデバイスと、
    を備る、
    ライトシートベースの顕微鏡デバイス。
  10. 前記角度がずれたミラーペアに入射された光を整形して、円錐角を有する線集束ビームを形成するビーム整形器を更に備える、請求項9に記載のライトシートベースの顕微鏡デバイス。
  11. 投射されたエンコードされた光シートを通過させてN個の光シートのアレイを形成するように構成されたリレーレンズを更に備える、請求項9に記載のライトシートベースの顕微鏡デバイス。
  12. 前記N個の光シートのアレイの任意のサブセットを選択して前記生物学的サンプルを照射するための予め規定されたマスクを更に備え、
    前記予め規定されたマスクは、走査光ビームによる静的な空間的にパターン化されたマスク照射、又は空間光変調器を使用する能動的に制御可能なマスクを含む、
    請求項11に記載のライトシートベースの顕微鏡デバイス。
  13. 前記アレイ内の複数のライトシート間のコヒーレンス度は、ミラー間隔Sを調整することによって調整可能であり、前記ライトシートのアレイ密度は、ミラーのずれた角度αを調整することによって構成可能である、
    請求項9に記載のライトシートベースの顕微鏡デバイス。
  14. 軸方向及び横方向の両方の方向で視野(FOV)を増加させるように構成された波面コーディング/整形要素を更に備える、
    請求項9に記載のライトシートベースの顕微鏡デバイス。
  15. 前記ライトシートエンコーダは、
    前記ライトシートのアレイをセグメント化し、各ライトシートをそれぞれの周波数でエンコードするように構成された周波数変調器、又は
    アダマールベース又はランダムマスクを含む任意の直交エンコーディング基準によって前記ライトシートのアレイをセグメント化するように構成された時間変調器、を含む、
    請求項9に記載のライトシートベースの顕微鏡デバイス。
JP2021517034A 2018-09-28 2019-09-27 時間的多重化ライトシートを利用する高速体積蛍光顕微鏡法のための装置及び方法 Active JP7233129B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862738261P 2018-09-28 2018-09-28
US62/738,261 2018-09-28
PCT/CN2019/108625 WO2020063895A1 (en) 2018-09-28 2019-09-27 Apparatus and method for fast volumetric fluorescence microscopy using temporally multiplexed light sheets

Publications (2)

Publication Number Publication Date
JP2022502704A JP2022502704A (ja) 2022-01-11
JP7233129B2 true JP7233129B2 (ja) 2023-03-06

Family

ID=69952450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021517034A Active JP7233129B2 (ja) 2018-09-28 2019-09-27 時間的多重化ライトシートを利用する高速体積蛍光顕微鏡法のための装置及び方法

Country Status (5)

Country Link
US (1) US11656447B2 (ja)
JP (1) JP7233129B2 (ja)
CN (1) CN112930492B (ja)
DE (1) DE112019004851B4 (ja)
WO (1) WO2020063895A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021074213A1 (de) * 2019-10-15 2021-04-22 Georg-August-Universität Göttingen Stiftung Öffentlichen Rechts Universitätsmedizin Verfahren und vorrichtung zur kontrasterhöhung
DE102020210369B3 (de) * 2020-08-14 2021-11-25 Leica Microsystems Cms Gmbh Verfahren, Optische Vorrichtung, Lichtblattmikroskop und Nachrüstsatz zur Erzeugung von Lichtblättern mittels eines Retroreflektors
DE102020123668A1 (de) * 2020-09-10 2022-03-10 Carl Zeiss Microscopy Gmbh Verfahren zur Bildauswertung für die SIM-Mikroskopie und SIM-Mikroskopieverfahren
EP4214562A1 (en) * 2020-09-20 2023-07-26 The Regents Of The University Of California Transverse sheet illumination microscopy (transim)
CN113552710B (zh) * 2021-09-17 2022-01-18 清华大学 基于梯度变折射率透镜的多平面显微成像***
JP7244888B1 (ja) 2021-09-22 2023-03-23 国立大学法人北海道大学 光変調装置及び集光装置
WO2023183508A1 (en) * 2022-03-23 2023-09-28 The University Of North Carolina At Chapel Hill Mirror based light sheet illumination system for light microscopy
CN114965405B (zh) * 2022-05-16 2023-12-01 中国科学院生物物理研究所 超分辨单物镜光片显微成像***
CN115761713B (zh) * 2022-07-05 2023-05-23 广西北投信创科技投资集团有限公司 一种车牌识别方法、***、电子设备和可读存储介质
US20240054644A1 (en) * 2022-08-11 2024-02-15 Double Helix Optics Inc. Phase engineering and computational recovery for spatial 'omics
CN116107076B (zh) * 2023-04-17 2023-07-07 武汉慧观生物科技有限公司 一种单物镜光片三维荧光成像***
CN117562488A (zh) * 2023-11-14 2024-02-20 卓外(上海)医疗电子科技有限公司 基于波前编码技术的荧光内窥镜摄像***及成像方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837513A (zh) 2014-02-20 2014-06-04 浙江大学 一种基于差分的光片照明显微方法和装置
JP2017058352A (ja) 2015-09-18 2017-03-23 シスメックス株式会社 粒子撮像装置および粒子撮像方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0231542B1 (en) 1985-12-10 1990-09-26 High Yield Technology Particle detector for wafer processing equipment and method of detecting a particle
US7274446B2 (en) * 2001-04-07 2007-09-25 Carl Zeiss Jena Gmbh Method and arrangement for the deep resolved optical recording of a sample
JP5257605B2 (ja) * 2009-02-06 2013-08-07 横河電機株式会社 共焦点顕微鏡装置
JP2012008308A (ja) * 2010-06-24 2012-01-12 Olympus Corp 結像光学系、及びそれを用いた共焦点走査型顕微鏡
US9404869B2 (en) 2012-10-09 2016-08-02 Howard Hughes Medical Institute Multiview light-sheet microscopy
CN103411687B (zh) * 2013-06-24 2016-06-01 北京工业大学 基于三角数字全息测量空间相干性的***与方法
US20150198794A1 (en) 2014-01-14 2015-07-16 Applied Scientific Instrumentation, Inc. Light sheet generator
US10211587B2 (en) * 2015-03-31 2019-02-19 Versitech Limited Spatial chirped cavity for temporally stretching/compressing optical pulses
WO2017075275A1 (en) * 2015-10-29 2017-05-04 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems for imaging a biological sample
WO2017180680A1 (en) 2016-04-12 2017-10-19 The Board Of Regents Of The University Of Texas System LIGHT-SHEET MICROSCOPE WITH PARALLELIZED 3D lMAGE ACQUISITION
US10310246B2 (en) * 2016-09-28 2019-06-04 SCREEN Holdings Co., Ltd. Converter, illuminator, and light sheet fluorescence microscope
WO2018140773A1 (en) * 2017-01-26 2018-08-02 President And Fellows Of Harvard College Widefield, high-speed optical sectioning
WO2019006433A1 (en) * 2017-06-30 2019-01-03 Preza Chrysanthe MULTILAYER LIGHT SHEET STRUCTURED LIGHT EMITTING FLUORESCENCE MICROSCOPY SYSTEM
CN107966802A (zh) 2017-12-26 2018-04-27 清华大学 基于相机阵列的超光谱光片光场显微成像***及方法
CN108267445A (zh) 2018-01-08 2018-07-10 上海理工大学 三维双光子光片显微及光谱多模式成像装置及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103837513A (zh) 2014-02-20 2014-06-04 浙江大学 一种基于差分的光片照明显微方法和装置
JP2017058352A (ja) 2015-09-18 2017-03-23 シスメックス株式会社 粒子撮像装置および粒子撮像方法

Also Published As

Publication number Publication date
CN112930492A (zh) 2021-06-08
WO2020063895A1 (en) 2020-04-02
JP2022502704A (ja) 2022-01-11
DE112019004851T5 (de) 2021-07-29
US11656447B2 (en) 2023-05-23
CN112930492B (zh) 2023-08-01
US20210325651A1 (en) 2021-10-21
DE112019004851B4 (de) 2024-07-25

Similar Documents

Publication Publication Date Title
JP7233129B2 (ja) 時間的多重化ライトシートを利用する高速体積蛍光顕微鏡法のための装置及び方法
Wang et al. Non-invasive super-resolution imaging through dynamic scattering media
Hahamovich et al. Single pixel imaging at megahertz switching rates via cyclic Hadamard masks
JP6166776B2 (ja) 拡張ボリュームの高分解能イメージング
Ren et al. Parallelized volumetric fluorescence microscopy with a reconfigurable coded incoherent light-sheet array
US9581798B2 (en) Light sheet-based imaging device with extended depth of field
JP6622154B2 (ja) 波面制御器を用いた3次元屈折率映像撮影および蛍光構造化照明顕微鏡システムと、これを利用した方法
US10352860B2 (en) Super resolution microscopy
Isikman et al. Giga-pixel lensfree holographic microscopy and tomography using color image sensors
Wu et al. Speed scaling in multiphoton fluorescence microscopy
Calisesi et al. Compressed sensing in fluorescence microscopy
Jiang et al. Resolution-enhanced parallel coded ptychography for high-throughput optical imaging
JP2016534389A (ja) 開口走査フーリエタイコグラフィ撮像
US11237109B2 (en) Widefield, high-speed optical sectioning
US10191263B2 (en) Scanning microscopy system
JP2013531816A (ja) 微分干渉コントラストの連続した時間でエンコードされた増幅顕微鏡検査法
CN111971606A (zh) 具有高空间分辨率的时间分辨成像方法
Chang et al. Fast volumetric imaging with patterned illumination via digital micro-mirror device-based temporal focusing multiphoton microscopy
Qu et al. Recent progress in multifocal multiphoton microscopy
Sanjeev et al. Non-invasive imaging through scattering medium by using a reverse response wavefront shaping technique
Kozawa et al. Light needle microscopy with spatially transposed detection for axially resolved volumetric imaging
US11156818B2 (en) Flexible light sheet generation by field synthesis
Landry High-Speed Isotropic Resolution and Structured Illumination Using Phased Arrays In Light Sheet Fluorescence Microscopy
Vitali Selective volume illumination microscopy for compressed sensing of time lapse series
Hahamovich et al. A new spin on single-pixel imaging: spatial light modulation at megahertz switch rates via cyclic Hadamard masks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220912

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230214

R150 Certificate of patent or registration of utility model

Ref document number: 7233129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150