JP7007227B2 - 試料観察装置及び試料観察方法 - Google Patents

試料観察装置及び試料観察方法 Download PDF

Info

Publication number
JP7007227B2
JP7007227B2 JP2018074868A JP2018074868A JP7007227B2 JP 7007227 B2 JP7007227 B2 JP 7007227B2 JP 2018074868 A JP2018074868 A JP 2018074868A JP 2018074868 A JP2018074868 A JP 2018074868A JP 7007227 B2 JP7007227 B2 JP 7007227B2
Authority
JP
Japan
Prior art keywords
sample
observation
image
scanning
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018074868A
Other languages
English (en)
Other versions
JP2019184403A (ja
Inventor
諭 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2018074868A priority Critical patent/JP7007227B2/ja
Priority to US16/981,564 priority patent/US11391935B2/en
Priority to EP19785613.1A priority patent/EP3779411B1/en
Priority to PCT/JP2019/003233 priority patent/WO2019198309A1/ja
Priority to CN201980021112.6A priority patent/CN111902711B/zh
Publication of JP2019184403A publication Critical patent/JP2019184403A/ja
Application granted granted Critical
Publication of JP7007227B2 publication Critical patent/JP7007227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0072Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、試料観察装置及び試料観察方法に関する。
細胞などの3次元立体構造を持つ試料の内部を観察する手法の一つとして、SPIM(Selective Plane Illumination Microscopy)が知られている。例えば特許文献1に記載の断層像観察装置は、SPIMの基本的な原理を開示したものであり、面状光を試料に照射し、試料の内部で発生した蛍光又は散乱光を結像面に結像させて試料内部の観察画像データを取得する。
面状光を用いた他の試料観察装置としては、例えば特許文献2に記載のSPIM顕微鏡が挙げられる。この従来のSPIM顕微鏡では、試料の配置面に対して一定の傾斜角をもって面状光を照射し、面状光の照射面に対して直交する観察軸を有する観察光学系によって試料からの観察光を撮像する。
特開昭62-180241号公報 特開2014-202967号公報
しかしながら、上述した特許文献2のように、照射光学系と観察光学系とをそれぞれ試料の配置面に対して傾斜させつつ、照射光学系と観察光学系とを直交に維持する構成では、観察画像データの構成にあたって、得られた画像データを実空間上の3次元データに変換することが難しいという問題があった。
本発明は、上記課題の解決のためになされたものであり、得られた画像データを実空間上の3次元データに容易に変換できる試料観察装置及び試料観察方法を提供することを目的とする。
本発明の一側面に係る試料観察装置は、試料に面状光を照射する照射光学系と、面状光の照射面を通過するように試料を走査面内の一方向に走査する走査部と、面状光の照射によって試料で発生した観察光を結像する結像光学系と、二次元に配列された複数の画素を有し、結像光学系によって結像された観察光の光像に対応する画像データを複数取得する画像取得部と、画像取得部によって取得された複数の画像データに基づいて試料の観察画像データを生成する画像生成部と、を備え、照射光学系の光軸と走査面の法線とがなす角度をθ1とし、結像光学系の光軸と走査面の法線とがなす角度をθ2とした場合に、θ1及びθ2がいずれも80°以下であり、かつθ1及びθ2の和が100°以上であり、画像取得部において、第n画素の画像取得領域に対し、第(n+1)画素の画像取得領域が1フレームの露光時間における試料の走査量に応じて試料の走査方向にずれている。
この試料観察装置では、試料の走査面に対して結像光学系の光軸が傾斜している。このため、画像取得部では、面状光の光軸方向における断層面の画像データを順次取得することができ、高いスループットで画像データを得ることが可能となる。また、画像取得部では、隣り合う画素での画像取得領域が1フレームの露光時間における試料の走査量に応じてずれている。したがって、各画像データの位置関係の補正が簡単なものとなり、観察画像データの構成にあたって、各画像データを実空間上の3次元データに容易に変換することが可能となる。
試料観察装置では、θ1及びθ2がいずれも70°以下であり、かつθ1及びθ2の和が110°以上であってもよい。この範囲では、デフォーカスの影響を一層好適に低減することができる。
試料観察装置は、面状光の入力面及び観察光の出力面となる面を走査面として有する試料容器を更に備えていてもよい。このような試料容器を用いることにより、複数の試料を安定して走査することが可能となる。
試料観察装置は、観察画像データを解析し、解析結果を生成する解析部を更に備えていてもよい。この場合、画像生成部によって生成された観察画像データを解析部で解析するため、解析のスループットも向上させることができる。
また、本発明の一側面に係る試料観察方法は、照射光学系を用いて試料に面状光を照射する照射ステップと、面状光の照射面を通過するように試料を走査面内の一方向に走査する走査ステップと、結像光学系を用いて面状光の照射によって試料で発生した観察光を結像する結像ステップと、二次元に配列された複数の画素を有するイメージセンサを用いて、結像ステップによって結像された観察光の光像に対応する画像データを複数取得する画像取得ステップと、複数の画像データに基づいて試料の観察画像データを生成する画像生成ステップと、を備え、照射光学系の光軸と走査面の法線とがなす角度をθ1とし、結像光学系の光軸と走査面の法線とがなす角度をθ2とした場合に、θ1及びθ2をいずれも80°以下とし、かつθ1及びθ2の和を100°以上とし、画像取得ステップにおいて、第n画素の画像取得領域に対し、第(n+1)画素の画像取得領域を1フレームの露光時間における試料の走査量に応じて試料の走査方向にずらす。
この試料観察方法では、試料の走査面に対して結像光学系の光軸を傾斜させる。このため、画像取得ステップでは、面状光の光軸方向における断層面の画像データを順次取得することができ、高いスループットで画像データを得ることが可能となる。また、画像取得ステップでは、隣り合う画素での画像取得領域が1フレームの露光時間における試料の走査量に応じてずらす。したがって、各画像データの位置関係の補正が簡単なものとなり、観察画像データの構成にあたって、各画像データを実空間上の3次元データに容易に変換することが可能となる。
この試料観察装置及び試料観察方法によれば、得られた画像データを実空間上の3次元データに容易に変換できる。
試料観察装置の一実施形態を示す概略構成図である。 試料の近傍を示す要部拡大図である。 画像生成部による観察画像データの生成の一例を示す図である。 試料観察装置を用いた試料観察方法の一例を示すフローチャートである。 走査面に対する面状光の傾斜角度及び観察光の傾斜角度の範囲を示す図である。 傾斜角度と透過率との関係を示す図である。 画像取得部での画像取得の様子を示す概略図である。 画像データの位置補正の様子を示す概略図である。 一の画素の画像取得領域と視野の関係を示す図である。 面状光及び観察光の傾斜角度と視野の関係を示す図である。
以下、図面を参照しながら、本発明の一側面に係る試料観察装置の好適な実施形態について詳細に説明する。
図1は、試料観察装置の一実施形態を示す概略構成図である。この試料観察装置1は、面状光L2を試料Sに照射し、試料Sの内部で発生した観察光(例えば蛍光又は散乱光など)を結像面に結像させて試料S内部の観察画像データを取得する装置である。この種の試料観察装置1としては、スライドガラスに保持される試料Sの画像を取得し表示するスライドスキャナ、あるいはマイクロプレートに保持される試料Sの画像データを取得し、画像データを解析するプレートリーダなどがある。試料観察装置1は、図1に示すように、光源2と、照射光学系3と、走査部4と、結像光学系5と、画像取得部6と、コンピュータ7とを備えて構成されている。
観察対象となる試料Sとしては、例えばヒト或いは動物の細胞、組織、臓器、動物或いは植物自体、植物の細胞、組織などが挙げられる。試料Sは、溶液、ゲル、或いは試料Sとは屈折率の異なる物質に含まれていてもよい。
光源2は、試料Sに照射される光L1を出力する光源である。光源2としては、例えばレーザダイオード、固体レーザ光源といったレーザ光源が挙げられる。また、光源2は、発光ダイオード、スーパールミネッセントダイオード、ランプ系光源であってもよい。光源2から出力された光L1は、照射光学系3に導光される。
照射光学系3は、光源2から出力された光L1を面状光L2に整形し、整形された面状光L2を光軸P1に沿って試料Sに照射する光学系である。本実施形態では、照射光学系3の光軸P1は、面状光L2の光軸と一致している。照射光学系3は、例えばシリンドリカルレンズ、アキシコンレンズ、或いは空間光変調器などの光整形素子を含んで構成され、光源2に対して光学的に結合されている。照射光学系3は、対物レンズを含んで構成されていてもよい。照射光学系3によって形成された面状光L2は、試料Sに照射される。面状光L2が照射された試料Sでは、面状光L2の照射面Rにおいて観察光L3が発生する。観察光L3は、例えば面状光L2によって励起された蛍光、面状光L2の散乱光、或いは面状光L2の拡散反射光である。
試料Sの厚さ方向に観察を行う場合、分解能を考慮して、面状光L2は、厚さ2mm以下の薄い面状光であることが好ましい。また、試料Sの厚さが非常に小さい場合、すなわち、後述するZ軸方向の解像度以下の厚さの試料Sを観察する場合には、面状光L2の厚さは分解能に影響しない。したがって、この場合には厚さ2mmを超える面状光L2を用いてもよい。
走査部4は、面状光L2の照射面Rに対して試料Sを走査する機構である。本実施形態では、走査部4は、試料Sを保持する試料容器11を移動させる移動ステージ12によって構成されている。試料容器11は、例えばマイクロプレート、スライドガラス、シャーレ等であり、面状光L2及び観察光L3に対して透明性を有している。本実施形態では、マイクロプレートを例示する。試料容器11は、図2に示すように、試料Sが配置される複数のウェル13が一直線状(或いはマトリクス状)に配列された板状の本体部14と、本体部14の一面側においてウェル13の一端側を塞ぐように設けられた板状の透明部材15とを有している。
ウェル13内への試料Sの配置にあたっては、ウェル13内が水などの媒体で充填されていてもよい。透明部材15は、ウェル13内に配置された試料Sに対する面状光L2の入力面、及び面状光L2の照射によって試料Sで発生した観察光L3の出力面となる底面15aを有している。この底面15aは、試料Sが走査部4で走査される際の走査面Kを構成している。本実施形態では、走査面Kの法線P3に対し、照射光学系3の光軸P1が角度θ1をもって傾斜している。透明部材15の材質は、面状光L2に対する透明性を有する部材であれば特に限定はされないが、例えばガラス、石英、或いは合成樹脂である。なお、ウェル13の他端側は、外部に開放された状態となっている。試料容器11は、移動ステージ12に対して固定されていてもよい。
移動ステージ12は、図1に示すように、コンピュータ7からの制御信号に従い、予め設定された方向に試料容器11を走査する。移動ステージ12は、照射光学系3の光軸P1と交差する平面内の一方向に試料容器11を走査する。以下の説明では、移動ステージ12による試料Sの走査方向をY軸、透明部材15上の試料Sの幅方向をX軸、透明部材15上の試料Sの深さ方向をZ軸と称する。また、照射光学系3の光軸P1に沿う方向をZ’軸と称する。X軸は、照射光学系3の光軸P1と直交する平面内においてY軸に直交する軸である。Z軸は、走査面Kの法線P3方向と一致する軸である。試料Sに対する面状光L2の照射面Rは、XZ’平面内の面となる。
結像光学系5は、面状光L2の照射によって試料Sで発生した観察光L3を結像する光学系である。結像光学系5は、図2に示すように、例えば対物レンズ16及び結像レンズ等を含んで構成されている。結像光学系5の光軸P2は、観察光L3の観察軸となっている。本実施形態では、走査面Kの法線P3に対し、結像光学系5の光軸P2が角度θ2をもって傾斜している。
画像取得部6は、図1に示すように、結像光学系5によって結像された観察光L3による光像に対応する画像データを複数取得する。画像取得部6は、例えば観察光L3による光像を撮像する撮像装置を含んで構成されている。撮像装置としては、例えばCMOSイメージセンサ、CCDイメージセンサといったエリアイメージセンサが挙げられる。これらのエリアイメージセンサは、結像光学系5による結像面に配置され、例えばグローバルシャッタ或いはローリングシャッタによって光像を撮像し、二次元画像のデータをコンピュータ7に出力する。
コンピュータ7は、物理的には、RAM、ROM等のメモリ、及びCPU等のプロセッサ(演算回路)、通信インターフェイス、ハードディスク等の格納部、ディスプレイ等の表示部を備えて構成されている。かかるコンピュータ7としては、例えばパーソナルコンピュータ、クラウドサーバ、スマートデバイス(スマートフォン、タブレット端末など)などが挙げられる。コンピュータ7は、メモリに格納されるプログラムをコンピュータシステムのCPUで実行することにより、光源2及び移動ステージ12の動作を制御するコントローラ、試料Sの観察画像データを生成する画像生成部8、及び観察画像データを解析する解析部10として機能する。
コントローラとしてのコンピュータ7は、ユーザによる測定開始の操作の入力を受け、光源2、移動ステージ12、及び画像取得部6を同期させて駆動する。この場合、コンピュータ7は、移動ステージ12による試料Sの移動中、光源2が光L1を連続的に出力するように光源2を制御してもよく、画像取得部6による撮像に合わせて光源2による光L1の出力のON/OFFを制御してもよい。また、照射光学系3が光シャッタ(不図示)を備えている場合、コンピュータ7は、当該光シャッタの制御によって試料Sへの面状光L2の照射をON/OFFさせてもよい。
また、画像生成部8としてのコンピュータ7は、画像取得部6によって生成された複数の画像データに基づいて試料Sの観察画像データを生成する。画像生成部8は、例えば画像取得部6から出力された複数の画像データに基づいて試料Sの3次元データを構成し、観察画像データを生成する。画像生成部8は、ユーザによる所定の操作に従って、生成した観察画像データの格納、モニタ等への表示等を実行する。
図1及び図2に示したように、試料Sに対する面状光の照射面Rは、XZ’平面内の面であり、試料Sに対して照射面RがY軸方向に走査される。したがって、図3(a)に示すように、画像生成部8には、試料SのXZ’断面に相当する画像データ31がY軸方向に複数取得されることにより、試料Sの3次元情報が蓄積される。画像生成部8では、これらの画像データ31を用いてデータが再構成され、例えば図3(b)に示すように、試料SにおけるZ軸方向の任意の位置において任意の厚さを持ったXY断面画像が、バックグラウンドを抑えた観察画像データ32として生成される。なお、画像生成部8は、画像データ31を用いてデータの再構成を行うにあたり、XYZの3次元画像データを観察画像データ32として生成してもよい。
解析部10としてのコンピュータ7は、画像生成部8によって生成された観察画像データ32に基づいて解析を実行し、解析結果を生成する。解析部10は、ユーザによる所定の操作に従って、生成した解析結果の格納、モニタ等への表示等を実行する。なお、画像生成部8によって生成された観察画像データ32のモニタ等への表示は行わず、解析部10によって生成された解析結果のみをモニタ等に表示してもよい。
図4は、試料観察装置1を用いた試料観察方法の一例を示すフローチャートである。同図に示すように、この試料観察方法は、照射ステップ(ステップS01)、走査ステップ(ステップS02)、結像ステップ(ステップS03)、画像取得ステップ(ステップS04)、画像生成ステップ(ステップS05)、及び解析ステップ(ステップS06)を備えている。
照射ステップS01では、試料Sに面状光L2を照射する。ユーザによって測定開始の操作が入力されると、コンピュータ7からの制御信号に基づいて光源2が駆動し、光源2から光L1が出力される。光源2から出力された光L1は、照射光学系3によって整形されて面状光L2となり、試料Sに照射される。
走査ステップS02では、面状光L2の照射面Rに対して試料Sを走査する。ユーザによって測定開始の操作が入力されると、コンピュータ7からの制御信号に基づいて、光源2の駆動と同期して移動ステージ12が駆動する。これにより、試料容器11がY軸方向に一定の速度で直線的に駆動し、面状光L2の照射面Rに対してウェル13内の試料Sが走査される。
結像ステップS03では、照射面Rに対して傾斜する観察軸P2を有する結像光学系5を用い、面状光L2の照射によって試料Sで発生した観察光L3を画像取得部6の結像面に対して結像する。画像取得ステップS04では、結像光学系5によって結像された観察光L3による光像に対応する画像データを複数取得する。画像データは、画像取得部6から画像生成部8に順次出力される。
画像生成ステップS05では、複数の画像データに基づいて試料Sの観察画像データを生成する。本実施形態では、図1及び図2に示したように、照射光学系3の光軸は、走査面Kの法線に対して角度θ1だけ傾いており、試料Sに対して照射面RがY軸方向に走査される。したがって、画像生成部8には、図3(a)に示したように、画像データ31をY軸方向に複数取得することによって、試料Sの3次元情報が蓄積される。画像生成部8では、複数の画像データ31を用いてデータが再構成され、例えば図3(b)に示すように、試料SにおけるZ軸方向の任意の位置において任意の厚さを持ったXY画像データ或いはXYZの3次元画像データが試料Sの観察画像データ32として生成される。
解析ステップS06では、解析部10によって観察画像データ32を解析し、解析結果を生成する。例えば創薬スクリーニングでは、試料容器11に試料S及び試薬を入れ、観察画像データ32を取得する。そして、解析部10は、観察画像データ32に基づいて試薬を評価し、評価データを解析結果として生成する。
次に、上述した試料観察装置1の光学系の構成及び観察画像データ32の生成について、更に詳細に説明する。
試料観察装置1では、図2に示したように、走査面Kの法線P3に対し、照射光学系3の光軸P1が角度θ1をもって傾斜しており、結像光学系5の光軸P2が角度θ2をもって傾斜している。試料観察装置1では、1)θ1及びθ2がいずれも80°以下となっており、かつθ1及びθ2の和が100°以上となっている。また、2)θ1及びθ2がいずれも70°以下となっており、かつθ1及びθ2の和が110°以上となっていてもよい。1)及び2)を満たす範囲を図5に示す。同図では、1)を満たす範囲が領域Aで示され、2)を満たす範囲が領域Bで示されている。
θ1及びθ2の上限値は、例えば試料容器11の透明部材15に対する面状光L2及び観察光L3の透過率に基づいて決定されている。図6は、傾斜角度と透過率との関係を示す図である。同図では、横軸を傾斜角度θとし、縦軸を透過率としている。この図6では、試料容器11における試料Sの具体的な保持状態を考慮し、媒質Aの屈折率n1を1(空気)、媒質Bの屈折率n2を1.53(ガラス)、媒質Cの屈折率n3を1.33(水)としている。また、試料容器11の透明部材15に対する面状光L2及び観察光L3の透過率の値を、媒質B,Cの界面及び媒質A,Bの界面の透過率の積により算出している。図6には、P波の透過率、S波の透過率、及びこれらの平均値の角度依存性がプロットされている。
図6に示す結果から、傾斜角度θを変化させることで、試料容器11での面状光L2及び観察光L3の透過率が可変となることが分かる。傾斜角度θが80°以下の範囲では、少なくとも50%以上の透過率が得られることが分かる。また、傾斜角度θが70°以下の範囲では、少なくとも60%以上の透過率が得られることが分かる。したがって、上記θ1及びθ2の上限値を80°以下、好ましくは70°以下とすることが好適である。
また、図7は、画像取得部6での画像取得の様子を示す概略図である。同図の例では、画像取得部6における第n画素、第(n+1)画素、第(n+2)画素の3つの画素が、第mフレーム、第(m+1)フレーム、第(m+2)フレームの3つの期間にわたって撮像する様子を示している。各画素は、走査部4によってY軸方向に走査される試料SのXZ’断面の一部の光像を各フレームにおいて順次撮像する。
画像取得部6では、図7のハッチング表記部分に示すように、第mフレームにおいて、第n画素の画像取得領域Fn,mに対し、第(n+1)画素の画像取得領域Fn+1,mが1フレームの露光時間における試料Sの走査量Vに応じて試料Sの走査方向(Y軸方向)にずれている。同様に、第mフレームにおいて、第(n+1)画素の画像取得領域Fn+1,mに対し、第(n+2)画素の画像取得領域Fn+2,mが1フレームの露光時間における試料Sの走査量Vに応じて試料Sの走査方向(Y軸方向)にずれている。このような関係を満たすためには、照射光学系3の光軸P1と走査面Kの法線P3とがなす角度θ1及び結像光学系5の光軸P2と走査面Kの法線P3とがなす角度θ2に応じて、1フレームの露光時間における試料Sの走査量Vを設定すればよい。また、1フレームの露光時間における試料Sの走査量Vに応じて、角度θ1及び角度θ2の少なくとも一方を設定してもよい。
上記関係を満たす場合、図7のドット表記部分に示すように、第mフレームの第(n+2)画素での画像取得領域Fn,m+2、第(m+1)フレームの第(n+1)画素での画像取得領域Fn+1,m+1、及び第(m+2)フレームの第n画素での画像取得領域Fn,m+2は、Z軸方向に隣り合うこととなる。このため、画像生成部8においてデータを再構成せずに観察画像データ32を生成すると、図8(a)に示すように、各画像データ31が実空間上のXYZ’画像データとなり、観察しにくい画像データが生成されることとなる。そこで、画像生成部8において各画素の画像データ31を用いてデータを再構成する際、図8(b)に示すように、画像生成部8においてZ軸方向にnピクセル離れた画像データ31をY軸方向についてもnピクセル離れた画像データ31として補正を実行する。これにより、各画像データ31が実空間上のXYZ画像データとなり、各画像データ31を実空間上の3次元データに容易に変換することが可能となる。
図9は、一の画素の画像取得領域と視野の関係を示す図である。図9に示すように、一の画素におけるZ軸方向の解像度Zresoは、下記式(1)で表される。式(1)中のV’と走査量Vとの間には、式(2)の関係が成り立つ。
Figure 0007007227000001

Figure 0007007227000002
また、図10は、面状光及び観察光の傾斜角度と視野の関係を示す図である。同図に示す例では、結像光学系5が屈折率n1の媒質A中に位置し、面状光L2の照射面Rが屈折率n2の媒質B中に位置するものとする。ここでは、結像光学系5の視野Vを上述した1フレームの露光時間における試料Sの走査量Vと一致させている。結像光学系5の視野Vは、画素サイズと結像倍率によって定まる。これに合致するように1フレームの露光時間と走査部4による試料容器11の走査速度とを調整することにより、視野Vを1フレームの露光時間における試料Sの走査量Vと一致させることができる。視野Vの媒質Aと媒質Bの界面での距離をLとした場合、以下の式(3)~(8)の関係が成り立つ。
Figure 0007007227000003

Figure 0007007227000004

Figure 0007007227000005

Figure 0007007227000006

Figure 0007007227000007

Figure 0007007227000008
図2に示したθ1及びθ2の範囲の中からθ1及びθ2の組み合わせを選択する場合には、例えば以下の3つの条件を考慮する。
1)θdiffの値が小さい程、デフォーカスの影響が低減される。
2)Zresоの値が小さい程、観察画像データにおけるZ軸方向の解像度が向上する。
3)V’のY軸方向の成分がVと一致すると、Z軸方向に隣り合う画素の画像取得領域がY軸方向についても隣り合い、各画像データの位置関係の補正が簡単となる。
以上説明したように、試料観察装置1では、試料Sの走査面Kに対して結像光学系5の光軸P2が傾斜している。このため、画像取得部6では、面状光L2の光軸P1方向における断層面の画像データ31を順次取得することができ、高いスループットで画像データ31を得ることが可能となる。また、画像取得部6では、隣り合う画素での画像取得領域Fが1フレームの露光時間における試料Sの走査量Vに応じてずれている。したがって、各画像データ31の位置関係の補正が簡単なものとなり、観察画像データ32の構成にあたって、各画像データ31を実空間上の3次元データに容易に変換することが可能となる。
さらに、試料観察装置1では、走査面Kに対する照射光学系3の光軸P1が上記θ1,θ2の条件を満たす範囲で傾斜することで、デフォーカスの影響の低減が図られ、観察画像データ32の深さ方向の解像度を十分に向上できる。θ1及びθ2がいずれも70°以下であり、かつθ1及びθ2の和が110°以上である場合には、デフォーカスの影響を一層好適に低減することができる。
また、試料観察装置1は、面状光L2の入力面及び観察光L3の出力面となる面を走査面Kとして有する試料容器11を備えている。このような試料容器11を用いることにより、複数の試料Sを安定して走査することが可能となる。
また、試料観察装置1は、観察画像データ32を解析し、解析結果を生成する解析部10を備えている。これにより、画像生成部8によって生成された観察画像データ32を解析部10で解析できるため、解析のスループットも向上させることができる。
本発明は、上記実施形態に限られるものではない。例えば上記実施形態では、試料容器11においてウェル13の一端側を塞ぐように透明部材15が設けられているが、試料容器11に代えて、ゲル等の固形物に試料Sを保持してもよい。また、フローサイトメーターのように、透明容器内に水等の流体を流して試料Sを移動させるようにしてもよい。
また、結像光学系5及び画像取得部6を複数対配置してもよい。この場合、観察範囲を拡大できるほか、複数の異なる波長の観察光L3を観察することが可能となる。また、結像光学系5に対して複数の画像取得部6を配置してもよく、複数の結像光学系5に対して画像取得部6を配置してもよい。複数の画像取得部6は、異なる種類の光検出器あるいは撮像装置を組み合わせてもよい。光源2は、波長の異なる光を出力する複数の光源によって構成されてもよい。この場合、波長の異なる励起光を試料Sに照射することができる。
また、非点収差の緩和のため、結像光学系5にプリズムを配置してもよい。この場合、例えば対物レンズ16の後段側(対物レンズ16と画像取得部6との間)にプリズムを配置してもよい。デフォーカス対策のため、結像光学系5の光軸P2に対して画像取得部6における撮像装置の撮像面を傾斜させてもよい。この他、例えば結像光学系5と画像取得部6との間にダイクロイックミラー或いはプリズムを配置して観察光L3の波長分離を行う構成としてもよい。
1…試料観察装置、3…照射光学系、5…結像光学系、6…画像取得部、8…画像生成部、10…解析部、11…試料容器、31…画像データ、32…観察画像データ、F…画像取得領域、K…走査面、L2…面状光、L3…観察光、R…照射面、P1…照射光学系の光軸、P2…結像光学系の光軸、P3…走査面の法線、S…試料、V…走査量。

Claims (5)

  1. 試料に面状光を照射する照射光学系と、
    前記面状光の照射面を通過するように前記試料を走査面内の一方向に走査する走査部と、
    前記面状光の照射によって前記試料で発生した観察光を結像する結像光学系と、
    二次元に配列された複数の画素を有し、前記結像光学系によって結像された前記観察光の光像に対応する画像データを複数取得する画像取得部と、
    前記画像取得部によって取得された複数の前記画像データに基づいて前記試料の観察画像データを生成する画像生成部と、を備え、
    前記照射光学系の光軸と前記走査面の法線とがなす角度をθ1とし、前記結像光学系の光軸と前記走査面の法線とがなす角度をθ2とした場合に、θ1及びθ2がいずれも80°以下であり、かつθ1及びθ2の和が100°以上であり、
    前記画像取得部において、第n画素の画像取得領域に対し、第(n+1)画素の画像取得領域が1フレームの露光時間における前記試料の走査量に応じて前記試料の走査方向にずれている試料観察装置。
  2. θ1及びθ2がいずれも70°以下であり、かつθ1及びθ2の和が110°以上である請求項1記載の試料観察装置。
  3. 前記面状光の入力面及び前記観察光の出力面となる面を前記走査面として有する試料容器を更に備えた請求項1又は記載の試料観察装置。
  4. 前記観察画像データを解析し、解析結果を生成する解析部を更に備えた請求項1~3のいずれか一項記載の試料観察装置。
  5. 照射光学系を用いて試料に面状光を照射する照射ステップと、
    前記面状光の照射面を通過するように前記試料を走査面内の一方向に走査する走査ステップと、
    結像光学系を用いて前記面状光の照射によって前記試料で発生した観察光を結像する結像ステップと、
    二次元に配列された複数の画素を有するイメージセンサを用いて、前記結像ステップによって結像された前記観察光の光像に対応する画像データを複数取得する画像取得ステップと、
    前記複数の画像データに基づいて前記試料の観察画像データを生成する画像生成ステップと、を備え、
    前記照射光学系の光軸と前記走査面の法線とがなす角度をθ1とし、前記結像光学系の光軸と前記走査面の法線とがなす角度をθ2とした場合に、θ1及びθ2をいずれも80°以下とし、かつθ1及びθ2の和を100°以上とし、
    前記画像取得ステップにおいて、第n画素の画像取得領域に対し、第(n+1)画素の画像取得領域を1フレームの露光時間における前記試料の走査量に応じて前記試料の走査方向にずらす試料観察方法。
JP2018074868A 2018-04-09 2018-04-09 試料観察装置及び試料観察方法 Active JP7007227B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018074868A JP7007227B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法
US16/981,564 US11391935B2 (en) 2018-04-09 2019-01-30 Sample observation device and sample observation method
EP19785613.1A EP3779411B1 (en) 2018-04-09 2019-01-30 Sample observation device and sample observation method
PCT/JP2019/003233 WO2019198309A1 (ja) 2018-04-09 2019-01-30 試料観察装置及び試料観察方法
CN201980021112.6A CN111902711B (zh) 2018-04-09 2019-01-30 试样观察装置和试样观察方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018074868A JP7007227B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法

Publications (2)

Publication Number Publication Date
JP2019184403A JP2019184403A (ja) 2019-10-24
JP7007227B2 true JP7007227B2 (ja) 2022-01-24

Family

ID=68163985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018074868A Active JP7007227B2 (ja) 2018-04-09 2018-04-09 試料観察装置及び試料観察方法

Country Status (5)

Country Link
US (1) US11391935B2 (ja)
EP (1) EP3779411B1 (ja)
JP (1) JP7007227B2 (ja)
CN (1) CN111902711B (ja)
WO (1) WO2019198309A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021246021A1 (ja) * 2020-06-01 2021-12-09 浜松ホトニクス株式会社 試料観察装置及び試料観察方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016189013A1 (de) 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und verfahren zur strahlformung und zur lichtblattmikroskopie
JP2017058352A (ja) 2015-09-18 2017-03-23 シスメックス株式会社 粒子撮像装置および粒子撮像方法
JP2017173820A (ja) 2016-03-21 2017-09-28 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 光シート顕微鏡および光シート顕微鏡を作動するための方法
JP2017187532A (ja) 2016-04-01 2017-10-12 国立大学法人浜松医科大学 画像取得装置および画像取得方法
JP2017223706A (ja) 2017-08-22 2017-12-21 浜松ホトニクス株式会社 蛍光観察装置及び蛍光観察方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62180241A (ja) 1986-02-04 1987-08-07 Hamamatsu Photonics Kk 断層像観察装置
JP3651943B2 (ja) * 1994-12-09 2005-05-25 オリンパス株式会社 アイコン作成方法及び動画用のコマ作成方法
US7375826B1 (en) * 2004-09-23 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) High speed three-dimensional laser scanner with real time processing
US8059336B2 (en) * 2007-05-04 2011-11-15 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
JP2011017620A (ja) * 2009-07-09 2011-01-27 Nikon Corp 形状測定方法、画像処理プログラム及び観察装置
EP2488860A4 (en) * 2009-10-12 2015-12-16 Ventana Med Syst Inc MULTIMODALITY CONTRAST AND WIDE-FIELD CONTEXTING FOR IMPROVED PATHOLOGY ASSESSMENT AND MULTANALYTE DETECTION IN TISSUE
JP5673679B2 (ja) * 2010-07-01 2015-02-18 株式会社ニコン 顕微鏡
WO2012094523A2 (en) * 2011-01-06 2012-07-12 The Regents Of The University Of California Lens-free tomographic imaging devices and methods
US9030548B2 (en) * 2012-03-16 2015-05-12 Dmetrix, Inc. Correction of a field-of-view overlay in a multi-axis projection imaging system
CA2793840A1 (en) * 2012-10-02 2014-04-02 The Royal Institution For The Advancement Of Learning/Mcgill University Method and system for optical microscopy
JP6086366B2 (ja) 2013-04-05 2017-03-01 国立研究開発法人理化学研究所 顕微鏡、焦準器具、流体保持器具、及び光学ユニット
RU2678505C2 (ru) * 2014-12-22 2019-01-29 Конинклейке Филипс Н.В. Способ одновременного захвата данных изображений при многочисленных глубинах образца
JP6503221B2 (ja) * 2015-05-13 2019-04-17 オリンパス株式会社 3次元情報取得装置、及び、3次元情報取得方法
US10409052B2 (en) 2016-09-28 2019-09-10 University Of Washington Inverted light-sheet microscope

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016189013A1 (de) 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und verfahren zur strahlformung und zur lichtblattmikroskopie
JP2017058352A (ja) 2015-09-18 2017-03-23 シスメックス株式会社 粒子撮像装置および粒子撮像方法
JP2017173820A (ja) 2016-03-21 2017-09-28 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 光シート顕微鏡および光シート顕微鏡を作動するための方法
JP2017187532A (ja) 2016-04-01 2017-10-12 国立大学法人浜松医科大学 画像取得装置および画像取得方法
JP2017223706A (ja) 2017-08-22 2017-12-21 浜松ホトニクス株式会社 蛍光観察装置及び蛍光観察方法

Also Published As

Publication number Publication date
JP2019184403A (ja) 2019-10-24
CN111902711B (zh) 2023-07-18
US20210018735A1 (en) 2021-01-21
CN111902711A (zh) 2020-11-06
EP3779411A1 (en) 2021-02-17
WO2019198309A1 (ja) 2019-10-17
US11391935B2 (en) 2022-07-19
EP3779411B1 (en) 2024-04-03
EP3779411A4 (en) 2021-12-22

Similar Documents

Publication Publication Date Title
US11822066B2 (en) Sample observation device and sample observation method
JP2022132488A (ja) 装置、方法、及びプログラム
JP7007227B2 (ja) 試料観察装置及び試料観察方法
CN111971607B (zh) 试样观察装置
JP6978562B2 (ja) 試料観察装置及び試料観察方法
JP6754408B2 (ja) 試料観察装置及び試料観察方法
EP4321917A1 (en) Sample observation device and sample observation method
WO2021246021A1 (ja) 試料観察装置及び試料観察方法
JP7329113B2 (ja) 試料観察装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220106

R150 Certificate of patent or registration of utility model

Ref document number: 7007227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150