JP5594429B2 - 構造化照明顕微鏡及び構造化照明観察方法 - Google Patents

構造化照明顕微鏡及び構造化照明観察方法 Download PDF

Info

Publication number
JP5594429B2
JP5594429B2 JP2013513918A JP2013513918A JP5594429B2 JP 5594429 B2 JP5594429 B2 JP 5594429B2 JP 2013513918 A JP2013513918 A JP 2013513918A JP 2013513918 A JP2013513918 A JP 2013513918A JP 5594429 B2 JP5594429 B2 JP 5594429B2
Authority
JP
Japan
Prior art keywords
structured illumination
sound wave
propagation path
wave propagation
light beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013513918A
Other languages
English (en)
Other versions
JPWO2012153495A1 (ja
Inventor
達士 野村
日佐雄 大澤
直樹 福武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013513918A priority Critical patent/JP5594429B2/ja
Publication of JPWO2012153495A1 publication Critical patent/JPWO2012153495A1/ja
Application granted granted Critical
Publication of JP5594429B2 publication Critical patent/JP5594429B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、構造化照明顕微鏡及び構造化照明観察方法に関する。
超解像顕微鏡は、試料から射出する回折光のうち解像限界を超える高い空間周波数の情報(大角度の回折光)を結像に寄与させるために、試料面を照明する照明光束に対して変調を施し、結像光学系の試料面と略共役な位置に入射する結像光束に対して復調を施すものである(非特許文献1、特許文献1、特許文献2などを参照。)。
非特許文献1の方法では、試料面の近傍に回折格子(変調用回折格子)を配置すると共に、結像光学系の試料面と略共役な位置に、変調用回折格子と共役な格子定数を持つ回折格子(復調用回折格子)を配置している。それら2つの回折格子を共役的に移動させれば、試料の構造を回折格子のパターンと分離して観察することが可能となる。
一方、特許文献1には、構造化照明顕微鏡を蛍光観察へ適用した例が開示されている。特許文献1の方法では、可干渉光源から射出した光束を回折格子によって2つの光束に分割し、それら2つの光束を対物レンズの瞳上の互いに異なる位置へ個別に集光させる。このとき2つの光束は対物レンズから角度の異なる平行光束として射出し、試料面上で重なり合いストライプ状の干渉縞を形成する。これによって試料面が構造化照明される。そして特許文献1の方法では、構造化照明の位相をステップ状に変化させながら試料像の画像を繰り返し取得し、取得した複数の画像に対して、前述した分離に相当する演算(分離演算)と、前述した復調に相当する演算(復調演算)とを施している。
なお、構造化照明の位相をステップ状に変化させる方法としては、楔型プリズムを前述した2つの光束の一方に挿入して光軸と垂直な方向へステップ移動させる方法や、格子線と垂直な方向へ回折格子をステップ移動させる方法や、構造化照明のピッチ方向へ試料をステップ移動させる方法などがある。
米国特許発明第6239909号公報 米国再発行特許発明第38307号明細書
W. Lukosz, "Optical systems with resolving powers exceeding the classical limit. II" Journal of the Optical Society of America, Vol. 37, PP.932, 1967 Proceedings of the SPIE - The International Society for Optical Engineering (2000) vol.3919, p.141-50
しかしながら、光学素子をステップ移動させる場合、移動していた光学素子を適当な位置で静止させるのに一定の時間を要するので、特許文献2の方法において必要な画像を全て取得するまでの所要時間を短縮することは難しい。特に、観察対象である試料が生体標本である場合は、試料の構造が時々刻々と変化する可能性があるため、画像取得はできるだけ高速に行われるべきである。
また、干渉縞を利用した技術(特許文献1)の応用例として、試料の面内方向と深さ方向との双方に亘って超解像効果を得るために、干渉縞に寄与する光束を3光束化する技術(非特許文献2)も提案された。3光束を利用すれば、構造化照明のストライプパターンを面内方向だけでなく深さ方向にも発生させることができるからである。但し、その場合は前述した分離演算に必要な画像の枚数が多くなるので、画像取得を高速化する必要性は特に高いと考えられる。
そこで本発明は、構造化パターンの高速切り換えと構造化方向の拡張とが可能な構造化照明顕微鏡及び構造化照明観察方法を提供することを目的とする。
本発明の構造化照明顕微鏡の一態様は、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手段と、前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、前記被観察物からの観察光束を検出器に結像する結像光学系と、前記射出光束の強度、前記観察光束の強度、前記検出器に搭載されたシャッタの少なくとも一つを、前記駆動信号の周波数の1/N倍の周波数を有した変調信号で変調することで、前記検出器が取得する像のコントラストを制御する制御手段と(ただし、Nは1以上の整数)、を備える。
本発明の構造化照明観察方法の一態様は、光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器を用意する光変調手順と、前記音波伝搬路の媒質を振動させるための駆動信号を前記音波空間光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手順と、前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折成分を干渉させ、その干渉縞を被観察物に形成する照明手順と、前記被観察物からの観察光束を検出器に結像する結像手順と、前記射出光束の強度、前記観察光束の強度、前記検出器に搭載されたシャッタの少なくとも一つを、前記駆動信号の周波数の1/N倍の周波数を有した変調信号で変調することで、前記検出器が取得する像のコントラストを制御する制御手順と(ただし、Nは1以上の整数)、を含む。
第1の実施形態の構造化照明顕微鏡システムの構成図である。 図2(A)は、超音波空間光変調器3の超音波伝搬路R内に生起する超音波定在波のパターンを示す模式図であり、図2(B)は、それに対応する2光束構造化照明のパターン(明部及び暗部の配置)を示す模式図である。図2(C)〜(E)は、波本数が変化したときの縞本数の変化を説明する図である。 図3(A)は、長さLと距離Dとの関係を説明する図であり、図3(B)は、スポットSに対応する構造化照明S’の概念図であり、図3(C)は、構造化照明S’の縞本数のずれを説明する図である。 超音波空間光変調器3の構成図である。 制御装置19の基本構成(駆動回路19A)を説明する図である。 2次元モードにおけるCPUの動作フローチャートである。 超音波伝搬路の屈折率分布の時間変化を示す図である。 (A)は、超音波定在波のパターンを示す模式図であり、(B)は、2光束構造化照明のパターンを示す模式図である。 (A)は、超音波定在波のパターンを示す模式図であり、(B)は、3光束構造化照明のパターンを示す模式図である。 3次元モードに関わる制御装置19の構成を説明する図である。 (A)は、第1出力端子から出力される正弦信号の波形を示す図であり、(B)は、第2出力端子から出力されるパルス信号の波形を示す図である。 超音波定在波の腹aの屈折率の時間変化波形(実線)と、入射光の強度の時間変化波形(点線)とを比較する図である。(A)は、位相差ΔΨがπ/2の偶数倍であるときの波形であり、(B)は、位相差ΔΨがπ/2の奇数倍以外であるときの波形であり、(C)は、位相差ΔΨがπ/2の奇数倍であるときの波形である。 (A)は、図7における定在波の腹aの屈折率の時間変化波形であり、(B)は、入射光の強度の時間変化波形である(但し、N=3の場合)。 D:L=1:6の設定下における位相シフトピッチを説明する図である。 超音波空間光変調器3の変形例である。
[第1の実施形態]
以下、本発明の第1の実施形態として構造化照明顕微鏡システムを説明する。
図1は、本実施形態の構造化照明顕微鏡システムの構成図である。図1に示すとおり本システムには、可干渉光源1と、光強度変調器30と、コレクタレンズ2と、超音波空間光変調器3と、レンズ4と、マスク切り換え機構5Aと、レンズ6と、視野絞り5Bと、レンズ7と、励起フィルタ8aと、ダイクロイックミラー8と、蛍光フィルタ8bと、第二対物レンズ11と、撮像装置(CCDカメラなど)12と、制御装置19と、画像記憶・演算装置(コンピュータなど)13と、画像表示装置14と、対物レンズ9とが配置される。なお、図1中に符号10で示すのは、不図示のステージ上に載置された標本であり、ここでは、予め蛍光染色されていると仮定する。
可干渉光源1は、標本10の励起波長と同じ波長の光を出射する。可干渉光源1から射出した光は、光強度変調器30を通過し、コレクタレンズ2によって平行光に変換され、超音波空間光変調器3へ入射する。
光強度変調器30は、可干渉光源1から射出した光の波面形状を変化させることなく、その光の強度のみを時間方向にかけて変調する光強度変調器である。この光強度変調器30には、例えば、超音波進行波を発生させる超音波空間光変調器、カー効果を利用したEOモジュレータ、ポッケルス効果を利用したEOモジュレータ、減光フィルタなどを適用することができる。この光強度変調器30は、制御装置19によって制御される。
先ずは、簡単のため、光強度変調器30はオフされていると仮定する。この場合、超音波空間光変調器30へ入射する光は、一定の強度を保つことになる。
超音波空間光変調器3は、光軸と垂直な方向に伝搬する超音波伝搬路Rを有しており、その超音波伝搬路Rに超音波の平面定在波(以下、「超音波定在波」という。)を生起させることにより、超音波伝搬路Rに正弦波状の屈折率分布を付与する。このような超音波空間光変調器3は、入射光に対して位相型回折格子の働きをし、その光を各次数の回折光(0次回折光、+1次回折光、−1次回折光、+2次回折光、−2次回折光、…)に分岐する。なお、図1では、代表して0次回折光及び±1次回折光のみを描いた。図1において実線で示したのが0次回折光であり、点線で示したのが±1次回折光である。超音波空間光変調器3から射出した各次数の回折光は、レンズ4を通過した後に瞳共役面を形成する。
ここで、瞳共役面は、レンズ4の焦点位置(後ろ側焦点位置)であって、後述する対物レンズ9の瞳P(±1次回折光が集光する位置)に対してレンズ7、レンズ6を介して共役な位置をいう(なお、「共役な位置」の概念には、当業者が対物レンズ9、レンズ6、7の収差、ビネッティング等、設計上必要な事項を考慮して決定した位置も含まれる。)。
マスク切り換え機構5Aは、その瞳共役面の近傍に配置され、瞳共役面へ挿入されるマスクを0次光カットマスク5A0と高次光カットマスク5Ahとの間で切り換える機構である。
0次光カットマスク5A0には、瞳共役面へ入射した各次数の回折光のうち、0次回折光及び2次以降の高次回折光をカットし、かつ、±1次回折光のみ(2光束のみ)を通過させる機能がある。0次光カットマスク5A0は、基板に複数の開口部又は透過部を形成したものであり、光路挿入時における開口部又は透過部の位置は、瞳共役面において±1次回折光が通過する領域に対応する。
高次カットマスク5Ahには、瞳共役面へ入射した各次数の回折光のうち、2次以降の高次回折光をカットし、かつ、±1次回折光及び0次回折光のみ(3光束のみ)を通過させる機能がある。高次カットマスク5Ahは、基板に複数の開口部又は透過部を形成したものであり、光路挿入時における開口部又は透過部の位置は、瞳共役面において±1次回折光及び0次回折光が通過する領域に対応する。
なお、一般に、0次回折光の強度は±1次回折光の強度と比較して大きくなる可能性が高いが、本システムでは、0次回折光と±1次回折光との双方を照明に利用するため、標本10に向かう0次回折光と+1次回折光と−1次回折光との強度比は1:1:1になるべく近づけられていることが望ましい。このため、例えば、高次カットマスク5Ahのうち0次回折光の通過する領域には、減光フィルタの機能を有したクロム膜などが設けられていてもよい。また、減光フィルタの利用に併せて、0次回折光と+1次回折光と−1次回折光との強度比が1:1:1により近づくよう、超音波空間光変調器3に印加される電力も予め最適化されていてもよい。
ここでは図1に示すとおり0次光カットマスク5A0及び高次光カットマスク5Ahのうち前者が光路に挿入されていると仮定して説明する。この場合、マスク切り換え機構5Aを通過する回折光は、±1次回折光のみとなる。
マスク切り換え機構5Aの0次光カットマスク5A0を通過した±1次回折光によって、レンズ6を介して標本10の共役面が形成される。この標本10の共役面の近傍には視野絞り5Bが配置されており、これは標本10への照明領域(観察領域)のサイズを制御する機能を有している。
視野絞り5Bを通過した±1次回折光は、レンズ7を通過した後に励起フィルタ8aを介してダイクロイックミラー8へ入射し、そのダイクロイックミラー8を反射する。ダイクロイックミラー8を反射した±1次回折光は、対物レンズ9の瞳P上の互いに異なる位置にそれぞれスポットを形成する。なお、瞳P上に±1次回折光が形成する2つのスポットの形成位置は、瞳Pの概ね最外周部であって、対物レンズ9の光軸に関して互いに対称な位置である。この場合、対物レンズ9の先端から射出する±1次回折光は、対物レンズ9のNAに相当する角度で互いに反対の方向から標本10を照射する。なお、後述するように印加電圧の周波数を微小に変更させた結果、回折格子のピッチ(1周期)が微小に変化した場合には、2つのスポットの形成位置は極めて微小に変化する。
ここで、標本10に照射されるこれらの±1次回折光は、可干渉光源1から射出した互いに可干渉な光である。よって、これらの±1次回折光によると、標本10には縞ピッチが一様なストライプ状の干渉縞が投影される。つまり、標本10への照明パターンは、縞構造を持った照明パターンとなる。このように縞構造を持った照明パターンによる照明が、構造化照明である。構造化照明された標本10の蛍光領域(前述した蛍光染色された領域)では蛍光物質が励起され、蛍光を発する。
なお、この構造化照明は、±1次回折光の2光束のみからなるので、標本10の面内方向にかけては構造化されているが、標本10の深さ方向(光軸方向)にかけては構造化されていない。以下、このような構造化照明を「2光束構造化照明」と称す。
この2光束構造化照明によると、2光束構造化照明の構造周期と蛍光領域の構造周期(標本の構造周期に相当)との差に相当するモアレ縞が標本10に現れる。このモアレ縞上では、蛍光領域の構造の空間周波数が変調されており、実際よりも低い空間周波数にシフトしている。したがって2光束構造化照明によると、蛍光領域の構造のうち空間周波数の高い成分を示す蛍光、すなわち対物レンズ9の解像限界を超える大角度で射出した蛍光までもが対物レンズ9へ入射できる。
標本10から射出し対物レンズ9へ入射した蛍光は、対物レンズ9により平行光に変換された後にダイクロイックミラー8へ入射する。その蛍光は、ダイクロイックミラー8を透過した後、蛍光フィルタ8bを介して第二対物レンズ11を通過することにより撮像装置12の撮像面上に標本10の蛍光像を形成する。但し、この蛍光像には、標本10の蛍光領域の構造情報だけでなく2光束構造化照明の構造情報も含まれており、この蛍光像では、標本10の蛍光領域の構造の空間周波数は変調されたままである(つまり実際よりも低い空間周波数にシフトしたままである)。
制御装置19は、超音波空間光変調器3の超音波伝搬路Rに生起する超音波定在波を制御することにより、2光束構造化照明のパターンを変化させる(詳細は後述。)。そして、制御装置19は、2光束構造化照明のパターンが各状態にあるときに撮像装置12を駆動して複数種類の画像データを取得し、それら複数種類の画像データを順次に画像記憶・演算装置13へ送出する。なお、撮像装置12による1フレーム当たりの電荷蓄積時間は、例えば1/30秒、1/60秒などである。
画像記憶・演算装置13は、取り込まれた複数種類の画像データに対して線形演算からなる分離演算を施すことにより、構造化照明の構造情報の除去された画像データを取得する。また、画像記憶・演算装置13は、構造情報の除去された画像データに対して復調係数の乗算からなる復調演算を施すことにより、蛍光領域の構造情報の空間周波数が実際の空間周波数に戻された復調画像データを取得し、それを画像表示装置14へ送出する。なお、具体的な演算には、例えばUS8115806に開示された方法を用いることができる。これによって画像表示装置14には、対物レンズ9の解像限界を超えた解像画像(2次元超解像画像)が表示される。
図2(A)は、超音波伝搬路R内に生起する超音波定在波のパターンを示す模式図であり、図2(B)は、それに対応する2光束構造化照明のパターン(明部及び暗部の配置)を示す模式図である(但し、実際には、2光束構造化照明のパターンに寄与するのは、超音波定在波のパターンうち有効な光束が通過する領域のパターンのみである。)。また、図2(A)では、説明をわかりやすくするため超音波定在波の波本数を実際よりも少ない「2」とした。
図2(A)に示すとおり、超音波定在波の波本数(位相変化2πで波本数1本とカウントする)が「2」であるときには、図2(B)に示すとおり、±1次光の干渉による2光束構造化照明の縞本数(明部又は暗部の本数)は「4」となる。つまり、2光束構造化照明の縞本数は、それに対応する超音波定在波の波本数の2倍となる。
また、例えば図2(C)、(D)、(E)に示すとおり、超音波定在波の波本数を2、(2+1/2)、3のように1/2ずつ3通りに変化させたならば(即ち、超音波定在波の波長を変化させたならば)、それに対応する2光束構造化照明の縞本数は4、5、6のように1ずつ3通りに変化する。
ここで、図2中に白矢印で示すとおり超音波伝搬路Rの一端から1/2だけずれた部分のみに着目すると、その着目部分に対応する2光束構造化照明の位相は、「π」ずつ3通りに変化している。
また、図2中に黒矢印で示すとおり超音波伝搬路Rの一端から1/3だけずれた部分のみに着目すると、その着目部分に対応する2光束構造化照明の位相は、「2π/3」ずつ3通りに変化している。
よって、仮に、超音波伝搬路Rに対する光の入射領域を白矢印で示した位置のみに制限したならば、超音波定在波の波本数を1/2ずつ変化させるだけで、2光束構造化照明の位相を「π」ずつ変化させることができる。
また、仮に、超音波伝搬路Rに対する光の入射領域を黒矢印で示した位置のみに制限したならば、超音波定在波の波本数を1/2ずつ変化させるだけで、2光束構造化照明の位相を「2π/3」ずつ変化させることができる。
ここで、2光束構造化照明の構造情報を除去するための前述した分離演算は、2光束構造化照明の位相の異なる少なくとも3つの画像データが必要である。その場合、2光束構造化照明の1ステップ当たりの位相シフト量は、例えば2π/3とすればよい。
この時、2光束構造化照明により2次元超解像画像を生成するためには、図3(A)に示すとおり、超音波伝搬路Rへ入射する光のスポット(有効径)Sの中心から超音波伝搬路Rの一端までの距離Dは、超音波伝搬路Rの伝搬方向の長さLの1/3倍に設定すればよい(D=L/3)。
但し、超音波伝搬路Rに生起する超音波定在波の波本数が1/2だけ変化すると、スポットSの内部に生起する超音波定在波の波本数も少しずれるので、図3(B)に示すとおりスポットSに対応する2光束構造化照明S’の縞本数も少しずれてしまう(但し、図3に示した波パターン及び縞パターンは模式図であって、波本数及び縞本数は実際の本数に一致しているとは限らない。)。
そこで、超音波伝搬路Rの長さLは、2光束構造化照明S’の縞本数のズレがほぼゼロとみなせるよう、スポットSの径φに比べて十分に大きく設定されるものとする。
具体的には、超音波伝搬路Rの長さLと、スポットSの径φとは、2光束構造化照明S’の縞本数のズレの許容量δに対して、φ/L<δの関係を満たすように設定される。
例えば、2光束構造化照明S’の縞本数のズレを0.15本以下に抑える必要があったならば、その関係式は、φ/L≦0.15となる。
本実施形態では、スポットSの径φを4mmとし、超音波伝搬路Rの長さLを30mmと仮定し、適正周波数で縞本数を制御すれば、図3(C)に示すとおり、2光束構造化照明S’の両端における縞のズレは、0.068本分程度となる。そのため、2光束構造化照明S’の全域における縞本数のズレは0.068+0.068=0.13本程度に抑えられる。
なお、図3(C)において点線で示したのは2光束構造化照明S’の理想パターン(縞本数のズレがゼロである場合のパターン)であり、実線で示したのは2光束構造化照明S’の実際のパターンであるが、わかりやすくするために両者のズレを強調して描いた。
なお、以上の説明では、超音波光変調器3の超音波伝搬路R上でスポットSの径φは、φ/L<δの関係を満たしたが、必ずしも満たしていなくてもよく、例えば、超音波光変調器3から射出した±1次回折光を視野絞り5Bで絞った場合、超音波伝搬路Rの長さL、標本面10における照明領域(観察領域、視野領域)の直径φ’、標本面10から超音波光変調器3への光学倍率mは、構造化照明S’の縞本数のズレの許容量δに対して、φ’×m/L<δの関係を満たすように設定されればよい。
図4は、超音波空間光変調器3の構成を詳しく説明する図である。図4(A)は、超音波空間光変調器3を正面(光軸方向)から見た図であり、図4(B)は、超音波空間光変調器3を側面(光軸に垂直な方向)から見た図である。
図4に示すように、超音波空間光変調器3は、音響光学媒体15を備え、その音響光学媒体15は、互いに対向する平行な側面対を3対有した角柱状に整えられている。これら3対の側面対の各々の一方に3つのトランスデューサ18a、18b、18cが個別に設けられており、これによって1つの音響光学媒体15内に3つの超音波伝搬路が形成される。以下、トランスデューサ18aの形成面とそれに相対する側面15aとの間に形成される超音波伝搬路を「超音波伝搬路Ra」とおき、トランスデューサ18bの形成面とそれに相対する側面15bとの間に形成される超音波伝搬路を「超音波伝搬路Rb」とおき、トランスデューサ18cの形成面とそれに対応する側面15cとの間に形成される超音波伝搬路を「超音波伝搬路Rc」とおく。
なお、音響光学媒体15の材質は、例えば石英ガラス、テルライトガラス、重フリントガラス、フリントガラスなどであり、3対の側面対及び2つの底面は、それぞれ十分な精度で研磨されている。
ここで、3つの超音波伝搬路Ra、Rb、Rcの各々の長さLは共通であると仮定する(L=30mm)。また、その長さLは前述したスポットSの径φに対して前述した条件を満たしている。また、3つの超音波伝搬路Ra、Rb、Rcは、各々の一端からL/3だけ離れた位置において60°ずつ異なる角度で交差している。その交差位置に前述したスポットSの中心が位置する。
トランスデューサ18aは、圧電体16aと、圧電体16aの上下面に個別に形成された2つの電極17aとを有した超音波トランスデューサであり、そのうち一方の電極17aを介して音響光学媒体15の1つの側面に接合されている。このトランスデューサ18aの2つの電極17aの間に高周波の正弦波状の交流電圧が印加されると、圧電体16aが厚み方向に振動し、超音波伝搬路Ra内を平面超音波が往復する。2つの電極17aの間に印加される交流電圧の周波数が特定の周波数(適正周波数)に設定された場合、その超音波は定在波となるので、超音波伝搬路の屈折率には、超音波の伝搬方向にかけて正弦波状の分布が付与される。これによって、超音波伝搬路Raは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Raの伝搬方向を、「第1方向」と称す。
また、トランスデューサ18bも、トランスデューサ18aと同じ構成をしており、圧電体16bと、圧電体16bの上下面に個別に形成された2つの電極17bとを有し、そのうち一方の電極17bを介して音響光学媒体15の1つの側面に接合されている。
したがって、トランスデューサ18bの2つの電極17bの間に適正周波数の交流電圧が印加されると、超音波伝搬路Rb内を平面超音波が伝搬するので、超音波伝搬路Rbは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Rbの伝搬方向を、「第2方向」と称す。この第2方向は、第1方向に対して60°の角度を成す。
また、トランスデューサ18cも、トランスデューサ18aと同じ構成をしており、圧電体16cと、圧電体16cの上下面に個別に形成された2つの電極17cとを有し、そのうち一方の電極17cを介して音響光学媒体15の1つの側面に接合されている。
したがって、トランスデューサ18cの2つの電極17cの間に適正周波数の交流電圧が印加されると、超音波伝搬路Rc内を平面超音波が伝搬するので、超音波伝搬路Rcは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、この超音波伝搬路Rcの伝搬方向を、「第3方向」と称す。この第3方向は、第1方向に対して−60°の角度を成す。
図5は、制御装置19の基本構成を説明する図である。図5中に符号19Aで示すのは、制御装置19に備えられた駆動回路19Aであり、高周波交流電源19A−1と切り換えスイッチ19A−2とを備える。
高周波交流電源19A−1は、超音波空間光変調器3へ供給されるべき交流電圧を生成する。その交流電圧の周波数は、制御回路19内のCPUによって適正周波数(例えば、数十MHz〜100MHz内の何れかの値)に制御される。
よって、2光束構造化照明S’の位相シフト量を例えば−2π/3、0、+2π/3の3通りにステップ状に変化させる場合、CPUは、その交流電圧の周波数を、周波数の異なる3通りの適正周波数f−1、f、f+1の間で切り換えればよい。
例えば、適正周波数fは、長さLが30mmである超音波伝搬路Ra、Rb、Rcに100本の超音波定在波(それに対応する2光束構造化照明の縞本数は200)を生起させるための適正周波数(80MHz)とする。この適正周波数fでは、2光束構造化照明S’の位相シフト量はゼロである。
この場合、適正周波数f−1は、長さLが30mmである超音波伝搬路Ra、Rb、Rcに(100−1/2)本の超音波定在波(それに対応する2光束構造化照明の縞本数は199)を生起させるための適正周波数(79.946MHz)となる。この適正周波数f−1では、2光束構造化照明S’の位相シフト量は−2π/3となる。
また、適正周波数f+1は、長さLが30mmである超音波伝搬路Ra、Rb、Rcに(100+1/2)本の超音波定在波(それに対応する2光束構造化照明の縞本数は201)を生起させるための適正周波数(80.054MHz)となる。この適正周波数f+1では、2光束構造化照明S’の位相シフト量は+2π/3となる。
切り換えスイッチ19A−2は、高周波交流電源19A−1と超音波空間光変調器3との間に配置され、超音波空間光変調器3の側の接続先を、超音波空間光変調器3の3つのトランスデューサ18a、18b、18cの間で切り換えることが可能である。スイッチ19A−2の接続先は、制御装置19内のCPUによって適宜に切り換えられる。
切り換えスイッチ19A−2の接続先がトランスデューサ18aの側であるとき、交流電圧はトランスデューサ18aの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Raのみが有効となる。
また、切り換えスイッチ19A−2の接続先がトランスデューサ18bの側であるとき、交流電圧はトランスデューサ18bの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Rbのみが有効となる。
また、切り換えスイッチ19A−2の接続先がトランスデューサ18cの側であるとき、交流電圧はトランスデューサ18cの2つの電極の間に印加されるので、3つの超音波伝搬路Ra、Rb、Rcのうち超音波伝搬路Rcのみが有効となる。
このように、有効な超音波伝搬路を3つの超音波伝搬路Ra、Rb、Rcの間で切り換えれば、2光束構造化照明S’の方向を第1方向に対応する方向と、第2方向に対応する方向と、第3方向に対応する方向との間で切り換えることができる。
したがって、以上の超音波空間光変調器3及び制御装置19を適切に駆動すれば、詳細な2次元超解像画像を生成することができる。具体的には、以下のとおりである。
図6は、CPUの動作フローチャートである。以下、各ステップを順に説明する。
ステップS11:CPUは、切り換えスイッチ19A−2の接続先を1番目のトランスデューサ(トランスデューサ18a)の側に設定することにより、2光束構造化照明S’の方向を第1方向に対応する方向に設定する。
ステップS12:CPUは、高周波交流電源19A−1が生成する交流電圧の周波数を、適正周波数f−1に設定することにより、2光束構造化照明S’の位相シフト量を−2π/3に設定する。
ステップS13:CPUは、この状態で撮像装置12を駆動して画像データI−1を取得する。
ステップS14:CPUは、高周波数交流電源19A−1が生成する交流電圧の周波数を、適正周波数fに設定することにより、2光束構造化照明S’の位相シフト量をゼロに設定する。
ステップS15:CPUは、この状態で撮像装置12を駆動して画像データIを取得する。
ステップS16:CPUは、高周波数交流電源19A−1が生成する交流電圧の周波数を、適正周波数f+1に設定することにより、2光束構造化照明S’の位相シフト量を+2π/3に設定する。
ステップS17:CPUは、この状態で撮像装置12を駆動して画像データI+1を取得する。
ステップS18:CPUは、2光束構造化照明S’の方向が前述した3方向の全てに設定済みであるか否かを判別し、設定済みで無い場合はステップS19へ移行し、設定済みであった場合はフローを終了する。
ステップS19:CPUは、切り換えスイッチ19A−2の接続先を切り換えることにより2光束構造化照明S’の方向を切り換えてから、ステップS12へ移行する。
以上のフローによると、第1方向に関する画像データIa−1、Ia、Ia+1と、第2方向に関する画像データIb−1、Ib、Ib+1と、第3方向に関する画像データIc−1、Ic、Ic+1とが取得される。これらの画像データは、画像記憶・演算装置13へ取り込まれる。
画像記憶・演算装置13は、第1方向に関する3つの画像データIa−1、Ia、Ia+1に基づき第1方向に亘る復調画像データIa’を取得し、第2方向に関する3つの画像データIb−1、Ib、Ib+1に基づき第2方向に亘る復調画像データIb’を取得し、第3方向に亘る3つの画像データIc−1、Ic、Ic+1に基づき第3方向に亘る復調画像データIc’を取得すると、それら3つの復調画像データIa’、Ib’、Ic’を波数空間上で合成してから再び実空間に戻すことにより、第1方向、第2方向、第3方向に亘る超解像画像の画像データIを取得し、その画像データIを画像表示装置14へ送出する。この超解像画像は、標本10の面内方向の3方向に亘る2次元超解像画像である。
以上、本システムでは、光強度変調器30をオフし、かつ0次光カットマスク5A0を瞳共役面へ挿入することにより、±1次回折光からなる構造化照明(すなわち2光束構造化照明)を実施することができる。
よって、本システムでは、この2光束構造化照明のパターンを切り換えながら複数の画像データを取得することにより、標本10の面内方向に亘る超解像画像(すなわち2次元超解像画像)の生成が可能となる。以下、2次元超解像画像を生成するための本システムのモードを「2次元モード」と称す。
さらに、本システムでは、光強度変調器30をオンし、かつ、高次光カットマスク5Ahを瞳共役面へ挿入することにより、±1次回折光及び0次回折光からなる構造化照明(すなわち3光束構造化照明)を実施することができる。
よって、本システムでは、この3光束構造化照明のパターンを切り換えながら複数の画像データを取得することにより、標本10の面内方向及び光軸方向に亘る超解像画像(すなわち3次元超解像画像)を生成することができる。以下、3次元超解像を生成するための本システムのモードを「3次元モード」と称す。
以下、3次元モードを詳しく説明する。なお、ここでは上述した2次元モードとの相違点のみを説明する。
3次元モードにおいて標本10へ投影される3光束構造化照明は、±1次回折光及び0次回折光の3光束からなるので、標本10の面内方向にかけて構造化されているだけでなく、光軸方向にかけても構造化されている。しかも、標本10の面内における3光束構造化照明のパターンは、標本10の面内における2光束構造化照明のパターンとは若干相違する。以下、それを詳しく説明する。
先ず、超音波空間光変調器3には前述したとおり超音波定在波が生起しており、その超音波定在波のパターン(=超音波伝搬路の屈折率分布)の瞬時値は、図7の上段から下段に向かうとおりに時間変化している。
図7では、超音波伝搬路の屈折率分布がフラットとなる瞬間の時刻tをt=0とおき、屈折率分布の時間変化周期をTとおいた。因みにこの周期Tは、超音波空間光変調器3に供給される交流電圧の周波数の逆数に相当する。以下、t=0〜T/2の期間を「屈折率変化の前半期」と称し、t=T/2〜Tの期間を「屈折率変化の後半期」と称す。また、図7において丸印を付したとおり超音波伝搬路において屈折率が不変の部分を「節」と称し、屈折率の変化する部分を「腹」と称す。
ここで、図7における腹aに着目すると、屈折率変化の前半期には、腹aの屈折率は節の屈折率と比較して高くなる(媒質が密となる)のに対して、屈折率変化の後半期には、腹aの屈折率は節の屈折率と比較して低くなる(媒質が粗となる)のがわかる。
一方、図7において腹aに隣接する腹bに着目すると、屈折率変化の前半期には、腹bの屈折率は節の屈折率と比較して低くなる(媒質が粗となる)のに対して、屈折率変化の後半期には、腹bの屈折率は節の屈折率と比較して高くなる(媒質が密となる)のがわかる。
したがって、超音波空間光変調器3を位相型回折格子とみなすと、その位相型回折格子は、図8(A)又は図9(A)に示すとおり、屈折率変化の前半期と後半期との間で位相分布が反転している。つまり、その位相型回折格子は、屈折率変化の前半期と後半期との間で格子半ピッチ分だけ横ズレしている。
ここで、2光束構造化照明は2光束干渉縞なので、2光束構造化照明の標本10上の縞本数は、図8(B)に模式的に示すとおり、それに対応する位相型回折格子の格子数の2倍であった。よって、位相型回折格子が図8(A)のとおり横シフトすると、2光束構造化照明のパターンは、図8(B)のとおり変化する。すなわち、2光束構造化照明は、屈折率変化の前半期と後半期との間で縞1ピッチ分だけ横ズレしている。
したがって、2光束構造化照明を周期Tより十分に長い期間に亘って時間積分すると、2光束構造化照明の各時点のパターンは強められ、高コントラストなストライプ画像となる。この場合、2光束構造化照明は、撮像装置12によって画像化することが可能である。
一方、3光束構造化照明は3光束干渉縞なので、3光束構造化照明の標本10上の縞本数は、図9(B)に模式的に示すとおり、それに対応する位相型回折格子の格子数の1倍となる。よって、位相回折格子が図9(A)のとおり横シフトすると、3光束構造化照明のパターンは、図9(B)のとおり変化する。すなわち、3光束構造化照明は、屈折率変化の前半期と後半期との間で縞半ピッチ分だけ横ズレしている。
したがって、3光束構造化照明を周期Tより十分に長い期間に亘って時間積分すると、3光束構造化照明の各時点のパターンは打ち消し合い、コントラストの無い一様な画像(グレーの画像)となってしまう。この場合、3光束構造化照明は、撮像装置12によって画像化できない。
本システムにおいて光強度変調器30(図1参照)が備えられたのは、3次元モードにおけるこの問題(コントラスト低下の問題)を解決するためである。
図10は、3次元モードに関わる制御装置19の構成を説明する図である。図10に示すとおり、制御装置19は、前述した交流電源19A−1や切り換えスイッチ19A−2の他に、電源回路19Cや位相調整回路19Dなどを備えている。
電源回路19Cは、第1出力端子と第2出力端子とを有しており、第1出力端子は、前述した交流電圧(正弦信号)を超音波空間光変調器3の側へ供給するための端子であり、第2出力端子は、パルス電圧(パルス信号)を光強度変調器30の側へ供給するための端子である。
この電源回路19Cは、第2出力端子から出力されるパルス信号の周波数を、第1出力端子から出力される正弦信号の周波数と常に一致させており、制御回路19内のCPUによって正弦信号の周波数が切り換えられた場合には、パルス信号の周波数も同様に切り換える。なお、パルス信号のデューティー比(ON期間/パルス周期)は、予め決められた比率(ここでは1/2とする。)に設定されており、パルス信号の周波数に依らず不変である。
位相調整回路19Dは、電源回路19Cと光強度変調器30との間に介設されており、制御装置19内のCPUからの指示に応じて、正弦信号とパルス信号との間の位相関係を調整する。
図11(A)は、正弦信号の波形を示す図であり、図11(B)は、パルス信号の波形を示す図である。このうち正弦信号の波形は、超音波空間光変調器3における超音波定在波の時間変化波形(すなわち腹a、bの各々の屈折率の時間変化波形)を規定しており、パルス信号の波形は、超音波空間光変調器3に対する入射光強度の時間変化波形を規定している。
よって、制御装置19内のCPUが位相調整回路19Dの位相調整量を最適化すれば、超音波空間光変調器3に対して光が入射する期間を、前述した屈折率変化の前半期と後半期との何れか一方のみに制限することができる。このように適切な制限を行えば、3光束構造化照明の各時点のパターンが打ち消し合うことを回避できるので、3光束構造化照明の画像のコントラストを最大に高めることができる。
そこで、3次元モードに先立ち、制御装置19内のCPUは、標本10の代わりに一様なテスト標本が本システムへ配置された状態で、可干渉光源1、撮像装置12、位相調整回路19Dの各々を連続駆動し、撮像装置12から出力される画像のコントラストを参照しながら光強度変調器30の位相調整量を変化させ、そのコントラストが最大となった時点(又は、そのコントラストが閾値以上となった時点)で、その位相調整量を固定する。
図12は、超音波定在波の腹aの屈折率の時間変化波形と、入射光の強度の時間変化波形とを比較する図である。図12では、腹aの屈折率の時間変化波形を実線で示し、入射光の強度の時間変化波形を点線で示した。
図12(A)に示すとおり、腹aの屈折率の時間変化波形と入射光の強度の時間変化波形との間の位相差ΔΨがπ/2の偶数倍に一致したときには、入射光のオンされる期間が、屈折率変化の前半期と後半期との何れか一方のみに制限されるので、3光束構造化照明の画像のコントラストは最大となる。
また、図12(B)に示すとおり、腹aの屈折率の時間変化波形と入射光の強度の時間変化波形との間の位相差ΔΨがπ/2の偶数倍に一致していなかったとしても、その位相差ΔΨがπ/2の奇数倍に一致しない限り、3光束構造化照明の画像は、コントラストを有する。
しかし、図12(C)に示すとおり、腹aの屈折率の時間変化波形と入射光の強度の時間変化波形との間の位相差ΔΨがπ/2の奇数倍に一致してしまうと、3光束構造化照明の画像のコントラストは、ゼロとなる。
したがって、3次元モードでは、腹aの屈折率の時間変化波形と入射光の強度の時間変化波形との間の位相差ΔΨは、π/2の奇数倍以外、望ましくはπ/2の偶数倍に設定される。
なお、ここでは腹aの屈折率に着目して説明したが、腹bの屈折率の時間変化波形は腹aの屈折率の時間変化波形を逆位相にしたものなので、腹aの屈折率に着目した場合にも同様のことが当てはまる。
そして、3次元モードにおけるCPUは、2次元モードにおけるCPU(図6参照)と同様、切り換えスイッチ19A−2の接続先を切り換えることにより3光束構造化照明の方向を第1方向、第2方向、第3方向の間で切り換える。
また、3次元モードにおけるCPUは、2次元モードにおけるCPU(図6参照)と同様に、3光束構造化照明の方向が第1方向、第2方向、第3方向であるときの各々において、3光束構造化照明の位相をシフトさせながら画像データを繰り返し取得する。
但し、3次元モードでは、3光束構造化照明の構造情報を除去するための分離演算に、3光束構造化照明の位相の異なる少なくとも5つの画像データが必要である(因みに、2次元モードでは、少なくとも3つの画像データがあれば十分であった。)。
このため、3次元モードにおけるCPUは、3光束構造化照明の1ステップ当たりの位相シフト量を、例えば2π/5とすることが望ましい。
その場合、超音波伝搬路Rへ入射する光のスポット(有効径)Sの中心から超音波伝搬路Rの一端までの距離Dを、超音波伝搬路Rの伝搬方向の長さLの1/5倍に設定すればよい(D=L/5)。
そして、3次元モードにおけるCPUは、各方向につき、位相シフト量が2π/5ずつ異なる5つの画像データを取得し、第1方向に関する5つの画像データと、第2方向に関する5つの画像データと、第3方向に関する5つの画像データとを、画像記憶・演算装置13へ送出する。
また、3次元モードにおける画像記憶・演算装置13は、第1方向に関する5つの画像データに基づき第1方向及び光軸方向に亘る復調画像データを取得し、第2方向に関する5つの画像データに基づき第2方向及び光軸方向に亘る復調画像データを取得し、第3方向に関する5つの画像データに基づき第3方向及び光軸方向に亘る復調画像データを取得すると、それら3つの復調画像データを波数空間上で合成してから再び実空間に戻すことにより、第1方向、第2方向、第3方向、及び光軸方向に亘る超解像画像の画像データを取得し、その画像データを画像表示装置14へ送出する。この超解像画像は、標本10の面内の3方向及び光軸方向に亘る超解像画像(3次元超解像画像)である(以上、3次元モードの説明。)。具体的な演算には、例えば、US8115806に開示された方法を用いることができる。
以上、本システムでは、超音波伝搬路Rの長さLと、スポットSの径φと、超音波伝搬路Rの一端からスポットSの中心までの距離Dとが、前述した最適な関係に設定されるので、超音波空間光変調器3に与える交流電圧の周波数を電気的に切り換えるだけで、2光束構造化照明又は3光束構造化照明の位相を切り換えることできる。その切り換えに要する時間は短く、電源を含む回路系の時定数込みでも10ms以下に抑えられる。
したがって、本システムにおいて必要数の画像データの取得に要する時間は、2光束構造化照明又は3光束構造化照明の位相を切り換えるために光学素子又は標本10を機械的に移動させる場合と比較して、格段に短く抑えられる。
また、本システムでは、2光束構造化照明又は3光束構造化照明の位相を切り換えるために、光学素子又は標本10を機械的に移動させる必要が無いので、光学系周辺の構成をシンプルに抑えることができる。
また、本システムでは、1つの音響光学媒体15内に角度の異なる3つの超音波伝搬路Ra、Rb、Rcを形成したので、切り換えスイッチ19A−1の接続状態を電気的に変更するだけで、2光束構造化照明又は3光束構造化照明の方向を切り換えることができる。その切り換えに要する時間は短く、電源を含む回路系の時定数込みでも10ms以下に抑えられる。
したがって、本システムにおいて必要数の画像データの取得に要する時間は、2光束構造化照明又は3光束構造化照明の方向を切り換えるために光学素子又は標本10を機械的に回動させる場合と比較して、格段に短く抑えられる。
また、本システムでは、3光束構造化照明を生起させるための位相型回折格子として超音波空間光変調器を使用しているので、3光束構造化照明の画像のコントラストがゼロとなる虞(画像化ができない虞)もあったが、本システムの3次元モードでは、光強度変調器を使用し、超音波空間光変調器に対する入射光の強度を適切な周波数で変調するので、そのような問題(コントラスト低下の問題)を回避することができる。
[2次元モードに関する補足]
なお、本システムの2次元モードでは、トランスデューサに与えられる交流電圧の周波数の変化パターンを、超音波定在波の波本数が1/2本ずつ変化するようなパターンとし、かつ、第1方向及び第2方向及び第3方向の各々の2光束構造化照明の位相シフトピッチを2π/3とするために、スポット(有効径)Sの中心から超音波伝搬路の一端までの距離Dを、超音波伝搬路Rの伝搬方向の長さLの1/3倍に設定した(D=L/3)が、これに限定されることはない。
具体的には、超音波伝播路は、以下の条件を満たしていればよい。
先ず、トランスデューサに与えられる交流電圧の周波数の変化パターンは、超音波定在波の波本数がM/2本ずつ変化するようなパターンであればよい(但し、|M|は1以上の整数)。
その場合、2光束構造化照明の位相シフトピッチを任意の値Δψに設定するためには、超音波伝搬路の一端からスポットSの中心までの距離Dと、超音波伝搬路の全長Lとは、D:L=Δψ/M:2πの関係を満たせばよい。
因みに、M=1とすれば、超音波定在波の本数が1/2本ずつしか変化しないので、その変化に起因して2光束構造化照明の縞本数に生じるズレを極めて小さく抑えることができる。
また、分離演算に使用する画像データの数がkである場合は、Δψ=2π/kとすれば、必要な画像データを確実に取得することができる。但し、|k|は3以上の整数であることが好ましい。
[3次元モードに関する補足]
また、本システムの3次元モードでは、トランスデューサに与えられる交流電圧の周波数の変化パターンを、超音波定在波の波本数が1/2本ずつ変化するようなパターンとし、かつ、第1方向及び第2方向及び第3方向の各々の3光束構造化照明の位相シフトピッチを2π/5とするために、スポット(有効径)Sの中心から超音波伝搬路の一端までの距離Dを、超音波伝搬路Rの伝搬方向の長さLの1/5倍に設定した(D=L/5)が、これに限定されることはない。
具体的には、超音波伝播路は、以下の条件を満たしていればよい。
先ず、トランスデューサに与えられる交流電圧の周波数の変化パターンは、超音波定在波の波本数がM/2本ずつ変化するようなパターンであればよい(但し、|M|は1以上の整数)。
その場合、3光束構造化照明の位相シフトピッチを任意の値Δψに設定するためには、超音波伝搬路の一端からスポットSの中心までの距離Dと、超音波伝搬路の全長Lとは、D:L=Δψ/M:2πの関係を満たせばよい。
なお、標本面10に干渉縞を形成するためには、超音波光変調器3の超音波伝搬路Rにおける射出光束の通過領域(スポット)が、必ずしも超音波伝搬路Rの両端から離れた部分領域に制限されていなくてもよく、例えば、視野絞り5Bにより超音波伝搬路Rを通過した光束を絞る場合などには、超音波伝搬路Rにおける有効な射出光束の通過領域、すなわち、超音波伝搬路Rのうち標本面10の照明領域(観察領域、視野領域)に形成される干渉縞(構造化照明S’)に寄与する射出光束の通過した部分領域が、D:L=Δψ/M:2πの関係を満たしていればよい。
因みに、M=1とすれば、超音波定在波の本数が1/2本ずつしか変化しないので、その変化に起因して3光束構造化照明の縞本数に生じるズレを極めて小さく抑えることができる。
また、分離演算に使用する画像データの数がkである場合は、Δψ=2π/kとすれば、必要な画像データを確実に取得することができる。但し、|k|は5以上の整数であることが好ましい。
また、本システムの3次元モードでは、位相差ΔΨの調整を制御装置19が自動で行ったが、システムのユーザが手動で行ってもよい。但し、その場合は、調整中の画像のコントラストをユーザが確認できるよう、撮像装置12から出力される画像を制御装置19がリアルタイムで画像表示装置14へ表示する必要がある。
また、本システムの3次元モードでは、パルス信号のデューティー比(ON期間/パルス周期)を1/2に設定したが、他の比率にしても構わない。デューティー比を他の比率にした場合も、3光束構造化照明の画像コントラストを高めるための位相差ΔΨの条件は、そのデューティー比を1/2とした場合の条件と同じである。但し、光の利用効率を高めるためには、デューティー比を1/2とすることが望ましい。
また、本システムの3次元モードでは、パルス信号の周波数を正弦信号の周波数と一致させたが、パルス信号の周波数は、正弦信号の周波数の1/N倍(Nは1以上の整数)になっていれば、正弦信号の周波数と一致していなくても構わない。
但し、その場合は、パルス信号のデューティー比(ON期間/パルス周期)を1/(2N)に設定することが望ましい。図13は、N=3とした場合の例であり、図13(A)はN=3の設定下における超音波定在波の腹aの屈折率の時間変化波形を示しており、図13(B)は、入射光の強度の時間変化波形を示している。
この場合、屈折率変化の3周期(3T)に1回ずつしか入射光がオンされないが、入射光のオンされる期間の長さは、屈折率変化の半周期分(T/2)となるので、前述した位相差ΔΨを適切な値に調整し、入射光のオンされる期間を、屈折率変化の前半期と後半期との一方のみに一致させることで、画像コントラストを高めることができる。
なお、ここでは、パルス信号のデューティー比(ON期間/パルス周期)を1/(2N)に一致させたが、そのデューティー比は1/(2N)に完全に一致していなくてもよく、1/(2N)以下であればよい。
因みに、デューティー比を1/(2N)未満とした場合、入射光のオンされる期間の長さが屈折率変化の半周期分(T/2)よりも狭まるが、前述した位相差ΔΨを適切な値に調整し、入射光のオンされるタイミングを、屈折率がピーク又はバレーとなるタイミングに一致させることで、画像コントラストを最大に高めることができる。なお、デューティー比を1/(2N)未満とし、かつこのようなタイミング調整を行えば、画像の更なる鮮明化が期待できる。
また、本システムの3次元モードでは、超音波空間光変調器に対する入射光の強度の時間変調波形をパルス波形とし、その強度をオン/オフした(入射光を点滅させた)が、その入射光の強度を高強度と低強度との間で変移させるだけでも一定の効果が得られる。
また、本システムの3次元モードでは、超音波空間光変調器に対する入射光の光強度の時間変調波形をパルス波形としたが、光強度が時間変調されるのであれば、パルス波形の代わりに正弦波形などの他の波形を使用してもよい。
また、本システムの3次元モードでは、可干渉光源1から射出し超音波空間光変調器3へ入射する光を強度変調したが、可干渉光源1の出力強度を直接的に変調することで同様の効果を得てもよい。
また、本システムの3次元モードでは、画像コントラストを向上させるために、標本10へ向かう光(照明光)を強度変調したが、標本10から射出する光(観察光)を強度変調してもよい。
また、本システムの3次元モードでは、画像コントラストを向上させるために、照明光又は観察光を変調したが、撮像装置12を制御することで同様の効果を得てもよい。
すなわち、本システムの3次元モードにおいて画像コントラストを向上させるためには、照明光の強度、観察光の強度のうち少なくとも1つを強度変調するか、撮像装置12を制御すればよい。
なお、標本10から射出する光(観察光)を強度変調させるためには、例えば、光強度変調器、メカシャッタ等を、対物レンズ9から撮像装置12までの光学系の任意の位置(好ましくは、第二対物レンズ11と撮像装置12の間)に配置して、前述の照明光の変調と同様に、超音波光変調器3へ与える駆動信号の周波数の1/N倍の周波数を有した変調信号で光強度変調器等を変調すればよい。
また、撮像装置12を制御して同様の効果を得るためには、例えば、撮像装置12内に電子シャッタを搭載して、超音波光変調器3へ与える駆動信号の周波数の1/N倍の周波数を有した変調信号で電子シャッタを変調すればよい。
つまり、撮像装置12の受光面で受光した光から発生した電荷を超音波光変調器3へ与える駆動信号の周波数の1/N倍に相当する時間毎に蓄積、転送し、光電変換して電気信号を生成する。
そして、超音波光変調器3へ与える駆動信号の周波数の1/N倍の周波数を有した変調信号で電子シャッタを変調することにより、前述のようにして得られた電気信号のうちから、画像形成に用いる電気信号、すなわち1/(2N)倍の周波数と略等しいタイミングに取得された電気信号と、画像形成に用いないその他のタイミングに取得された電気信号とに振り分けるようにする。
ここで、電子シャッタは、所定時間毎に取得した電気信号を画像形成に用いるものと用いないものとに振り分ける機能を有するものをいう。
[2次元モード及び3次元モードに共通する補足]
また、上述した説明では、超音波空間光変調器3におけるスポットの位置を2次元モードと3次元モードとの間で異ならせたが、この場合、モード切り換えの前後において超音波空間光変調器3の位置を移動させる必要が生じる。
そこで、本システムでは、超音波定在波の波本数を1/2本ずつ変化させることができるよう上述した正弦信号の切り換えパターンを設定しておくと共に、超音波伝搬路一端からスポットSの中心までの距離DがD:L=1:6を満たすように、スポットSと超音波空間光変調器3との位置関係を予め調整しておくとよい。
この場合、2次元モードでは、超音波定在波の波本数を1/2本ずつ変化させることで、2光束構造化照明の位相シフトピッチを「2π/3」とすることができる。
また、この場合、3次元モードでは、超音波定在波の波本数を1本ずつ変化させることで、3光束構造化照明の位相シフトピッチを「π/3」とすることができる。
図14には、D:L=1:6としたときにおける超音波定在波の波本数と位相シフト量との関係を示した。
したがって、2次元モードにおける画像記憶・演算装置13は、図14において符号a、c、eで示す3状態の各々で取得された3つの画像データを、前述した分離演算に使用すればよい。
一方、3次元モードにおける画像記憶・演算装置13は、図14において符号a〜fで示す6状態の各々で取得された6つの画像データを、前述した分離演算に使用すればよい。
すなわち、本システムでは、スポットSと超音波空間光変調器3との位置関係を2次元モードと3次元モードとの双方に適した関係に予め調整しておくだけで、モード切り換えの前後における超音波空間光変調器3の移動を省くことができる。
また、本システムの音響光学媒体15は、3つの超音波伝搬路Ra、Rb、RcをスポットSの中心に関して非対称な関係で配置していたが(図4参照)、例えば図15に示すとおり対称な関係で配置してもよい。因みに、図4に示す例の利点は、音響光学媒体15の外形の凹凸が少ないところにあり、図15に示す例の利点は、3つの超音波伝搬路Ra、Rb、Rcの環境が完全に一致するところにある。
また、本システムでは、超音波伝播路Ra、Rb、Rcの長さを共通とし、トランスデューサ18a、18b、18cに与えられる交流電圧の周波数の変化パターンを共通としたが、非共通としてもよい。但し、その場合も、超音波伝搬路Ra、Rb、Rcの各々は、上述した条件を満たすものとする。
また、本実施形態の説明では、回折光による干渉縞の位相を変化させるために、超音波伝播路Ra、Rb、Rcで生起される超音波定在波の波本数(即ち、超音波定在波の波長)を所定のパターンで変化させると共に、超音波定在波の波長を変化させる方法の一つとして、超音波光変調器3のトランスデューサ18a、18b、18cに与えられる交流電圧の周波数を変化させることを説明したが、この方法に限られないことは言うまでもない。
また、上述した各実施形態では、干渉縞(2光束干渉縞、3光束干渉縞)を形成するための回折光として、±1次回折光及び0次回折光の組み合わせを用いたが、他の組み合わせを用いてもよい。3光束干渉縞を形成するためには、回折次数の間隔が等間隔な3つの回折光による3光束干渉を生起させればよいので、例えば、0次回折光、1次回折光、2次回折光の組み合わせ、±2次回折光及び0次回折光の組み合わせ、±3次回折光及び0次回折光の組み合わせ、などを用いることが可能である。
なお、本明細書において開示した全ての文献について参照引用する(incorporated by reference)。
1:可干渉光源、2:コレクタレンズ、30:光強度変調器、3:超音波空間光変調器、4:レンズ、5A:マスク切り換え機構、5B:視野絞り、9:対物レンズ、10:標本、12:撮像装置、13:画像記憶・演算装置、19:制御装置、14:画像表示装置、15、15’:音響光学媒体、16:圧電体、18:トランスデューサ、19A:駆動回路、19A−1:高周波交流電源、19A−2:切り換えスイッチ

Claims (13)

  1. 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器と、
    前記音波伝搬路の媒体を振動させるための駆動信号を前記光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手段と、
    前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折成分を干渉させ、その干渉縞を被観察物に形成する照明光学系と、
    前記被観察物からの観察光束を検出器に結像する結像光学系と、
    前記射出光束の強度、前記観察光束の強度、前記検出器に搭載されたシャッタの少なくとも一つを、前記駆動信号の周波数の1/N倍の周波数を有した変調信号で変調することで、前記検出器が取得する像のコントラストを制御する制御手段と(ただし、Nは1以上の整数)、
    を備えたことを特徴とする構造化照明顕微鏡。
  2. 請求項1に記載の構造化照明顕微鏡において、
    前記制御手段は、
    前記変調信号のデューティー比を1/(2N)以下に設定する
    ことを特徴とする構造化照明顕微鏡。
  3. 請求項1又は請求項2に記載の構造化照顕微鏡において、
    前記制御手段は、
    前記射出光束中に配置された強度変調手段と、前記光源との少なくとも一方に対して前記変調信号を与えることにより前記射出光束の強度を変調する
    ことを特徴とする構造化照明顕微鏡。
  4. 請求項1〜請求項3の何れか一項に記載の構造化照明顕微鏡において、
    前記制御手段は、
    前記観察光束中に配置された強度変調手段に対して前記変調信号を与えることにより前記観察光束の強度を変調する
    ことを特徴とする構造化照明顕微鏡。
  5. 請求項3に記載の構造化照明顕微鏡において、
    前記強度変調手段は、
    前記光源と前記光変調器との間に配置される
    ことを特徴とする構造化照明顕微鏡。
  6. 請求項1〜請求項5の何れか一項に記載の構造化照明顕微鏡において、
    前記干渉縞は、
    前記音波伝搬路の両端から離れた所定の部分領域を通過した前記射出光束により形成されたものであり、
    前記駆動手段は、
    前記音波定在波の波長を所定のパターンで変化させることにより、前記干渉縞の位相を変化させる
    ことを特徴とする構造化照明顕微鏡。
  7. 請求項6に記載の構造化照明顕微鏡において、
    前記駆動手段は、
    前記音波定在波の全体の波本数がM/2本ずつ変化するようなパターンで前記音波定在波の波長を変化させることが可能であり(但し、|M|は1以上の整数)、
    前記干渉縞の位相シフトピッチをΔψとおくと、前記音波伝搬路の何れか一方の端部から前記部分領域までの距離Dと、前記音波伝搬路の全長Lとは、D:L=Δψ/M:2πの関係を満たす
    ことを特徴とする構造化照明顕微鏡。
  8. 請求項6又は請求項7に記載の構造化照明顕微鏡において、
    前記駆動手段は、
    前記光変調器へ与える前記駆動信号の周波数を所定のパターンで変化させることで、前記音波定在波の波長を変化させる
    ことを特徴とする構造化照明顕微鏡。
  9. 請求項1〜請求項8の何れか一項に記載の構造化照明顕微鏡において、
    前記射出光束の少なくとも3つの回折成分を前記干渉縞に反映させる3次元モードと、前記射出光束の2つの回折成分のみを前記干渉縞に反映させる2次元モードとの間で前記構造化照明顕微鏡のモードを切り替える切替手段を有する
    ことを特徴とする構造化照明顕微鏡。
  10. 請求項9に記載の構造化照明顕微鏡において、
    前記干渉縞は、
    前記音波伝搬路の両端から離れた所定の部分領域を通過した前記射出光束により形成されたものであり、
    前記駆動手段は、
    前記音波定在波の波長を所定のパターンで変化させることにより、前記干渉縞の位相を変化させ、
    前記音波伝搬路の何れか一方の端部から前記部分領域までの距離Dと、前記音波伝搬路の全長Lとは、D:L=1:6の関係を満たす
    ことを特徴とする構造化照明顕微鏡。
  11. 請求項1〜請求項10の何れか一項に記載の構造化照明顕微鏡において、
    前記超音波光変調器は、
    前記射出光束の通過領域で交差した複数の前記音波伝搬路を有し、それら音波伝搬路の間で有効な音波伝搬路を切り換えることにより、前記音波定在波の方向を切り換えることが可能である
    ことを特徴とする構造化照明顕微鏡。
  12. 請求項1〜請求項11の何れか一項に記載の構造化照明顕微鏡において、
    前記音波定在波のパターンの異なる複数の状態の各々において前記検出器が取得した複数の像に基づき、前記被観察物の超解像画像を算出する演算手段を更に備えた
    ことを特徴とする構造化照明顕微鏡。
  13. 光源からの射出光束中に配置され、その射出光束を横切る方向に音波伝搬路を配した光変調器を用意する光変調手順と、
    前記音波伝搬路の媒質を振動させるための駆動信号を前記音波空間光変調器へ与えることにより、前記音波伝搬路内に音波定在波を生起させる駆動手順と、
    前記音波伝搬路を通過した前記射出光束の少なくとも3つの回折成分を干渉させ、その干渉縞を被観察物に形成する照明手順と、
    前記被観察物からの観察光束を検出器に結像する結像手順と、
    前記射出光束の強度、前記観察光束の強度、前記検出器に搭載されたシャッタの少なくとも一つを、前記駆動信号の周波数の1/N倍の周波数を有した変調信号で変調することで、前記検出器が取得する像のコントラストを制御する制御手順と(ただし、Nは1以上の整数)、
    を含むことを特徴とする構造化照明観察方法。
JP2013513918A 2011-05-06 2012-05-01 構造化照明顕微鏡及び構造化照明観察方法 Expired - Fee Related JP5594429B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013513918A JP5594429B2 (ja) 2011-05-06 2012-05-01 構造化照明顕微鏡及び構造化照明観察方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011103652 2011-05-06
JP2011103652 2011-05-06
PCT/JP2012/002946 WO2012153495A1 (ja) 2011-05-06 2012-05-01 構造化照明顕微鏡及び構造化照明観察方法
JP2013513918A JP5594429B2 (ja) 2011-05-06 2012-05-01 構造化照明顕微鏡及び構造化照明観察方法

Publications (2)

Publication Number Publication Date
JPWO2012153495A1 JPWO2012153495A1 (ja) 2014-07-31
JP5594429B2 true JP5594429B2 (ja) 2014-09-24

Family

ID=47138984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013513918A Expired - Fee Related JP5594429B2 (ja) 2011-05-06 2012-05-01 構造化照明顕微鏡及び構造化照明観察方法

Country Status (3)

Country Link
US (2) US9535241B2 (ja)
JP (1) JP5594429B2 (ja)
WO (1) WO2012153495A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5594429B2 (ja) * 2011-05-06 2014-09-24 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法
JP2016507078A (ja) * 2013-01-25 2016-03-07 ザ トラスティーズ オブ コロンビア ユニバーシティ イン ザ シティオブ ニューヨーク 被写界深度3dイメージングslm顕微鏡
JP6168822B2 (ja) 2013-04-04 2017-07-26 オリンパス株式会社 パターン照射装置
JPWO2015052920A1 (ja) * 2013-10-07 2017-03-09 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
JP6266302B2 (ja) * 2013-10-25 2018-01-24 株式会社キーエンス 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム
EP3081976B1 (en) * 2013-12-12 2022-06-15 Nikon Corporation Structured illumination microscope, structured illumination method and program
JP6131204B2 (ja) * 2014-02-28 2017-05-17 富士フイルム株式会社 観察装置
WO2015148560A1 (en) * 2014-03-24 2015-10-01 Colorado State University Research Foundation Method and device for incoherent imaging with coherent diffractive reconstruction
CN107613842B (zh) * 2015-05-29 2019-09-24 奥林巴斯株式会社 照明装置和计测装置
JP6627871B2 (ja) * 2015-06-08 2020-01-08 株式会社ニコン 構造化照明顕微鏡システム、方法及びプログラム
JP6630120B2 (ja) * 2015-11-06 2020-01-15 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び空間光変調ユニット
JP6599539B2 (ja) * 2016-03-10 2019-10-30 オリンパス株式会社 画像取得装置および画像取得方法
JP6676843B2 (ja) * 2016-04-28 2020-04-08 サンテック株式会社 光制御システム
NL2020619B1 (en) 2018-01-16 2019-07-25 Illumina Inc Dual optical grating slide structured illumination imaging
FR3096146B1 (fr) 2019-05-16 2022-07-29 Univ Grenoble Alpes Dispositif de creation d’un champ evanescent a motifs sur une surface et procede associe
US10890839B1 (en) * 2019-11-06 2021-01-12 Himax Technologies Limited Structured light imaging device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043313A1 (ja) * 2005-10-11 2007-04-19 Nikon Corporation 顕微鏡装置及び観察方法
JP2007199572A (ja) * 2006-01-30 2007-08-09 Nikon Corp 顕微鏡装置
JP2007279287A (ja) * 2006-04-05 2007-10-25 Nikon Corp 構造化照明光学系、及びそれを備えた構造化照明顕微鏡
WO2009043545A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
WO2009043546A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
WO2010037487A1 (de) * 2008-09-30 2010-04-08 Carl Zeiss Microimaging Gmbh Verbesserte verfahren und vorrichtungen für die mikroskopie mit strukturierter beleuchtung

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3657473A (en) * 1970-05-15 1972-04-18 Zenith Radio Corp Holographic image recording and reproducing system
US5671085A (en) 1995-02-03 1997-09-23 The Regents Of The University Of California Method and apparatus for three-dimensional microscopy with enhanced depth resolution
JPH11242189A (ja) 1997-12-25 1999-09-07 Olympus Optical Co Ltd 像形成法、像形成装置
WO2006109448A1 (ja) 2005-03-30 2006-10-19 Nikon Corporation 画像作成方法および顕微鏡装置
JP5594429B2 (ja) * 2011-05-06 2014-09-24 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043313A1 (ja) * 2005-10-11 2007-04-19 Nikon Corporation 顕微鏡装置及び観察方法
JP2007199572A (ja) * 2006-01-30 2007-08-09 Nikon Corp 顕微鏡装置
JP2007279287A (ja) * 2006-04-05 2007-10-25 Nikon Corp 構造化照明光学系、及びそれを備えた構造化照明顕微鏡
WO2009043545A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
WO2009043546A1 (de) * 2007-09-28 2009-04-09 Carl Zeiss Microimaging Gmbh Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
WO2010037487A1 (de) * 2008-09-30 2010-04-08 Carl Zeiss Microimaging Gmbh Verbesserte verfahren und vorrichtungen für die mikroskopie mit strukturierter beleuchtung

Also Published As

Publication number Publication date
JPWO2012153495A1 (ja) 2014-07-31
US20170276922A1 (en) 2017-09-28
US10228552B2 (en) 2019-03-12
US9535241B2 (en) 2017-01-03
WO2012153495A1 (ja) 2012-11-15
US20140055594A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
JP5594429B2 (ja) 構造化照明顕微鏡及び構造化照明観察方法
JP5549740B2 (ja) 構造化照明装置、構造化照明顕微鏡装置、及び面形状測定装置
JP5641142B2 (ja) 構造化照明装置、構造化照明顕微鏡、構造化照明方法
JP6264377B2 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP6197880B2 (ja) 構造化照明顕微鏡、構造化照明方法、及びプログラム
EP2093601B1 (en) Microscope device and image processing method
JP4899408B2 (ja) 顕微鏡装置
JP6627871B2 (ja) 構造化照明顕微鏡システム、方法及びプログラム
CN109387496B (zh) 高分辨率显微成像***
WO2013021615A1 (ja) 構造化照明装置及び構造化照明方法、並びに構造化照明顕微鏡装置
JP5278522B2 (ja) 顕微鏡装置
JP2003084206A (ja) 格子照明顕微鏡
JP6364750B2 (ja) 構造化照明装置、および構造化照明顕微鏡装置
JP6413364B2 (ja) 照明光学系及び顕微鏡装置
JP5741709B2 (ja) 構造化照明装置、その構造化照明装置の調整方法、コンピュータ実行可能な調整プログラム、構造化照明顕微鏡装置、面形状測定装置
WO2015052920A1 (ja) 構造化照明装置及び構造化照明顕微鏡装置
JP6690424B2 (ja) 顕微鏡装置、観察方法、及び制御プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140721

R150 Certificate of patent or registration of utility model

Ref document number: 5594429

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees