次に、図面を参照しながら実施形態について説明する。図1は、本実施形態の顕微鏡装置1を示す図である。顕微鏡装置1は、構造化照明装置2と、撮像装置3と、制御装置4と、表示装置5とを備える。顕微鏡装置1は、例えば蛍光顕微鏡であり、予め蛍光染色された細胞などを含む試料Xの観察などに利用される。試料Xは、例えば、不図示のステージに保持される。
顕微鏡装置1は、概略すると以下のように動作する。構造化照明装置2は、干渉縞を生成し、干渉縞で試料Xを照明する。撮像装置3は、干渉縞により変調された試料Xの像(試料像、モアレ像)を撮像する。モアレ像は、試料Xの情報を含んでおり、試料Xよりも空間周波数が低いので撮像装置3の光学系を介して撮像可能である。制御装置4は、顕微鏡装置1の各部を制御する。制御装置4は、構造化照明装置2を制御して、干渉縞の位相および向きを複数の状態に切り替える。制御装置4は、撮像装置3を制御して、干渉縞の複数の状態のそれぞれにおいて試料Xの像を撮像させ、複数の画像を取得する。制御装置4は、複数の画像を用いて復調処理を行うことにより、撮像装置3の光学系の解像限界を超えた超解像画像を生成することができる。
顕微鏡装置1は、試料Xのうち観察対象の面(以下、試料面という)の2次元的な超解像画像を生成する2D−SIMモードと、試料面に垂直な方向の情報を含む3次元的な超解像画像を生成する3D−SIMモードとを備える。まず、2D−SIMモードについて説明し、次に3D−SIMモードについて説明する。
構造化照明装置2は、光源部10と、照明光学系11とを備える。光源部10は、例えばレーザー素子などの光源を含み、所定の波長帯の可干渉光を射出する。蛍光顕微鏡の場合、所定の波長帯は、試料Xの励起波長を含む波長帯に設定される。なお、光源部10の少なくとも一部は、構造化照明装置2に含まれていなくてもよい。例えば、光源部10は、構造化照明装置2に交換可能(取り付け可能、取り外し可能)に設けられていてもよい。例えば、光源部10は、顕微鏡装置1による観察時などに、構造化照明装置2に取り付けられてもよい。
照明光学系11は、光源部10の光出射側に、コレクタレンズ12と、分岐部13とを備える。光源部10から射出した光は、コレクタレンズ12によって平行光に変換され、分岐部13へ入射する。分岐部13は、入射した光を複数の光束に分岐する。分岐部13は、光源部10からの光を回折により複数の光束に分岐する。なお、図1には、複数の光束のうち0次回折光(実線で示す)、+1次回折光(破線で示す)、及び−1次回折光(2点鎖線で示す)を代表的に示した。以下の説明において、回折光のうち+1次回折光と−次回折光の一方または双方を指す場合に、単に1次回折光と表記する。
図2(A)は、本実施形態に係る分岐部13を示す図、図2(B)は分岐部13の動作を示す図である。分岐部13は、例えば音響光学モジュレータ(以下、AOMと略記する)などを含む光変調器(例、空間光変調器)である。分岐部13は、音響光学媒体22と、トランスデューサ23aと、トランスデューサ23bと、トランスデューサ23cとを備える。
音響光学媒体22は、例えば石英ガラス、テルライトガラス、重フリントガラス、フリントガラスなどからなる角柱状の部材である。音響光学媒体22は、照明光学系11の光軸11aの周囲に一対の側面22a、一対の側面22b、及び一対の側面22cを有する。一対の側面22a、一対の側面22b、及び一対の側面22cは、それぞれ、互いに対向しかつ平行な2面を含み、例えば照明光学系11の光軸と平行に配置される。側面22aが側面22bとなす角度は例えば120°であり、側面22aが側面22cとなす角度は例えば120°である。
音響光学媒体22は、その内部に音波伝搬路Rを有する。音波伝搬路Rは、一対の側面22aの間の音波伝搬路Raと、一対の側面22bの間の音波伝搬路Rbと、一対の側面22cの間の音波伝搬路Rcとを含む。音波伝搬路Ra〜Rcは、照明光学系11の光軸の方向から見た場合に一部が重複している。以下、音波伝搬路Raと音波伝搬路Rbと音波伝搬路Rcとがいずれも重複する部分は、照明光学系11の光軸11aおよびその周囲に配置される。この重複部分の少なくとも一部は、光源部10からの光が入射する入射領域Saになっている。
トランスデューサ23aは、側面22aに設けられている。トランスデューサ23aは、例えば超音波トランスデューサであり、圧電体と、圧電体を挟んで形成された2つの電極とを備える。トランスデューサ23aは、一方の電極を介して音響光学媒体22の側面22aに接合されている。トランスデューサ23aは、2つの電極の間に高周波の正弦波状の交流電圧(駆動信号)が印加されると、圧電体が厚み方向(側面22aの法線方向)に振動(伸縮)する。これにより、音波伝搬路Raを往復する平面超音波が生じ、この平面超音波は、交流電圧の周波数が特定の周波数に設定されている場合に音波定在波(以下、定在波と略記する)となる。この定在波により、音波伝搬路Raに粗密の周期的な分布(例、正弦波状の分布)が生じ、音響光学媒体22のうち音波伝搬路Raの部分は、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、音波伝搬路Raにおける超音波の伝搬方向を第1方向という。
トランスデューサ23bは、側面22bに設けられている。トランスデューサ23bは、トランスデューサ23aと同様の構成であり、圧電体と、2つの電極とを備える。トランスデューサ23bは、2つの電極の間に所定の周波数の正弦波状の交流電圧(駆動信号)が印加されることにより、音波伝搬路Rbに定在波を発生させる。これにより、音波伝搬路Rbは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、音波伝搬路Rbにおける超音波の伝搬方向を第2方向という。第2方向は、第1方向と60°の角度をなす方向である。
トランスデューサ23cは、側面22cに設けられている。トランスデューサ23cは、トランスデューサ23aと同様の構成であり、圧電体と、2つの電極とを備える。トランスデューサ23cは、2つの電極の間に所定の周波数の正弦波状の交流電圧(駆動信号)が印加されることにより、音波伝搬路Rcに定在波を発生させる。これにより、音波伝搬路Rcは、超音波の伝搬方向と垂直な位相格子を持った位相型回折格子となる。以下、音波伝搬路Rcにおける超音波の伝搬方向を第3方向という。第3方向は、第1方向に対して第2方向と反対周りに60°の角度をなす方向である。
分岐部13は、駆動部21により駆動される。駆動部21は、電源回路25およびスイッチ26を備える。電源回路25は、交流電源27に接続されている。電源回路25は、交流電源27から供給される電力により駆動信号を生成する。電源回路25は、制御装置4によって制御され、制御装置4から指定された周波数の駆動信号を生成する。電源回路25は、生成した駆動信号をスイッチ26に出力する。
スイッチ26は、入力側の端子28、及び出力側の端子29a〜29cを有する。スイッチ26は、制御装置4に制御され、出力側の端子29a〜29cのうち制御装置4から指定された端子と、入力側の端子とを接続する(導通状態にする)。スイッチ26は、例えばトランジスタなどを含み、入力側の端子28と出力側の端子29a〜29cとの導通状態と絶縁状態とを、電気的に切替可能である。端子29aは、トランスデューサ23aの一方の電極に接続されている。端子29bは、トランスデューサ23bの一方の電極に接続されている。端子29cは、トランスデューサ23cの一方の電極に接続されている。なお、トランスデューサ23a〜23cにおいて、他方の電極は、駆動信号の基準電位(グランド)と接続されている。
電源回路25から駆動信号がスイッチ26の端子28に供給され、かつ端子28が端子29aと接続されている場合、この駆動信号によってトランスデューサ23aが駆動され、音波伝搬路Raが位相型回折格子になる。この状態において、図2(b)に示すように音波伝搬路Raに入射した光は、回折により第1方向に分岐する。1次以上の回折光(例、±1次回折光)は、0次回折光に対して第1方向に偏向する。以下の説明において、1次以上の回折光が0次回折光に対して偏向する方向を回折方向という。
また、電源回路25から駆動信号がスイッチ26の端子28に供給され、かつ端子28が端子29bと接続されている場合、音波伝搬路Rbが位相型回折格子になり、入射領域Saに入射した光は、回折により第2方向に分岐する。同様に、電源回路25から駆動信号がスイッチ26の端子28に供給され、かつ端子28が端子29cと接続されている場合、音波伝搬路Rcが位相型回折格子になり、入射領域Saに入射した光は、回折により第3方向に分岐する。
このような分岐部13は、周期構造(音響光学媒体22の密度の周期)のピッチ(密度の極大位置の間隔)を、定在波の周波数に応じて変化させることができる。また、分岐部13は、音波伝搬路Ra〜Rcのいずれを有効にするか(定在波により周期構造にするか)を、スイッチ26によって電気的に選択(切替)可能である。分岐部13は、0次回折光に対する±1次回折光の偏向方向(回折方向)を電気的に切り替えることができる。
なお、分岐部13は、駆動部21の少なくとも一部を含んでもよい。また、分岐部13は、周期構造が固定の回折格子を含んでいてもよい。このような回折格子としては、例えば、石英板に溝を複数本切った石英格子などが挙げられる。このような回折格子により回折方向を変化させるには、例えば、光源部10からの光と交差する面内で回折格子を回転させればよい。また、分岐部13は、空間光変調器として、AOMの代わりに液晶素子などを用いたものでもよい。
図1の説明に戻り、照明光学系11は、分岐部13の光出射側に、レンズ30、位相調整部14、レンズ31、視野絞り32、レンズ33、フィルタ34、ダイクロイックミラー35、及び対物レンズ36を備える。
図3は、分岐部13から視野絞り32までの光路を示す図である。分岐部13で発生した回折光は、レンズ30に入射する。レンズ30は、例えば、その前側焦点位置が分岐部13の位置とほぼ一致するように、配置される。分岐部13で分岐した複数の光束のうち同じ次数の回折光を同じ位置に集光し、いわゆる瞳共役面P1を形成する。例えば、レンズ30は、分岐部13で発生した0次回折光(図3に実線で示す)を、照明光学系11の光軸11a上(前側焦点位置)に集光する。レンズ30は、分岐部13で発生した+1次回折光(図3に破線で示す)を、照明光学系11の光軸11aから離れた位置に集光する。レンズ30は、分岐部13で発生した−1次回折光(図3に2点鎖線で示す)を、照明光学系11の光軸11aに関して+1次回折光と対称的な位置に集光する。
位相調整部14は、干渉縞の生成に使われる回折光を通し、干渉縞の生成に使われない回折光を遮断する。2D−SIMモードにおいて、照明光学系11は、例えば、+1次回折光と−1次回折光との干渉縞を生成し、0次回折光および2次以上の回折光を干渉縞の生成に用いない。位相調整部14は、2D−SIMモードにおいて、1次回折光を通し、0次回折光および2次以上の回折光を遮断する。3D−SIMモードにおいて、照明光学系11は、例えば、+1次回折光と−1次回折光との干渉縞と、0次回折光と1次回折光との干渉縞との合成縞を生成する。位相調整部14は、3D−SIMモードにおいて、0次回折光および1次回折光を通し、2次以上の回折光を遮断する。
また、位相調整部14は、分岐部13によって分岐された複数の光束の少なくとも1つの光束の位相を変化させる。位相調整部14は、干渉縞の生成に使われる回折光の位相を適宜調整する。例えば、位相調整部14は、3D−SIMモードにおいて、0次回折光と1次回折光との相対的な位相を調整する(変化させる)。なお、位相調整部14は、2D−SIMモードにおいて、+1次回折光と−1次回折光との相対的な位相を調整してもよいし、調整しなくてもよい。
位相調整部14は、0次回折光の光路と1次回折光の光路とが分離する位置に配置される。位相調整部14は、例えば、瞳共役面P1に配置される。瞳共役面P1は、瞳面P0(対物レンズ36の後側焦点面)と光学的に共役な面である。位相調整部14は、例えば、レンズ30の後側焦点位置に配置される。本実施形態に係る位相調整部14は、マスク40、位相変調器41、補正ブロック42、及び駆動部43を備える。マスク40および位相変調器41は、干渉縞に使われない光を遮断する。位相変調器41および補正ブロック42は、0次回折光と1次回折光との相対的な位相を変化させることができる。
位相変調器41は、照明光学系11の光軸11a上に配置されている。位相変調器41は、0次回折光が集光する位置に配置されている。位相変調器41は、例えば、入射光(ここでは0次回折光)の位相を時間方向にかけて変調幅πで変調する。位相変調器41は、例えば、カー効果を利用した電気光学モジュレータ(以下、EOMと略記する)、ポッケルス効果を利用したEOモジュレータ、またはAOMを含む。
ところで、位相変調器41において0次回折光が通る部分は、例えば雰囲気ガスと異なる屈折率であり、雰囲気ガス中の光路と光学的距離が異なる。そのため、位相変調器41を通った0次回折光は、位相変調器41の代わりに雰囲気ガス中を通る場合に比べて、位相のオフセットが加わる。補正ブロック42は、このオフセットにより生じる0次回折光と1次回折光との位相差の少なくとも一部を相殺する。補正ブロック42は、−1次回折光が集光する位置と+1次回折光が集光する位置のそれぞれに設けられている。補正ブロック42は、1次回折光が透過する材質の部材である。補正ブロック42内の光路の光学的距離は、例えば、位相変調器41による位相変調量が基準値(例、下限値)である状態における、位相変調器41内の光路の光学的距離とほぼ同じに設定される。
位相変調器41は、駆動部43に駆動される。駆動部43は、電源回路25および位相調整回路44を含む。電源回路25は、例えば分岐部13の駆動部21と共用であるが、駆動部21と別に設けられていてもよい。駆動部43は、制御装置4に制御され、位相変調器41を制御する。位相変調器41を用いた位相の調整については、3D−SIMモードの説明とともに後述する。
図4(A)〜図4(C)は、それぞれ、照明光学系11の光軸の方向から見たマスク40の例を示す図である。図4(A)〜図4(C)に示すマスク40は、それぞれ、いわゆる開口絞りである。マスク40は、試料Xに入射する光線の角度を規定する。マスク40は、例えば、瞳共役面P1(開口絞りの位置)に配置される。
図4(A)のマスク40は、開口部40a〜40cを有する。開口部40aは、0次回折光が入射する位置に配置される。開口部40aには、位相変調器41が設けられている。例えば、位相変調器41は、マスク40を支持基板とし、開口部40aの内側に配置される。位相変調器41は、例えば、0次回折光を通す状態と遮断する状態とを切り替えるシャッタ部を兼ねている。開口部40bは、+1次回折光が入射する位置に配置され、開口部40cは、−1次回折光が入射する位置に配置される。補正ブロック42は、開口部40bに設けられている。例えば、補正ブロック42は、マスク40を支持基板とし、開口部40bの内側と開口部40cの内側のそれぞれに配置される。
なお、図4(A)においては、分岐部13による回折方向が第1方向に設定されている状態であり、回折方向を切り替えた場合、マスク40において1次回折光が入射する位置は、照明光学系11の光軸11aの周りで回転した位置に切り替わる。回折方向を切り替える場合、マスク40は、照明光学系11の光軸11aの周りで回転可能に設けられ、1次回折光が入射する位置に開口部40bおよび開口部40cが配置されるように駆動される。
図4(B)のマスク40は、開口部40a〜40gを有する。開口部40dおよび開口部40eは、例えば、回折方向が第2方向に設定されている場合に、1次回折光が入射する位置に配置されている。開口部40dおよび開口部40eは、例えば、開口部40bおよび開口部40cを照明光学系11の光軸11aの周りで60°回転させた位置に配置される。開口部40fおよび開口部40gは、例えば、回折方向が第3方向に設定されている場合に、1次回折光が入射する位置に配置されている。開口部40fおよび開口部40gは、例えば、開口部40bおよび開口部40cを照明光学系11の光軸11aの周りで−60°回転させた位置に配置される。このマスク40を用いる場合、補正ブロック42は、例えば開口部40a〜40gのそれぞれに設けられる。このマスク40は、回折方向が第1方向、第2方向、第3方向のいずれに設定される場合にも1次回折光を通すことができる。そのため、マスク40を回折方向に応じて回転させる機構を省略できる。
図4(C)のマスク40は、円環枠状であり、開口部40hを有する。開口部40hには、位相変調器41および補正ブロック42が設けられている。例えば、位相変調器41は、光軸を含む領域に設けられ、また、補正ブロック42は、位相変調器41と、開口部40hを規定するエッジ(開口部40hの内側側面)とに接するように設けられる。つまり、補正ブロック42は、マスク40に支持され、位相変調器41は、補正ブロック42に支持されていてもよい。このマスク40は、回折方向が第1方向、第2方向、第3方向のいずれに設定される場合にも1次回折光を通すことができる。そのため、マスク40を回折方向に応じて回転させる機構を省略できる。なお、マスク40は、円環枠状の部分から内側に延びて位相変調器41を支持するステイを含んでいてもよい。このステイは、例えば、回折方向が第1方向、第2方向、第3方向のいずれに設定される場合にも1次回折光が入射しない位置に配置される。
なお、位相変調器41と補正ブロック42の少なくとも一方は、マスク40と別の部材に支持されていてもよいし、マスク40に支持されていなくてもよい。位相変調器41へ電力と信号を供給する配線、ケーブル等は、マスク40に支持されていてもよいし、マスク40以外の部材に支持されていてもよい。また、位相調整部14は、マスク40を含んでいなくてもよく、例えば、マスク40は照明光学系11に含まれていてもよい。なお、位相変調器41は、0次回折光の通過と遮断とを切り替え可能なシャッタ部を兼ねていなくてもよい。このようなシャッタ部は、位相変調器41と別に設けられていてもよいし、照明光学系11に含まれていてもよい。
図1の説明に戻り、位相調整部14を通った光は、レンズ31に入射する。レンズ30およびレンズ31は、分岐部13と光学的に共役な面(以下、中間像面31aという)を形成する。視野絞り32は、例えば中間像面31aに配置される。視野絞り32は、照明光学系11の光軸11aに垂直な面内において、照明光学系11から試料Xに光が照射される範囲(照野、照明領域)を規定する。視野絞り32を通った光は、レンズ33に入射する。レンズ33は、分岐部13から射出された+1次回折光を瞳面P0(対物レンズ36の後側焦点面)において、光軸11aから離れた位置に集光する。また、レンズ33は、分岐部13上から射出された−1次回折光を、瞳面P0(対物レンズ36の後側焦点面)において、照明光学系11の光軸に関して+1次回折光と対称的な位置に集光する。
レンズ33を通った光は、フィルタ34に入射する。フィルタ34は、例えば励起フィルタである。フィルタ34は、試料Xに含まれる蛍光物質の励起波長を含む波長帯の光が選択的に通る特性を有する。フィルタ34は、例えば、光源部10からの光のうち励起波長以外の波長の少なくとも一部、迷光、外光などを遮断する。フィルタ34を通った光は、ダイクロイックミラー35に入射する。ダイクロイックミラー35は、試料Xに含まれる蛍光物質の励起波長を含む波長帯の光が反射し、試料Xからの光のうち所定の波長帯の光(例、蛍光)が通る特性を有する。フィルタ34からの光は、ダイクロイックミラー35で反射し、対物レンズ36に入射する。
対物レンズ36およびレンズ33は、中間像面31aと光学的に共役な面、すなわち分岐部13と光学的に共役な面を形成する。上述したように、+1次回折光は、対物レンズ36の瞳面P0上で光軸11aから離れた位置に集光される。また、−1次回折光は、瞳面P0において、光軸11aに関して+1次回折光と対称的な位置に集光される。
試料Xは、観察時に、その観察対象の部分が対物レンズ36の前側焦点面に配置される。試料Xには、+1次回折光と−1次回折光との干渉により干渉縞が形成される。この干渉縞は、例えば、照明光学系11の光軸11aに垂直な方向に光強度の周期的な分布を有する。この干渉縞は、分岐部13による回折方向に応じた方向に周期的に並ぶ明部および暗部を含む。試料Xのうち干渉縞の明部に配置されている部分は、蛍光物質が励起されて、蛍光を発する。この蛍光の像は、照明光学系11が形成する干渉縞と、試料Xにおける蛍光物質の分布のパターン(以下、試料パターンという)とのモアレ像(変調像)である。撮像装置3は、このモアレ像(変調像)の画像を取得する。
撮像装置3は、撮像光学系50(結像光学系)および撮像素子51を備える。撮像光学系50は、対物レンズ36、ダイクロイックミラー35、フィルタ52、及びレンズ53を備える。撮像光学系50は、対物レンズ36およびダイクロイックミラー35を照明光学系11と共用している。試料Xからの光(観察光)は、対物レンズ36に入射して平行化され、ダイクロイックミラー35を通ってフィルタ52に入射する。
フィルタ52は、例えば蛍光フィルタである。フィルタ52は、試料Xからの光のうち所定の波長帯の光(例、蛍光)が選択的に通る特性を有する。フィルタ52は、例えば、照明光学系11から試料Xに照射され試料Xで反射した光、外光、迷光などを遮断する。フィルタ52を通った光は、レンズ53に入射する。レンズ53および対物レンズ36は、対物レンズ36の前側焦点面(物体面)と光学的に共役な面(像面)を形成する。試料Xからの蛍光による像(モアレ像)は、この像面に形成される。
撮像素子51(撮像部)は、撮像光学系50により形成された試料Xの像を撮像する。撮像素子51は、例えばCCDイメージセンサやCMOSイメージセンサなどの二次元イメージセンサを含む。撮像素子51は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光電変換素子が配置された構造である。撮像素子51は、例えば、試料Xからの光により光電変換素子に蓄積された電荷をデジタルデータに変換し、デジタル形式の画像データを出力する。撮像素子51による1フレーム当たりの電荷蓄積時間は、例えば約1/30秒、約1/60秒などである。
ところで、モアレ像の空間周波数は、試料パターンの空間周波数と、照明光学系11が形成する干渉縞の空間周波数との差に相当し、試料パターンの空間周波数よりも低い。そのため、撮像光学系50の解像限界内で取得したモアレ像を復調すると、撮像光学系50の解像限界を超えた解像度の試料Xの像(超解像画像)が得られる。制御装置4は、例えば、超解像画像を表示装置5に表示させる。
顕微鏡装置1は、撮像装置3が取得した画像を使って復調処理を行う復調部55を備える。復調部55は、例えば、制御装置4に設けられるが、制御装置4と別に設けられていてもよい。復調部55は、干渉縞の向きおよび方向が互いに異なる状態で撮像された、複数の変調像を用いて、復元画像を生成することができる。復調部55は、例えば、米国特許番号8115806号明細書に開示された方法で復調処理を行ってもよいが、この方法に限られない。
また、制御装置4は、顕微鏡装置1の各部を制御する制御部56を備える。制御部56は、分岐部13による音波定在波の生成、位相調整部14による位相の変化(調整)、及び撮像素子51による撮像を制御する。制御部56は、図2(A)に示した分岐部13のスイッチ26を制御して、回折方向を切り替えることで、干渉縞の周期方向を変更する。また、制御装置4は、電源回路25を制御して、干渉縞の位相を変更する。以下、干渉縞の位相を制御する仕組みについて説明する。
図5は、分岐部13の音波伝搬路Rにおける屈折率の分布の時間変化を示す図である。図5には、音波伝搬路の屈折率が均一になる時刻tをt=0とし、定在波の腹の振動の1周期をTとし、時刻t=0からT/8ごとの各時刻における屈折率の分布を示した。周期Tは、分岐部13に供給される交流電圧の周波数の逆数に相当する。各時刻において、横軸は音波伝搬路の伝搬方向における位置を示し、縦軸は屈折率を示す。音波伝搬路の伝搬方向において、屈折率が時間変化しない節の位置を丸印で示し、2つの節の間の1つの腹の位置を符号aで示し、腹aの隣の腹の位置を符号bで示した。
腹aの屈折率は、時刻t=0から増加し、時刻t=2T/8において極大になる。腹aの屈折率は、時刻t=2T/8から減少し、時刻t=4T/8において時刻t=0と同じ値になり、時刻t=6T/8において極小になる。腹aの屈折率は、時刻t=6T/8から増加し、時刻t=8T/8において時刻t=0と同じ値になる。以下の説明において、時刻t=0から時刻t=4T/8の期間を前半期、時刻t=4T/8から時刻t=8T/8の期間を後半期という。腹aの屈折率は、前半期において節の屈折率以上になり、後半期において節の屈折率以下になる。
腹bの屈折率は、腹aの屈折率と反対の挙動を示す。腹bの屈折率は、時刻t=0から減少し、時刻t=2T/8において極小となった後に増加に転じて、時刻t=4T/8において時刻t=0と同じ値になる。また、腹bの屈折率は、時刻t=4T/8から増加し、時刻t=6T/8において極大となった後に減少に転じて、時刻t=8T/8において時刻t=0と同じ値になる。腹bの屈折率は、前半期において節の屈折率以下になり、後半期において節の屈折率以上になる。
次に、定在波のパターンと干渉縞との関係について説明する。図6は、ある時刻における定在波のパターンと、1次回折光の干渉縞との対応を示す概念図である。図6の上図において、定在波により屈折率が節の屈折率以下になる部分を明部で示し、定在波により屈折率が節の屈折率以上になる部分を暗部で示した。その1つの暗部ピークから明部を経て次の暗部ピークまでを1つの波とし、その数を定在波の波本数という。また、干渉縞において、1つの暗部と1つの明部との組を1本の縞とし、その数を干渉縞の縞本数という。+1次回折光と−1次回折光との干渉縞の場合、干渉縞の縞本数は、定在波の波本数の2倍になる。
図6の下図において、f−1、f0、f+1、の波はそれぞれ分岐部13を周波数f−1、f0、f+1で駆動したときの定在波を示す。また、符号Lは、音波伝搬路Rの長さを示す。定在波の波本数を2、(2+1/2)、3のように1/2ずつ変化させると、干渉縞の縞本数は4、5、6のように1ずつ変化する。ここで、音波伝搬路Rの一端からL/2だけずれた部分(図6に白矢印で示す)に対応する干渉縞の位相は、周波数f−1の場合に周波数f0の場合よりも−πずれており、周波数f+1の場合に周波数f0の場合よりもπずれている。また、音波伝搬路Rの一端からL/3だけずれた部分(図6に黒矢印で示す)に対応する干渉縞の位相は、周波数f−1の場合に周波数f0の場合よりも−2π/3ずれており、周波数f+1の場合に周波数f0の場合よりも2π/3ずれている。そのため、図2(A)に示した入射領域Saの位置を音波伝搬路Rの端からL/3だけずれた位置に設定した場合、駆動信号の周波数をf−1、f0、f+1とで切り替えることにより、干渉縞の位相を3通りに設定できる。
例えば、試料X上の縞本数を200にする場合、分岐部13における波本数は100となり、音波伝搬路Rの長さ(L)を30mmとすると、駆動信号の周波数(例、f0)は、80MHzになる。このような基準状態に対して、縞本数を1減らす場合、分岐部13における波本数は99.5となり、駆動信号の周波数(例、f−1)は、79.946MHzになる。このような周波数の駆動信号により分岐部13を駆動すると、試料X上の干渉縞の位相が−2π/3だけシフトする。また、基準状態に対して縞本数を1増やす場合、分岐部13における波本数は100.5となり、駆動信号の周波数(例、f+1)は、80.054MHzになる。このような周波数の駆動信号により分岐部13を駆動すると、試料X上の干渉縞の位相が+2π/3だけシフトする。
図7(A)は、音波伝搬路Rにおける光の入射領域Saを示す図、図7(B)は、波本数の変化に伴う干渉縞のずれを示す図である。入射領域Saは、光源部10からの光により音波伝搬路Rに形成されるスポットに相当する。入射領域Saの中心は、例えば、音波伝搬路Rの端から距離D(例、D=L/3)だけ離れた位置に設定される。図7(B)に示すように、定在波の波本数が1/2変化すると、試料Xに形成される干渉縞Sbの縞本数が1変化し、明部と暗部の位置がずれる。なお、図7(B)では、波本数の変更前(縞本数のずれが0)の干渉縞Sbのパターンを破線で示し、波本数の変更後の干渉縞Sbのパターンを実線で示し、双方の差を強調して示した。
音波伝搬路Rの長さLは、例えば干渉縞Sbの縞本数のずれが許容値以下となるように、入射領域Saの径φに比べて十分に大きく設定される。例えば、音波伝搬路Rの長さLと、入射領域Saの径φとは、干渉縞Sbの縞本数のずれの許容量δに対して、φ/L<δの関係を満たすように設定される。
画像の復元処理では複数の周波数成分を画像として重ね合わせており、その際の各周波数成分の持つ位相はできるだけ一致している必要がある。その誤差の許容値を、例えば、0.5ラジアンであるとする。これは縞本数に換算すると0.079本となる。視野中央の位置が上述のように音波伝搬路Rの端からの距離D(D=L/3)となるように音波伝搬路Rが設置されている場合には、図7(B)に示す中央部での干渉縞Sbのずれを縞本数に換算した値dp0は無視できると考えてよいが、その場合の視野端におけるずれdp1は両端においてほぼ等しく、それぞれ逆方向となる。各々が上述の0.079本以内となっている必要があることから、視野全体における干渉縞Sbの縞本数のずれの許容値δはその2倍の0.15本となる。ここでは小数第3位を切り捨てた。
一方、音波伝搬路R全体で音波の波本数が0.5変化するのであるから干渉縞Sbの縞本数変化は音波伝搬路R全体に対応する範囲で1変化することになる。従って、入射領域Saの径φの範囲内では干渉縞Sbの縞本数変化2dp1はφ/Lに等しくなる。従って、φ/L≦0.15を満たす必要がある。例えば、入射領域Saの径φを4mmとし、音波伝搬路Rの長さLを30mmとすると、φ/L=0.133であり、上述の条件を満たすことができる。
ところで、分岐部13に音響光学モジュールを用いる場合、定在波の各位置における屈折率は、図5に示したように前半期と後半期とで変化する。図8は、前半期および後半期のそれぞれの定在波と干渉縞を示す図である。図8に示すように、定在波の後半期のパターンは、定在波の前半期のパターンと位相がπずれた状態になる(図5参照)。−1次回折光と+1次回折光との干渉縞である場合、定在波の波本数に対して干渉縞の縞本数が2倍になるので、干渉縞の後半期のパターンは、前半期のパターンに対して位相が2πずれた状態になる。そのため、前半期の明部の部分は、後半期には、位相が2πずれた明部になり、前半期の暗部の部分は、後半期には、位相が2πずれた暗部になる。このように、2D−SIMモードでは、干渉縞の位相が前半期と後半期とで実質的に変化しない。
次に、顕微鏡装置1の動作に基づいて、2D−SIMモードにおける観察方法について説明する。図9は、2D−SIMモードにおける顕微鏡装置1の動作を示すフローチャートである(顕微鏡装置1の各部については図1〜図3参照)。ステップS11において、制御装置4の制御部56は、スイッチ26を制御し、スイッチ26の接続先をトランスデューサ23aに設定する。これにより、干渉縞Sbの周期方向は、第1方向に対応する方向に設定される。
ステップS12において、制御部56は、電源回路25を制御して駆動信号の周波数をf−1に設定する。これにより、干渉縞Sbの位相のシフト量は、−2π/3に設定される。ステップS13において、制御部56は、位相のシフト量が−2π/3に設定された状態で、撮像装置3を制御して試料Xを撮像させ、画像データI−1を取得する。
ステップS14において、制御部56は、電源回路25を制御して駆動信号の周波数をf0に設定する。これにより、干渉縞Sbの位相のシフト量は、0に設定される。ステップS15において、制御部56は、位相のシフト量が0に設定された状態で、撮像装置3を制御して試料Xを撮像させ、画像データI0を取得する。
ステップS16において、制御部56は、電源回路25を制御して駆動信号の周波数をf+1に設定する。これにより、干渉縞Sbの位相のシフト量は、+2π/3に設定される。ステップS17において、制御部56は、位相のシフト量が+2π/3に設定された状態で、撮像装置3を制御して試料Xを撮像させ、画像データI+1を取得する。以上のようにして、顕微鏡装置1は、干渉縞の周期方向を第1方向に設定しつつ、位相を3通りに切り替えて、3枚の画像を取得する。
ステップS18において、制御部56は、干渉縞Sbの周期方向を3方向の全てに設定済みであるか否かを判定する。制御部56は、干渉縞の3つの周期方向に応じた撮像が完了していないと判定した場合(ステップS18;No)、ステップS19において、スイッチ26の接続先を次のトランスデューサに切り替える。また、ステップ19の処理の終了後に、制御部56は、干渉縞の周期方向を変更した状態(例、第2方向)で、ステップS12からステップS17の処理を繰り返し、この周期方向に応じた画像データを取得する。また、制御部56は、干渉縞の周期方向に応じた撮像が完了したと判定した場合(ステップS18;Yes)、一連の処理を終了する。
このように、顕微鏡装置1は、3方向のそれぞれについて3枚の画像を取得し、合計9枚の画像を取得する。また、制御装置4の復調部55は、取得された画像データを使って復調処理を実行し、超解像画像のデータを生成する。制御装置4は、例えば、超解像画像のデータを図示略の記憶装置に記憶させる。また、制御装置4は、例えば、超解像画像を表示装置5に記憶させる。
次に、3D−SIMモードについて説明する。図10は、3D−SIMモードにおける光源部10から試料Xまでの光路を示す図である。図10においては、図を見やすくするために試料Xから撮像素子51までの光路を省略したが、撮像装置3は、図1と同様に試料Xを撮像する。3D−SIMモードにおいて、構造化照明装置2は、+1次回折光と−1回折光との干渉縞、+1次回折光と0次回折光との干渉縞、及び−1次回折光と0次回折光との干渉縞が合成された合成干渉縞を形成する。この合成干渉縞は、照明光学系11の光軸11aに垂直な2方向と、光軸11aに平行な1方向との合計3方向に周期構造を有する。
図11は、分岐部13から視野絞り32までの光路、及び駆動信号を示す図である。3D−SIMモードにおいて、制御装置4(制御部56)は、位相調整部14を制御することにより、0次回折光と1次回折光との相対的な位相を調整する。まず、撮像の1フレームの期間(1フレーム内の露光期間)における位相の調整について説明する。
図12は、前半期と後半期のそれぞれにおける、定在波、位相の調整前後の0次回折光と1次回折光との干渉縞を示す図である。上述のように定在波は、前半期と後半期とで位相がπずれた関係になる。0次回折光と1次回折光との干渉縞の場合、次数の差が1であるので、干渉縞の縞本数は、波本数の1倍になる。そのため、図12の調整前干渉縞(前半期、後半期)のように、干渉縞は、前半期と後半期とで位相がπずれる。位相の調整を行わないで前半期と後半期とにわたって試料Xを照明した場合、得られる画像はコントラストが低下する。例えば、撮像の1フレームに含まれる前半期の総露光量と後半期の総露光量が同じである場合、0次回折光と1次回折光との干渉縞による構造化照明に関する限り、得られる画像は均一な照明を標本に照射した際に得られる画像になる。
そこで、位相調整部14は、0次回折光と1次回折光との相対的な位相(位相差)を、前半期と後半期とで異なる値に調整する。相対的な位相を調整しない場合、前半期における干渉縞の強度分布は下記の式(1)で表され、後半期の干渉縞の強度分布は、下記の式(2)で表される。
Ii(r)=I0+2I+4・√I0・√I・cos(kxX)・cos(kzZ)+2・I・cos(2kxX) ・・・(1)
Ii(r)=I0+2I+4・√I0・√I・cos(kxX+π)・cos(kzZ)+2・I・cos(2kxX+2π)・・・(2)
式(1)および式(2)において、Xは、位相型回折格子のピッチ方向(周期方向)に対応した方向の位置を示し、Zは、照明光学系11の光軸11aに平行な方向の位置を示す。I0は、0次回折光の強度を示し、Iは、±1次回折光の強度を示し、kx、kzは、それぞれX方向、Z方向の波数を示す。式(1)、(2)における第1項は、0次回折光の強度であり、第2項は、+1次回折光の強度と−1次回折光の強度との和であり、第3項は、±1次回折光と0次回折光との間の干渉強度分布であり、第4項は、±1次回折光同士の干渉強度分布である。式(1)と式(2)との間では、第3項のみが異なる。
ここで、説明の便宜上、前半期における0次回折光の位相調整量をπとし、後半期における0次回折光の位相調整量を0とし、+1次回折光および−1次回折光については前半期および後半期の位相調整量を0とする。この場合、前半期の干渉縞の強度分布は、下記の式(3)で表される。この式(3)は、上記の式(2)と等価であり、位相調整後の前半期の干渉縞のパターンは、後半期の干渉縞のパターンと同じになる(図12の調整後干渉縞参照)。なお、実施形態に係る位相調整量は、上記のように0でもよい。
Ii(r)=I0 +2I+4・√I0・√I・cos(kxX+π)・cos(kzZ)+2・I・cos(2kxX)・・・(3)
図11の説明に戻り、制御装置4は、電源回路25を制御して、スイッチ26に対して駆動信号DW1を供給させ、かつ位相調整回路44に対して駆動信号DW2を供給させる。電源回路25は、例えば、駆動信号DW1と駆動信号DW2の周波数を同じにする。駆動信号DW1は、スイッチ26を介して、分岐部13に供給される。駆動信号DW1は、例えば正弦波状の電圧波形である。
駆動信号DW2は、位相調整回路44を介して、位相調整部14の位相変調器41に供給される。位相調整回路44は、制御装置4(制御部56)に制御され、駆動信号DW2の位相を調整する。駆動信号DW2は、例えば矩形波状である。駆動信号DW2のローレベル(L)は、グランド電位などの基準電位であり、例えば位相変調器41の電気光学物質に電界を印加しない電位である。ここでは、位相変調器41の電気光学物質に電界が印加されていない状態の位相調整量が0であるものとし、電気光学物質の屈折率による位相調整量(補正ブロック42により相殺されるオフセット)を無視する。駆動信号DW2のハイレベル(H)は、ローレベル時と比較して0次回折光にπの位相を付与するように、電気光学物質に電界を印加するレベルである。駆動信号DW2は、駆動信号DW1のレベルが基準電位(例、グランド電位)に対して正電位に変化する際にHに立ち上がり、駆動信号DW1のレベルが基準電位から負電位に変化する際にLに立ち下がる波形である。駆動信号DW2は、駆動信号DW1のレベルが正電位である期間にHに維持され、駆動信号DW1のレベルが負電位である期間にLに維持される。
駆動信号DW1は、信号レベルがHに立ち上がってから次にHに立ち上がるまでを1周期のパルスとして、例えば撮像の1フレームに複数周期のパルスを含む。駆動信号DW1の周期がTである場合、駆動信号DW2の周期はTであり、前半期にHとなり後半期にLとなる。なお、0次回折光と1次回折光との相対的な位相を、前半期と後半期とでπだけ変化させる場合、駆動信号DW2は、前半期にLとなり後半期にHとなる波形であってもよい。
次に、撮像の複数のフレームにおける位相の調整について説明する。3D−SIMモードにおいて1枚の超解像画像を生成するには、一般的に、干渉縞の向きを3通りに変化させ、干渉縞の各向きに対して干渉縞の位相を5通りに変化させて、15状態の干渉縞のそれぞれを用いた撮像が行われる。位相を5通りに変化させるには、例えば、分岐部13において、入射領域Saを音波伝搬路Rの端からL/5の位置に設定し、波本数を5通りに変化させる手法がある。この手法においては、3D−SIMモード用の光変調器が必要になり、その入射領域Saに対して音波伝搬路Rが大型になる。また、2D−SIMモードと3D−SIMモードとで光変調器を交換する必要が生じる。
本実施形態に係る構造化照明装置2は、0次回折光と1次回折光の相対的な位相を、撮像の複数のフレームのうち第1フレームと第2フレームとで変化させることにより、干渉縞の位相をシフトさせることができる。これにより、例えば、2D−SIMモードと3D−SIMモードとで分岐部13を共用にすることができる。
図13は、複数のフレームにおける駆動信号、定在波、及び干渉縞を示す説明図である。制御装置4(制御部56)は、電源回路25を制御し、撮像の第1フレームの期間において、分岐部13に対して駆動信号DW1を供給させる。また、制御部56は、撮像の第2フレームの期間において、周波数および位相が第1フレームと同じ駆動信号(例、駆動信号DW1)を分岐部13に供給させる。すなわち、第1フレームにおける駆動信号は、第1フレームの開始時刻を基準として所定のタイミングで負電位から正電位に変化し、第2フレームにおける駆動信号は、第2フレームの開始時刻を基準として所定のタイミングで負電位から正電位に変化する。なお、図13において、所定のタイミングは、各フレームの開始時刻と同時であるが、各フレームの開始時刻からずれていてもよい。
制御部56は、電源回路25および位相調整回路44を制御して、撮像の第1フレームの期間において、位相調整部14の位相変調器41に対して駆動信号DW2を供給させる。また、制御部56は、電源回路25および位相調整回路44を制御して、撮像の第2フレームの期間において、第1フレームと異なる駆動信号DW3を位相変調器41に供給させる。
図13において、駆動信号DW3は、駆動信号DW2と位相が同じである。駆動信号DW2は、第1フレームの開始時刻を基準として所定のタイミングで立ち上がり、駆動信号DW3は、第2フレームの開始時刻を基準として所定のタイミングで立ち上がる。また、駆動信号DW1と比較すると、第1フレームにおいて、駆動信号DW1は、第1フレームの開始時刻から所定のタイミングで負電位から正電位に変化し、駆動信号DW2は、第1フレームの開始時刻から所定のタイミングで立ち上がる。第2フレームにおいて、駆動信号DW1は、第2フレームの開始時刻から所定のタイミングで負電位から正電位に変化し、駆動信号DW3は、第2フレームの開始時刻から所定のタイミングで立ち上がる。なお、図13において、所定のタイミングは、各フレームの開始時刻と同時であるが、各フレームの開始時刻からずれていてもよい。
図13において、駆動信号DW3は、駆動信号DW2と電圧値が異なる。第1フレームにおける駆動信号DW2は、信号のレベルがローレベル(L)と第1ハイレベル(H1)とで切り替わる波形である。H1は、Lと比較して、位相変調器41による位相の調整量がπ変化するレベルである。第2フレームにおける駆動信号DW3は、レベルがH1と第2ハイレベル(H2)とで切り替わる波形である。H2は、H1と比較して、位相変調器41による位相の調整量がπだけ変化するレベルであり、Lと比較して、位相変調器41による位相の調整量が2πだけ変化するレベルである。すなわち、駆動信号DW2と駆動信号DW3とで、位相変調器41の変調幅の上限値、中心値、下限値が変化する、例えば、電源回路25は、制御装置4に制御され、駆動信号DW2にオフセット(例えば、H1)を付加することで駆動信号DW3を生成する。
駆動信号DW2の信号レベル(電圧値)は、位相調整量と対応関係にある。第1フレームにおいて、駆動信号DW2の電圧値はLとH1とで切り替わっており、ここでは、電圧値がLである場合の位相調整量を第1の位相調整量とし、電圧値がH1である場合の位相調整量を第2の位相調整量とする。第1フレームにおいて、位相調整部14が位相を変化させるパターン(第1のパターン、第3のパターン、第5のパターン)は、電圧値Lに対応する第1の位相調整量と、電圧値H1に対応する位相調整量(第2の位相調整量)とを時間に応じて付与して位相を変化させるパターンである。第1のパターン、第3のパターン、第5のパターンは、周波数が互いに異なる。例えば、第1のパターン、第3のパターン、第5のパターンは、それぞれ、駆動信号DW2の周波数をf−1、f0、f+1に設定することで実現される。
また、駆動信号DW3の信号レベル(電圧値)は、位相調整量と対応関係にある。第2フレームにおいて、駆動信号DW3の電圧値はH1とH2とで切り替わっており、ここでは、電圧値がH1である場合の位相調整量は、第1の位相調整量にπを加算した位相調整量である。また、電圧がH2である場合の位相調整量は、第2の位相調整量にπを加算した位相調整量である。第2フレームにおいて、位相調整部14が位相を変化させるパターン(第2のパターン、第4のパターン、第6のパターン)は、第1の位相調整量にπを加算した位相調整量と、第2の位相調整量のπを加算した位相調整量とを時間に応じて付与して位相を変化させるパターンである。第2のパターン、第4のパターン、第6のパターンは、周波数が互いに異なる。例えば、第2のパターン、第4のパターン、第6のパターンは、それぞれ、駆動信号DW3の周波数をf−1、f0、f+1に設定することで実現される。
定在波のパターンは、第1フレームと第2フレームとで同じである。また、第2フレームにおける干渉縞は、0次回折光と1次回折光との相対的な位相が第1フレームと変化していることにより、第1フレームの干渉縞と位相がずれる。例えば、第1フレームの明部の中心位置は、ΔBのピッチで周期的に配置される。また、第2フレームの明部の中心位置は、第1フレームの明部の中心位置から約ΔB/2ずれた位置から、ΔBのピッチで周期的に配置される。制御部56は、例えば、第1フレームにおける干渉縞の明部の中心が第2フレームにおける干渉縞の暗部の中心と一致するように、位相調整部14を制御する。
ここでは、位相変調器41は、駆動信号DW2の1周期の前半期において位相をπ付与し、後半期において付与しない。また、位相変調器41は、駆動信号DW3の1周期の前半期において位相を2π付与し、後半期において位相をπ付与する。例えば、第1フレームにおける0次回折光と1次回折光との相対的な位相は、0とπとで切り替えられ、第2フレームにおける0次回折光と1次回折光との相対的な位相は、πと2πとで切り替えられる。なお、位相変調器41は、干渉縞のコントラストに応じて、駆動信号DW2の1周期の前半期において位相を(β+π)付与し、後半期においてβ付与し、駆動信号DW3の1周期の前半期において、(β+2π)付与し、後半期において(β+π)付与してもよい。
このように、0次回折光と1次回折光との相対的な位相が、第1フレームと第2フレームとでずれていると、第1フレームにおける明部の位置に第2フレームにおける暗部が配置される。すなわち、第2フレームの干渉縞は、第1フレームの干渉縞に対して位相がπずれた関係になる。例えば、第1フレームにおける干渉縞の位相のシフト量が−2π/3である場合、第2フレームにおいて干渉縞の位相のシフト量がπ/3となる。第1フレームにおける干渉縞の位相のシフト量が0である場合、第2フレームにおいて干渉縞の位相のシフト量がπとなる。また、第1フレームにおける干渉縞の位相のシフト量が2π/3である場合、第2フレームにおいて干渉縞の位相のシフト量が5π/3となる。つまり、分岐部13の駆動信号の周波数をf−1、f0、f+1とで切替るとともに、各周波数に対して位相変調器41により位相を調整すると、位相のシフト量を0、π/3、2π/3、π、4π/3、5π/3の6通りに切り替えることができる。
次に、3D−SIMモードにおける観察方法について説明する。図14は、3D−SIMモードにおける顕微鏡装置1の動作を示すフローチャートである(顕微鏡装置1の各部については図10、図11参照)。ステップS21において、制御装置4の制御部56は、スイッチ26を制御し、スイッチ26の接続先をトランスデューサ23aに設定する。これにより、干渉縞Sbの周期方向は、第1方向に対応する方向に設定される。
ステップS22において、制御部56は、分岐部13に第1の駆動信号を与えて音波定在波を生成させる。第1の駆動信号は、周波数がf−1の駆動信号(図6参照)であり、制御部56は、電源回路25を制御して駆動信号の周波数をf−1に設定する。ステップS23において、制御部56は、例えば、0次回折光の位相を第1のパターンで変化させることにより、0次回折光と1次回折光との相対的な位相を変化させる。ここで、第1のパターンは、2種類の位相調整量を時間に応じて付与して位相を変化させるパターンであり、2種類の位相調整量の差はπである。制御部56は、0次回折光の位相を第1のパターンで変化させるために、電源回路25を制御して位相変調器41の駆動信号を駆動信号DW2(図13参照)に設定する。これにより、干渉縞Sbの位相のシフト量は、−2π/3に設定される。ステップS24において、制御部56は、撮像素子51に試料Xの第1の画像を撮像させ、第1の画像に対応する画像データI−1aを取得する。ステップS25において、制御部56は、分岐部13に第1の駆動信号が与えられる状態で、例えば、0次回折光の位相を第2のパターンで変化させることにより、0次回折光と1次回折光との相対的な位相を変化させる。ここで、第2のパターンは、2種類の位相調整量を時間に応じて付与して位相を変化させるパターンであり、2種類の位相調整量の差はπである。制御部56は、0次回折光の位相を第2のパターンで変化させるために、電源回路25を制御して位相変調器41の駆動信号を駆動信号DW3(図13参照)に設定する。これにより、干渉縞Sbの位相のシフト量は、π/3に設定される。ステップS26において、制御部56は、撮像素子51に試料Xの第2の画像を撮像させ、第2の画像に対応する画像データI−1bを取得する。
ステップS27において、制御部56は、分岐部13に第2の駆動信号を与えて音波定在波を生成させる。第2の駆動信号は、周波数がf0の駆動信号(図6参照)であり、制御部56は、電源回路25を制御して駆動信号の周波数をf0に設定する。ステップS28において、制御部56は、例えば、0次回折光の位相を第3のパターンで変化させることにより、0次回折光と1次回折光との相対的な位相を変化させる。ここで、第3のパターンは、2種類の位相調整量を時間に応じて付与して位相を変化させるパターンであり、2種類の位相調整量の差はπである。制御部56は、0次回折光の位相を第3のパターンで変化させるために、電源回路25を制御して位相変調器41の駆動信号を、駆動信号DW2の周波数をf0に変換した駆動信号に切り替える。なお、この駆動信号は、0次回折光に対する位相調整量を0とπとで切り替える駆動信号である。これにより、干渉縞Sbの位相のシフト量は、0に設定される。ステップS29において、制御部56は、撮像素子51に試料Xの第3の画像を撮像させ、第3の画像に対応する画像データI0aを取得する。ステップS30において、制御部56は、分岐部13に第2の駆動信号が与えられる状態で、例えば、0次回折光の位相を第4のパターンで変化させることにより、0次回折光と1次回折光との相対的な位相を変化させる。ここで、第4のパターンは、2種類の位相調整量を時間に応じて付与して位相を変化させるパターンであり、2種類の位相調整量の差はπである。制御部56は、0次回折光の位相を第4のパターンで変化させるために、電源回路25を制御して駆動信号を、ステップS28における第3のパターンに対応する駆動信号に電圧値のオフセットを加えた駆動信号に切り替える。例えば、制御部56は、電源回路25を制御して位相変調器41の駆動信号を、駆動信号DW3の周波数をf0に変換した駆動信号に切り替える。なお、この駆動信号は、0次回折光に対する位相調整量をπと2πとで切り替える駆動信号である。これにより、干渉縞Sbの位相のシフト量は、πに設定される。ステップS31において、制御部56は、撮像装置3を制御して試料Xを撮像させ、画像データI0bを取得する。
ステップS32において、制御部56は、分岐部13に第3の駆動信号を与えて音波定在波を生成させる。第3の駆動信号は、周波数がf+1の駆動信号(図6参照)であり、制御部56は、電源回路25を制御して駆動信号の周波数をf+1に設定する。ステップS33において、制御部56は、例えば、0次回折光の位相を第5のパターンで変化させることにより、0次回折光と1次回折光との相対的な位相を変化させる。こで、第5のパターンは、2種類の位相調整量を時間に応じて付与して位相を変化させるパターンであり、2種類の位相調整量の差はπである。制御部56は、0次回折光の位相を第5のパターンで変化させるために、電源回路25を制御して位相変調器41の駆動信号を、駆動信号DW2の周波数をf+1に変換した駆動信号に切り替える。なお、この駆動信号は、0次回折光に対する位相調整量を0とπとで切り替える駆動信号である。これにより、干渉縞Sbの位相のシフト量は、2π/3に設定される。ステップS34において、制御部56は、撮像素子51に試料Xの第5の画像を撮像させ、第5の画像に対応する画像データI+1aを取得する。ステップS35において、分岐部13に第3の駆動信号が与えられる状態で、例えば、0次回折光の位相を第6のパターンで変化させることにより、0次回折光と1次回折光との相対的な位相を変化させる。ここで、第6のパターンは、2種類の位相調整量を時間に応じて付与して位相を変化させるパターンであり、2種類の位相調整量の差はπである。制御部56は、電源回路25を制御して駆動信号を、ステップS33における第5のパターンに対応する駆動信号に電圧値のオフセットを加えた駆動信号に切り替える。例えば、制御部56は、電源回路25を制御して位相変調器41の駆動信号を、駆動信号DW3の周波数をf+1に変換した駆動信号に切り替える。なお、この駆動信号は、0次回折光に対する位相調整量をπと2πとで切り替える駆動信号である。これにより、干渉縞Sbの位相のシフト量は、5π/3に設定される。ステップS36において、制御部56は、撮像素子51に試料Xの第6の画像を撮像させ、第6の画像に対応する画像データI+1bを取得する。以上のようにして、顕微鏡装置1は、干渉縞の周期方向を第1方向に設定しつつ、位相を6通りに切り替えて、6枚の画像を取得する。
ステップS37において、制御部56は、干渉縞Sbの周期方向を3方向の全てに設定済みであるか否かを判定する。制御部56は、干渉縞の周期方向に応じた撮像が完了していないと判定した場合(ステップS37;No)、ステップS38において、スイッチ26の接続先を次のトランスデューサに切り替える。また、ステップS38の処理の終了後に、制御部56は、干渉縞の周期方向を変更した状態(例、第2方向)で、ステップS22からステップS36の処理を繰り返し、この周期方向に応じた画像データを取得する。また、制御部56は、干渉縞の周期方向に応じた撮像が完了したと判定した場合(ステップS37;Yes)、一連の処理を終了する。
図15は、干渉縞の1方向に関する設定条件を示す図である。構造化照明装置2は、分岐部13の駆動信号の周波数をf−1、f0、f+1の3通りに切り替え、分岐部13の駆動信号の各周波数に対して、位相変調器による位相変調量を0とπとで切り替えることで、干渉縞の位相を0、π/3、2π/3、π、4π/3、5π/3の6通りに切り替えることができる。顕微鏡装置1は、3方向のそれぞれについて位相を6通りに切り替えて、合計18枚の画像を取得する。
また、制御装置4の復調部55は、取得された画像データを使って復調処理を実行し、超解像画像のデータを生成する。復調部55は、例えば、干渉縞の各方向において位相が異なる6枚の画像のうちの5枚(3方向で15枚)を使って復調処理を行い、各方向における残りの1枚(3方向で3枚)の画像については補間などに用いてもよいし、復調処理に用いなくてもよい。なお、制御部56は、復調処理に用いられない画像については、撮像装置3に撮像させなくてもよく、例えば、干渉縞の位相を0、π/3、2π/3、π、4π/3、5π/3のうち5通りに変化させて5枚の画像を取得してもよい。
図16は、位相変調器41の駆動信号の他の例を示す図である。図16において、第2フレームの駆動信号DW4は、信号のレベルがLとH1とで切り替わる波形である。駆動信号DW4は、位相が第1フレームの駆動信号DW2と異なる。駆動信号DW4は、第2フレームの開始時刻から立ち上がりまでの時間が、駆動信号DW2において第1フレームの開始時刻から立ち上がりまでの時間と異なる。駆動信号DW4は、フレームの開始時刻から立ち上がりまでの時間が駆動信号DW2とT/2(位相でπ)ずれている。例えば、位相調整回路44は、電源回路25から駆動信号DW2を供給され、駆動信号DWの位相をπ調整することにより、駆動信号DW4を生成する。
駆動信号DW2の信号レベル(電圧値)は、位相調整量と対応関係にある。第1フレームにおいて、駆動信号DW2の電圧値はLとH1とで切り替わっており、ここでは、電圧値がLである場合の位相調整量を第1の位相調整量とし、電圧がH1である場合の位相調整量を第2の位相調整量とする。第1フレームにおいて、位相調整部14が位相を変化させるパターン(第1のパターン、第3のパターン、第5のパターン)は、電圧値Lに対応する第1の位相調整量と、電圧値H1に対応する第2の位相調整量とを時間に応じて交互に付与して位相を変化させるパターンである。
また、駆動信号DW4の信号レベル(電圧値)は、位相調整量と対応関係にある。駆動信号DW4は、駆動信号DW2と比較して信号レベルをLとH1とで反転させた駆動信号である。第2フレームにおいて、位相調整部14が位相を変化させるパターン(第2のパターン、第4のパターン、第6のパターン)は、第1フレームにおいて位相調整部14が位相を変化させるパターン(第1のパターン、第3のパターン、第5のパターン)を反転させたパターンである。
位相変調器41は、駆動信号DW2により駆動されることで、0次回折光の位相を前半期にπだけ調整し後半期に0だけ調整し、駆動信号DW4により駆動されることで、0次回折光の位相を前半期に0だけ調整し後半期にπだけ調整する。このように、第2フレームにおける位相変調器41の駆動信号は、第1フレームにおける位相変調器の駆動信号と各フレーム内での位相がずれていてもよい。
上述したような本実施形態に係る構造化照明装置2は、位相調整部14によって0次回折光と1次回折光との相対的な位相を調整するので、干渉縞の位相を変化させることができ、画像取得を高速化することができる。また、例えば、分岐部13が音響光学モジュールを用いた構成である場合、2D−SIMモードと3D−SIMモードとで分岐部13を共用することができる。また、例えば、位相調整部14を用いないで分岐部13により干渉縞の位相を6通りに変化させる構成と比較して、光源からの光の入射領域Saに対して分岐部13が大型化することを回避できる。
なお、分岐部13は、石英基板などに形成された回折格子を用いる構成であってもよいし、液晶素子などの空間光変調素子を用いる構成であってもよい。例えば石英基板などに形成された回折格子により、干渉縞の方向または位相を変化させる場合、回折格子を5位相で移動させるが、位相調整部14を併用すると3位相の移動でよい。その結果、例えば回折格子の移動に伴う振動が収まるまでの待機時間を減らすことができる。また、液晶素子を分岐部13に用いる場合、1ピクセルで5位相分ずらす場合、明部と暗部をあわせて5ピクセル要するが、位相調整部14を併用すると3位相の移動でよいので、1周期分に3ピクセルあればよい。そのため、同じ画素数の液晶素子を用いる場合、形成できるパターンの周期数を増やすことができる。
なお、上述した顕微鏡装置1において、制御装置4は、例えば、CPUおよびメモリーを有するコンピュータにより構成される。このコンピュータは、外部または内部の記憶装置から制御プログラムを読み出し、この制御プログラムに従って上述した各処理を実行させる。この制御プログラムは、例えば、音波定在波が生成され、入射した光を複数の光束に分岐する光変調器と、複数の光束の少なくとも一部を干渉させて、干渉縞で試料を照明する照明光学系と、干渉縞が照射された試料の像を形成する結像光学系と、結像光学系により形成された試料の像を撮像する撮像部と、複数の光束の少なくとも1つの光束の位相を変化させる位相調整部と、を有する顕微鏡装置の制御をコンピュータに実行させる制御プログラムであって、制御は、光変調器に第1の駆動信号を与えて音波定在波を生成させたとき、位相調整部に位相を第1のパターンで変化させて撮像部に第1の画像を撮像させ、位相調整部に位相を第2のパターンで変化させて撮像部に第2の画像を撮像させることと、光変調器に第2の駆動信号を与えて音波定在波を生成させたとき、位相調整部に位相を第3のパターンで変化させて撮像部に第3の画像を撮像させた後、位相調整部に位相を第4のパターンで変化させて撮像部に第4の画像を撮像させることと、光変調器に第3の駆動信号を与えて音波定在波を生成させたとき、位相調整部に位相を第5のパターンで変化させて撮像部に第5の画像を撮像させ位相調整部に位相を第6のパターンで変化させて撮像部に第6の画像を撮像させることと、を含む。
なお、位相変調器41による前半期の位相調整量と後半期の位相調整量は、適宜、変更できる。例えば、上述の実施形態において、位相変調器41は、0次回折光の位相調整量が0、π、2πなどに設定されるが、これ以外の位相調整量に設定されていてもよい。例えば、制御装置4は、例えばキャリブレーション用の試料など予め特性が分かっている試料を用いて、撮像装置3から出力される画像のコントラストを参照しながら位相変調器41の位相調整量を変化させ、そのコントラストが最大となった時点(又は、そのコントラストが閾値以上となった時点)で、その位相調整量を初期値に設定してもよい。
図17は、位相変調器41による位相調整量の例を示す図である。図17(A)の例は、上述した実施形態と同様に、前半期において、1次回折光に対する位相調整量が0であり、0次回折光に対する位相調整量がπである。前半期において、0次回折光と1次回折光の相対的な位相調整量はπである。また、後半期において、1次回折光に対する位相調整量が0であり、0次回折光に対する位相調整量が0である。後半期において、0次回折光と1次回折光の相対的な位相調整量は0である。このように、0次回折光と1次回折光の相対的な位相調整量が前半期と後半期で異なっている。
図17(B)の例では、前半期において、1次回折光に対する位相調整量がπであり、0次回折光に対する位相調整量が0である。前半期において、0次回折光と1次回折光の相対的な位相調整量はπである。また、後半期において、1次回折光に対する位相調整量が0であり、0次回折光に対する位相調整量が0である。後半期において、0次回折光と1次回折光の相対的な位相調整量は0である。図13から図16の説明においては、0次回折光を第1から第6のパターンで変化させることにより、0次回折光と1次回折光との相対的な位相を変化させるが、本例のように、0次回折光の代わりに1次回折光の位相調整量を前半期と後半期とで変化させてもよい。例えば、0次回折光を第1乃至第6のパターンで変化させる代わりに、1次回折光を第1乃至第6のパターンで変化させることで、図13から図16で説明したのと同様に0次回折光と1次回折光との相対的な位相を変化させることができる。1次回折光を0次回折光を第1乃至第6のパターンで変化させる手法としては、例えば、図11の補正ブロック42の代わりに位相変調器を設けておき、この位相変調器に駆動信号DW2あるいは駆動信号DW3のような駆動信号を前半期と後半期とで切り替えて供給する手法がある。
なお、±1次回折光と0次回折光との相対的な位相を調整するには、位相変調の対象を±1次回折光と0次回折光の双方としてもよい。この場合は、±1次回折光が入射する領域と0次回折光が入射する領域のそれぞれに、位相変調器41を配置すればよい。例えば、0次回折光が入射する領域と1次回折光が入射する領域とにわたって同じ位相変調器41が配置されていてもよいし、0次回折光が入射する領域と1次回折光が入射する領域とに、それぞれ位相変調器41が配置されていてもよい。
図17(C)の例では、前半期において、+1次回折光に対する位相調整量がα+πであり、−1次回折光に対する位相調整量が−α+πであり、0次回折光に対する位相調整量が0である。後半期において、+1次回折光に対する位相調整量がαであり、−1次回折光に対する位相調整量が−αであり、0次回折光に対する位相調整量が0である。このように、+1次回折光と−1次回折光とで位相調整量が異なっていてもよい。このようなα(オフセット)は、例えば、以下のように設定される。まず、2D−SIMモードにおいて、0次回折光を遮光し、+1次回折光に対して位相オフセットαを付与し、−1次回折光に対して位相オフセット−αを付与する。つまり、0次回折光に対する+1次回折光の位相オフセットと、0次回折光に対する−1次回折光の位相オフセットとを、等量反対符号に設定する。この状態でも、適正な2光束構造化照明を生成できる。そして、干渉縞の位相を切り換える際には、前述した定在波の波長を所定パターンで切り換える代わりに、位相オフセット量αを所定パターンで切り換える。例えば、位相オフセット量αを2π/3のピッチで3通りに切り換えれば、干渉縞の位相を2π/3のピッチで3通りに切り換えることができる。なお、0次回折光の代わりに1次回折光の位相を変化させることで、0次回折光と1次回折光との相対的な位相を調整することについては、図17(B)の説明と同様である。
なお、上述した実施形態では、干渉縞(2光束の干渉縞、3光束の干渉縞)を形成するための回折光として、±1次回折光及び0次回折光の組み合わせを用いたが、他の組み合わせを用いてもよい。
なお、撮像の1フレーム内において、位相変調器41に供給される駆動信号DW2は、分岐部13に供給される駆動信号DW1と位相がずれていてもよい。図18は、定在波の腹aの屈折率の時間変化と、0次回折光の位相変調量の時間変化との比較を示す図である。図18では、腹aの屈折率の時間変化を実線で示し、0次回折光の位相変調量の時間変化を破線で示した。
図18(A)において、腹aの屈折率の時間変化を示す波形と0次回折光の位相変調量の時間変化を示す波形との間の位相差ΔΨがπ/2の偶数倍に一致している。この場合、0次回折光の位相の変位する期間が、屈折率変化の前半期または後半期と一致するので、得られる画像のコントラストが最大となる。
図18(B)において、腹aの屈折率の時間変化を示す波形と0次回折光の位相変調量の時間変化を示す波形との間の位相差ΔΨがπ/2の偶数倍に一致していない。この場合、前半期と後半期それぞれで干渉縞Sbの位相が反転するため、互いに打ち消しあって干渉縞のコントラストが低下する。そのため、ΔΨはπ/2の偶数倍に等しいことが望ましいが、復調処理に必要とされる明部と暗部とのコントラストを確保できる範囲内において、ΔΨは、π/2の偶数倍からずれていてもよい。
図18(C)において、腹aの屈折率の時間変化を示す波形と0次回折光の位相変調量の時間変化を示す波形との間の位相差ΔΨは、π/2の奇数倍に一致している。この場合、撮像の1フレームに含まれる前半期の露光総量と後半期の露光総量が同じであり、得られる画像のコントラストがほぼ0となる。そのため、図18(B)のように、ΔΨがπ/2の偶数倍からずれていたとしても、π/2の奇数倍とはならないように設定される。
なお、3D−SIMモードにおいて、屈折率の時間変化波形と0次回折光の位相変調量の時間変化波形との間の位相差ΔΨの調整は、制御装置4が自動で行ってもよいし、ユーザが手動で行ってもよい。例えば、調整中の画像のコントラストをユーザが確認できるよう、撮像装置3から出力される画像を制御装置4がリアルタイムで表示装置5へ表示してもよい。
なお、3D−SIMモードにおいて、位相変調器41の駆動信号の周波数は、分岐部13の駆動信号の周波数を正弦信号の周波数と一致しなくてもよい。図19は、位相変調器41の駆動信号の他の例を示す図である。例えば、位相変調器41の駆動信号の周波数を、分岐部13の駆動信号の周波数の1/N倍(Nは1以上の整数)に設定し、位相変調器41の駆動信号のデューティー比(信号のレベルがHの期間/駆動信号の周期)を1/(2N)に設定してもよい。図19は、N=3とした場合の例である。
この場合、位相変調器41は、分岐部13による定在波の3周期のうち1周期において前半期と後半期との位相を調整する。このような場合にであっても、位相を調整した1周期において明部と暗部とのコントラストが得られる。また、このような場合に、撮像装置3は、位相変調器41が位相を調整した1周期において電荷蓄積を行い、位相変調器41が位相を調整しない2周期において電荷蓄積を行わなくてもよい。この場合、電荷蓄積期間は、例えば、位相変調周期(N×T)のうち、0次回折光の位相の変位する期間(T/2)と、その前又は後における同等期間(T/2)とを合わせた期間(T)に設定されればよい。なお、デューティー比は、コントラストが確保できる範囲内において、デューティー比は1/(2N)からずれていてもよい。また、位相変調器41の駆動信号は、矩形波状でなくてもよく、例えば正弦波状であってもよいし、他の波形であってもよい。
なお、位相調整部14は、回折光の位相を変調する位相変調器41を備えるが、位相変調器41の代わりに又は位相変調器41と併用して、厚さが異なる屈折部材を備えていてもよい。厚さの異なる屈折部材は、例えば、楔形や階段状のガラス部材などであってもよい。例えば、0次回折光の入射する領域に楔形や階段状のガラス部材を配置し、所定の方向にガラス部材を移動させる、或いは、所定の軸を中心としてガラス部材を回転させることで、0次回折光が通過するガラス部材の厚さを周期的に変化させて、ガラス部材を通過する回折光の位相を変調することも可能である。
なお、分岐部13において、音波伝搬路Rを伝播する音波の方向は3方向でなくてもよく、例えば1方向、2方向、又は4方向以上であってもよい。また、トランスデューサに与えられる交流電圧の周波数の変化パターンは、定在波の波本数がM/2本ずつ変化するようなパターンであればよい。この場合、干渉縞の位相のシフト量のピッチを任意の値Δψに設定するためには、音波伝搬路の一端から入射領域Saの中心までの距離Dと、音波伝搬路の全長Lとは、D:L=Δψ/M:2πの関係を満たせばよい。M=1の場合には、定在波の本数が1/2本ずつしか変化しないので、縞本数のずれを抑えることができる。また、分離演算に使用する画像データの数がkである場合は、Δψ=2π/kとすれば、画像データに取得することができる。但し、kは3以上の整数であることが好ましい。
なお、分岐部13の音波伝搬路Rにおける光の通過領域(入射領域Sa)は、音波伝搬路Rの両端から離れた部分領域に制限されていなくてもよい。例えば、音波伝搬路Rを通過した光を視野絞り32により絞る場合、音波伝搬路Rのうち試料Xの照明領域に形成される干渉縞に寄与する光のする領域が、D:L=Δψ/M:2πの関係を満たしていればよい。
図20は、分岐部13の他の例を示す図である。この分岐部13において、3つの音波伝搬路Ra、Rb、Rcは、入射領域Saの中心に関して回転対称な関係で配置されている。なお、上述の実施形態において、音波伝搬路Ra〜Rcの長さが同じであり、トランスデューサ23a〜23cに与えられる駆動信号が共通であるが、音波伝搬路Ra、Rb、Rcの長さが互いに異なり、トランスデューサ23a〜23cに与えられる駆動信号が互いに異なっていてもよい。
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。