JP2015212744A - 標本像データ生成装置、及び、標本像データ生成方法 - Google Patents

Abstract

【課題】アーティファクトの発生を抑制しながら、3D-SIMで標本像データを生成する技術を提供する。【解決手段】装置２００は、対物レンズ１０８の光軸方向及び光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する撮像素子１１０を備える。装置２００は、さらに、撮像素子１１０で撮像した複数の変調像であって照明パターンが標本に対して光軸方向及び直交方向に互いに異なる位置にあるときに撮像された複数の変調像と、対物レンズ１０８の焦点面に対する構造化照明のデフォーカス量とに基づいて、変調像を復調した標本像である復調像を算出して、復調像データを生成する演算装置２１１を備える。【選択図】図１６

Description

本発明は、標本像データ生成装置、及び、標本像データ生成方法に関し、特に、構造化照明顕鏡法を用いる標本像データ生成装置、及び、標本像データ生成方法に関する。

結像光学系の解像限界を超える解像度（以降、超解像）の標本像を得る超解像技術の一つとして、構造化照明顕鏡法(SIM:Structured Illumination Microscopy、以降SIMと記す)が知られている。

一般的な広視野観察においては、照明光はできるかぎり均一に標本に照射される。これに対して、SIMは、標本に主に縞模様の照明パターンを形成することで、結像光学系の解像限界を超えた超解像を有する標本像データを生成するというものである。

また、近年では、光軸と直交するＸ方向にだけではなく光軸と平行なＺ方向にも縞模様を有する、３次元に構造化された照明パターンを形成する構造化照明顕鏡法（以降、3D-SIMと記す）が提案されている。この技術は、例えば、特許文献１に開示されている。

米国特許出願公開第２０１１／０１９４１７５号明細書

3D-SIMによれば、Ｘ方向の解像度に加えてＺ方向の解像度も向上した標本像データを生成することができる。しかしながら、従来の3D-SIMで標本像データを生成すると、その標本像中にアーティファクトが発生しやすい。このため、3D-SIMにおいてアーティファクトの発生を抑制する技術が求められている。

以上のような実情を踏まえ、アーティファクトの発生を抑制しながら、3D-SIMで標本像データを生成する技術を提供することを目的とする。

本発明の第１の態様は、対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段と、前記変調像撮像手段で撮像した複数の変調像であって前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカス量と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する復調像データ生成手段と、を備える標本像データ生成装置を提供する。

本発明の第２の態様は、第１の態様に記載の標本像データ生成装置において、前記復調像データ生成手段は、変調像に含まれる複数の変調像成分であって前記構造化照明によって互いに異なる方向に周波数シフトした前記複数の変調像成分を、前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに前記変調像撮像手段で撮像された、前記複数の変調像成分の数以上の変調像に基づいて、複数の復調像成分に復調する標本像データ生成装置を提供する。

本発明の第３の態様は、第２の態様に記載の標本像データ生成装置において、前記復調像データ生成手段は、前記複数の変調像成分のうちの前記光軸方向に周波数シフトした変調像成分を前記デフォーカス量に基づいた係数を用いて復調する標本像データ生成装置を提供する。

本発明の第４の態様は、第１の態様乃至第３の態様のいずれか１つに記載の標本像データ生成装置において、さらに、前記照明パターンを標本に対して前記光軸方向及び前記直交方向に移動させるパターン移動手段を備える標本像データ生成装置を提供する。

本発明の第５の態様は、第４の態様に記載の標本像データ生成装置において、さらに、前記対物レンズを有し、前記対物レンズに入射する少なくとも３光束の干渉により前記照明パターンを前記標本に形成するパターン生成手段を含む標本像データ生成装置を提供する。

本発明の第６の態様は、第５の態様に記載の標本像データ生成装置において、前記パターン生成手段は、光源を出射した可干渉光から前記対物レンズに入射する前記少なくとも３光束を生成する光束生成手段を有し、前記パターン移動手段は、前記光束生成手段を移動させる標本像データ生成装置を提供する。

本発明の第７の態様は、第５の態様に記載の標本像データ生成装置において、前記パターン生成手段は、光源を出射した可干渉光から前記対物レンズに入射する前記少なくとも３光束を生成する光束生成手段を有し、前記パターン移動手段は、前記光束生成手段によって生成された前記少なくとも３光束の間に位相差を与える標本像データ生成装置を提供する。

本発明の第８の態様は、第２の態様乃至第７の態様のいずれか１つに記載の標本像データ生成装置において、前記復調像データ生成手段は、前記複数の復調像成分を線形結合して前記復調像を算出する標本像データ生成装置を提供する。

本発明の第９の態様は、対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段と、前記変調像撮像手段で撮像した複数の変調像であって前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカスを補正する補正係数と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する復調像データ生成手段と、前記復調像データ生成手段によって算出された前記復調像を前記復調像データに基づいて表示する表示手段と、前記補正係数を変更して復調像データを再生成する復調像データ再生成手段と、を備える標本像データ生成装置を提供する。

本発明の第１０の態様は、対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを前記光軸方向及び前記直交方向に移動し、前記照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像し、前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカス量と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する標本像データ生成方法を提供する。

本発明によれば、アーティファクトの発生を抑制しながら、3D-SIMで標本像データを生成する技術を提供することができる。

3D-SIMで用いられる従来の装置の構成を示した図である。 図１に示す装置による構造化照明を説明するための図である。 焦点面に入射する０次回折光及び±１次回折光の空間周波数を示す図である。 3D-SIMで照明パターンが移動する様子を示した図である。 3D-SIMでの構造化照明の強度分布のフーリエ変換を説明するための図である。 3D-SIMでの変調像成分の復調を説明するための図である。 3D-SIMでのPSFの空間周波数特性を説明するための図である。 3D-SIMのシミュレーション結果を示した図である。 3D-SIMで得られるI-z曲線と共焦点観察で得られるI-z曲線を比較した図である。 水浸対物レンズにおけるインデックスミスマッチによって生じる光路長差について説明するための図である。 水浸対物レンズにおけるインデックスミスマッチによって生じる光路長差の算出結果を示す図である。 油浸対物レンズにおけるインデックスミスマッチによって生じる光路長差について説明するための図である。 油浸対物レンズにおけるインデックスミスマッチによって生じる光路長差の算出結果を示す図である。 ０次回折光と±１次回折光の間の光路長差毎の、3D-SIMでのPSFのシミュレーション結果を示した図である。 ０次回折光と±１次回折光の間の光路長差毎の、3D-SIMで得られるI-z曲線を示した図である。 R3D-SIMで用いられる装置の基本構成を示した図である。 R3D-SIMで照明パターンが移動する様子を示した図である。 R3D-SIMでの構造化照明の強度分布のフーリエ変換を説明するための図である。 R3D-SIMでの変調像成分の復調を説明するための図である。 実施例１に係る装置の基本構成を示した図である。 実施例１に係る装置により行われる処理全体のフローチャートである。 図２１に示す変調像データ生成処理のフローチャートである。 図２２に示す撮像処理のフローチャートである。 図２１に示す復調像データ生成処理のフローチャートである。 実施例２に係る装置の構成を示した図である。 複数のイメージローテータを用いて照明パターンの方位を変化させる構成を示した図である。 偏光ビームスプリッタを用いてレーザ光を分割する構成を示した図である。 光ファイバーを用いてレーザ光を分割する構成を示した図である。 実施例３に係る装置の構成を示した図である。 ２次元回折格子と位相差発生板と対物レンズ１０８の瞳面を光の進行方向から見た図である。 ２つの平行平板からなる位相差発生装置の構成を示した図である。 ２つの楔形プリズムからなる位相差発生装置の構成を示した図である。 階段状のプリズムである位相差発生装置の構成を示した図である。 ピエゾミラーである位相差発生装置の構成を示した図である。 流体プリズムである位相差発生装置の構成を示した図である。 実施例４に係る装置の構成を示した図である。

図１から図９を参照しながら、従来の3D-SIMについて説明する。
図１は、3D-SIMで用いられる従来の装置１００の構成を示した図である。図２は、装置１００による構造化照明を説明するための図である。図１に示す装置１００は、３次元に構造化された照明パターンをＸ方向に所定距離ずつ移動させて、移動後の各位置において蛍光標本（観察物体）の変調像を撮像する。そして、それによって得られた複数（具体的には５枚）の変調像データから超解像を有する復調像の画像データ（復調像データ）を生成する。

まず、複数の変調像を撮像して複数の変調像データを生成する方法について説明する。
図１及び図２に示すように、レーザ１０１から出射する波数2πf_exを有するレーザ光（コヒーレント光）は、回折格子１０２で０次回折光及び±１次回折光からなる３光束に分割されて、照明レンズ１０３に入射する。その後、３光束は、蛍光キューブ１０４（励起フィルタ１０６、ダイクロイックミラー１０５）を介して入射する対物レンズ１０８の瞳面の異なる位置に集光し、対物レンズ１０８によって焦点面ＦＰに異なる入射角で照射される。これにより、３光束が干渉して、焦点面ＦＰを含む領域に３次元に構造された照明パターンが形成される。即ち、３次元構造化照明が発生する。なお、図３は、焦点面に入射する０次回折光及び±１次回折光の空間周波数を示す図である。ここで、±１次回折光の入射角をθとすると、f_l=2f_exsinθである。

焦点面ＦＰに配置された標本から発せられた蛍光は、対物レンズ１０８及び蛍光キューブ１０４（ダイクロイックミラー１０５、バリアフィルタ１０７）を介して結像レンズ１０９に入射し、撮像素子１１０に集光する。これにより、撮像素子１１０に標本が拡大して投影され、３次元構造化照明により変調された標本像（変調像）が撮像素子１１０で撮像され、演算装置１１１で変調像データが生成される。

装置１００では、回折格子１０２は回折格子１０２から出射する０次回折光の進行方向に直交する方向（横方向）に移動可能に設けられている。そして、回折格子１０２を横方向に所定量ずつ移動させることにより、図４（ａ）から図４（ｅ）に示すように、照明パターンが光軸と直交するＸ方向に、照明パターンが有するＸ方向に関する基本周期（1/f_l）の１／５ずつ移動する。なお、図４の丸いマークは照明パターン中における照明強度の極大位置を示し、特に黒い丸マークは照明パターンの基準位置を示している。このようにして照明パターンを移動させて移動後の各位置において標本像を撮像することで、装置１００は、５枚の変調像データを生成する。

次に、複数の変調像データから復調像データを生成する方法について説明する。
３次元構造化照明の強度分布Ill_3D-SIM,i(x,z)は、例えば、式（１）で表わされる。ここで、図４に示すように、iは0から4のいずれかの整数、(x,z)は空間座標、f_l、f_vは照明パターンが有するＸ、Ｚ方向に関する基本周波数である。また、f_exは励起光（レーザ光）の波長によって決定される周波数であり、励起光の波長の逆数である。f_l、f_v、f_exは式（２）の関係を有している。

なお、式（１）の右辺１行目にある絶対値記号内の第１項、第２項、第３項は、０次回折光、＋１次回折光、−１次回折光の成分を示している。

式（１）に対してフーリエ変換を行うと、式（３）から式（６）が導かれる。ここで、チルダ（^~）は元の関数をフーリエ変換して空間周波数表示された関数であることを示している。

三次元構造化照明は、式（３）で示されるように、図５に示す５つの変調成分
の線形結合によって構成されている。なお、
は、それぞれf_z方向に異なる２つの要素を１つの成分としてまとめたものである。

撮像素子１１０に投影される変調像の強度分布I_3D-SIM,i(x,z)は、式（７）に示すように、三次元構造化照明の強度分布Ill_3D-SIM,i(x,z)と標本関数Obj(x,z)の積に、広視野蛍光観察での点像分布関数PSF_WF(x,z)をコンボリューションすることによって算出される。ここで、Obj(x,z)は標本中の蛍光色素の分布などを示す標本関数、PSF_WF(x,z)は広視野蛍光観察での点像分布関数である。

式（３）から式（６）を考慮して、式（７）に対してフーリエ変換を行うと、式（８）から式（１１）が導かれる。

変調像は、式（８）で示されるように、図６に示す５つの変調像成分
の線形結合によって構成されている。各変調像成分は、対応する変調成分の影響により、周波数の原点がシフトした像成分である。なお、
は、それぞれf_z方向に異なる２つの像要素を１つの像成分としてまとめたものである。
式（９）から式（１１）は５つの変調像成分の空間周波数表示である。式（１２）から式（１４）は５つの変調像成分の空間座標表示である。

装置１００では、照明パターンを移動させて５つの変調像が撮像され、５つの変調像データが生成される。また、式（８）に示されるように、変調像に含まれるこれら５つの変調像成分は互いに異なる係数で結合されている。このため、生成した５つの変調像データを用いて、i=0から4における５つの式（８）からなる連立方程式を解くことによって、５つの変調像成分が分離されて算出される。
さらに、算出した変調像成分のそれぞれについて、図６の矢印で示されるように、周波数の原点をＸ方向にシフトさせることで、変調像成分をＸ方向に復調した復調像成分
が算出される。なお、式（１５）から式（１７）は５つの復調像成分の空間周波数表示であり、式（１８）から式（２０）は５つの復調像成分の空間座標表示である。

そして、復調像は、式（２１）で示されるように、５つの復調像成分を線形結合することで算出される。ただし、復調像ではｚ＝０の断面のみが画像化される。ここで、I_3D-SIM(x,z)は復調像の強度分布、w₀、w₁、w₂は合成係数である。また、式（２１）では、復調像を実数とするため、
の結合には同じ合成係数w_nが用いられている。

なお、合成係数w₀、w₁、w₂は任意の値である。ただし、式（２２）に示される3D-SIMでの点像分布関数PSF_3D-SIM(x,z)に負の領域があることは出来る限り避けるべきである。このため、例えば、w₀=w₁=w₂=1に設定される。

PSF_3D-SIM(x,z)について補足する。復調像の強度分布I_3D-SIM(x,0)は、PSF_3D-SIM(x,z)を用いて、式（２３）のように表わされる。

式（２２）及び式（２３）と式（１）を比較すると明らかなように、w₀=w₁=w₂=1の設定では、3D-SIMでの点像分布関数PSF_3D-SIM(x,z)は、ｉ＝０における３次元構造化照明の強度分布Ill_3D-SIM,i(x,z)と広視野蛍光観察での点像分布関数PSF_WF(x,z)の積に等しい。これはｉ＝０における３次元構造化照明の強度分布に等しい透過率分布の共焦点マスクを用いた共焦点画像の式に等しい。また、PSF_3D-SIM(x,z)のw₀を含む項は、広視野蛍光観察でのPSFの形状そのものである。従って、PSF_3D-SIM(x,z)は、本質的には、広視野蛍光観察でのPSFと共焦点観察でのPSFとの係数w₀,w₁,w₂による線形結合であるということができる。

また、PSF_3D-SIM(x,z)のフーリエ変換は、式（２４）で表わされる。つまり、3D-SIMでのPSFは、図７に示すように、空間周波数領域において広視野蛍光観察でのPSFと比較すると、Ｘ方向にもＺ方向（光軸方向）にも約２倍広がっている。このことは、復調像が広視野蛍光観察で得られる像よりも高い3D解像を有し、超解像を有することを示している。

図８は、従来の3D-SIMでのシミュレーション結果を示した図である。図８（ａ）は３次元構造化照明の強度分布を、図８（ｂ）は広視野蛍光観察でのPSFを、図８（ｃ）は3D-SIMでのPSFを、図８（ｄ）は参考としてピンホール開口が形成された共焦点マスクを用いた共焦点観察でのPSFを示している。比較的弱い値を示す領域を無視すると、3D-SIMは共焦点観察に比べてＸ方向については同程度、Ｚ方向についてはより改善された解像を示すことが、図８から確認できる。なお、このシミュレーションは、以下の条件で行われたものである。
対物レンズの開口数NA=1.38
励起波長λ_ex=488nm_、蛍光波長λ_em=520nm
浸液（浸油）の屈折率n₀=1.52、標本の屈折率n₁=1.38

図９は、従来の3D-SIMで得られるI-z曲線と共焦点観察で得られるI-z曲線を比較した図である。なお、I-z曲線は、デフォーカス特性を示すものである。3D-SIMのひとつの特徴は、そのPSFに広視野蛍光観察でのPSFがw₀のウェイトで含まれることである。このため、図９に示すように、デフォーカス像にかなり高いDC成分（一点鎖線）が含まれてしまう。しかしながら、w₀を抑えてDC成分を低くすると、焦点位置前後の復調像に強い負の輝度を発生させてしまうため好ましくない。そこで、3D-SIMでは、このDC成分をベースラインと呼んで、復調像から差し引く処理が行われる。この場合、3D-SIM のI-z曲線が有するFWHM（半値全幅）は、見かけ上、共焦点観察のI-z曲線が有するFWHMよりも細くなる。ただし、この比較は本質的なものではなく、z方向のセクショニング厚さは3D-SIMと共焦点観察ではほとんど変わりがない。

図１０から図１５を参照しながら、従来の3D-SIMの課題について説明する。
図１０は、水浸対物レンズにおけるインデックスミスマッチによって生じる光路長差について説明するための図である。但し、本来標本と水の間に存在するカバーガラスについては、簡便のため表示を省略している。図１０に示すように、焦点位置が標本表面にあるときと標本内にあるときでは、光線の焦点位置への入射角が異なる。このため、焦点位置が標本内のより深い位置に移動するほど、光線には標本表面に焦点位置があるときの光路長に対して大きな光路長差が生じることになる。この光路長差OPDは、式（２５）で表わされる。ここで、n₀、n₁は、それぞれ浸液（水）の屈折率、標本の屈折率である。h(S=0)は、標本表面を基準とする近軸焦点位置の深さである。Sは、焦点位置が標本表面にあるときの光線の入射角をθ₀、焦点位置が標本内にあるときの入射角をθ₁とすると、式（２６）で定義される。

図１１は、水浸対物レンズにおけるインデックスミスマッチによって生じる光路長差の算出結果を示す図である。なお、図１１に示す算出結果は、h(S=0)=0（つまり、近軸焦点位置が標本表面にあるとき）では波面収差がないと仮定して、以下の条件で算出したものである。
対物レンズの開口数NA=1.27、励起波長λ_ex=488nm
浸液（水）の屈折率n₀=1.33、標本の屈折率n₁=1.38

図１１に示すように、h(S=0)=0μmのときには、波面収差がないため、瞳高（S/NA）によらず光路長差は生じない。一方、標本内に近軸焦点位置があるとき（h(S=0)=5,10,20μm）には、瞳高及び近軸焦点位置に応じて異なる光路長差が生じる。このことは、標本内に近軸焦点位置があるときには、０次回折光と±１次回折光との間で光路長差ひいては位相差が生じ、且つ、その大きさは近軸焦点位置の深さによって変化することを意味している。なお、図１１では、０次回折光と±１次回折光の間の光路長差は、近軸焦点位置の深さが20μmのときに約0.5波長に達している。

水浸対物レンズを例に説明したが、油浸対物レンズでも同様に光路長差が生じることになる。図１２は、油浸対物レンズにおけるインデックスミスマッチによって生じる光路長差について説明するための図である。図１３は、油浸対物レンズにおけるインデックスミスマッチによって生じる光路長差の算出結果を示す図である。図１３に示す算出結果は、h(S=0)=0では波面収差がないと仮定して、以下の条件で算出したものである。図１３では、０次回折光と±１次回折光の間の光路長差は、近軸焦点位置の深さが3μmのときに約0.5波長に達している。
対物レンズの開口数NA=1.38、励起波長λ_ex=488nm
浸液（油）の屈折率n₀=1.52、標本の屈折率n₁=1.38

０次回折光と±１次回折光の間の光路長差（位相差）が発生すると、構造化照明が光軸方向にシフト（デフォーカス）することになる。このデフォーカス量をZ_fとすると、デフォーカスが生じた３次元構造化照明では、PSF_3D-SIM(x,z)は、式（２７）のように表わされる。

図１４は、従来の3D-SIMでのシミュレーション結果を示した図であり、図１４（ａ）から図１４（ｅ）は、それぞれ、０次回折光と±１次回折光の間の光路長差が0、1/8、1/4、3/8、1/2波長のときのPSF_3D-SIM(x,z)を示している。図１４には、光路長差OPDが大きくなりデフォーカス量Z_fが大きくなるにつれて、PSF_3D-SIMの分布が広がり、且つ、焦点面からずれた位置の像が強く伝達されるようになる様子が示されている。なお、このシミュレーションは、以下の条件で行われたものである。
対物レンズの開口数NA=1.38
励起波長λ_ex=488nm_、蛍光波長λ_em=520nm
浸液（浸油）の屈折率n₀=1.52、標本の屈折率n₁=1.38

図１５は、従来の3D-SIMで得られる、光路長差毎のI-z曲線を示した図である。図１５には、光路長差が大きくなりデフォーカス量Z_fが大きくなるにつれて、焦点面からずれた離れた位置に強度のピークが生じる様子が示されている。

従来の3D-SIMにおいて復調像にアーティファクトが生じやすいのは、０次回折光と±１次回折光の間に光路長差が生じると、図１４に示されるようにPSFが劣化してしまうからである。また、PSF_3D-SIMの劣化は、PSF_3D-SIMが構造化照明の強度分布と広視野蛍光観察でのPSF_WFとの積であり、光路長差により構造化照明の強度分布の原点位置が焦点面からＺ方向にシフトしてしまうことに起因する。このため、従来の3D-SIMでアーティファクトを抑制するためには、予め０次回折光のフォーカス位置と±１次回折光のフォーカス位置を精度良く合わせて、構造化照明の強度分布の原点位置を焦点面に合わせておくことが要求される。

しかしながら、図１１及び図１３に示されるように、光路長差は近軸焦点位置の深さ（焦点面の深さ）によって大きく変化するため、焦点面の深さによらず構造化照明の強度分布の原点位置を焦点面に合わせることは難しい。また、温度変化により光路長差にドリフトが発生する点も、これを更に難しくする。このような理由から、従来の3D-SIMでは、アーティファクトの発生を抑制することは非常に困難である。

図１６から図１９を参照しながら、上記の課題を解決する新たな3D-SIMについて説明する。なお、以降ではこの新たな3D-SIMを特にR3D-SIMと記して、従来の3D-SIMと区別する。

図１６は、R3D-SIMで用いられる装置２００の基本構成を示した図である。図１６に示す装置２００は、３次元に構造化された照明パターンをＸ方向及びＺ方向に所定距離ずつ移動させて、移動後の各位置において蛍光標本（観察物体）の変調像を撮像する。そして、それによって得られた複数（具体的には７枚）の変調像データから超解像を有する復調像データを生成する。

装置２００は、回折格子１０２が０次光の進行方向（縦方向）とそれに直交する方向（横方向）の２方向に移動可能に構成されている点と、演算装置１１１の代わりに、７枚の変調像データから復調像データを生成する演算装置２１１を含む点が、装置１００とは異なっている。

複数の変調像を撮像して複数の変調像データを生成する方法について説明する。
装置２００では、回折格子１０２を縦方向と横方向の両方に所定量ずつ移動させることにより、図１７（ａ）から図１７（ｇ）に示すように、Ｘ方向とＺ方向に、それぞれＸ方向に関する基本周期（1/f_l）の１／７、Ｚ方向に関する基本周期（1/f_v）の１／７ずつ照明パターンが移動する。なお、図１７の丸いマークは照明パターン中における照明強度の極大位置を示し、特に黒い丸マークは照明パターンの基準位置を示している。このようにして照明パターンを移動させて移動後の各位置において標本像を撮像することで、装置２００は、７枚の変調像データを生成する。

次に、複数の変調像データから復調像データを生成する方法について説明する。まず、構造化照明が光軸方向にシフト（デフォーカス）していない場合について説明する。

３次元構造化照明の強度分布Ill_R3D-SIM,i(x,z)は、例えば、式（２８）で表わされる。ここで、図１７に示すように、iは0から6のいずれかの整数である。

式（２８）に対してフーリエ変換を行うと、式（２９）から式（３３）が導かれる。

三次元構造化照明は、式（２９）で示されるように、図１８に示す７つの変調成分
の線形結合によって構成されている。

撮像素子１１０に投影される変調像の強度分布I_R3D-SIM,i(x,z)は、式（３４）に示すように、三次元構造化照明の強度分布Ill_R3D-SIM,i(x,z)と標本関数Obj(x,z)の積に、広視野蛍光観察での点像分布関数PSF_WF(x,z)をコンボリューションすることによって算出される。式（３４）に対してフーリエ変換を行うと、式（３５）が導かれる。

さらに、式（２９）から式（３３）を用いて式（３５）を展開すると、式（３６）から式（４０）が導かれる。

変調像は、式（３６）で示されるように、図１９に示す７つの変調像成分
の線形結合によって構成されている。各変調像成分は、対応する変調成分の影響により、周波数の原点がシフトした像成分である。
式（３７）から式（４０）は７つの変調像成分の空間周波数表示である。式（４１）から式（４４）は７つの変調像成分の空間座標表示である。

装置２００では、照明パターンを移動させて７つの変調像が撮像され、７つの変調像データが生成される。また、式（３６）に示されるように、変調像に含まれるこれら７つの変調像成分は互いに異なる係数で結合されている。このため、生成した７つの変調像データを用いて、i=0から6における７つの式（３６）からなる連立方程式を解くことによって、７つの変調像成分が分離されて算出される。

さらに、算出した変調像成分のそれぞれについて、図１９の矢印で示すように、周波数の原点をシフトさせることで、復調像成分
が算出される。ここでは、従来の3D-SIMとは異なり、変調像成分がＺ方向にもシフトしているものについては、Ｘ方向だけではなくＺ方向にも復調する。即ち、復調像成分は変調像成分をＸ方向とＺ方向に復調した像成分である。なお、式（４５）から式（４８）は７つの復調像成分の空間周波数表示であり、式（４９）から式（５２）は７つの復調像成分の空間座標表示である。

そして、復調像は、式（５３）で示されるように、７つの復調像成分を線形結合することで算出される。ただし、復調像ではｚ＝０の断面のみが画像化される。ここで、I_R3D-SIM(x,z)は復調像の強度分布、w₀、w₁、w₂は合成係数である。また、式（５３）では、復調像を実数とするため、
の結合には同じ合成係数w₁が用いられている。また、
の結合には同じ合成係数w₂が用いられている。

なお、合成係数w₀、w₁、w₂は任意の値である。ただし、式（５４）に示されるR3D-SIMでの点像分布関数PSF_R3D-SIM(x,z)に負の領域があることは出来る限り避けるべきである。このため、例えば、w₀=w₁=w₂=1に設定される。なお、式（５４）及び式（５５）に示すように、R3D-SIMでのPSFは3D-SIMでのPSFと同じものである。

次に、構造化照明が、デフォーカス量z_fだけ光軸方向にシフト（デフォーカス）している場合について説明する。
z_fだけ光軸方向にシフトした３次元構造化照明の強度分布Ill_R3D-SIM,i(x,z-z_f)は、例えば、式（５６）で表わされる。

このため、
は、式（５７）に示すように７つの変調成分
を線形結合によって構成されている点はデフォーカスしていない場合と同じであるが（式（２９）参照）、式（５８）から式（６１）に示すように変調成分がデフォーカスしていない場合とは異なっている。

そして、構造化照明がデフォーカスしている場合の変調像は、式（６２）、式（６３）で求められる。

式（５７）から式（６１）を用いて式（６３）を展開すると、式（６４）から式（６８）が導かれる。

式（６９）から式（７２）は構造化照明がデフォーカスしている場合の変調像成分の空間座標表示である。

ここで、式（６９）から式（７２）を式（４１）から式（５４）と比較すると、構造化照明のデフォーカスにより変調像成分
が影響を受けていることが分かる。

このため、変調像成分を復調する際に、デフォーカス量に対応する補正係数を乗じることで、復調像成分を補正する。式（７３）から式（７６）は、復調像成分の空間周波数表示であり、式（４５）から式（４８）と比較すると、式（７４）と式（７５）では、補正係数を乗じて復調像成分を算出していることが確認できる。即ち、光軸方向に周波数シフトした変調像成分の復調に補正係数（デフォーカス量z_fに依存）が用いられている。

これにより、式（７７）から式（８０）に示すように、復調像成分が、式（４９）から式（５２）に示す構造化照明がデフォーカスしていない場合と同じになる。

従って、式（５３）で示されるように、７つの復調像成分を線形結合することで、デフォーカスしていない場合と同じ復調像が算出される。

なお、デフォーカス量z_fは、近軸焦点位置の深さ毎に理論計算により算出しても良く、また、予め実測してもよい。さらに、復調像をモニタなどで確認しながら調整を繰り返すことにより決定されてもよい。

R3D-SIMによれば、従来の3D-SIMとは異なり、構造化照明がデフォーカスしている場合であっても、デフォーカスによる影響が排除された標本像（復調像）データを生成することができる。従って、アーティファクトの発生を抑制しながら、3D-SIMで超解像を有する標本像データを生成することができる。また、構造化照明を焦点面に精度良くフォーカスさせる必要がないため、構造化照明の厳密なフォーカス調整が省略することができる。
以下、本発明の各実施例について説明する。

図２０は、R3D-SIMで用いられる本実施例に係る装置３００の構成を示した図である。装置３００は、上述したR3D-SIMにより３次元に超解像を有する標本像データを生成する標本像データ生成装置である。

装置３００は、回折格子１０２を移動させる駆動装置３０２を備える点、演算装置２１１の代わりにプロセッサ３１２及びメモリ３１３を有する演算装置３１１を備える点が、図１６に示す装置２００とは異なっている。その他の構成は、装置２００と同様であるので、同一の符号を付して説明を省略する。

駆動装置３０２は、照明パターンを標本に対してＸ方向及びＺ方向に移動させる照明パターン移動手段であり、回折格子１０２を斜め方向に所定量ずつ移動させるように構成されている。これにより、焦点面ＦＰに形成される３次元に構造化された照明パターンを標本に対して、Ｘ方向とＺ方向に、それぞれＸ方向に関する基本周期（1/f_l）の１／７、Ｚ方向に関する基本周期（1/f_v）の１／７ずつ移動させる。

移動後の各位置において、撮像素子１１０に投影された変調像を撮像素子１１０が撮像する。即ち、装置３００において撮像素子１１０は、Ｚ方向及びＸ方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段である。そして、演算装置３１１は、撮像素子１１０からの出力信号に基づいて、複数の変調像データを生成する。

なお、装置３００では、回折格子１０２は、レーザ１０１を出射したレーザ光（可干渉光）から対物レンズ１０８に入射する３光束を生成する光束生成手段である。また、回折格子１０２、回折格子１０２を標本に投影する光学系（対物レンズ、照明レンズ１０３など）、及び、レーザ１０１は、対物レンズ１０８に入射する３光束の干渉により照明パターンを標本に形成するパターン生成手段である。

さらに、駆動装置３０２は、回折格子１０２を６０度ずつ３回回転させるように構成されている。これにより、光軸と直交する面における照明パターンの方位（干渉縞の方位）を６０度ずつ変化させる。
回転後の各方位において、撮像素子１１０に投影された変調像を撮像素子１１０が撮像し、演算装置３１１が複数の変調像データを生成する。

この回折格子１０２の移動及び回転により、計２１枚の変調像データが生成される。演算装置３１１は、メモリ３１３にロードされた制御プログラムをプロセッサ３１２が実行することで、計２１枚の変調像データから上述したR3D-SIMにより１枚の復調像データを生成する。この復調像データは、３次元に超解像を有し、且つ、２次元にほぼ等方的なデータである。

さらに、演算装置３１１は、ユーザの指示に従って、記憶装置１１２に復調像データを記憶させ、復調像データに基づいて表示手段であるモニタ１１３に標本の復調像を表示させる。

図２１は、本実施例に係る装置３００により行われる処理全体のフローチャートである。図２２は、図２１に示す変調像データ生成処理のフローチャートである。図２３は、図２２に示す撮像処理のフローチャートである。図２４は、図２１に示す復調像データ生成処理のフローチャートである。以下、図２１から図２４を参照しながら、Ｚ位置毎に復調像データを生成する場合を例に、本実施例に係る装置３００が復調像データを生成する手順について具体的に説明する。

ステージに標本が配置されて位置合わせが行われると、装置３００は、まず最初に初期設定の入力を受け付ける（Ｓ１００）。ここでは、演算装置３１１が、例えば、対物レンズに設けられた補正環の設定情報、励起波長と蛍光波長、標本の屈折率と浸液の屈折率、対物レンズのレンズデータなどの入力を受け付ける。また、Ｚ位置（焦点位置）の開始位置、終了位置、Ｚ移動間隔の入力も受け付ける。入力された情報は、例えば、メモリ３１３に格納される。

初期設定の入力が完了すると、装置３００は、変調像データ生成処理を行う（ステップＳ２００）。装置３００は、図示しないステージを移動させて、焦点位置を開始位置に移動し（ステップＳ２１０）、その後、撮像処理を行う（ステップＳ２２０）。なお、ステージの移動は、例えば、演算装置３１１によって制御される。

撮像処理では、装置３００は、構造化照明を初期化する（ステップＳ２２１）。ここでは、駆動装置３０２が回折格子１０２の位置及び向きを基準位置及び向きに戻す。なお、駆動装置３０２は、例えば、演算装置３１１からの制御信号によって制御される。

その後、構造化照明によって変調され撮像素子１１０に投影された標本像（変調像）を撮像素子１１０が撮像し、撮像素子１１０からの信号に基づいて演算装置３１１が変調像データを生成する（ステップＳ２２２）。さらに、駆動装置３０２が回折格子１０２の移動及び回転を繰り返し（ステップＳ２２３からステップＳ２２６）、撮像素子１１０が各状態で変調像を撮像して、演算装置３１１が計２１枚の変調像データを生成する。

撮像処理が完了すると、装置３００（演算装置３１１）は、焦点位置がステップＳ１００で入力された終了位置に達しているかを判断する（ステップＳ２３０）。そして、焦点位置が終了位置に達していない場合には、装置３００は、ステージをステップＳ１００で入力されたＺ移動間隔だけＺ方向に移動させて（ステップＳ２４０）、再び撮像処理を行う（ステップＳ２２０）。以上の処理を焦点位置が終了位置に達するまで繰り返し行うことで、変調データ生成処理が完了する。

変調データ生成処理が完了すると、装置３００は、復調像データ生成処理を行う（ステップＳ３００）。復調像データ生成処理は、例えば、プロセッサ３１２が記憶装置１１２に記憶された復調像データ生成プログラムをメモリ３１３にロードして実行することにより行われる。

演算装置３１１は、まず、復調像データを生成する対象となる焦点位置（以降、対象焦点位置と記す）を開始位置として設定する（ステップＳ３０１）。そして、焦点位置が対象焦点位置にあるときに生成された２１枚の変調像データをメモリ３１３から読み出す（ステップＳ３０３）。

演算装置３１１は、ステップＳ１００で入力された各種データに基づいて、対象焦点位置でのデフォーカス量（即ち、対物レンズ１０８の焦点面に対する構造化照明のデフォーカス量）を算出する（ステップＳ３０５）。なお、ここで、各種データとは、例えば、補正環の設定情報、励起波長、標本の屈折率、浸液の屈折率、対物レンズのレンズデータなどである。演算装置３１１は、さらに、デフォーカス量に基づいて、式（７０）及び（７１）に示される補正係数を算出して設定する（ステップＳ３０７）。

その後、演算装置３１１は、ステップＳ３０３で読み出した２１枚の変調像データと、ステップＳ３０７で設定した補正係数とに基づいて、復調像成分を算出して復調像データを生成する（ステップＳ３０９）。即ち、演算装置３１１は、照明パターンが標本に対してＺ方向及びＸ方向に異なる位置にあるときに撮像素子１１０で撮像された複数の変調像と、構造化照明のデフォーカス量と、に基づいて、復調像データを生成する復調像データ生成手段である。

なお、ステップＳ３０９では、復調像データを照明パターンの方位毎（つまり、７枚の変調像毎に）に生成してよい。そして、その結果得られる方位の異なる３枚の復調像データから、照明パターンの方位の影響が排除された２次元にほぼ等方的な１枚の復調像データを生成してもよい。

演算装置３１１は、ステップＳ３０９で生成された復調像データに基づいて、モニタ１１３に復調像を表示させる（ステップＳ３１１）。これにより、ユーザは、モニタ１１３に表示された復調像を見て、復調が適切に行われているか否かを判断することができる。

ユーザは、例えば、復調像にアーティファクトが生じている場合などには、復調が適切に行われていないと判断して、演算装置３１１に補正係数の変更を指示することができる。演算装置３１１は、補正係数の変更が指示されると、補正係数を変更して（ステップＳ３１５）、復調像データを生成し直す（ステップＳ３０９）。即ち、演算装置３１１は、復調像生成手段であるとともに、復調像データを再生成する復調像データ再生成手段でもある。

これを繰り返すことで、仮にステップＳ３０５で算出されたデフォーカス量の精度が低い場合であっても、アーティファクトの発生を抑制して、復調像データを生成することができる。アーティファクトが抑制された復調像データが生成されると、演算装置３１１は、その復調像データを記憶装置１１２に記録する（ステップＳ３１７）。

以上の処理を、対象焦点位置を変更して繰り返すことで（ステップＳ３１９、ステップＳ３２１）、Ｚ位置毎にアーティファクトが抑制された復調像データが生成される。

本実施例に係る装置３００によれば、構造化照明が焦点面に対してデフォーカスしている場合であっても、デフォーカスの影響を取り除いて復調像データを生成することができる。このため、復調像にアーティファクトが発生することを抑制することができる。このことは、復調像データの生成に当たり、デフォーカスの有無によらず、ＰＳＦを一定に維持することができる、と言い換えることができる。

装置３００は、特に、厚い標本の観察に好適である。厚い標本を観察する場合、焦点面（観察面）の深さに応じて構造化照明のフォーカス位置（原点位置）が変化する。このため、従来の3D-SIMでは、構造化照明の原点位置と焦点面に深さによらずあわせることが極めて難しい。一方、装置３００では、デフォーカス量に応じた処理を行うことで、デフォーカスの影響をその大きさによらず排除することができる。

また、装置３００によれば、構造化照明のフォーカス調整を簡易に行うことができる。これは、装置３００では、焦点面に構造化照明が形成されていればよく、構造化照明の原点位置を焦点面に厳密に合わせる必要がないからである。

なお、本実施例では、すべてのＺ位置で変調像データを生成後に各Ｚ位置の復調像データを生成する例を示したが、復調データ生成手順はこの手順に限られない。各Ｚ位置での変調像データ及び復調像データの生成後に、次のＺ位置での変調像データ及び復調像データの生成が行われてもよい。

また、本実施例では、変調像データの生成と復調像データの生成を同一の装置（演算装置３１１）で行う例を示したが、変調像データの生成と復調像データの生成は別々の装置で行われてもよい。

また、本実施例では、Ｘ方向とＺ方向にそれぞれ基本周期の１／７ずつ照明パターンを移動させる例を示したが、１／７周期以下のピッチで照明パターンを移動させてもよい。これは、変調像成分の数（つまり、７つ）以上の変調像が撮像されていれば、演算装置３１１は変調像を異なる方向に周波数シフトした変調像成分に分離することが可能であり、変調像成分を復調して復調像成分を算出することができるからである。撮像された変調像の数が変調像成分の数より多い場合には、最小二乗法を用いることにより誤差を抑えながら変調像成分を分離したり、変調像成分の解の確度を評価したりすることも可能である。

また、本実施例では、移動後の照明パターンの位相が異なる限り、基本周期の１／７を上回るピッチで照明パターンを移動させてもよい。例えば、基本周期の２／７ずつ移動させて７つ以上の変調像を撮像してもよい。

図２５は、R3D-SIMで用いられる本実施例に係る装置４００の構成を示した図である。装置４００は、上述したR3D-SIMにより３次元に超解像を有する標本像データを生成する標本像データ生成装置である。

装置４００は、回転自在に配置されたイメージローテータ４０１及び駆動装置４０３を備える点、及び、駆動装置３０２の代わりに駆動装置４０２を備える点が、図２０に示す実施例１に係る装置３００とは異なっている。その他の構成は、装置３００と同様であるので、同一の符号を付して説明を省略する。

装置４００では、駆動装置４０３がイメージローテータ４０１を回転させることで、照明パターンの方位（干渉縞の方位）を６０度ずつ変化させる。一方、照明パターンのＸ方向とＺ方向への移動については、駆動装置４０２が回折格子１０２を斜め方向に所定量ずつ移動させることにより実現される。

これにより、装置４００では、実施例１に係る装置３００と同様に、Ｚ位置毎に２１枚（３方位×７位置）の変調像を撮像することが可能であり、実施例１に係る装置３００と同様に、復調像データを生成することができる。従って、装置４００によっても、実施例１に係る装置３００と同様の効果を得ることができる。

なお、本実施例では、イメージローテータ４０１は、回折格子１０２と照明レンズ１０３の間に配置されているが、イメージローテータ４０１は、回折格子１０２よりも標本側に配置されていればよい。

また、本実施例では、イメージローテータ４０１を回転させることで照明パターンの方位を変化させているが、照明パターンの方位は、様々な方法によって変化させ得る。

装置４００は、イメージローテータ４０１及び駆動装置４０３の代わりに、図２６に示す複数の回転角の異なるイメージローテータ（イメージローテータ４１１、イメージローテータ４１２、イメージローテータ４１３）を２つのガルバノミラー（ガルバノミラー４１０、ガルバノミラー４２０）が協働して切換える構成を備えてもよい。そして、回折格子１０２で分割した３光束が入射するイメージローテータを切換えることで、照明パターンの方位を変化させてもよい。なお、図示されていないが、この構成では、各イメージローテータを通る光路の長さが等しくなるように調整されている。この構成によれば、イメージローテータ４０１を回転させる場合よりも、照明パターンの方位の変更にかかる時間を短くすることができる。また、照明パターンの方位の再現性も向上させることができる。
また、本実施例では、レーザ１０１から出射されたレーザ光を回折格子１０２で３光束に分割しているが、レーザ光は、様々な方法によって分割し得る。

装置４００は、回折格子１０２の代わりに、図２７に示す無偏光ビームスプリッタ（以降、ＮＰＢＳと記す）を含む構成により、レーザ光を３光束に分割してもよい。この構成では、ＮＰＢＳ４３１及びＮＰＢＳ４３２でレーザ光を所定の光量比で３光束に分割する。さらに、全反射プリズム４３４で反射した光束は１／２波長板４３５で偏光方向が０次光に合わせられる。ビームスプリッタ４３２を透過した光束は光路長調整用プリズム４３３で光路長が調整される。全反射プリズム４３６で反射した光束は１／２波長板４３７で偏光方向が０次光に合わせられる。これにより、位相及び偏光方向が揃った３光束が形成される。

また、装置４００は、回折格子１０２の代わりに、図２８に示す光ファイバー４４０によって、レーザ光を３光束に分割してもよい。なお、光ファイバー４４０は、出射する３光束が一定の偏光方向を有するように構成されている。

図２９は、R3D-SIMで用いられる本実施例に係る装置５００の構成を示した図である。装置５００は、上述したR3D-SIMにより３次元に超解像を有する標本像データを生成する標本像データ生成装置である。

装置５００は、回折格子１０２及び駆動装置３０２の代わりに光路上に固定された２次元回折格子５０１を備える点、２次元回折格子５０１と照明レンズ１０３の間に位相差発生板５０２及び駆動装置５０４を備える点、及び、光束選択手段５０３を備える点が、図２０に示す実施例１に係る装置３００とは異なっている。その他の構成は、装置３００と同様であるので、同一の符号を付して説明を省略する。

２次元回折格子５０１は、図３０（ａ）に示すように、溝の方向が異なる３種類の領域（領域５０１ａ、領域５０１ｂ、領域５０１ｃ）から構成されている。従って、２次元回折格子５０１は、レーザ光を計７光束に分割する。即ち、２次元回折格子５０１は、レーザ１０１を出射したレーザ光（可干渉光）から対物レンズ１０８に入射する７光束を生成する光束生成手段である。

位相差発生板５０２は、２次元回折格子５０１で分割された７光束に異なる位相差を与えて照明パターンを移動させるパターン移動手段であり、望ましくは対物レンズ１０８の瞳共役位置又はその近傍に配置される。なお、７光束は、図３０（ｂ）に示す位相差発生板５０２の位置Ａ１から位置Ａ７に入射する。また、７光束は、対物レンズ１０８の瞳面の位置Ｂ１から位置Ｂ７に入射し得る。

位相差発生板５０２は、位置Ａ１に入射する光束の進行方向と平行な回転軸を有する円板であり、それぞれ異なる位相差を発生させる周方向に並べられた複数の微小領域を有する第１の領域５０２ａと、位置Ａ１を含む第２の領域５０２ｂを備えている。駆動装置５０４が位相差発生板５０２を回転させることで、位置Ａ２から位置Ａ７の各々に入射する光束に作用する領域が変化し、各光束に発生する位相差が変化する。

第２の領域５０２ｂは、位相差板５０２の回転の中心付近にあり、位相差発生板５０２が回転しても、位置Ａ１に入射する光束の位相は一定である。

光束選択手段５０３は、２次元回折格子５０１で分割された７光束から３光束を選択して透過させる手段である。光束選択手段５０３は、例えば、遮光板を備えていて、遮光板の位置を変化させることで、位置Ａ１を通過する１光束と位置Ａ１を中心に対称な２つの位置を通過する２光束を透過させ、その他の４光束を遮断する。

装置５００では、光束選択手段５０３で対物レンズ１０８の瞳面に入射する３光束を切換えることで、照明パターンの方位を６０度ずつ変化させる。また、一方、照明パターンのＸ方向とＺ方向への移動については、瞳面に入射する３光束に与える位相差を位相差発生板５０２の回転で変化させることにより実現される。

これにより、装置５００では、実施例１に係る装置３００と同様に、Ｚ位置毎に２１枚（３方位×７位置）の変調像を撮像することが可能であり、実施例１に係る装置３００と同様に、復調像データを生成することができる。従って、装置５００によっても、実施例１に係る装置３００と同様の効果を得ることができる。

なお、本実施例では、光束選択手段５０３は、位相差発生板５０２と照明レンズ１０３の間に配置されているが、光束選択手段５０３は、位相差発生板５０２と対物レンズ１０８の瞳面の間に配置されていればよい。また、位相差発生板５０２の一部を遮光板として機能させることで、光束選択手段５０３を省略してもよい。

また、本実施例では、位相差発生板５０２を回転させることで照明パターンをＸ方向及びＺ方向に移動させているが、照明パターンは、様々な方法によって移動させ得る。装置５００は、位相差発生板５０２の代わりに、図３１から図３５に示す位相差発生装置を備えてもよい。なお、この場合、対物レンズ１０８の瞳面に入射する３光束間に位相差を発生させるため、少なくとも２つの位相差発生装置を備えることが望ましい。

図３１に示す位相差発生装置５１２では、それぞれ入射光の進行方向と直交する回転軸を有する２枚の平行平板（平行平板５１２ａ、平行平板５１２ｂ）の傾きが変化することで、透過した光に発生する位相差が変化する。２枚の平行平板５１２ａ，５１２ｂは同じ厚さで互いに反対方向に回転するようにすれば、透過光の光軸は位相差を変化させても移動しない。

図３２に示す位相差発生装置５２２では、２つの楔プリズム（楔プリズム５２２ａ、楔プリズム５２２ｂ）の少なくとも一方が入射光に対して移動することで、透過した光に発生する位相差が変化する。この構成は、位相差を連続的に自由度高く発生させることができる。

図３３に示す階段状のプリズムである位相差発生装置５３２では、プリズムの移動により入射光が入射するステップが変化することで、透過した光に発生する位相差が変化する。この装置は、決められた位相差を高精度に発生させることができる。
図３４に示す位相差発生装置５４２は、ピエゾミラーである。この装置は、位相差を高速に調整することができる。

図３５に示す位相差発生装置５５２は、２枚の平行平板（平行平板５５２ｂ、平行平板５５２ｃ）に挟まれた領域に流体５５２ａが閉じ込められた流体プリズムである。位相差発生装置５５２は、ポンプ５５２ｄが流体量を調整することで、プリズム厚が変化し、その結果、透過した光に発生する位相差が変化する。

図３６は、R3D-SIMで用いられる本実施例に係る装置６００の構成を示した図である。装置６００は、上述したR3D-SIMにより３次元に超解像を有する標本像データを生成する標本像データ生成装置である。

装置６００は、回折格子１０２及び駆動装置３０２の代わりに空間光変調器６０１（以降、ＳＬＭと記す）を備える点が、図２０に示す実施例１に係る装置３００とは異なっている。その他の構成は、装置３００と同様であるので、同一の符号を付して説明を省略する。

ＳＬＭ６０１は、各々が独立に制御可能な複数の光変調素子からなる装置である。ＳＬＭ６０１は、例えば、ＤＭＤ（商標）のような複数の微小ミラーを備えた強度変調型のＳＬＭであってもよく、ＬＣＯＳ（商標）のような複数の液晶領域を備えた位相変調型のＳＬＭであってもよい。さらに、ＭＯＳＬＭ（磁気光学空間光変調器）のようなファラデー回転を用いて光を変調する装置であってもよい。

装置６００では、ＳＬＭ６０１での光の変調パターンを制御することで、照明パターンの方位の変化、及び、照明パターンのＸ方向とＺ方向への移動が実現される。

これにより、装置６００では、実施例１に係る装置３００と同様に、Ｚ位置毎に２１枚（３方位×７位置）の変調像を撮像することが可能であり、実施例１に係る装置３００と同様に、復調像データを生成することができる。従って、装置６００によっても、実施例１に係る装置３００と同様の効果を得ることができる。

上述した実施例は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施例に限定されるものではない。各実施例に記載された標本像データ生成装置及び方法は、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。

１００、２００、３００、４００、５００、６００ 装置
１０１ レーザ
１０２ 回折格子
１０３ 照明レンズ
１０４ 蛍光キューブ
１０５ ダイクロイックミラー
１０６ 励起フィルタ
１０７ バリアフィルタ
１０８ 対物レンズ
１０９ 結像レンズ
１１０ 撮像素子
１１１、２１１、３１１ 演算装置
１１２ 記憶装置
１１３ モニタ
３０２ 駆動装置
３１２ プロセッサ
３１３ メモリ
４０１、４１１、４１２、４１３ イメージローテータ
４０２、４０３、５０４ 駆動装置
４１０、４２０ ガルバノミラー
４３１，４３２ ＮＰＢＳ
４３３ 光路長調整用プリズム
４３４、４３６ 全反射プリズム
４３５、４３７ １／２波長板
４４０ 光ファイバー
５０１ ２次元回折格子
５０１ａ、５０１ｂ、５０１ｃ 領域
５０２ 位相差発生板
５０２ａ 第１の領域
５０２ｂ 第２の領域
５０３ 光束選択手段
５１２、５２２、５３２、５４２、５５２ 位相差発生装置
５１２ａ、５１２ｂ、５５２ｂ、５５２ｃ 平行平板
５２２ａ、５２２ｂ 楔プリズム
５５２ａ 流体
５５２ｄ ポンプ
６０１ ＳＬＭ

Claims (10)

1. 対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段と、
   前記変調像撮像手段で撮像した複数の変調像であって前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカス量と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する復調像データ生成手段と、を備える
   ことを特徴とする標本像データ生成装置。
2. 請求項１に記載の標本像データ生成装置において、
   前記復調像データ生成手段は、変調像に含まれる複数の変調像成分であって前記構造化照明によって互いに異なる方向に周波数シフトした前記複数の変調像成分を、前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに前記変調像撮像手段で撮像された、前記複数の変調像成分の数以上の変調像に基づいて、複数の復調像成分に復調する
   ことを特徴とする標本像データ生成装置。
3. 請求項２に記載の標本像データ生成装置において、
   前記復調像データ生成手段は、前記複数の変調像成分のうちの前記光軸方向に周波数シフトした変調像成分を前記デフォーカス量に基づいた係数を用いて復調する
   ことを特徴とする標本像データ生成装置。
4. 請求項１乃至請求項３のいずれか１項に記載の標本像データ生成装置において、さらに、
   前記照明パターンを標本に対して前記光軸方向及び前記直交方向に移動させるパターン移動手段を備える
   ことを特徴とする標本像データ生成装置。
5. 請求項４に記載の標本像データ生成装置において、さらに、
   前記対物レンズを有し、前記対物レンズに入射する少なくとも３光束の干渉により前記照明パターンを前記標本に形成するパターン生成手段を含む
   ことを特徴とする標本像データ生成装置。
6. 請求項５に記載の標本像データ生成装置において、
   前記パターン生成手段は、光源を出射した可干渉光から前記対物レンズに入射する前記少なくとも３光束を生成する光束生成手段を有し、
   前記パターン移動手段は、前記光束生成手段を移動させる
   ことを特徴とする標本像データ生成装置。
7. 請求項５に記載の標本像データ生成装置において、
   前記パターン生成手段は、光源を出射した可干渉光から前記対物レンズに入射する前記少なくとも３光束を生成する光束生成手段を有し、
   前記パターン移動手段は、前記光束生成手段によって生成された前記少なくとも３光束の間に位相差を与える
   ことを特徴とする標本像データ生成装置。
8. 請求項２乃至請求項７のいずれか１項に記載の標本像データ生成装置において、
   前記復調像データ生成手段は、前記複数の復調像成分を線形結合して前記復調像を算出する
   ことを特徴とする標本像データ生成装置。
9. 対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像する変調像撮像手段と、
   前記変調像撮像手段で撮像した複数の変調像であって前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカスを補正する補正係数と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する復調像データ生成手段と、
   前記復調像データ生成手段によって算出された前記復調像を前記復調像データに基づいて表示する表示手段と、
   前記補正係数を変更して復調像データを再生成する復調像データ再生成手段と、を備える
   ことを特徴とする標本像データ生成装置。
10. 対物レンズの光軸方向及び前記光軸方向と直交する直交方向に周期的な構造を有する照明パターンを前記光軸方向及び前記直交方向に移動し、
    前記照明パターンを形成する構造化照明によって変調された標本像である変調像を撮像し、
    前記照明パターンが標本に対して前記光軸方向及び前記直交方向に互いに異なる位置にあるときに撮像された前記複数の変調像と、前記対物レンズの焦点面に対する前記構造化照明のデフォーカス量と、に基づいて、前記変調像を復調した標本像である復調像を算出して、復調像データを生成する
    ことを特徴とする標本像データ生成方法。