JP4615886B2 - 走査型光学顕微鏡 - Google Patents

Description

本発明は、走査型光学顕微鏡に関し、特に、波面変換素子を用いたレーザー走査型顕微鏡等の走査型光学顕微鏡に関するものである。

従来、例えばＬＳＭ（レーザー走査型顕微鏡）において、観測する物体の三次元像を得るためには、その物体又は対物レンズを機械的に光軸方向に移動させて、物体内部の各面における光学像を順次取り込んでいく必要があった。しかし、この方法は機械的駆動を必要とするために、位置制御を高い精度と再現性で実現することは困難である。また、物体を移動させる方法においては、物体が大きい場合には高速走査ができない等の問題があった。

さらに、生体物体を観察する際に、対物レンズを物体に直接接触させるか、あるいは、物体を培養液に浸した状態で対物レンズを走査すると、その振動による悪影響を観察する物体に与えることになり、好ましくない。

これらの問題点を解決する方法として、特許文献１記載のアダプティブ光学装置がある。特許文献１のアダプティブ光学装置は、パワーを変化させることのできる光学素子（波面変換素子）を備えた顕微鏡であって、図１９、図２０にその構成図を示す。この構成において、短パルス・レーザーＫＰＬのビームは、プリチャープ・ユニットＰＣＵに到達し、これからビーム・スプリッターＳＴ１及びビーム・スプリッターＳＴ２、ＳＴ３を経て２つのアダプティブミラーＡＤ１、ＡＤ２へ到来し、ここで作動する。第１のアダプティブミラーＡＤ１（粗）は、波面の粗調整用に挿入されており、これによって焦点をＺ方向へスライドさせる。第２のアダプティブミラーＡＤ２（精）では、波面歪みと伝搬時間差（ＰＴＤ）の影響が補正される。レーザー光は、ビーム・スプリッターＤＢＳ、ｘ／ｙ走査ユニット、光学部品ＳＬ、ＴＬ、ミラーＳＰ、さらに対物レンズＯＬを経由して対象物（物体）Ｏへ到達する。その対象物Ｏから到来する光は、ビーム・スプリッターＤＢＳ、レンズＬ、ピンホールＰＨ、及びフィルターＥＦを経由して検出器ＰＭＴへ戻り、この検出器ＰＭＴはこれ自体としてＰＣＵ、ＡＤ１、ＡＤ２と同様に制御ユニットに接続されている。これにより、例えばアダプティブミラーＡＤ１、ＡＤ２と同様プリチャープ・ユニットも調整して、検出器ＰＭＴに最大信号が加わるようにする。

この先行例では、観察光路及び／又は照明光路内に波面変換素子を有し、その波面変換素子を用いて光学系の焦点距離を変化させると共に、この焦点距離変化に伴って生じる収差も補正するものである。こうすることによって、対物レンズと物体との距離を変えることなく、物体空間での焦点の形成と移動、さらに収差補正を行うことができる。

なお、このようなアダプティブ光学装置に用いる波面変換素子として、液晶レンズ、液体レンズ、マイクロミラーデバイス、多数の微小領域からなり各領域の位相が独立して制御できる液晶素子や回折レンズ等を用いることが特許文献２に示されている。
特開平１１−１０１９４２号公報 特開２０００−１２１９４５号公報 Ｗｉｌｌｉａｍ Ｈ．Ｐｒｅｓｓ ｅｔ ａｌ．"Ｎｕｍｅｒｉｃａｌ Ｒｅｃｉｐｅｓ ｉｎ Ｃ：Ｔｈｅ Ａｒｔ ｏｆ Ｓｃｉｅｎｔｉｆｉｃ Ｃｏｍｐｕｔｉｎｇ Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ"Ｃａｍｂｒｉｄｇｅ［Ｅｎｇｌａｎｄ］；１９９２ 鷲津久一郎他編「有限要素法ハンドブックＩ 基礎編］（昭和５６年９月２６日、（株）培風館発行）

試料内部での集光位置の移動を行う場合には、試料の屈折率の影響等によって収差が生じてしまうので、波面変換素子の正確な制御が必要となる。上記の従来技術では、制御が十分にできないので、焦点を移動した場合に良好な画像を獲得することができない。また、高速な焦点移動を行う場合には、予め波面変換素子を制御するデータを確保し、その制御方法を決定しておく必要があるが、それら決定方法も明確にされていないために、高速で精度の高い画像を獲得することができない。

本発明は従来技術のこのような問題点を解決するためになされたものであり、その目的は、波面変換素子を用いたレーザー走査型顕微鏡（ＬＳＭ）等の走査型光学顕微鏡において、焦点移動を行っても精度の高い画像を獲得することができる走査型光学顕微鏡を提供することにある。

上記目的を達成する本発明の走査型光学顕微鏡は、光源と、前記光源から発する照明光に任意の波面変換を与える波面変換素子と、前記波面変換素子を制御する制御装置と、前記波面変換素子から発する波面変換後の照明光を互いに直交する方向に走査する光束走査手段と、前記光束走査手段によって進行方向を変えた照明光を物体に集光する対物レンズと、前記物体から発する信号光を検出する検出器とを備えた走査型光学顕微鏡において、
前記制御装置は、照明光の集光位置を変更するのに必要な前記波面変換素子を変調するための制御データを備えており、その制御データに基づいて前記波面変換素子を変調して照明光の集光位置を変更するものであり、
前記波面変換素子を変調するための前記制御データは、測定物体の集光位置に対して予め集光するように設定されたデータに基づいて予備走査することで得られた画像に基づいて、補正可能になっていることを特徴とするものである。

この場合に、波面変換素子を変調するための制御データは、特定の参照サンプルに対して照明光の集光形状を最適化するものであることが望ましい。

また、予備走査することで得られた画像としては、測定物体に励起光を照射して蛍光撮像することにより得られた画像、分光画像等がある。

そして、予備走査することで得られた画像から予備走査時の光学系の収差量を求める収差量演算手段と、求められた収差量から前記波面変換素子の制御のための補正データを求める補正データ演算手段とを備えていることが望ましい。

本発明の走査型光学顕微鏡においては、波面変換素子を制御する制御装置が、照明光の集光位置を変更するのに必要な波面変換素子を変調するための最適な制御データを制作する手法を有し、蓄えられているので、その制御データに基づいて波面変換素子を変調して照明光の集光位置を変更するので、種々の試料に対して集光位置の移動を行っても精度の高い画像を獲得することが可能な走査型光学顕微鏡を提供することができる。

以下に、本発明の走査型光学顕微鏡の実施例を示す。なお、以下の説明に用いる図中において、繰り返し用いられる同一の要素には同一の記号を付し、重複する説明は行わない。また、光束が入射してくる方向を前側、出射していく方向を後側とし、光源としてレーザー発振器を用いたレーザ走査型顕微鏡（ＬＳＭ）を用いて説明する。

図１は、本発明の第１の実施例のＬＳＭの全体の構成を示す図であり、この図において、光源としてのレーザー光源１１は照明光を発し、その照明光はコリメータレンズ１２によって平面波に変換される。次に、この照明光はダイクロイックミラー５１で反射した後に、波面変換素子２に入射する。この波面変換素子２は、ミラーの反射面が電気的制御によって制御可能な形状可変ミラー２２で構成され、この形状可変ミラー２２では、後述する所定の波面変換が行われる。波面変換素子２によって波面変換が施された照明光は、その前側焦平面が波面変換素子２と略一致するように配置されている第三のリレー光学系７１に入射する。第三のリレー光学系７１を透過した照明光は、次に第二のリレー光学系７２を透過し、その後側焦平面に配置してある光束走査手段３に入射する。ここで、第三のリレー光学系７１の後側焦平面と第二のリレー光学径７２の前側焦平面が略一致するように配置されているので、光束走査手段３と波面変換素子２とは共役な面となる。

光束走査手段３は互いに直交する２つの軸で回転が可能なジンバルミラーからなり、ジンバルミラーで適切に照明光の向きを変えることで、物体面で互いに直行するＸ方向及びＹ方向に入射する照明光を走査できるようにする。

光束走査手段３で特定の角度に反射された照明光は、第一のリレーレンズ７３に入射し、次に結像レンズ７４に入射し、最後に対物レンズ４を透過することで、物体Ｏに集光する。ここで、第一のリレーレンズ７３、結像レンズ７４、対物レンズ４はテレセントリックな光学系で形成され、それぞれの前側焦平面と後側焦平面が略同一となるようになっている。

照明光が集光した物体Ｏからは測定すべき反射光束が発生し、その光束は照明光が通ってきたのと逆向きの光路を進み、対物レンズ４、結像レンズ７４、第一のリレーレンズ７３、光束走査手段３、第二のリレーレンズ７２、第三のリレーレンズ７１と通過し、波面変換素子２で反射される。波面変換素子２で反射された光束は、次にダイクロイックミラー５１で検出すべき特定の波長のみが透過し、集光レンズ５２に入射する。集光レンズ５２の後側焦平面には、ピンホール付きの検出器５３がそのピンホールの位置が集光位置と一致するように配置され、ピンホールを通過した光量が検出される。

ここで、波面変換素子２は、コントローラ６１を介してメモリ６２に記憶されているテーブルに従って波面変換素子２を構成する形状可変ミラー２２の分割電極各々に印加する電圧を制御することにより、物体Ｏ位置で光軸方向（Ｚ方向）に集光する位置を変化させる（Ｚスキャン）と共に、このＺ方向集光位置変化に伴って生じる収差を補正するためのものである。なお、以後の実施例においては、テーブルを記憶するメモリ６２がコントローラ６１に接続されているが、図示は省いてある。

このために、本実施例においては、図２（ａ）のステップＳＴ１に示すように、測定サンプルのスキャン画像をとる前に、図１のＬＳＭを用い、物体Ｏ位置に参照サンプルを配置し、フィードバックループ６３を経て検出器５３で検出される強度信号をコントローラ６１に戻し、形状可変ミラー（ＤＦＭ）２２の最適形状をＺ方向位置に応じて決定するものである。その後、図２（ａ）のステップＳＴ２において、その決定したＤＦＭ２２の形状をテーブルとしてメモリ６２に登録（記憶）し、このテーブルが完成した後、ステップＳＴ３において、通常通り物体Ｏの位置に測定したいサンプル（測定サンプル）を配置し、ステップＳＴ４において、そのテーブルに基づいてコントローラ６１がＤＦＭ２２の形状を変えながらＺ方向スキャン（Ｚスキャン）を行い、Ｚ方向各面における測定サンプルの光学像（スキャン画像）を順次取り込んで三次元像を得るものである。

以下、特に、参照サンプルを配置して形状可変ミラー２２の最適形状を決定してＤＦＭ２２の形状を制御するテーブルを登録する点を詳細に説明する。

参照サンプルとしては、図２（ｂ）に示すように、物体Ｏ位置に平面ミラー８１をＺ方向の所定位置に配置して、レーザー光源１１からの照明光がこの平面ミラー８１上に集光して反対方向に反射される戻り光の強度を検出器５３で検出し、その強度信号をフィードバックループ６３を経てコントローラ６１に戻し、検出器５３で検出される光量が最大になるか目標値より大きくなるように、形状可変ミラー２２の形状を制御する分割電極各々に印加する電圧を求める。この操作を平面ミラー８１のＺ方向位置を変えながら行い、各Ｚ方向位置（ΔＺ）に応じた分割電極各々に印加する電圧値をテーブルとして登録（記憶）する（図２（ａ）のステップＳＴ２）。この原理は、平面ミラー８１上に収差を伴わずに照明光が集光する場合には、反射光（戻り光）も検出器５３の検出面上に点像として結像するため、検出器５３の図示してないピンホールで遮断されずに通過して最大光量で検出されることになることにある。

また、参照サンプルとしては、図２（ｃ）に示すように、Ｚ方向に所定間隔で蛍光ビーズや量子ドットからなる蛍光層８３を周期的に積層してなる３次元構造の蛍光体８２を物体Ｏ位置に配置して、レーザー光源１１からの照明光をこの蛍光層８３のΔＺが決まっている何れかの蛍光層８３に入射させてそこで生じて反対方向に戻る蛍光（戻り光）の強度を検出器５３で検出し、その強度信号をフィードバックループ６３を経てコントローラ６１に戻し、検出器５３で検出される光量が最大になるか目標値より大きくなるように、形状可変ミラー２２の分割電極各々に印加する電圧を求める。この操作を全ての蛍光層８３について行い、各Ｚ方向位置（ΔＺ）に応じた分割電極各々に印加する電圧値をテーブルとして登録（記憶）する（図２（ａ）のステップＳＴ２）。この場合は、蛍光体８２として実際の測定サンプルの蛍光波長に合わせて印加する電圧値を決めることができるため、色収差を考慮した最適化が可能になるメリットがある。

図３は、このようにして決定されるテーブルの例を示す図であり、形状可変ミラー（ＤＦＭ）２２の分割電極配置が図３（ａ）に示すように９個の電極１〜９からなるとき、照明光を集光するＺ方向の位置をサンプルの深さΔＺ（μｍ）とするとき、ＤＦＭ２２の電極１〜９各々に印加すべき電圧値（Ｖ）は、図３（ｂ）の表に示すようになり、この図３（ｂ）のテーブルがメモリ６２に登録（記憶）される。

図４に、このようなテーブルを求めるフローの１例を示す。この例は、検出器５３で検出される光量が目標値より大きくなるようにＤＦＭ２２の分割電極１〜９に印加する電圧を求める場合である。まず、ステップＳＴ１１で、ＤＦＭ２２のそれぞれの電極（電極１〜電極９）に初期電圧を印加する。この初期電圧としては、ΔＺの値に対してＤＦＭ２２に必要とされるパワーが推測されるので、そのパワーに必要な曲率をＤＦＭ２２に与える電圧とすればよい。次に、ステップＳＴ１２で、検出器５３で光量を測定（検出）する。その後、ステップＳＴ１３で、その測定された光量が目標値より大きいかどうかを判定する。ここで、検出器５３で検出された光量が目標値より大きい場合には、そのΔＺの値に対してＤＦＭ２２の形状が十分であるので、ステップＳＴ１４で、そのときの電極（電極１〜電極９）に印加された電圧値をテーブルのそのΔＺでのデータとして登録する。ステップＳＴ１３で、測定された光量が目標値より小さい場合には、ステップＳＴ１５で、評価値を基にパラメータＸ（この場合は、電極１〜９に印加する電圧）の値を決める。この場合の評価値は、検出器５３で検出される光量であり、パラメータＸの決定方法としては、最適化問題の解法として知られている勾配法（最急降下法、共役勾配法、ニュートン法等）や直接探査法（ＤＨシンプレックス法、パウエル法、遺伝的アルゴリズム等）の何れかを用いる（非特許文献１、２）。このステップＳＴ１５は、ステップＳＴ１３で、検出器５３で検出される光量が目標値以上になるか、あるいはその値に変化が見られなくなるまで繰り返される。そして、以上のステップＳＴ１１〜１５をΔＺの各値に対して行うことにより、図３のようなテーブルが完成する。

以上の第１の実施例によると、予め参照サンプルを用いてＺスキャンするときの形状可変ミラー２２の最適な形状が求められているので、測定サンプルへ影響を与えずに精度の高いＺスキャンが可能になるメリットがある。

次に、本発明の第２の実施例を説明する。この実施例は、図１のようなレーザ走査型顕微鏡を用いて、参照サンプルを用いないで、測定サンプルに対してＺスキャンを行う前に、測定サンプルの予備Ｚスキャンを行い、実際に獲得される画像を用いて形状可変ミラー（ＤＦＭ）２２の最適形状を決定する例である。

まず、全体のフローから説明すると、図５に示すように、まず、ステップＳＴ２１で、測定したいサンプルを物体Ｏ位置に配置して、次のステップＳＴ２２で、Ｚ位置に対応して予め決められたパワーになる形状（例えば、球面形状）にＤＦＭ２２を変調（変形）させて測定サンプルをＺスキャンし、ステップＳＴ２３で、検出器５３のピンホールを透過した光量データを基に対応するＺ位置のスキャン画像を生成する。その後、ステップＳＴ２４で、獲得された画像を用いてＤＦＭ２２の最適形状を決定し、Ｚ位置に対する図３と同様のテーブルを再作成し、ステップＳＴ２５で、測定サンプルに対してそのテーブルに基づいてＤＦＭ２２の形状を変えながらＺスキャンを行い、Ｚ位置各面における測定サンプルの光学像（スキャン画像）を順次取り込んで三次元像を得るものである。上記のステップＳＴ２１〜ＳＴ２３が予備Ｚスキャンを構成している。

ここで、上記のステップＳＴ２４で行う、獲得された画像を用いてＤＦＭ２２の最適形状を決定する過程の１例を以下に説明する。

図６にその予備Ｚスキャンで得られた画像に対する処理過程を示す。予備Ｚスキャンによって、特定のＺ位置での画像Ｚ_i が獲得される（図６の最も左に示され、ΔＺ＝−２５μｍ〜２５μｍまで５μ間隔だと、１１枚ｉ＝１〜１１）。これらの画像に対して、図６の右中段に示すように、エッジ強調（フィルタ１）や、ボカシ（フィルタ２）、コントラスト強調（フィルタ３）等のフィルタイリング処理を施す。その後、図６の中央下段に示すように、それぞれフィルタリング処理が施されて得られた画像とフィルタリングが行われる前の原画像との比較を行う。比較の方法としては、コントラストの変化量と、画像の中心と周辺の強度差の変化量を計算する。こうして、図６の右下段に示すように、画像Ｚ_i に対して各フィルタ１〜３での処理によるコントラストの変化量、及び、中心と周辺の強度差の変化量を評価量として求める。

図７の最も左側に、図６のような処理過程を経て得られた画像Ｚ_i に対するフィルタ１〜３によるフィルタイリング処理を施された画像の評価量を示す。この評価量は、次の図８を参照にして説明するバック・プロパゲーション（ＢＰ）によるニューラルネットワークを経て、球面収差、コマ収差、非点収差、歪曲収差の各収差量に変換され、その各収差量は図９に示す２次の関数近似を経て、ＤＦＭ２２の予備Ｚスキャンのときの各電極に加えられる電圧値に対して補正する電圧値に変換される。

以上の図６〜図９で示す処理を各Ｚ位置での画像Ｚ_i それぞれに施してそれぞれのＺ位置に対して得られるＤＦＭ２２の各電極に加える電圧値が求まり、図３と同様のテーブルが再作成される。ただし、この電圧値は、図５のステップＳＴ２２でＤＦＭ２２が所定のパワーになるように変形させた電圧値に対して符号を反転した補正値を加えてなる電圧値である。

図８はフィルタ１〜３によるフィルタイリング処理を施された画像の各評価量からその状態の光学系の球面収差、コマ収差、非点収差、歪曲収差の各収差量を求めるためのニューラルネットワークを示す図である。

球面収差、コマ収差、非点収差、歪曲収差それぞれが既知の光学系を経た標準的な試料（例えば、テストチャート）の画像をシミュレーションで求める。その画像について、上記のエッジ強調（フィルタ１）や、ボカシ（フィルタ２）、コントラスト強調（フィルタ３）等のフィルタイリング処理を行って、コントラストの変化量及び中心と周辺の強度差の変化量の評価量を求める。これをいくつかの代表的な既知の収差値を持つ複数の光学系を経た画像に対して計算を行い、複数の収差量の組み合わせに対する評価量がシミュレーションで求まることになる。

この予め求めた評価量と収差量を入力データとして、図８の３層からなるニューラルネットワークにバック・プロパゲーション（ＢＰ）により、入力層と中間層の重みｗ１_ij、中間層と出力層の重みｗ２_ijを繰り返し学習させて各ニューロン間の重みｗ１_ij、ｗ２_ijが決定される。

このように学習により設定された図８のニューラルネットワークの入力層に、図６で求めた評価量（フィルタ１〜３によるコントラストの変化量と中心と周辺の強度差の変化量）を入力することで、各収差の収差量が出力層に出力されて求まる。

以上のようにして、各Ｚ位置での画像Ｚ_i を与えた光学系の各収差量が求まったが、この各収差を補正するようにＤＦＭ２２の形状を変形させなければならない。そのための２次の関数近似式を得なければならない。この過程を図９に示す。

まず、ステップＳＴ３１において、形状可変ミラー（ＤＦＭ）２２の分割電極個々に印加する電圧と表面形状の関係を予め実験によって求めておく。次いで、ステップＳＴ３２において、求められたＤＦＭ２２の表面形状から光学系の各収差（球面収差、コマ収差、非点収差、歪曲収差）それぞれの収差量を光線追跡等の光学シミュレーションにより求める。そして、ステップＳＴ３３で、各電極に印加する電圧と各収差の収差量との関係を複数組（各電極に印加する電圧を２０種類以上変えて）作成しておく。一方、図９の中段に示すように、各電極に印加する電圧値を各収差量の２次の関数と仮定しておく。そして、ステップＳＴ３４において、ステップＳＴ３３で得られた各電極に印加する電圧と各収差の収差量との関係をその２次の関数に代入して、２次の関数の係数（ａ_1i，ｂ_1ij ，ｃ_1i，・・・・，ａ_ni，ｂ_nij ，ｃ_ni）を非線形最適化を用いて決定する。この係数が決定すれば、図８のニューラルネットワークを介して求まった各収差の収差量をその２次の関数に代入することにより、ＤＦＭ２２の各電極に印加する補正電圧値を決定することができる。

この補正電圧値の符号を反転して図５のステップＳＴ２２でＤＦＭ２２が所定のパワーになるように変形させた電圧値に加えることにより、図３と同様のテーブルが作成される。この作成されたテーブルに基づいて図５に示したステップＳＴ２５が実行され、測定サンプルにより適合した高精度の三次元像を得ることができるようになる。

次に、本発明の第３の実施例を説明する。この実施例は、図１０に示すように、Ｚ方向の予備Ｚスキャンの間に、図１のレーザ走査型顕微鏡の検出器５３の位置にＣＣＤカメラ５４を配置し、物体Ｏとして実際の３次元測定サンプルを配置して、これにレーザ光源１１からの光束とは別の図示していないインコヒーレント光源からの励起光５５を照射してＺ位置毎の蛍光画像を撮像して、実際に獲得される蛍光画像を用いて形状可変ミラー（ＤＦＭ）２２の最適形状を決定する例である。

まず、全体のフローから説明すると、図１１に示すように、まず、ステップＳＴ４１で、測定したいサンプルを物体Ｏ位置に配置して、次のステップＳＴ４２で、その測定サンプルに励起光５５としてインコヒーレントな照明光を用いて照明し（レーザー光源１１は動作させない。）、次のステップＳＴ４３で、Ｚ位置に対応して予め決められたパワーになる形状（例えば、球面形状）にＤＦＭ２２を変調（変形）させて測定サンプルをＺスキャンし（光束走査手段３は動作させない。）、ステップＳＴ４４で、検出器５３の代わりに配置したＣＣＤカメラ５４で各Ｚ位置の蛍光画像を獲得する。その後、ステップＳＴ４５で、獲得された蛍光画像を用いてＤＦＭ２２の最適形状を決定し、各Ｚ位置に対する図３と同様のテーブルを作成し、ステップＳＴ４６で、測定サンプルに対してそのテーブルに基づいてＤＦＭ２２の形状を変えながら通常のＺスキャンを行い（レーザー光源１１、光束走査手段３は動作させ、図示していないピンホール付きの検出器53で光量を検出する。）、Ｚ位置各面における測定サンプルの光学像（スキャン画像）を順次取り込んで三次元像を得るものである。上記のステップＳＴ４１〜ＳＴ４４が予備Ｚスキャンを構成している。

ここで、上記のステップＳＴ４５で行う、獲得された蛍光画像を用いてＤＦＭ２２の最適形状を決定する過程の１例を以下に説明する。図１２に予備Ｚスキャンで得られた画像に対する処理過程を示す。図１１のステップＳＴ４４で特定のＺ位置での画像Ｚ_i が獲得される（図１２の最も左に示され、ΔＺ＝−２５μｍ〜２５μｍまで５μ間隔だと、１１枚ｉ＝１〜１１）。これらの画像に対して、ステップＳＴ５１で、それぞれをＮ×Ｎの領域に分割し、ステップＳＴ５２で、個々の領域におけるコントラスト（最大濃度と最小濃度の差）を計算する。各画像Ｚ_i に対してＮ×Ｎのコントラスト値が求まる。次に、ステップＳＴ５３で、画像Ｚ_i とＺ方向に近接するＺ位置の画像Ｚ_i-1 及び画像Ｚ_i+1 との比較を行う。比較としては各領域でのコントラスト値、及び、対応する画素の画素値の差分の平均値を用い、各領域毎に、コントラストの違い及び画素値の違いの平均値が計算される。この２つの量が画像の各領域に対して得られるので、ステップＳＴ５４で、その相対位置をそのままにして２次元の行列を作成する。同じ領域の２つのスカラー量となるが、コントラストの違いを上に、画素値の違いの平均値を下の段に配置する（図１３参照）。次の、ステップＳＴ５５で、この２次元の行列と予めシミュレーションによって求められた複数の２次元の行列Ｓ_l との距離を計算し、この距離の値を評価値とする。ステップＳＴ５６で、図８と同様のニューラルネットワークを用いて、その評価値をニューラルネットワークの入力層に入力することで、各収差の収差量が出力層に出力されて求まる。そして、ステップＳＴ５７において、ステップＳＴ５６で求められた各収差の収差量を同様のニューラルネットワークの入力層に入力することで、ＤＦＭ２２の各電極に印加する電圧が一意的に決定され、図３と同様のテーブルが作成される。

図１３は、ステップＳＴ５４での２次元の行列の作成過程と、予めシミュレーションによって複数の２次元の行列Ｓ_l を求める過程と、その２つの行列の距離を求める過程と、その距離に基づいて各収差の収差量を出力するニューラルネットワークでの演算過程を示す図である。ステップＳＴ６１で、Ｎ×Ｎの領域各々に対して、コントラストの違いを上に、画素値の違いの平均値を下の段に配置し、ステップＳＴ６２で、それらの相対位置をそのままにして２次元のマトリックスｘを作成する。一方、ステップＳＴ６４で、球面収差、コマ収差、非点収差、歪曲収差それぞれが既知の光学系を経た標準的な試料（例えば、テストチャート）の画像をシミュレーションで求める。その画像について、上記の領域分割、各領域毎にコントラストの違い及び画素値の違いの平均値の計算を行い、同様のマトリクス作成過程を経て複数の２次元の行列Ｓ_l を用意しておく。そして、ステップＳＴ６３で、この実際の測定サンプルから得られたマトリックスｘとシミュレーションで求められた複数のマトリックスＳ_l の距離を計算する。ここで、マトリックスｘとマトリックスＳ_l の距離は、各要素間の差の二乗和のルートで定義される。ステップＳＴ６５で、得られた距離と収差量を入力データとして、図１４の３層からなるニューラルネットワークにバック・プロパゲーション（ＢＰ）により、入力層と中間層の重みｗ１_ij、中間層と出力層の重みｗ２_ijを繰り返し学習させて各ニューロン間の重みｗ１_ij、ｗ２_ijが決定され、ステップＳＴ５６で用いるニューラルネットワークが構築される。

また、形状可変ミラー（ＤＦＭ）２２の分割電極個々に印加する電圧と表面形状の関係を予め実験によって求めて、求められたＤＦＭ２２の表面形状から光学系の各収差（球面収差、コマ収差、非点収差、歪曲収差）それぞれの収差量を光線追跡等の光学シミュレーションにより求め、その求めた収差量と分割電極個々の印加電圧との関係から、同様にして、ステップＳＴ５７で用いるニューラルネットワークも構築される。

以上のようにして、構築された２つのニューラルネットワークを用いて、各Ｚ位置に対する図３と同様のテーブルが作成される。この作成されたテーブルに基づいて図１１に示したステップＳＴ４６が実行され、測定サンプルにより適合した高精度の三次元像を得ることができるようになる。

この実施例では、実際の測定サンプルに対して予備Ｚスキャンの際にＸＹスキャンの必要がないので、高速に撮影が可能となり、測定サンプルの褪色の影響を少なくできるメリットがある。

次に、本発明の第４の実施例を説明する。この実施例は、図１５に示すように、図１のレーザ走査型顕微鏡の配置に対して検出器５３に入射する測定光束を分光する分光手段（例えば回折格子）５６を備えている点で異なっており、この分光手段５６の回折角を変えながら走査することで、複数の分光画像が得られる点に特徴があるものである。

まず、全体のフローから説明すると、図１６に示すように、まず、ステップＳＴ７１で、測定サンプルを物体Ｏ位置に配置して、次のステップＳＴ７２で、Ｚ位置に対応して予め決められたパワーになる形状（例えば、球面形状）にＤＦＭ２２を変調（変形）させて測定サンプルをＺスキャンし、ステップＳＴ７３で、検出器５３のピンホールを透過した光量データを基に対応するＺ位置のスキャン画像を生成する。その後、ステップＳＴ７４で、獲得された画像を用いてＤＦＭ２２の最適形状を決定し、Ｚ位置に対する図３と同様のテーブルを作成し、ステップＳＴ７５で、測定サンプルに対してそのテーブルに基づいてＤＦＭ２２の形状を変えながらＺスキャンを行い、Ｚ位置各面における測定サンプルの光学像（スキャン画像）を順次取り込んで三次元像を得るものである。上記のステップＳＴ７１〜ＳＴ７３が予備Ｚスキャンを構成している。

ここで、上記のステップＳＴ７４で行う、獲得された画像を用いてＤＦＭ２２の最適形状を決定する過程の１例を以下に説明する。

図１７にその予備Ｚスキャンで得られた画像に対する処理過程を示す。ステップＳＴ８１のように、上記予備Ｚスキャンによって、特定のＺ位置での画像Ｚ_i が分光データ分だけ獲得される。例えば、波長として、λ１＝５００ｎｍ、λ２＝６００ｎｍ、λ３＝７００ｎｍの３種類について画像が獲得される。この３つの画像のそれぞれについて、ステップＳＴ８２で、それぞれをＮ×Ｎの領域に分割し、各領域での獲得された複数の画像のコントラストの違い、具体的には、例えばコントラスト値の分散を求める。また、各領域での獲得された複数の画像の対応画素間の画素値の違い、具体的には、例えば画素値の分散を求める。これらの値を評価量とする。ステップＳＴ８３で、図８と同様のニューラルネットワークを用いて、その評価値をニューラルネットワークの入力層に入力することで、各収差の収差量が出力層に出力されて求まる。そして、ステップＳＴ８４において、ステップＳＴ８３で求められた各収差の収差量を同様のニューラルネットワークの入力層に入力することで、ＤＦＭ２２の各電極に印加する電圧が一意的に決定され、図３と同様のテーブルが作成される。

図１８は、ステップＳＴ８３で用いるニューラルネットワークの構成を示す図であり、このニューラルネットワークを構築するために、球面収差、コマ収差、非点収差、歪曲収差、色収差それぞれが既知の光学系を経た標準的な試料（例えば、テストチャート）の画像をシミュレーションで求める。その画像について、上記の領域分割、各領域毎に、コントラストの違い、対応画素間の画素値の違いの計算を行い、同様の評価値作成過程を経て複数の評価値と収差量を入力データとして、３層からなるニューラルネットワークにバック・プロパゲーション（ＢＰ）により、入力層と中間層の重みｗ１_ij、中間層と出力層の重みｗ２_ijを繰り返し学習させて各ニューロン間の重みｗ１_ij、ｗ２_ijが決定され、ステップＳＴ８３で用いるニューラルネットワークが構築される。

また、形状可変ミラー（ＤＦＭ）２２の分割電極個々に印加する電圧と表面形状の関係を予め実験によって求めて、求められたＤＦＭ２２の表面形状から光学系の各収差（球面収差、コマ収差、非点収差、歪曲収差、色収差）それぞれの収差量を光線追跡等の光学シミュレーションにより求め、その求めた収差量と分割電極個々の印加電圧との関係から、同様にして、ステップＳＴ８４で用いるニューラルネットワークも構築される。

以上のようにして、構築された２つのニューラルネットワークを用いて、各Ｚ位置に対する図３と同様のテーブルが作成される。この作成されたテーブルに基づいて、図１６に示したステップＳＴ７５が実行され、測定サンプルにより適合した高精度の三次元像を得ることができるようになる。

この実施例では、分光データを用いることで色収差を考慮した高精度の三次元像を得ることができるようになる。

なお、以上の第２〜第４の実施例において、予備Ｚスキャンを行う際に用いるＤＦＭ２２の形状変形のための制御データ（テーブル）（図５のステップＳＴ２２、図１１のステップＳＴ４３、図１６のステップＳＴ７２）は、第１の実施例の参照サンプルを用いて決定したテーブルを用いるようにしてももちろんよい。この場合は、予備Ｚスキャンでも精度の高い測定が可能となり、最適化がより容易にできるようになる。

また、例えば分光データを参照にして、そのテーブルを作りなおすようにしてもよい。このようにテーブルを作りなおすことで、ＤＦＭ２２の時系変化にも対応可能となる。

以上、本発明の走査型光学顕微鏡をいくつかの実施例に基づいて説明してきたが、それらの実施例は種々の設計変更が可能である。

本発明の第１、第２実施例のレーザー走査型顕微鏡の全体の構成を示す図である。 本発明の第１実施例の装置の制御の全体のフローと参照サンプルを配置して形状可変ミラーの最適形状を決定する原理を説明するための図である。 形状可変ミラーの形状を制御するためのテーブルの例を示す図である。 図３のテーブルを求めるフローの１例を示す図である。 本発明の第２実施例のレーザー走査型顕微鏡の制御の全体のフローを示す図である。 第２実施例において予備Ｚスキャンで得られた画像に対する処理過程を示す図である。 第２実施例による評価量に基づいて形状可変ミラーの各電極に加える電圧値を求める流れを説明するための図である。 第２実施例による評価量に基づいて各収差量を求めるニューラルネットワークの構成を示す図である。 図８のニューラルネットワークを用いて求まった各収差量から各電極に加える電圧値を求めるための２次の関数近似式を求める過程を示す図である。 本発明の第３実施例のレーザー走査型顕微鏡の全体の構成を示す図である。 第３実施例の装置の制御の全体のフローを示す図である。 第３実施例の予備Ｚスキャンで得られた画像に対する処理過程を示す図である。 ２次元の行列の作成過程と予めシミュレーションによって複数の２次元の行列を求める過程とその２つの行列の距離を求める過程とその距離に基づいて各収差の収差量を出力するニューラルネットワークでの演算過程を示す図である。 第３実施例による評価量に基づいて各収差量を求めるニューラルネットワークの構成を示す図である。 本発明の第４実施例のレーザー走査型顕微鏡の全体の構成を示す図である。 第４実施例の装置の制御の全体のフローを示す図である。 第４実施例の予備Ｚスキャンで得られた画像に対する処理過程を示す図である。 第４実施例による評価量に基づいて各収差量を求めるニューラルネットワークの構成を示す図である。 ビームスプリッターによって光路分割をする従来の顕微鏡の構成を示す図である。 ビームスプリッターによって光路分割をする従来の２光子顕微鏡の構成を示す図である。

符号の説明

２…波面変換素子
３…光束走査手段
４…対物レンズ
１１…レーザー光源
１２…コリメータレンズ
２２…形状可変ミラー（ＤＦＭ）
５１…ダイクロイックミラー
５２…集光レンズ
５３…検出器
５４…ＣＣＤカメラ
５５…励起光
５６…分光手段
６１…コントローラ
６２…メモリ
６３…フィードバックループ
７１…第三のリレー光学系
７２…第二のリレー光学系
７３…第一のリレーレンズ
７４…結像レンズ
８１…平面ミラー
８２…３次元構造の蛍光体
８３…蛍光層
Ｏ…対象物（物体）
ＫＰＬ…短パルス・レーザー
ＰＣＵ…プリチャープ・ユニット
ＳＴ１、ＳＴ２、ＳＴ３…ビーム・スプリッター
ＡＤ１、ＡＤ２…アダプティブミラー
ＤＢＳ…ビーム・スプリッター
ＳＬ、ＴＬ…光学部品
ＳＰ…ミラー
ＯＬ…対物レンズ
Ｌ…レンズ
ＰＨ…ピンホール
ＥＦ…フィルター
ＰＭＴ…検出器

Claims (5)

1. 光源と、前記光源から発する照明光に任意の波面変換を与える波面変換素子と、前記波面変換素子を制御する制御装置と、前記波面変換素子から発する波面変換後の照明光を互いに直交する方向に走査する光束走査手段と、前記光束走査手段によって進行方向を変えた照明光を物体に集光する対物レンズと、前記物体から発する信号光を検出する検出器とを備えた走査型光学顕微鏡において、
   前記制御装置は、照明光の集光位置を変更するのに必要な前記波面変換素子を変調するための制御データを備えており、その制御データに基づいて前記波面変換素子を変調して照明光の集光位置を変更するものであり、
   前記波面変換素子を変調するための前記制御データは、測定物体の集光位置に対して予め集光するように設定されたデータに基づいて予備走査することで得られた画像に基づいて、補正可能になっていることを特徴とする走査型光学顕微鏡。
2. 前記波面変換素子を変調するための前記制御データは、特定の参照サンプルに対して照明光の集光形状を最適化するものであることを特徴とする請求項１記載の走査型光学顕微鏡装置。
3. 前記予備走査することで得られた画像が、測定物体に励起光を照射して蛍光撮像することにより得られた画像であることを特徴とする請求項１記載の走査型光学顕微鏡装置。
4. 前記予備走査することで得られた画像が、分光画像であることを特徴とする請求項１記載の走査型光学顕微鏡装置。
5. 前記予備走査することで得られた画像から予備走査時の光学系の収差量を求める収差量演算手段と、求められた収差量から前記波面変換素子の制御のための補正データを求める補正データ演算手段とを備えていることを特徴とする請求項１記載の走査型光学顕微鏡装置。

Images