JP3634343B2

JP3634343B2 - Digitally controlled scanning method and apparatus

Info

Publication number: JP3634343B2
Application number: JP2003529228A
Authority: JP
Inventors: 徹林; 亨山田; 昭三石坂
Original assignee: 株式会社林創研
Priority date: 2001-09-03
Filing date: 2001-09-03
Publication date: 2005-03-30
Anticipated expiration: 2021-09-03
Also published as: WO2003025656A1; JPWO2003025656A1

Description

技術分野
本発明は、走査型光学顕微鏡などの試料観察装置、並びに試料観察領域における三次元空間の任意の点または微小域に光刺激や光加工を施す装置、或いは表面形状や表面形状の３次元座標データを基に試料表面の２点間の長さを測定する装置など広範囲に適用可能で、汎用性に優れたデジタル制御走査方法および装置に関する。
背景技術
共焦点光学系を採用した走査型の顕微鏡が広く利用されている。光音響素子を利用して光を偏向させる様式、ガルバノミラーによって光を偏向させる様式、ニポウデスクと呼ばれるピンホール板を回転させることにより光を走査する様式など、各種の走査型共焦点顕微鏡が実用化されている。
微小光偏向素子（ＤＭＤ）を走査手段とする走査型顕微鏡が、「Optics Letters」22巻、1997年、751〜753に発表されている。この種の走査型顕微鏡は、例えば米国特許第5,587,832に記載されている。
特開平11-194275には微小光偏向素子を走査手段とし、開口補正技術を付加した走査型顕微鏡が提案されている。
しかし，上記の米国特許第5,587,832に記載されている微小光偏向素子を走査手段とする走査型顕微鏡は、照明系がレーザーの平行光線による投影照明になっているので、試料の照明域は広く散光照明されており，その広い照明域内にある一点を撮像しているにすぎない。すなわち、対物レンズに対して光源と検出器が共役関係になく観察点だけに照明光が集光していないので共焦点顕微鏡としての性能が充分発揮されていない。
また、特開平11-194275に記載の走査型顕微鏡も同様に対物レンズに対して光源と検出点が共役関係になく共焦点顕微鏡としての高い空間分解能は得られない。
反射型の走査装置として微小光偏向素子を利用すると照明光を傾斜して微小光偏向素子に導入するので，不均一な照明になり観察像には照明むらを生ずる。
更に、分解能を上げる目的で光源として集光性の高いコヒーレント光であるレーザー光を照明手段として採用すると、光強度がビームの中心を極大としてガウス分布になるので、照明むらは増大し複雑化するなどの問題がある。
本発明は、上記従来の問題に鑑みてなされたもので、照明むらを補正し、空間分解能の高いレーザー共焦点顕微鏡などの観察装置を実現できるデジタル制御走査方法および装置を提供することを目的とする。
また、本発明の他の目的は、上記デジタル制御走査技術を利用し試料観察領域における３次元の任意の点に光刺激・光加工を施す装置を提供することにある。
更に、本発明の他の目的は、上記デジタル制御走査技術を利用し表面形状や表面形状の３次元座標データを基に表面上の物体の測長装置を提供することにある。
発明の開示
本発明に係るデジタル制御走査方法は、微小光偏向素子（ＤＭＤ）の複数のマイクロミラーに光源の実像を結像させ、マイクロミラーごとの傾動を走査し、該傾動したマイクロミラーを第二光源として対物レンズで試料中に結像照明し、該試料の結像領域より射出される蛍光または散乱光を対物レンズで、傾動を走査されたマイクロミラーに結像させ、これを撮像することを特徴とする。
本発明に係るデジタル制御走査装置は、撮像光学手段、照明光学手段、試料結像手段、コンピュータから成っている。
図１において、撮像光学手段は、試料より射出される蛍光または散乱光を対物レンズでＤＭＤ４のマイクロミラーに結像させ、これを撮像光学系の撮像用結像レンズ６を通して撮像する撮像装置５で構成されている。撮像装置５は、例えば電荷結合素子（ＣＣＤ）により構成される。
照明光学手段は、撮像光学系と光軸が重なるよう同軸化され、ダイクロイックミラー７を利用して導入された、レーザー光源からのレーザー光を利用しＤＭＤ４のマイクロミラーに点光源の実像を結像するマイクロレンズ二次元アレイ１２とピンホール二次元アレイ板９と光源結像レンズ８からなり、１個のマイクロミラーに１個の点光源が結像されるよう構成されている。平面光源の場合は、マイクロミラーが傾動することによって選択抽出された平面光源像の微小部分が対物レンズで縮小結像される。試料空間上で前記結像部分だけが照明され、この結像部分から射出される蛍光だけが撮像されることになる。
試料結像手段は、ＤＭＤ４のマイクロミラーに試料１の実像を結像する無限遠補正光学系の対物レンズ２と無限遠補正光学系の結像レンズ３と対物レンズ２を上下して位置を決める対物レンズのＺ位置指定機構１４から構成されている。光吸収体１０は、例えば黒体を利用してＤＭＤ４の傾動しないマイクロミラーからの照明に利用しない光を吸収する。コンピュータ１１は、ＤＭＤ４を撮像装置５と同期をとりながら、走査機能，空間変調機能，強度調節機能を実現する為の制御プログラムとその設定に必要なユーザーインターフェースのプログラムを内蔵し、ポインティングデバイス１５と表示装置１６が付属している。
撮像光学手段によりＤＭＤ４のマイクロミラーの実像を撮像し、この像データがコンピュータ１１に電送される。コンピュータ１１は、像データを画像処理して表示する。照明光学系によってピンホール二次元アレイ板９の表面に形成された点光源の実像をＤＭＤ４のマイクロミラーに結像させ、この実像が第二光源を形成し、以下に述べるマイクロミラーが所定の角度、例えば＋１０度傾動した時に試料を結像照明する。
試料結像系は、試料照明の光路と重なり、ＤＭＤ４のマイクロミラーに形成された点光源の実像を試料１の焦点面に結像させることによって試料１を照明する。これと同時にＤＭＤ４のマイクロミラーに試料１の焦点面の実像が結像する。
ＤＭＤ４はデジタル光スイッチ機能を有し、このスイッチ機能をコンピュータ１１に内蔵されたプログラムで制御する。以下に詳述する。個々のマイクロミラーにデジタル信号の(１)が入力されたときはマイクロミラーが所定の角度傾動し、同軸化された照明光学系と撮像光学系の光路が試料結像系の光路に連結される。個々のマイクロミラーにデジタル信号の（０）が入力されたときはマイクロミラーが前記傾動とは逆方向に所定の角度傾動し、同軸化された照明光学系と撮像光学系の光路が試料結像系の光路から遮断され、照明光学系の光路が光吸収体１０に導かれる光路に切り替わる。すなわち、光は吸収され試料１は照明されない。マイクロミラーの傾動角度は、例えば±１０°や±１２°が用いられが、これはＤＭＤの仕様によって予め定められている。
上記の光路切り替え機能を有する光学系において、１個のマイクロミラーだけにデジタル信号の（１）を入力し、他のマイクロミラーには全てデジタル信号の（０）を入力すると、試料空間の１個のマイクロミラーに対応した一点だけが照明、結像、撮像される。この１個のマイクロミラーの位置をＤＭＤの一面で順次移動（以下ＤＭＤ上のマイクロミラーの走査という）すると試料空間の焦点面が走査され、走査像が得られる。個々のマイクロミラーの位置を移動させるデジタル走査制御において、ＤＭＤ上で走査されるマイクロミラーの条件設定は、ハードウェアの変更なしにソフトウェア上で行うことができる。
走査するマイクロミラーの数は１個だけとはかぎらない。形や大きさを指定すれば、それに対応する傾動するマイクロミラー群が選択されるプログラムを装備することにより、高分解能を要求しない粗い走査での観察が可能である。例えば、隣接する縦横それぞれ二個の隣接する４個のマイクロミラーを、走査するマイクロミラー群として指定し走査観察できる。
同様に、Ｘ，Ｙのいずれか一方向にしか分解能を要しない用途には、一列の直線状に走査するマイクロミラーを指定しスリットスキャンが実施可能である。加えて、一個または独立した一群のマイクロミラーを複数同時に併進させ、高速に一画面を走査可能である。特に、併進走査は、焦点ずれ光を除去する空間光変調機能を保持する程度に十分離れていれば、多数のマイクロミラーを同時に傾動させることができるので、短時間に一画面全体を走査することができる。本実施例では２０００個のマイクロミラーの併進走査で高速走査を実証した。
対物レンズ２のＺ位置指定機構１３は、駆動手段としてピエゾ素子又はボイスコイルモータで構成され、コンピュータ１１からＺ位置信号を出力し、Ｄ／Ａコンバータ１４でアナログ信号に変換し、ピエゾ素子に印加する。ピエゾ素子のＺ軸方向の伸縮により対物レンズ２の焦点面を微量づつ変更移動できる。試料１のＺ方向（試料１の厚み方向）に移動した別の焦点面で二次元走査を行い、これを繰り返して多数のオプチカルセクショニング像が得られる。この多数のオプチカルセクショニング像を画像処理し、３次元再構成像を得る
光源として、観察用と刺激または加工用を装備することにより、観察した試料空間の任意の点に刺激用または加工用の強光度光を照準する装置を構成することができる。
コンピュータ１１に付属するマウスなどのポインティングデバイス１５で表示装置１６上に示された任意の一点を指示すると、その位置に対応したＺ座標の情報が対物レンズ２のＺ位置指定機構１３に送られ、対物レンズ２が指定位置に移動すると共に、ＤＭＤ４のＸ，Ｙの二次元情報に対応するマイクロミラーにデジタル信号の（１）が出力されて、マイクロミラーが傾動することによって指定された試料空間の任意の位置が決定され、この一点が刺激や加工される。
【図面の簡単な説明】
第１図は、本発明に係るデジタル制御走査装置の第１の実施形態の模式図である。
第２図は、本発明に係るデジタル制御走査装置の第２の実施形態の模式図である。
第３図は、本発明に係るデジタル制御走査装置の第３の実施形態の模式図である。
第４図は、光源の構成図である。
第５図は、デジタル制御走査装置の制御とユーザーインターフェースを示す流れ図である。
第６図は、走査・表示の流れ図である。
第７図は、照明むら補正の流れ図である。
第８図は、３Ｄ測定・表示の流れ図である。
第９図は、観察モード、刺激・加工モードの流れ図である。
第１０図は、加工モードの流れ図である。
第１１図は、ファイバー束で構成される面光源を示す図である。
第１２図は、ウレクサイトで構成される面光源を示す図である。
第１３図は、面発光体で構成される面光源を示す図である。
第１４図は、光散乱板で構成される面光源を示す図である。
発明を実施するための最良の形態
本発明の実施例を添付の図面に従ってより詳細に説明する。第１図は本発明に係るデジタル制御走査装置を適用した第１の実施形態を示すもので、共焦点光学系を採用した走査型蛍光顕微鏡の模式図である。
第１図において、本実施例では、試料１の対物レンズ２からなる試料結像系による実像位置に設置された６４０×４８０個のマイクロミラーが集積されたＤＭＤ４、このＤＭＤ４のミラー面に多数の点光源の実像を結像する照明光学系、ＤＭＤ４のミラー面の実像を斜め方向から結像させる撮像光学系、試料照明に利用しない光を吸収する光吸収体１０、ＤＭＤ４とＣＣＤ５とを同期制御するコンピュータ１１からなっている。
照明光学系は、アルゴンイオンレーザー（波長４８８ｎｍ）（図示省略）、ＤＭＤ４、ＤＭＤ４と同配列ピッチのピンホール二次元アレイ板９、ＤＭＤ４と同配列ピッチのマイクロレンズ二次元アレイ１２、光源結像レンズ８、ダイクロイックミラー７より構成されており、ＤＭＤ４のマイクロミラーの偏向軸に直交しミラー面から７０度の角度をなす方向から照明する。より分解能を上げるためには波長が短くコヒレンシの高いレーザーの利用が望ましい。
ピンホール二次元アレイ板９と光源結像レンズ８とＤＭＤ４とは、シャインプルーフの条件を満足する。この条件からピンホール二次元アレイ板９は光軸に対して傾くので、それぞれのマイクロレンズの焦点が対応するピンホールに合致するよう位置調整される。
ダイクロイックミラー７は、照明光学系からの照明光を反射し蛍光を透過させる性質を有する。このダイクロイックミラー７を撮像レンズ６とＤＭＤ４の間に配置することにより、ダイクロイックミラー７を透過した蛍光を撮像レンズ６でＣＣＤ５に結像させる。ＤＭＤ４とＣＣＤ５の撮像面と撮像レンズ６とはシャインプルーフの条件を満足する。ＣＣＤ５は、ＤＭＤ４と同期して露光され、読み出される。
ＤＭＤ４のマイクロミラーの動作について説明する。デジタル信号の（１）が入力されたとき、マイクロミラーは、信号がないときの位置から一方側に１０度傾き、照明光学系の光路と試料結像系の光路とが連結し、試料中の一点が照明される。同時に試料結像系の光路と撮像光学系の光路とが連結し、照明された試料中の一点から射出された蛍光がＣＣＤ５に結像される。大きさが１６μ×１６μのマイクロミラーがピンホールと同様の空間光変調機能を発揮して、迷光および焦点のずれた光を減少させ分解能を上げる。
デジタル信号の（０）が入力されたとき、マイクロミラーは上記とは逆向きの他方側に１０度傾き、照明系の光軸は光吸収体１０への光路に切り替わり、照明光は光吸収体１０に吸収される。
本実施例によれば、ＤＭＤ４上でデジタルの（１）信号を出力するマイクロミラーを順次切り替えて行くと傾動するマイクロミラーが走査され、試料中の照明撮像する点が走査される。ＤＭＤ４上で一面の走査が完了すると、ＣＣＤ５に全体のオプティカルセクショニング像が得られる。
対物レンズのＺ位置指定機構１３により対物レンズ２をわずかに移動し焦点面をずらして測定することにより多数のオプティカルセクショニング像が得られる。
次に照明の強度ムラの補正について説明する。レーザー光の強度分布は、ビームの中心部分の強度が高く、周辺部分の強度が低いガウス分布をしている。このビームを照明光としてそのまま用いると、均一な像は得られない。この照明光や光学素子とその配置に起因する装置固有の照明むら補正には次の方式がある。第１の方式は傾動するマイクロミラーの傾動時間（以下サンプリング時間という）をそのマイクロミラーの位置の照明強度に反比例するよう制御する。すなわち、サンプリング時間制御は、照明光の弱い位置でサンプリング時間を延長して観察し、照明むらを補正する。第２の方式は、サンプリング時間は全てのマイクロミラーで一定に保った状態で、マイクロミラーにＰＷＭ（パルス幅変調）を施し、サンプリング時間内で細かくスイッチングを繰り返し、サンプリング時間内の積分強度を一定値にし、照明むらを補正する。
第１の方式について詳述する。マイクロミラーを傾動させる時間を一定に保ったまま、一様な蛍光板を調整用の試料として観察する。次いで個々のマイクロミラーに対応する蛍光強度を得られた蛍光像の対応する画素から求め、サンプリング時間と蛍光強度が比例関係にあることを利用して、蛍光強度が全て一定値になるように補正したサンプリング時間の数値表を作成する。走査時には、作成した数値表を参照して個々のマイクロミラーを傾動させるサンプリング時間を制御し，照明むらの補正を行う。
次に第２の方法について詳述する。コンピュータ１１には、ＤＭＤ４に１０ビット（１０２４階調）のＰＷＭを用いて個々のマイクロミラーを制御するプログラムが搭載されている。先ず、一様な蛍光板を調整用の試料として観察する。次いで個々のマイクロミラーに対応する蛍光強度を、得られた蛍光象の対応する画素から求め、蛍光強度がすべて一定値になるようにＰＷＭ制御データの数値表を作成する。以後走査時には作成した数値表が参照され、個々のマイクロミラーが一定時間のサンプリング時間内で細分化されて傾動される。ＤＭＤのＰＷＭによる制御は、ＤＭＤを一つの表示装置とみなして実行される。すなわち、ＣＲＴや液晶表示器と同様に、これらの表示装置を接続する増設ビデオカードのＶＲＡＭ（ビデオＲＡＭ）に値を書き込むと、ＤＭＤの対応するマイクロミラーが傾動し、その書き込んだ値を用いると１０２４階調の強度の制御が可能になる。
本発明の装置はハードウェアの変更なしに走査条件を設定できる。マイクロミラー群を走査する際にはその群の形、大きさ、数、或いはマイクロミラー群を、複数併進して走査する際にはその数と配置、或いは走査する位置によって走査速度を可変する際にはその設定、或いは走査する試料領域を限定する際の領域指定などの設定変更もコンピュータの操作画面上から柔軟に実施できる。
第２図は本発明に係るデジタル制御走査装置の第２の実施形態を示す。
本実施形態の光学系は、既存の顕微鏡を基に改作が容易となるよう考慮して本発明を実施したものである。以下に点光源を利用した例について説明するが、平面光源の利用も可能である。本実施形態は、ピンホール二次元アレイ板９とマイクロレンズアレイ１２をＤＭＤ４と結象レンズ３の間に配置し、平行光の状態でＤＭＤ４で走査し、その後に点光源化するものである。光学系は、ＤＭＤ４を平行光で照明し、ＤＭＤ４のマイクロミラーが走査並びに強度調節された結果生じる微細な平行ビームを、顕微鏡の実像位置に設置されたピンホールアレイ９の各々のピンホールに集光するように設置されたマイクロレンズアレイ１２に入射するよう構成されている。
第３図は本発明に係るデジタル制御走査装置の第３の実施形態を示す。
本実施形態の光学系は、既存の顕微鏡を基に改作が容易となるよう考慮して本発明を実施したものである。以下に点光源を利用した例について説明するが、平面光源の利用も可能である。既存顕微鏡の落射照明装置を改作して光源と撮像系を組み付ける。また、試料１の実像位置に偏向したマイクロミラーが光軸と直交するように、ＤＭＤ４を所定の角度、例えば１０度傾けて設置する。マイクロレンズアレイ１２とピンホールアレイ９で生じた点光源がハーフミラー１７を介してＤＭＤ４に結像され、これをＣＣＤ５で撮像する。この光学系では、次の３つの関係がシャインプルーフの条件を満足する。第１はＤＭＤ４と対物レンズ２とステージ１８上に置かれた試料焦点面の関係である。第２はＤＭＤ４と光源結像レンズ８とピンホールアレイ９の関係である。第３はＤＭＤ４と撮像レンズ６とＣＣＤ５の関係である。
第４図は観察用光源と刺激・加工用光源の構成例を示す。光源はレーザー光源のみ、或いはレーザー光源と紫外線光源を組み合わせた構成になっている。レーザー光源のみの場合は、レーザー出力を観察用と刺激・加工用とに二段階に可変する機構を備え、これらのレーザー出力を切り替えて使用する。レーザー光源と紫外線光源の組み合わせの場合は、観察時には光路切替え要素１９を光路から外してしレーザーを用い、一方刺激・加工時には光路切替え要素１９を光路に挿入し、紫外線を光路に導入する。
第５図は本装置の制御とユーザーインターフェースを示す流れ図である。装置を起動すると、先ず、ＤＭＤ４、ＣＣＤ５、対物レンズ２のＺ位置指定機構を構成するピエゾ素子を制御するＤ／Ａコンバータを初期化し、メニュー画面を表示する。このメニュー画面には、次の項目が表示され、選択により各々の機能が実行される。
［走査・表示］
第６図は、走査・表示の流れ図を示す。ＣＣＤ５の露光を開始し、ＤＭＤ４上でマイクロミラーを走査する。走査終了後、ＣＣＤ５の露光を終了し、画像を読み出し表示する。照明むらの補正法として、サンプリング時間調節法、又はＰＷＭによる強度調整法が選択可能に構成されている。
［照明むら補正］
第７図は、照明むら補正の流れ図を示す。均一な蛍光板である標準蛍光試料を調整用のジグとして装着し、測定する。その結果からＤＭＤ４上のマイクロミラーの位置（ｘ，ｙ）による蛍光光強度Ｉ（ｘ，ｙ）を求める。この蛍光強度Ｉ（ｘ，ｙ）の逆数を、全てのマイクロミラーについて算出し、補正テーブルを作成する。補正テーブルは、上記の走査・表示のサブルーチンにおいて、照明むらの補正時に参照される。
［走査ユニット、併進ユニット数の設定］
１個のマイクロミラーを単独に走査する方法、或いは複数のマイクロミラーをグループ化し、このグループ単位を走査ユニットとして設定し、このユニットを順次移動させて走査する方法である。ユニットは、例えば２×２の４個のマイクロミラーを設定する。また、ユニットを格子状に複数配置し、この複数のユニットを同時に移動させて走査（併進）する場合には併進させるユニット数を設定する。
［走査スピード設定］
マイクロミラーのサンプリング時間を設定する。
［３Ｄ測定・表示］
第８図は、３Ｄ測定・表示の流れ図を示す。入力された枚数と、間隔値で複数のオプチカルセクショニング像を取得する。この際、１枚ごとに対物レンズのＺ位置指定機構により間隔値で指定された距離だけ焦点面を移動させる。この操作によって指定枚数の像データを取得し、この像データを基に３次元再構成像を表示する。
［対物レンズのＺ位置指定］
対物レンズ２のＺ位置指定機構の駆動手段、例えばピエゾ素子にＺ位置制御信号を与えて動作させ、対物レンズ２の焦点面をＺ位置に移動させる。
［刺激・加工モード］
第９図は、観察モードと刺激または加工モードの流れ図を示す。第５図の観察モードを実行した後、刺激・加工モードを実行する。刺激モードと加工モードは、同じ処理によって実現できるので、ここでは加工モードについてのみ説明する。刺激モードについては、第１０図の「加工点」を「刺激点」に変えることで実現できる。
第１０図において、観察モードにおける３Ｄ測定・表示を実行し、表示された３Ｄ再構成像上からポインティングデバイス１５を用いて、刺激や加工を行う点（ｘ,ｙ，ｚ）を指定する。この点のＺ位置に対物レンズ２の焦点面を移動させると共に、Ｘ，Ｙ位置に対応するマイクロミラーにデジタル信号の（１）を与えて傾動させ、目的とする刺激および／または加工点を照準する。次いで刺激・加工用光源から照明光光度を増大した強光度光や別に装備した紫外線などを照射して刺激・加工点に集光させる。
次に光源の実施態様を説明する。光源として面光源が利用できる。回折限界まで絞り込んだコヒレント光の照明では無くなるので、空間分解能は実施例より劣るが、安価に製作できる。マイクロミラーで切り出された平面光源像の微小部分（１６μ×１６μ）が対物レンズ２で縮小結像されて試料を励起し、この結像領域から射出された蛍光だけが撮像される。
第１１図〜第１４図は各種の面光源であり、設置された面光源の光源面と光源結像レンズ８とＤＭＤ４とはシャインプルーフの条件を満足する。
第１１図に示す面光源は、光ファイバ束２０で構成され、一方端面から光が入射され、他方の端面を平面光源として利用する。他方の端面はシャインプレーフの条件を満足するように斜めにカットされている。
第１２図に示す面光源は、ウレクサイト２１を繊維の方向を光軸に一致するように設置し、射出端がシャインプルーフの条件を満足するように光軸に対して斜めにカットされている。ウレクサイト２１は、天然鉱物であり、数ミクロン径の透明無機繊維が集積したもので、ファイバープレートとして利用している。
第１３図に示す面光源は、ＥＬ（エレクトロルミネッセンス）などの面発光体２２で構成されている。
第１４図に示す面光源は、光散乱板２３で構成されている。
その他に面光源としては、多数の半導体レーザーやＬＥＤを平面上に配列した集積化並列光デバイスなどを用いることができる。
上記無限遠補正光学系の対物レンズ２を用いたので、中間変倍光学装置を設置すれば変倍可能な走査型蛍光顕微鏡となる。
他の用途への応用例について説明する。上記実施形態において、蛍光と励起光を分離するためのダイクロイックミラーに替えてハーフミラーを用いると、試料の反射光や散乱光が観察できるので、半導体集積回路基板の観察に多用される走査型金属顕微鏡に応用できる。金属顕微鏡は、像観察だけでなく、半導体集積回路基板上の配線の線幅や穴の径など二次元の測長が可能である。また、三次元測長が必要な場合は、多数のオプティカルセクショニング像をとり、三次元再構成像上で可能である。
本発明のデジタル制御走査技術を半導体などの不透明試料の測定に応用すると、照明光の焦点位置からの散乱光を検出し、ＤＭＤの空間光変調機能を利用して、焦点からずれた位置からの散乱光を除外しているので、照明光の焦点と試料と試料表面が一致した時に検出される散乱光強度が最大になる。この散乱光強度のピーク検出を行う為、制御手段を構成するコンピュータ１４には対物レンズ２を上下に移動させ、散乱光の強度が最大となる位置を探すピーク検出手段（ソフトウェア）、または、対物レンズ２を振動させ、それに伴う散乱光強度の変化から対物レンズ２を常に散乱光強度の最大位置に追従するよう制御するピーク追従手段（ソフトウェア）を付加する。走査されるマイクロミラーにより試料表面の点のＸ座標、Ｙ座標が決まり、上記のピーク検出またはピーク追従制御からＺ座標が決定できる。マイクロミラーをＤＭＤ４上で全面を走査することで試料表面の形状が測定できるので、三次元表面形状測定装置が実現できる。試料表面の形状測定は、観察視野の全体或いは一部を指定することもできる。全体を測定する場合はＤＭＤ４の全域でマイクロミラーが走査される。視野の一部を測定する場合には、ユーザインターフェースの画面上において、測定域を指定することでＤＭＤ４の部分域に限定してマイクロミラーの走査が実施される。
また、コンピュータに試料表面の全体の三次元座標データを取り込み、表示される画像上で指定した、２点間の距離、線幅、段差、穴の径、深さなどを求める測長手段（ソフトウェア）を付加することで、測長装置が実現できる。なお、上述のピーク検出ソフトウェアやピーク追従ソフトウェアは電子回路を利用したハードウェアでも実現できる。
また、分光器と光電検出器を増設設置することで、顕微蛍光スペクトル測定装置に応用できる。この装置では試料中の任意の一点または指定された複数の点から射出される蛍光のスペクトルを得ることができる。
その他の応用としては、観察した後に同一装置により加工などの操作を行うことができ、利便性の高い装置を提供できる。具体的な例としては、細胞内の狙った器官を光刺激する細胞光刺激装置、細胞内の狙った部分を光照射で変性させる顕微細胞手術装置、高強度光源で狙った部分を焼き切る集積回路のトリミング装置、顕微光造形装置などが適用可能である。
産業上の利用可能性
本発明はＤＭＤに走査機能、空間光変調機能、光強度調整機能をもたせ、高分解能な走査型顕微鏡を実現すると共に、刺激装置、加工装置、三次元表面形状測定装置、測長装置などへの応用を可能にした。
点光源の実像をＤＭＤ上でマイクロミラーに結像させる場合は、コヒレント光による共焦点光学系を形成し、高分解能、高コントラストで高速走査が可能である。平面光源の実像をＤＭＤ上でマイクロミラーに結像する場合は、点光源を利用した場合より分解能が悪くなるが、マイクロミラーで切り出された平面光源像の微小部分（１６μ×１６μ）が対物レンズで縮小結像されて試料を励起し、この結像領域から射出された蛍光だけが撮像される。この作用メカニズムにより、迷光などのノイズが少ない調整の容易な安価な走査装置を提供できる。
ＤＭＤは、ユーザーインターフェースを介してデジタル制御されるので、走査装置自体が条件設定、設定変更が柔軟に実現できる。画素ごとに走査スピードを変更したり、照明光の強度を調整することができる。また、ＤＭＤは、コンピュータによるデジタル制御しているので、走査条件の設定変更は利用者が利用条件に合わせてハードウエアの変更無しにキーボードやマウスを利用してプログラム上から実施できる。Technical field
The present invention relates to a sample observation device such as a scanning optical microscope, a device that performs light stimulation or light processing on an arbitrary point or minute region in a three-dimensional space in a sample observation region, or three-dimensional coordinate data of a surface shape or surface shape The present invention relates to a digitally controlled scanning method and apparatus that can be applied in a wide range such as an apparatus for measuring the length between two points on the surface of a sample and is excellent in versatility.
Background art
Scanning microscopes that employ confocal optical systems are widely used. Various types of scanning confocal microscopes have been put into practical use, such as a mode in which light is deflected using a photoacoustic element, a mode in which light is deflected by a galvanometer mirror, and a mode in which light is scanned by rotating a pinhole plate called a nippo desk Has been.
A scanning microscope using a micro light deflecting element (DMD) as a scanning means is published in “Optics Letters”, Vol. 22, 1997, 751 to 753. This type of scanning microscope is described, for example, in US Pat. No. 5,587,832.
Japanese Patent Application Laid-Open No. 11-194275 proposes a scanning microscope using a micro light deflecting element as a scanning means and an aperture correction technique.
However, the scanning microscope described in the above-mentioned US Pat. No. 5,587,832 that uses the micro light deflector as the scanning means has a wide illumination area of the sample because the illumination system is a projection illumination with a parallel beam of laser. It is illuminated and only images a single point within its wide illumination area. That is, since the light source and the detector are not conjugated with respect to the objective lens, and the illumination light is not condensed only at the observation point, the performance as a confocal microscope is not sufficiently exhibited.
Similarly, the scanning microscope described in Japanese Patent Application Laid-Open No. 11-194275 does not have a conjugate relationship between the light source and the detection point with respect to the objective lens, and a high spatial resolution as a confocal microscope cannot be obtained.
When a minute light deflection element is used as a reflection type scanning device, illumination light is tilted and introduced into the minute light deflection element, resulting in uneven illumination and uneven illumination in the observed image.
Furthermore, when laser light, which is highly coherent light as a light source, is used as the light source for the purpose of increasing the resolution, the light intensity becomes Gaussian with the center of the beam being maximized, so that the illumination unevenness increases and becomes complicated. There are problems such as.
The present invention has been made in view of the above-described conventional problems, and an object thereof is to provide a digitally controlled scanning method and apparatus that can correct illumination unevenness and realize an observation apparatus such as a laser confocal microscope with high spatial resolution. To do.
Another object of the present invention is to provide an apparatus for performing light stimulation / light processing on a three-dimensional arbitrary point in a sample observation region using the digital control scanning technique.
Another object of the present invention is to provide a length measuring device for an object on the surface based on the surface shape and the three-dimensional coordinate data of the surface shape using the digital control scanning technique.
Disclosure of the invention
In the digitally controlled scanning method according to the present invention, a real image of a light source is formed on a plurality of micromirrors of a micro light deflector (DMD), the tilt of each micromirror is scanned, and the tilted micromirror is used as a second light source. The objective lens illuminates an image in the sample, and the fluorescent or scattered light emitted from the imaging region of the sample is imaged by the objective lens on a scanned micromirror, and this is imaged. To do.
The digitally controlled scanning device according to the present invention comprises imaging optical means, illumination optical means, sample imaging means, and a computer.
In FIG. 1, the imaging optical means forms an image of fluorescence or scattered light emitted from a sample on the micromirror of the DMD 4 with an objective lens, and picks up the image through the imaging imaging lens 6 of the imaging optical system. It is configured. The imaging device 5 is configured by, for example, a charge coupled device (CCD).
The illumination optical means is made coaxial so that the optical axis overlaps with the imaging optical system, and a real image of the point light source is formed on the micromirror of the DMD 4 using the laser light introduced by using the dichroic mirror 7. The microlens two-dimensional array 12, the pinhole two-dimensional array plate 9, and the light source imaging lens 8 are configured such that one point light source is imaged on one micromirror. In the case of a planar light source, a minute portion of the planar light source image selectively extracted by tilting the micromirror is reduced and imaged by the objective lens. Only the imaging portion is illuminated on the sample space, and only the fluorescence emitted from the imaging portion is imaged.
The sample imaging means determines the position by moving up and down the objective lens 2 of the infinity correction optical system, the imaging lens 3 of the infinity correction optical system, and the objective lens 2 that form a real image of the sample 1 on the micromirror of the DMD 4. The objective lens Z position specifying mechanism 14 is configured. The light absorber 10 uses, for example, a black body to absorb light that is not used for illumination from a micromirror that does not tilt the DMD 4. The computer 11 incorporates a control program for realizing a scanning function, a spatial modulation function, and an intensity adjustment function while synchronizing the DMD 4 with the imaging device 5 and a user interface program necessary for the setting, and a pointing device 15. A display device 16 is attached.
A real image of the DMD 4 micromirror is picked up by the image pickup optical means, and this image data is transmitted to the computer 11. The computer 11 processes the image data and displays it. A real image of the point light source formed on the surface of the pinhole two-dimensional array plate 9 by the illumination optical system is formed on the micromirror of the DMD 4, and this real image forms the second light source. The micromirror described below has a predetermined angle. For example, when the sample is tilted by +10 degrees, the specimen is imaged and illuminated.
The sample imaging system illuminates the sample 1 by overlapping the optical path of the sample illumination and forming a real image of the point light source formed on the micromirror of the DMD 4 on the focal plane of the sample 1. At the same time, a real image of the focal plane of the sample 1 is formed on the micromirror of the DMD 4.
The DMD 4 has a digital optical switch function, and this switch function is controlled by a program built in the computer 11. This will be described in detail below. When the digital signal (1) is input to each micromirror, the micromirror tilts by a predetermined angle, and the optical path of the coaxial illumination optical system and imaging optical system is connected to the optical path of the sample imaging system. . When a digital signal (0) is input to each micromirror, the micromirror tilts a predetermined angle in the opposite direction to the tilt, and the optical path of the coaxial illumination optical system and imaging optical system forms a sample image. The optical path of the illumination optical system is switched to the optical path guided to the light absorber 10 by being blocked from the optical path of the system. That is, the light is absorbed and the sample 1 is not illuminated. For example, ± 10 ° or ± 12 ° is used as the tilt angle of the micromirror, which is determined in advance by the DMD specification.
In the optical system having the above optical path switching function, when a digital signal (1) is input to only one micromirror and a digital signal (0) is input to all the other micromirrors, one sample space is obtained. Only one point corresponding to the micromirror is illuminated, imaged, and imaged. When the position of this one micromirror is sequentially moved on one surface of the DMD (hereinafter referred to as scanning of the micromirror on the DMD), the focal plane of the sample space is scanned, and a scanned image is obtained. In the digital scanning control for moving the position of each micromirror, the condition setting of the micromirror scanned on the DMD can be performed on the software without changing the hardware.
The number of micromirrors to be scanned is not limited to one. If a shape and size are specified, a program that selects a group of tilting micromirrors corresponding to the shape and size can be provided, thereby enabling observation with coarse scanning that does not require high resolution. For example, two adjacent four micromirrors that are adjacent to each other in the vertical and horizontal directions can be designated as a micromirror group to be scanned and can be scanned.
Similarly, for applications that require resolution only in one of X and Y directions, slit scanning can be performed by designating micromirrors that scan in a straight line. In addition, one screen or a group of independent micromirrors can be simultaneously translated to scan one screen at high speed. In particular, the translation scan can scan a whole screen in a short time because a large number of micromirrors can be tilted at the same time as long as the spatial light modulation function for removing defocused light is maintained. Can do. In this example, high-speed scanning was demonstrated by translational scanning of 2000 micromirrors.
The Z position designation mechanism 13 of the objective lens 2 is configured by a piezo element or a voice coil motor as a driving means, outputs a Z position signal from the computer 11, converts it to an analog signal by the D / A converter 14, and applies it to the piezo element. To do. The focal plane of the objective lens 2 can be changed and moved by a minute amount by expansion and contraction of the piezo element in the Z-axis direction. Two-dimensional scanning is performed on another focal plane moved in the Z direction of the sample 1 (the thickness direction of the sample 1), and this is repeated to obtain a large number of optical sectioning images. Image processing is performed on the multiple optical sectioning images to obtain a three-dimensional reconstruction image.
By equipping the light source with observation and stimulation or processing, it is possible to configure a device for aiming intense light for stimulation or processing at any point in the observed sample space.
When a pointing device 15 such as a mouse attached to the computer 11 is used to designate an arbitrary point indicated on the display device 16, information on the Z coordinate corresponding to the position is sent to the Z position designation mechanism 13 of the objective lens 2, As the objective lens 2 moves to the designated position, the digital signal (1) is output to the micromirror corresponding to the two-dimensional information of the XD and Y of the DMD 4 and the micromirror tilts to move the designated sample space. An arbitrary position is determined, and this one point is stimulated or processed.
[Brief description of the drawings]
FIG. 1 is a schematic diagram of a first embodiment of a digitally controlled scanning device according to the present invention.
FIG. 2 is a schematic view of a second embodiment of the digitally controlled scanning device according to the present invention.
FIG. 3 is a schematic view of a third embodiment of the digitally controlled scanning device according to the present invention.
FIG. 4 is a block diagram of the light source.
FIG. 5 is a flowchart showing the control and user interface of the digitally controlled scanning device.
FIG. 6 is a flowchart of scanning and display.
FIG. 7 is a flowchart of uneven illumination correction.
FIG. 8 is a flowchart of 3D measurement / display.
FIG. 9 is a flowchart of the observation mode and stimulation / processing mode.
FIG. 10 is a flowchart of the processing mode.
FIG. 11 is a diagram showing a surface light source composed of a fiber bundle.
FIG. 12 is a diagram showing a surface light source composed of urecsite.
FIG. 13 is a diagram showing a surface light source composed of a surface light emitter.
FIG. 14 is a diagram showing a surface light source composed of a light scattering plate.
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments of the present invention will be described in more detail with reference to the accompanying drawings. FIG. 1 shows a first embodiment to which a digitally controlled scanning device according to the present invention is applied, and is a schematic diagram of a scanning fluorescence microscope employing a confocal optical system.
In FIG. 1, in this embodiment, DMD 4 in which 640 × 480 micromirrors installed at a real image position by a sample imaging system comprising objective lens 2 of sample 1 are integrated, and a number of mirror surfaces of DMD 4 An illumination optical system that forms a real image of a point light source, an imaging optical system that forms a real image of the mirror surface of the DMD 4 from an oblique direction, a light absorber 10 that absorbs light not used for sample illumination, and the DMD 4 and the CCD 5 are controlled synchronously. The computer 11 is made up of.
The illumination optical system includes an argon ion laser (wavelength 488 nm) (not shown), DMD4, pinhole two-dimensional array plate 9 having the same arrangement pitch as DMD4, microlens two-dimensional array 12 having the same arrangement pitch as DMD4, and light source imaging lens. 8. It is composed of a dichroic mirror 7 and illuminates from a direction perpendicular to the deflection axis of the micromirror of DMD 4 and at an angle of 70 degrees from the mirror surface. In order to increase the resolution, it is desirable to use a laser having a short wavelength and high coherency.
The pinhole two-dimensional array plate 9, the light source imaging lens 8, and the DMD 4 satisfy the Scheinproof condition. From this condition, the pinhole two-dimensional array plate 9 is tilted with respect to the optical axis, so that the position of each microlens is adjusted so as to match the corresponding pinhole.
The dichroic mirror 7 has a property of reflecting illumination light from the illumination optical system and transmitting fluorescence. By disposing the dichroic mirror 7 between the imaging lens 6 and the DMD 4, the fluorescence transmitted through the dichroic mirror 7 is imaged on the CCD 5 by the imaging lens 6. The imaging surfaces of the DMD 4 and the CCD 5 and the imaging lens 6 satisfy the Shineproof condition. The CCD 5 is exposed and read in synchronization with the DMD 4.
The operation of the DMD 4 micromirror will be described. When the digital signal (1) is input, the micromirror is tilted by 10 degrees from the position where there is no signal, and the optical path of the illumination optical system and the optical path of the sample imaging system are connected to each other in the sample. One point is illuminated. At the same time, the optical path of the sample imaging system and the optical path of the imaging optical system are connected, and the fluorescence emitted from one point in the illuminated sample is imaged on the CCD 5. A micromirror having a size of 16 μ × 16 μ exhibits a spatial light modulation function similar to that of a pinhole, thereby reducing stray light and out-of-focus light and increasing resolution.
When the digital signal (0) is input, the micromirror is tilted 10 degrees to the other side opposite to the above, the optical axis of the illumination system is switched to the optical path to the light absorber 10, and the illumination light is absorbed by the light absorber. 10 is absorbed.
According to the present embodiment, when the micromirrors that output the digital (1) signal are sequentially switched on the DMD 4, the tilting micromirrors are scanned, and the point for illumination imaging in the sample is scanned. When the scanning of one surface is completed on the DMD 4, the entire optical sectioning image is obtained on the CCD 5.
A large number of optical sectioning images can be obtained by moving the objective lens 2 slightly by the Z position designation mechanism 13 of the objective lens and shifting the focal plane.
Next, correction of illumination intensity unevenness will be described. The intensity distribution of the laser light has a Gaussian distribution in which the intensity of the central part of the beam is high and the intensity of the peripheral part is low. If this beam is used as illumination light as it is, a uniform image cannot be obtained. There are the following methods for correcting illumination unevenness unique to the apparatus due to the illumination light and optical elements and their arrangement. In the first method, the tilting time (hereinafter referred to as sampling time) of the tilting micromirror is controlled to be inversely proportional to the illumination intensity at the position of the micromirror. That is, in the sampling time control, observation is performed by extending the sampling time at a position where the illumination light is weak, and the illumination unevenness is corrected. The second method is to keep the sampling time constant for all micromirrors, apply PWM (pulse width modulation) to the micromirrors, repeat switching finely within the sampling time, and keep the integrated intensity within the sampling time constant. To correct the uneven illumination.
The first method will be described in detail. A uniform fluorescent screen is observed as an adjustment sample while keeping the time for tilting the micromirror constant. Then, the fluorescence intensity corresponding to each micromirror is obtained from the corresponding pixel of the obtained fluorescence image, and corrected so that the fluorescence intensity is all constant using the proportional relationship between the sampling time and the fluorescence intensity. Create a numerical table of the sampling time. During scanning, the sampling time for tilting individual micromirrors is controlled with reference to the created numerical table to correct illumination unevenness.
Next, the second method will be described in detail. The computer 11 is equipped with a program for controlling individual micromirrors using 10-bit (1024 gradation) PWM in the DMD 4. First, a uniform fluorescent screen is observed as an adjustment sample. Next, the fluorescence intensity corresponding to each micromirror is obtained from the corresponding pixel of the obtained fluorescent image, and a numerical table of PWM control data is created so that the fluorescence intensity is all constant. Thereafter, the created numerical table is referred to at the time of scanning, and the individual micromirrors are subdivided and tilted within a predetermined sampling time. Control of DMD by PWM is executed by regarding DMD as one display device. That is, when a value is written in the VRAM (video RAM) of an additional video card connected to these display devices as in the case of a CRT or liquid crystal display, the corresponding micromirror of the DMD is tilted and the written value is used. The intensity of 1024 gradations can be controlled.
The apparatus of the present invention can set scanning conditions without changing hardware. When scanning the micromirror group, the shape, size, number, or number of micromirror groups, when scanning in parallel, the number and arrangement of the micromirror groups, or when changing the scanning speed depending on the scanning position In addition, it is possible to flexibly implement the setting or setting change such as area designation when limiting the sample area to be scanned from the operation screen of the computer.
FIG. 2 shows a second embodiment of the digitally controlled scanning device according to the present invention.
The optical system of the present embodiment is an implementation of the present invention in consideration of facilitating adaptation based on an existing microscope. An example using a point light source will be described below, but a planar light source can also be used. In this embodiment, the pinhole two-dimensional array plate 9 and the microlens array 12 are arranged between the DMD 4 and the conjugating lens 3, scanned with the DMD 4 in a parallel light state, and then converted into a point light source. The optical system illuminates the DMD 4 with parallel light, and a fine parallel beam generated as a result of scanning and adjusting the intensity of the micro mirror of the DMD 4 is collected in each pin hole of the pin hole array 9 installed at the real image position of the microscope. It is configured to be incident on the microlens array 12 installed so as to emit light.
FIG. 3 shows a third embodiment of the digitally controlled scanning device according to the present invention.
The optical system of the present embodiment is an implementation of the present invention in consideration of facilitating adaptation based on an existing microscope. An example using a point light source will be described below, but a planar light source can also be used. The epi-illumination device of the existing microscope is modified and the light source and the imaging system are assembled. Further, the DMD 4 is installed at a predetermined angle, for example, 10 degrees so that the micromirror deflected to the real image position of the sample 1 is orthogonal to the optical axis. A point light source generated by the microlens array 12 and the pinhole array 9 is imaged on the DMD 4 via the half mirror 17 and picked up by the CCD 5. In this optical system, the following three relationships satisfy the Shineproof condition. The first is the relationship between the DMD 4, the objective lens 2, and the sample focal plane placed on the stage 18. The second is the relationship among the DMD 4, the light source imaging lens 8, and the pinhole array 9. The third is the relationship between the DMD 4, the imaging lens 6, and the CCD 5.
FIG. 4 shows a configuration example of an observation light source and a stimulus / processing light source. The light source is a laser light source alone or a combination of a laser light source and an ultraviolet light source. In the case of only the laser light source, a mechanism for changing the laser output in two stages, for observation and for stimulation and processing, is used by switching between these laser outputs. In the case of a combination of a laser light source and an ultraviolet light source, the laser is used by removing the optical path switching element 19 from the optical path during observation, while the optical path switching element 19 is inserted into the optical path during stimulation and processing, and ultraviolet rays are introduced into the optical path.
FIG. 5 is a flowchart showing the control and user interface of the apparatus. When the apparatus is activated, first, a D / A converter that controls the piezo elements constituting the Z position designation mechanism of the DMD 4, the CCD 5, and the objective lens 2 is initialized, and a menu screen is displayed. The following items are displayed on this menu screen, and each function is executed by selection.
[Scan / Display]
FIG. 6 shows a flow chart of scanning and display. The exposure of the CCD 5 is started, and the micromirror is scanned on the DMD 4. After the scanning is completed, the exposure of the CCD 5 is terminated, and the image is read and displayed. As a method for correcting illumination unevenness, a sampling time adjustment method or an intensity adjustment method using PWM can be selected.
[Lighting unevenness correction]
FIG. 7 shows a flowchart of illumination unevenness correction. A standard fluorescent sample, which is a uniform fluorescent plate, is mounted as an adjustment jig and measured. From the result, the fluorescent light intensity I (x, y) at the position (x, y) of the micromirror on the DMD 4 is obtained. The reciprocal of this fluorescence intensity I (x, y) is calculated for all the micromirrors, and a correction table is created. The correction table is referred to when the illumination unevenness is corrected in the scanning / display subroutine.
[Setting the number of scanning units and translation units]
This is a method of scanning one micromirror independently, or a method of grouping a plurality of micromirrors, setting the group unit as a scanning unit, and sequentially moving the unit to scan. The unit sets, for example, four 2 × 2 micromirrors. In addition, when a plurality of units are arranged in a lattice pattern and the plurality of units are moved simultaneously and scanned (translated), the number of units to be translated is set.
[Scanning speed setting]
Set the micromirror sampling time.
[3D measurement / display]
FIG. 8 shows a flowchart of 3D measurement / display. A plurality of optical sectioning images are acquired with the input number and interval values. At this time, the focal plane is moved by the distance designated by the interval value by the Z position designation mechanism of the objective lens for each sheet. By this operation, a specified number of image data is acquired, and a three-dimensional reconstructed image is displayed based on this image data.
[Specify Z position of objective lens]
A driving means of the Z position designation mechanism of the objective lens 2, for example, a piezo element is operated by giving a Z position control signal to move the focal plane of the objective lens 2 to the Z position.
[Stimulation / processing mode]
FIG. 9 shows a flowchart of the observation mode and the stimulation or processing mode. After executing the observation mode of FIG. 5, the stimulus / processing mode is executed. Since the stimulation mode and the machining mode can be realized by the same process, only the machining mode will be described here. The stimulation mode can be realized by changing the “processing point” in FIG. 10 to the “stimulation point”.
In FIG. 10, 3D measurement / display in the observation mode is executed, and a point (x, y, z) to be stimulated or processed is designated using the pointing device 15 on the displayed 3D reconstructed image. The focal plane of the objective lens 2 is moved to the Z position of this point, and the micromirror corresponding to the X and Y positions is tilted by applying the digital signal (1) to aim the target stimulus and / or processing point. To do. Next, the light source for stimulation / processing is irradiated with intense light having increased illumination light intensity, ultraviolet light separately provided, and the like, and condensed on the stimulation / processing point.
Next, embodiments of the light source will be described. A surface light source can be used as the light source. Since it is not the illumination of coherent light that has been narrowed down to the diffraction limit, the spatial resolution is inferior to that of the embodiment, but it can be manufactured at low cost. A minute portion (16 μ × 16 μ) of the planar light source image cut out by the micromirror is reduced and imaged by the objective lens 2 to excite the sample, and only the fluorescence emitted from this imaging area is imaged.
FIGS. 11 to 14 show various surface light sources, and the light source surface of the installed surface light source, the light source imaging lens 8 and the DMD 4 satisfy the Scheimpflug condition.
The surface light source shown in FIG. 11 is composed of an optical fiber bundle 20, light is incident from one end surface, and the other end surface is used as a planar light source. The other end face is cut obliquely so as to satisfy the Shine Playfuff condition.
In the surface light source shown in FIG. 12, the urecsite 21 is installed so that the fiber direction coincides with the optical axis, and the exit end is cut obliquely with respect to the optical axis so as to satisfy the Scheinproof condition. Urecsite 21 is a natural mineral and is a collection of transparent inorganic fibers having a diameter of several microns, and is used as a fiber plate.
The surface light source shown in FIG. 13 is composed of a surface light emitter 22 such as EL (electroluminescence).
The surface light source shown in FIG. 14 is composed of a light scattering plate 23.
In addition, as the surface light source, an integrated parallel optical device in which a large number of semiconductor lasers and LEDs are arranged on a plane can be used.
Since the objective lens 2 of the infinity correction optical system is used, a scanning fluorescence microscope capable of zooming can be obtained by installing an intermediate zooming optical device.
Application examples for other uses will be described. In the above embodiment, when a half mirror is used instead of the dichroic mirror for separating fluorescence and excitation light, the reflected light and scattered light of the sample can be observed. Therefore, the scanning metal frequently used for observation of the semiconductor integrated circuit substrate It can be applied to a microscope. The metal microscope is capable of not only image observation but also two-dimensional measurement such as the line width of the wiring on the semiconductor integrated circuit substrate and the diameter of the hole. If three-dimensional measurement is required, a large number of optical sectioning images can be taken and displayed on the three-dimensional reconstruction image.
When the digital control scanning technology of the present invention is applied to measurement of an opaque sample such as a semiconductor, the scattered light from the focal position of the illumination light is detected, and the spatial light modulation function of the DMD is used to detect the light from the position deviated from the focal point. Since the scattered light is excluded, the intensity of the scattered light detected when the focal point of the illumination light coincides with the sample and the sample surface is maximized. In order to detect the peak of the scattered light intensity, the computer 14 constituting the control means moves the objective lens 2 up and down to search for a position where the intensity of the scattered light is maximized (software) or the objective. The lens 2 is vibrated, and peak tracking means (software) is added to control the objective lens 2 so as to always follow the maximum position of the scattered light intensity from the change in the scattered light intensity associated therewith. The X and Y coordinates of the point on the sample surface are determined by the scanned micromirror, and the Z coordinate can be determined from the above-described peak detection or peak tracking control. Since the shape of the sample surface can be measured by scanning the entire surface of the micromirror on the DMD 4, a three-dimensional surface shape measuring apparatus can be realized. In measuring the shape of the sample surface, the whole or a part of the observation field can be designated. When measuring the whole, the micromirror is scanned over the entire area of the DMD 4. When a part of the field of view is measured, the micromirror scan is limited to the DMD 4 partial area by designating the measurement area on the screen of the user interface.
Also, a length measuring means (software) that captures the entire three-dimensional coordinate data of the sample surface into the computer and calculates the distance between two points, line width, step, hole diameter, depth, etc. specified on the displayed image ) Can be added to realize a length measuring device. Note that the above-described peak detection software and peak tracking software can also be realized by hardware using an electronic circuit.
Moreover, it can be applied to a microscopic fluorescence spectrum measuring apparatus by installing a spectroscope and a photoelectric detector. With this apparatus, it is possible to obtain a spectrum of fluorescence emitted from any one point or a plurality of designated points in the sample.
As another application, operations such as processing can be performed with the same apparatus after observation, and a highly convenient apparatus can be provided. Specific examples include a cell photostimulation device that photostimulates the targeted organ in the cell, a micro-cell surgical device that denatures the targeted portion of the cell by light irradiation, and an integrated circuit that burns the targeted portion with a high-intensity light source A trimming device, a microscopic stereolithography device, and the like are applicable.
Industrial applicability
The present invention has a scanning function, a spatial light modulation function, and a light intensity adjustment function in the DMD to realize a high-resolution scanning microscope, as well as a stimulating device, a processing device, a three-dimensional surface shape measuring device, a length measuring device, and the like. Made it possible to apply.
When a real image of a point light source is formed on a micromirror on a DMD, a confocal optical system using coherent light is formed, and high-speed scanning with high resolution and high contrast is possible. When a real image of a planar light source is formed on a micromirror on a DMD, the resolution is worse than when a point light source is used, but a minute portion (16 μ × 16 μ) of the planar light source image cut out by the micromirror is an objective lens. The sample is reduced and imaged in order to excite the sample, and only the fluorescence emitted from this imaging region is imaged. This action mechanism can provide an inexpensive scanning device that can be easily adjusted with less noise such as stray light.
Since the DMD is digitally controlled through a user interface, the scanning apparatus itself can flexibly realize condition setting and setting change. The scanning speed can be changed for each pixel, and the intensity of illumination light can be adjusted. In addition, since the DMD is digitally controlled by a computer, the user can change the scanning condition setting from the program using the keyboard and mouse without changing the hardware according to the usage condition.

Claims

微小光偏向素子（ＤＭＤ）の複数のマイクロミラーに光源の実像を結像させ、前記マイクロミラーごとの傾動を走査し、該傾動したマイクロミラーを第二光源として対物レンズで試料中に結像照明し、該試料の結像領域より射出される蛍光または散乱光を対物レンズで、前記傾動を走査されたマイクロミラーに結像させ、これを撮像することを特徴とするデジタル制御走査方法。A real image of a light source is formed on a plurality of micromirrors of a micro light deflecting element (DMD), the tilt of each micromirror is scanned, and the illumination is imaged in a sample with an objective lens using the tilted micromirror as a second light source. A digitally controlled scanning method characterized in that the fluorescence or scattered light emitted from the imaging region of the sample is imaged by the objective lens on the scanned micromirror, and this is imaged.

請求項１において、光源がコヒレント光を射出する点光源であることを特徴とするデジタル制御走査方法。2. The digitally controlled scanning method according to claim 1, wherein the light source is a point light source that emits coherent light.

請求項１において、光源が平面光源であることを特徴とするデジタル制御走査方法。2. The digitally controlled scanning method according to claim 1, wherein the light source is a flat light source.

請求項１〜３のいずれかの記載において、ＤＭＤ上でマイクロミラーを走査する際にマイクロミラーごとにパルス幅変調による光強度変調を施し、照明むらの補正を行うことを特徴とするデジタル制御走査方法。4. The digitally controlled scanning according to claim 1, wherein when the micromirror is scanned on the DMD, light intensity modulation by pulse width modulation is performed for each micromirror to correct illumination unevenness. Method.

請求項１〜３のいずれかの記載において、ＤＭＤ上でマイクロミラーを走査する際にマイクロミラーごとにサンプリング時間を伸縮させて、照明むらの補正を行うことを特徴とするデジタル制御走査方法。4. The digitally controlled scanning method according to claim 1, wherein when the micromirror is scanned on the DMD, the sampling time is expanded and contracted for each micromirror to correct the illumination unevenness.

二次元に配置された複数のマイクロミラーを有し、デジタル信号で個々のマイクロミラーが傾動する微小光偏向素子（ＤＭＤ）と、
点光源または平面光源の実像を前記マイクロミラーに結像させ、前記マイクロミラーごとの傾動を走査し、該走査により傾動したマイクロミラーを第二光源として対物レンズで試料中の点または微小域を結像照明する照明光学手段と、
前記照明光学手段で照明した試料中の点又は微小域より射出される蛍光または散乱光による試料の実像を、前記対物レンズで前記走査により傾動したマイクロミラーに結像させる試料結像手段と、
前記マイクロミラーに結像させた試料中の点または微小域の実像を撮像する撮像光学手段と、
前記ＤＭＤを撮像光学手段と同期をとりながら、走査、空間変調、強度調節を制御する制御手段と、
を備えていることを特徴とするデジタル制御走査装置。A micro light deflecting element (DMD) having a plurality of micro mirrors arranged two-dimensionally and tilting each micro mirror with a digital signal;
A real image of a point light source or a planar light source is formed on the micromirror, the tilt of each micromirror is scanned, and the micromirror tilted by the scanning is used as a second light source to connect points or microscopic areas in the sample with the objective lens. Illumination optical means for image illumination;
Sample imaging means for forming a real image of the sample by fluorescence or scattered light emitted from a point or a minute area in the sample illuminated by the illumination optical means on the micromirror tilted by the scanning by the objective lens;
Imaging optical means for imaging a real image of a point or a micro area in the sample imaged on the micromirror;
Control means for controlling scanning, spatial modulation, and intensity adjustment while synchronizing the DMD with imaging optical means;
A digitally controlled scanning device comprising:

請求項６において、平面光源が一方の端面から入射した光を他方の端面から出射するファイバー束であることを特徴とするデジタル制御走査装置。7. The digitally controlled scanning device according to claim 6, wherein the planar light source is a fiber bundle that emits light incident from one end face from the other end face.

請求項７において、ファイバー束は光を出射する他方の端面が斜めにカットされていることを特徴とするデジタル制御走査装置。8. The digitally controlled scanning device according to claim 7, wherein the other end face of the fiber bundle that emits light is cut obliquely.

請求項６において、平面光源が一方の端面から入射した光を他方の端面から出射するウレクサイトであることを特徴とするデジタル制御走査装置。7. The digitally controlled scanning device according to claim 6, wherein the planar light source is a urecsite that emits light incident from one end face from the other end face.

請求項９において、ウレクサイトは光を出射する他方の端面が斜めにカットされていることを特徴とするデジタル制御走査装置。10. The digitally controlled scanning device according to claim 9, wherein the other end face of the urexite that emits light is cut obliquely.

請求項６において、平面光源がエレクトロルミネッセンスを用いた面発光体であることを特徴とするデジタル制御走査装置。7. The digitally controlled scanning device according to claim 6, wherein the planar light source is a surface light emitter using electroluminescence.

請求項６において、平面光源が光を照射した光散乱板であることを特徴とするデジタル制御走査装置。7. The digitally controlled scanning device according to claim 6, wherein the planar light source is a light scattering plate irradiated with light.

請求項６において、平面光源が二次元アレイ状の並列光源である面発光レーザーであることを特徴とするデジタル制御走査装置。7. The digitally controlled scanning device according to claim 6, wherein the planar light source is a surface emitting laser that is a two-dimensional array of parallel light sources.

請求項６において、平面光源が二次元アレイ状の並列光源である面発光ＬＥＤであることを特徴とするデジタル制御走査装置。7. The digitally controlled scanning device according to claim 6, wherein the planar light source is a surface emitting LED which is a two-dimensional array of parallel light sources.

請求項６において、制御手段がＤＭＤ上でマイクロミラーを走査する際にマイクロミラーごとにパルス幅変調による光強度の調節を行い、照明むらの補正を行うことを特徴とするデジタル制御走査装置。7. The digital control scanning apparatus according to claim 6, wherein when the control means scans the micromirror on the DMD, the light intensity is adjusted by pulse width modulation for each micromirror to correct illumination unevenness.

請求項６において、制御手段がＤＭＤ上でマイクロミラーを走査する際にマイクロミラーごとにサンプリング時間を伸縮させて、照明むらの補正を行うことを特徴とするデジタル制御走査装置。7. The digitally controlled scanning device according to claim 6, wherein when the control means scans the micromirror on the DMD, the sampling time is extended and contracted for each micromirror to correct illumination unevenness.

請求項６において、照明光学手段が撮像光学手段の光学系と光軸が重なるように設置されたダイクロイックミラーと、該ダイクロイックミラーを利用して導入された、レーザー光源からのレーザー光を利用しマイクロミラーに点光源の実像を結像するマイクロレンズの二次元アレイとピンホールの二次元アレイ板と、光源結像レンズとを有することを特徴とするデジタル制御走査装置。7. The dichroic mirror in which the illumination optical means is installed so that the optical axis of the optical system of the imaging optical means overlaps, and the micro light utilizing laser light from the laser light source introduced by using the dichroic mirror. A digitally controlled scanning device comprising a two-dimensional array of microlenses for forming a real image of a point light source on a mirror, a two-dimensional array plate of pinholes, and a light source imaging lens.

請求項６において、ピンホールの二次元アレイ板を顕微鏡の実像位置に設置し、各々のピンホールに焦点を結ぶマイクロレンズアレイと該マイクロレンズアレイに走査光を入射させるようＤＭＤを設置したことを特徴とするデジタル制御走査装置。7. The pinhole two-dimensional array plate is installed at a real image position of a microscope, a microlens array that focuses on each pinhole, and a DMD is installed so that scanning light is incident on the microlens array. A digitally controlled scanning device.

請求項６において、対物レンズの試料共役位置に、ＤＭＤの傾動したマイクロミラーが光軸と直交する様に、ＤＭＤを所定の角度傾けて設置し、ＤＭＤと対物レンズの中間に設置したハーフミラーを介して点光源または平面光源の実像をＤＭＤに結像し、ＤＭＤ上の実像を対物レンズで試料中に結像照明したことを特徴とするデジタル制御走査装置。In claim 6, the sample conjugate position of the objective lens, as micromirrors tilted the DMD is perpendicular to the optical axis, and placed inclined at a predetermined angle to DMD, the half mirror installed in the middle of the DMD and the objective lens A digitally controlled scanning device characterized in that a real image of a point light source or a flat light source is formed on a DMD through the image, and the real image on the DMD is imaged and illuminated in a sample by an objective lens.

請求項６において、試料結像手段はマイクロミラーに試料の実像を結像する無限遠補正光学系の対物レンズと、無限遠補正光学系の結像レンズと、前記対物レンズのＺ軸方向の位置決めを行うＺ位置指定機構とからなることを特徴とするデジタル制御走査装置。7. The sample imaging means according to claim 6, wherein the objective lens of the infinity correction optical system that forms a real image of the sample on the micromirror, the imaging lens of the infinity correction optical system, and positioning of the objective lens in the Z-axis direction. A digitally controlled scanning device comprising a Z-position specifying mechanism for performing

請求項６において、制御手段は試料から射出される散乱光強度のピーク検出を行い、該ピーク検出を基に表面のＺ位置を求めることを特徴とするデジタル制御走査装置。7. The digitally controlled scanning device according to claim 6, wherein the control means detects the peak of the intensity of scattered light emitted from the sample and obtains the Z position of the surface based on the peak detection.

請求項６〜２１のいずれかに記載のデジタル制御走査装置と、該デジタル制御走査装置の照明光学手段が照明する試料空間中の点に光刺激を施す光刺激用光源とを備えていることを特徴とする光刺激装置。A digitally controlled scanning device according to any one of claims 6 to 21, and a light source for photostimulation for stimulating a point in a sample space illuminated by illumination optical means of the digitally controlled scanning device. Features a light stimulator.

請求項２２において、照明光学手段は試料照明用光源と光刺激用光源とを同一光源で構成され、それらを切替え可能になっていることを特徴とする光刺激装置。23. The photostimulation apparatus according to claim 22, wherein the illumination optical means comprises a sample illumination light source and a light stimulation light source as the same light source, and is capable of switching between them.

請求項２２において、照明光学手段は試料照明用光源と光刺激用光源とを別光源で構成され、光刺激用光源を試料照明光学系に導入する手段を備えていることを特徴とする光刺激装置。23. The light stimulation means according to claim 22, wherein the illumination optical means comprises a sample illumination light source and a light stimulation light source as separate light sources, and comprises means for introducing the light stimulation light source into the sample illumination optical system. apparatus.

請求項６〜２１のいずれかに記載のデジタル制御走査装置と、該デジタル制御走査装置の照明光学手段が照明する試料空間中の点に光加工を施す光加工用光源とを備えていることを特徴とする光加工装置。A digitally controlled scanning device according to any one of claims 6 to 21, and an optical processing light source that performs optical processing on a point in a sample space illuminated by illumination optical means of the digitally controlled scanning device. An optical processing device.

請求項２５において、照明光学手段は試料照明用光源と光加工用光源とを同一光源で構成され、それらを切替え可能になっていることを特徴とする光加工装置。26. The optical processing apparatus according to claim 25, wherein the illumination optical means comprises a light source for sample illumination and a light source for optical processing as the same light source, and these can be switched.

請求項２５において、照明光学手段は試料照明用光源と光加工用光源とを別光源で構成され、光加工用光源を試料照明光学系に導入する手段を備えていることを特徴とする光加工装置。26. The optical processing according to claim 25, wherein the illumination optical means comprises a light source for sample illumination and a light source for light processing as separate light sources, and includes means for introducing the light source for light processing into the sample illumination optical system. apparatus.

請求項２０に記載のデジタル制御走査装置と、該デジタル制御走査装置の制御手段が試料表面から射出される散乱光強度のピーク検出を行い、該ピーク検出で得られた試料表面のＺ位置を基に試料表面形状を求めることを特徴とする表面形状測定装置。The digitally controlled scanning device according to claim 20 and the control means of the digitally controlled scanning device detect the peak of the intensity of scattered light emitted from the sample surface, and based on the Z position of the sample surface obtained by the peak detection. A surface shape measuring apparatus characterized by obtaining a sample surface shape.

請求項２０に記載のデジタル制御走査装置と、該デジタル制御走査装置の制御手段が試料から射出される散乱光強度のピーク検出を行い、該ピーク検出で得られた試料表面の全体の三次元座標データを取り込み、表示される画像上で指定した２点間の長さを求めることを特徴とする測長装置。21. The digitally controlled scanning device according to claim 20 and the control means of the digitally controlled scanning device perform peak detection of scattered light intensity emitted from the sample, and the entire three-dimensional coordinates of the sample surface obtained by the peak detection A length-measuring device that takes in data and obtains a length between two designated points on a displayed image.