JP4536845B2 - Confocal microscope - Google Patents

Confocal microscope Download PDF

Info

Publication number
JP4536845B2
JP4536845B2 JP13647999A JP13647999A JP4536845B2 JP 4536845 B2 JP4536845 B2 JP 4536845B2 JP 13647999 A JP13647999 A JP 13647999A JP 13647999 A JP13647999 A JP 13647999A JP 4536845 B2 JP4536845 B2 JP 4536845B2
Authority
JP
Japan
Prior art keywords
measurement
data
range
light
confocal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP13647999A
Other languages
Japanese (ja)
Other versions
JP2000330026A (en
Inventor
幸太郎 森園
陽一 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP13647999A priority Critical patent/JP4536845B2/en
Publication of JP2000330026A publication Critical patent/JP2000330026A/en
Application granted granted Critical
Publication of JP4536845B2 publication Critical patent/JP4536845B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、測定対象物の二次元画像情報だけでなく、測定対象物の表面の高さ又は深さ情報を含む三次元情報の取得が可能な共焦点顕微鏡に関する。
【0002】
【従来の技術】
共焦点顕微鏡は、測定の対象物に単色光(通常はレーザ光)を照射し、対象物からの反射光又は透過光を対物レンズを含む光学系を通して受光素子で受光する。通常、受光素子の手前にはピンホールが設けられ、対象物の測定面における対物レンズの焦点と、ピンホールにおける受光側の焦点とが共焦点を形成するように光学系(共焦点光学系)が形成される。このような構成によれば、対物レンズの焦点と対象物(すなわち対象物を載置したステージ)との光軸方向での相対距離を変化させたときに受光量が最大になる相対距離を求めることにより、対象物の表面高さ(深さ)の分布データを得ることができる。対物レンズの焦点と対象物との光軸方向での相対距離を変化させる方法には、対象物を光軸方向に変位させる以外に、屈折率が変化するレンズを用いて、対物レンズの焦点を光軸方向に変化させる方法等がある。
【0003】
また、対象物をレーザ光で走査することにより走査範囲全域にわたって対象物の高さデータが得られる。一次元の走査によれば一次元のラインに沿って高さデータが得られ、二次元の走査をすれば、二次元平面全域での高さデータ、すなわち対象物の三次元情報を得ることができる。レーザ光による対象物の走査は、対象物を固定してレーザ光を偏向させる方法でもよいし、レーザ光を固定して対象物を変位させる方法でもよい。
【0004】
上記のようにして得られた高さデータの分布は、輝度信号のような画像情報に変換して視覚的に表示することができる。例えば、1画素当たり8ビットで構成される高さデータをそのまま8ビットの輝度データとしてモニタ画面に表示する。この結果、対象物の表面の高さが高い箇所は明るく、低い箇所は暗く、あるいはその逆に、いわば等高線のように画面上に表示されることになる。これは、測定された対象物の表面高さの変化を視覚的に分かりやすく表示するための一方法である。高さデータの分布を輝度信号ではなく、例えば色差信号に変換し、対象物の表面高さの変化を色相の変化として表示することも可能である。
【0005】
【発明が解決しようとする課題】
上記のように、高さデータの分布を輝度信号(又は色差信号)のような画像信号に変換して画面に表示する場合、最も簡単な方法では一画素当たりの高さデータを構成するビット数と輝度データを構成するビット数とを合わせる必要がある。上記の従来の構成では、1画素当たり8ビットで構成される高さデータをそのまま8ビットの輝度データとして用いている。
【0006】
一方、限られたビット数で高さデータを構成する場合、高さデータのダイナミックレンジ(最大値と最小値との差)及びその分解能はトレードオフの関係にある。例えば8ビットデータの場合、区別し得るレベルは256ステップであり、ダイナミックレンジすなわち測定範囲を広くしようとすれば1ステップ当たりのレベル差(分解能)が荒くなり、逆に分解能を細かくしようとすれば測定範囲が狭くなってしまう。
【0007】
したがって、測定範囲を広げ、かつ、分解能を細かくするには、1画素当たりの高さデータ及び画像データのビット数を多くする必要がある。しかしながら、画像データの1画素当たりのビット数を増加すれば、フレームメモリの容量を大幅に増加する必要があり装置全体のコストに大きく影響する。そればかりでなく、表示システムの大幅な設計変更を伴うことになる。
【0008】
本発明は、上記のような従来の問題点に鑑みてなされたものであり、従来の表示システムを変えることなく、測定範囲の拡大及び分解能の向上の両方又は一方を実現することが可能な共焦点顕微鏡を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明による共焦点顕微鏡の第1の構成は、対象物に光を照射する光源と対象物からの反射光又は透過光を対物レンズを含む光学系を通して受光する受光素子とを含む共焦点光学系、対象物を光で走査するための走査機構、対物レンズの焦点と対象物との光軸方向での相対距離を変化させる変位機構、受光素子の受光量が最大になるときの相対距離を対象物の表面の高さデータとして求める処理装置、走査機構による走査範囲内の複数の画素に関して求められた高さデータの分布を記憶するメモリ、及び、メモリから読み出した高さデータの分布を画像信号に変換して表示する表示装置とを備えた共焦点顕微鏡において、高さデータの1画素当たりのビット数が変換後の画像データの1画素当たりのビット数より大きいことを特徴とする。
【0010】
上記のような構成によれば、高さデータの分布を記憶するメモリの容量のみを増加し、画像データの1画素当たりのビット数は従来どおりとして、従来の表示システムを変えることなく、測定範囲の拡大及び分解能の向上を実現することができる。あるいは、測定範囲の拡大又は分解能の向上が他方の犠牲なしに実現する。
【0011】
例えば、高さデータが8ビット(256ステップ)で構成されている場合は、0.1μm単位で25.6μmの測定範囲であるが、高さデータが20ビット(1,048,576ステップ)で構成されている場合は、0.01μm単位で約10mmの測定範囲が可能になる。なお、高さデータの分布を画像信号としてモニタ画面に表示させるときに必要なビット数は限られており、8ビットもあれば十分である。
【0012】
好ましくは、複数ビットで構成された高さデータの全ステップ範囲のうち、画像データに変換される有効範囲を選択する有効範囲選択回路を更に備えている。これにより、上記構成によって増加した高さデータ全ステップ範囲(例えば20ビット分の1,048,576ステップ)のうちの一部の範囲(例えば8ビット分の256ステップ)を、最終的にモニタ画面に表示させる画像データの範囲として選択することができる。
【0013】
更に好ましくは、有効範囲選択回路が、高さデータを処理することにより、自動的に適切な有効範囲を選択する。例えば、有効範囲選択回路は、ピークホールド処理により高さデータの最大値を求め、その最大値を上限とする領域を、画像データに変換すべき有効範囲として選択する。あるいは、ヒストグラム処理によって、高さデータの分布の中央領域を、画像データに変換すべき有効範囲として選択するように有効範囲選択回路を構成してもよい。
【0014】
本発明による共焦点顕微鏡の第2の構成は、対象物に光を照射する光源と対象物からの反射光又は透過光を対物レンズを含む光学系を通して受光する受光素子とを含む共焦点光学系、対象物を光で走査するための走査機構、対物レンズの焦点と対象物との光軸方向での相対距離を変化させる変位機構、受光素子の受光量が最大になるときの相対距離及び最大受光量の少なくとも一方を求める処理装置、及び、測定開始から測定終了までに要する測定時間を概算し出力する測定時間出力手段を備えていることを特徴とする。
【0015】
上記の構成によれば、装置のオペレータは、測定を開始する前に測定に要する時間を知ることができる。オペレータは、出力された測定時間を参考にして、測定条件を変えるといった対応をとることが可能になる。特に、上記の第1の構成によって高さデータの1画素当たりのビット数を増加して測定範囲を広げ、又は分解能を高めた場合、測定時間が従来より多くかかることが考えられるので、測定に要する時間を測定開始前にオペレータに知らせることは有意義である。測定時間を出力する方法としては、モニタ画面に表示する方法の他、LED等のバーグラフ表示を用いる方法、音声で出力する方法等、種々の出力方法が可能である。
【0016】
具体的な構成として、共焦点顕微鏡が、相対距離を変化させる範囲と、その範囲内における測定ピッチとを含む測定パラメータを設定する設定手段を備え、測定時間出力手段が、測定パラメータと走査の周期とに基づいて、全走査範囲における相対距離及び最大受光量の少なくとも一方を求める測定に要する測定時間を概算し出力することが好ましい。
【0017】
例えば、高さデータが8ビット(256ステップ)の場合、1ステップごとの走査周期が0.2秒かかるとすれば、8ビットの範囲をフルに使用しても測定時間は約51秒である。しかし、高さデータが20ビット(1,048,576ステップ)になると、20ビットをフルに使用した場合は、測定時間は約58時間にもなる。測定パラメータとして、例えば、相対距離を変化させる範囲(測定範囲)が1mm、測定ピッチが0.1μmに設定された場合、測定時間出力手段は、これらの測定パラメータ及び走査周期(例えば0.2秒)に基づいて、測定時間(0.2秒×1mm/0.1μm=2000秒(約33分))を算出し出力する。オペレータは、出力された測定時間を参考にして、測定時間を短縮したい場合は、測定範囲を狭め、又は測定ピッチを荒くするといった具合に測定パラメータを設定し直すことができる。
【0018】
また、測定時間出力手段が、全走査範囲における相対距離及び最大受光量の少なくとも一方を求める測定に要する測定時間を概算し、測定時間と測定開始時点からの経過時間との差を測定完了までの残り時間として算出し出力することも好ましい。この構成によれば、オペレータは測定完了までの残り時間を知ることができ、この情報は他の作業の段取り等のために有意義な情報となる。
【0019】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0020】
図1に、本発明に係る共焦点顕微鏡の概略構成を示す。本発明の共焦点顕微鏡は、共焦点光学系1と、非共焦点光学系2とを備えている。
【0021】
まず、共焦点光学系1について説明する。共焦点光学系1は、試料wに単色光(好ましくはレーザ光)を照射するための光源10、第1コリメートレンズ11、偏光ビームスプリッタ12、1/4波長板13、水平偏向装置14a、垂直偏向装置14b、第1リレーレンズ15、第2リレーレンズ16、対物レンズ17、結像レンズ18、ピンホール板PH、第1受光素子19等を含んでいる。
【0022】
光源10には、例えば赤色レーザ光を発する半導体レーザが用いられる。レーザ駆動回路44によって駆動される光源10から出たレーザ光は、第1コリメートレンズ11を通り、偏光ビームスプリッタ12で光路を曲げられ、1/4波長板13を通過する。この後、水平偏向装置14a及び垂直偏向装置14bによって水平(横)方向及び垂直(縦)方向に偏向された後、第1リレーレンズ15及び第2リレーレンズ16を通過し、対物レンズ17によって試料ステージ30上に置かれた試料wの表面に集光される。
【0023】
水平偏向装置(第1の偏向機構)14a及び垂直偏向装置(第2の偏向機構)14bは、それぞれガルバノミラーで構成され、レーザ光を水平及び垂直方向に偏向させることにより、試料wの表面をレーザ光で走査する。説明の便宜上、水平方向をX方向、垂直方向をY方向ということにする。試料ステージ30は、ステージ制御回路40によりZ方向(光軸方向)に駆動される。つまり、試料ステージ30及びステージ制御回路40は、対物レンズ17の焦点と試料(対象物)wとの光軸方向での相対距離を変化させる変位機構を構成している。
【0024】
ただし、対物レンズ17の焦点と試料wとの光軸方向での相対距離を変化させる変位機構は、他の構成で実現することもできる。例えば、試料ステージ30の位置は固定とし、対物レンズ17をZ軸方向に駆動することにより、その焦点を変化させ、もって、焦点と試料wとの光軸方向での相対距離を変化させることも可能である。あるいは、対物レンズ17と試料wとの間に屈折率が変化するレンズを挿入することにより、対物レンズ17の焦点と試料wとの光軸方向での相対距離を変化させる構成も可能である。なお、試料ステージ30は、手動操作によってX方向及びY方向に変位可能である。
【0025】
試料wで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ17、第2リレーレンズ16及び第1リレーレンズ15を通り、水平偏向装置14a及び垂直偏向装置14b(ガルバノミラー)を介して1/4波長板13を再び通る。この結果、レーザ光は偏光ビームスプリッタ12を透過し、結像レンズ18によって集光される。集光されたレーザ光は、結像レンズ18の焦点位置に配置されたピンホール板PHのピンホールを通過して第1受光素子19に入射する。第1受光素子19は、例えばフォトマルチプライヤ又はフォトダイオードで構成され、受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプ及びゲイン制御回路(図示せず)を介して第1A/Dコンバータ41に与えられ、ディジタル値に変換される。
【0026】
上記のような構成の共焦点光学系1により、試料wの高さ(深さ)情報を得ることができる。以下に、その原理を簡単に説明する。
【0027】
上述のように、試料ステージ30がステージ制御回路40によってZ方向(光軸方向)に駆動されると、対物レンズ17の焦点と試料wとの光軸方向での相対距離が変化する。そして、対物レンズ17の焦点が試料wの表面(被測定面)に結ばれたときに、試料wの表面で反射されたレーザ光は上記の光路を経て結像レンズ18で集光され、ほとんどすべてのレーザ光がピンホール板PHのピンホールを通過する。したがって、このときに、第1受光素子19の受光量が最大になる。逆に、対物レンズ17の焦点が試料wの表面(被測定面)からずれている状態では、結像レンズ18によっての集光されたレーザ光はピンホール板PHからずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、第1受光素子19の受光量は著しく低下する。
【0028】
したがって、試料wの表面の任意の点について、試料ステージ30をZ方向(光軸方向)に駆動しながら第1受光素子19の受光量を検出すれば、その受光量が最大になるときの試料ステージ30のZ方向位置(対物レンズ17の焦点と試料wとの光軸方向での相対距離)を高さ情報として一義的に求めることができる。
【0029】
実際には、試料ステージ30を1ステップ移動するたびに水平偏向装置14a及び垂直偏向装置14bによって試料wの表面を走査して第1受光素子19の受光量を得る。試料ステージ30を測定範囲の下端から上端までZ方向に移動させたとき、走査範囲内の複数の点(画素)について、図2に示すようにZ方向位置に応じて変化する受光量データが得られる。この受光量データに基づいて、最大受光量とそのときのZ方向位置が各点(画素)ごとに得られる。したがって、試料wの表面高さのXY平面での分布が得られる。この処理は、マイクロコンピュータを用いた処理装置46によって実行される。
【0030】
得られた表面高さの分布は、例えば高さデータを輝度データに変換することにより、明るさの分布として表示装置47のモニタ画面に表示される。あるいは、高さデータを色差データに変換することにより、高さの分布を色の分布として表示してもよい。あるいは、指定した測定ラインに沿う表面高さの変化を断面形状として画面に表示することも可能である。
【0031】
また、走査範囲内の複数の点について得られた受光量を輝度データとする輝度信号から、試料wの表面画像(白黒画像)が得られる。各点(画素)における最大受光量を輝度データとして輝度信号を生成すれば、被写界深度の深い画像、すなわち、表面高さの異なる各点でピントの合った画像が得られる。また、任意の注目画素で最大受光量が得られた高さ(Z方向での位置)に固定した場合は、他の画素の受光量は著しく小さくなるので、その注目画素の周辺のみが明るく、注目画素から離れるにしたがって急激に輝度が低下する画像が得られる。
【0032】
つぎに、非共焦点光学系2について説明する。非共焦点光学系2は、試料wに白色光(カラー画像撮影用の照明光)を照射するための白色光源20、第2コリメートレンズ21、第1のハーフミラー22、第2のハーフミラー23、第2受光素子としてのカラーCCD24等を含んでいる。また、非共焦点光学系2は共焦点光学系1の対物レンズ17を共用し、両光学系1,2の光軸は一致している。
【0033】
白色光源20には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光又は室内光を利用してもよい。白色光源20から出た白色光は、第2コリメートレンズ21を通り、第1ハーフミラー22で光路を曲げられ、対物レンズ17によって試料ステージ30上に置かれた試料wの表面に集光される。
【0034】
試料wで反射された白色光は、対物レンズ17、第1ハーフミラー22、第2リレーレンズ16を通過し、第2ハーフミラー23で反射されてカラーCCD24に入射して結像する。カラーCCD24は、共焦点光学系1のピンホール板PHのピンホールと共役又は共役に近い位置に設けられている。カラーCCD24で撮像されたカラー画像は、CCD駆動回路43によって読み出され、そのアナログ出力信号は第2A/Dコンバータ42に与えられ、ディジタル値に変換される。このようにして得られたカラー画像は、試料wの観察用の拡大カラー画像として表示装置47のモニタ画面に表示される。
【0035】
上述のように、本実施形態の共焦点顕微鏡は、共焦点光学系による試料の高さ(深さ)の分布の測定及び表示、共焦点画像の表示、非共焦点光学系によるカラー画像の撮像及び表示、その他種々の機能を備えている。共焦点光学系で得られた被写界深度の深い白黒画像と非共焦点光学系で得られた通常のカラー画像とを組み合わせて、被写界深度の深いカラー画像(カラー共焦点画像)を生成し、表示することもできる。
【0036】
図3は、処理装置46の内部構成のうち、共焦点光学系から得られた輝度データ(受光量データ)と、非共焦点光学系から得られたカラー画像データから表示用画像信号を生成する部分のブロック図である。
【0037】
処理装置46は、第1領域回路51、第2領域回路52、輝度変換回路53、相関器54等を備えている。第1及び第2の領域回路51,52は、共焦点光学系1による撮像領域と非共焦点光学系による撮像領域の共通領域を映像領域A0として選択する。そして、第1領域回路51は、映像領域A0内の各画素について、第1受光素子19から第1A/Dコンバータ41を経て入力された輝度データiを輝度メモリMiに記憶させる。一方、第2領域回路52は、映像領域A0内の各画素について、カラーCCD24からCCD駆動回路43及び第2A/Dコンバータ42を経て入力された赤(R)、緑(G)、青(B)の色強度データrm,gm,bmをRメモリMr、GメモリMg、BメモリMbにそれぞれ記憶させる。
【0038】
輝度変換回路53は、下記の演算式(1)〜(3) にしたがって、各画素についての色強度データrm,gm,bmの輝度情報を、輝度データiの輝度情報に置換して、変換色強度データro,go,boを求め、それらを第2のRメモリMr’、GメモリMg’、BメモリMb’にそれぞれ記憶させる。
【0039】
Ro=I・Rm/(Rm+Gm+Bm) …(1)
【0040】
Go=I・Gm/(Rm+Gm+Bm) …(2)
【0041】
Bo=I・Bm/(Rm+Gm+Bm) …(3)
但し、Iは輝度データiの輝度情報であり、Rm,Gm,Bmはそれぞれ色強度データrm,gm,bmの輝度(強度)情報である。また、Ro,Go,Boは変換色強度データro,go,boの輝度(強度)情報である。
【0042】
上記の処理は、前述の映像領域A0の各画素について行われる。輝度メモリMiと輝度変換回路53との間に設けられた相関器54は、輝度データiの画素群と色強度データrm,gm,bmの画素との対応関係を求める働きをする。つまり、輝度データiの解像度と色強度データrm,gm,bmの解像度との相違を相関器54が調整する。
【0043】
図4(A)及び(B)は、輝度データiの画素と色強度データrm,gm,bmの画素との対応関係の例を示している。図4(A)が輝度データiの64画素分の領域を示しており、これと同じ色強度データrm,gm,bmの領域は図4(B)に示すように16画素で構成されている。この場合、色強度データrm,gm,bmの1画素は輝度データiの4画素(画素群)に対応する。例えば、色強度データrm,gm,bmの1つの画素aは輝度データiの4つの画素1,2,9,10に対応する。
【0044】
また、図1を用いて説明したように、共焦点光学系1は、水平偏向装置14a及び垂直偏向装置14bによってレーザ光を偏向させ、試料wの表面を二次元走査する。この偏向角度を変えることにより走査範囲を拡大又は縮小すると、結果として表示装置のモニタ画面全体に表示される共焦点画像が縮小又は拡大される。つまり、光学倍率変換が行われる。この場合も、相関器54が拡大・縮小倍率に基づいて共焦点画像とカラー画像とを対応付ける。
【0045】
例えば、図4(A)に示す輝度データ(共焦点画像データ)64画素分の画像領域が、中央の太線で囲まれた領域を拡大したものであるとする。一方、図4(A)に示す色強度データ(カラー画像データ)16画素分の領域については、拡大倍率は固定であり、光学倍率変換は行われない。この場合、例えば、色強度データrm,gm,bmの1つの画素fは輝度データiの16個の画素1〜4,9〜12,17〜20,25〜28に対応することになる。
【0046】
相関器54は、色強度データの1画素(例えば画素a)に対応する輝度データiの画素群(例えば画素1〜4)の輝度の平均を求め、これを輝度変換回路53に渡す。これにより、輝度変換回路53は、前述のようにして、各画素についての色強度データrm,gm,bmの輝度を、1対1で対応する輝度データiの輝度に置換することができる。あるいは、色強度データの画素aを輝度データiの画素1〜4に対応させて4つの画素a1〜a4(a1〜a4の色強度はそれぞれaの色強度に等しい)に分けた上で、それぞれ対応する輝度データiの輝度に置換することも可能である。
【0047】
このようにして、輝度変換回路53から出力され、第2のRメモリMr’、GメモリMg’、BメモリMb’にそれぞれ記憶された変換色強度データro,go,boは、D/Aコンバータ55によって時系列信号に変換される。この信号は、合成回路56によって同期信号が付加され、表示用画像信号である複合カラー映像信号となる。この複合カラー映像信号が表示装置47に与えられ、試料wのカラー共焦点画像がモニタ画面に表示されることになる。
【0048】
図5は、処理装置46の内部構成のうち、共焦点光学系から得られた輝度データ(受光量データ)又は高さデータhから表示用画像信号を生成する部分のブロック図である。図3に示したブロック図の構成要素分と同じ構成要素も重複して記載している。
【0049】
処理装置46は、図3に示した構成要素に加えて、高さメモリ57及び有効範囲選択回路58を備えている。高さメモリ57には、第1受光素子19の受光量(輝度信号i)が最大になるときの高さデータが各画素ごとに記憶される。つまり、前述のように、処理装置46がステージ制御回路40を介して試料ステージ30のZ軸方向位置を変化させたときの受光量(輝度信号i)の変化に基づいて求めた最大受光量に対応するZ軸方向位置が高さデータとして記憶される。
【0050】
この高さデータhは、本実施例では20ビットで構成されている。高さ測定の分解能を高めながら十分なダイナミックレンジ(測定範囲)を確保するために20ビット(1,048,576ステップ)で構成した。この結果、例えば、0.01μm単位で約10mmの測定範囲が可能になる。一方、輝度データiは8ビットで構成されている。共焦点画像を表示するための輝度データの分解能及びダイナミックレンジは8ビット(256ステップ)あれば十分であり、コスト上昇を抑えるために、従来どおり8ビットとした。
【0051】
有効範囲選択回路58は、20ビットで構成される高さデータhの全ステップ範囲(1,048,576ステップ)のうちの8ビット分に相当する256ステップの範囲を有効ビット範囲として選択し、その8ビット分の高さデータh’を画像信号生成回路59に与える。有効範囲選択回路58は、外部から指定された有効範囲を選択するように構成してもよいが、本実施形態では後述のように、高さデータのピークホールド処理を行い、自動的に適切な有効範囲を選択する。
【0052】
画像信号生成回路59は、有効範囲選択回路58から与えられた各画素ごとの8ビットの高さデータを各画素ごとの輝度データとして輝度信号(画像信号)を生成する。あるいは、第1受光素子19から第1A/Dコンバータ41及び第1領域回路51を経て輝度メモリに記憶された各画素ごとの輝度データを用いて輝度信号を生成する。生成された輝度信号は、合成回路56で同期信号が付加されて表示用画像信号とされ、表示装置47に出力される。この結果、表示装置47のモニタ画面には、試料wの表面高さの分布が明るさの分布に変換されて表示される。あるいは、各画素における輝度データ(受光量)をつないだ共焦点画像(白黒画像)が表示される。詳しくは後述するように、指定した測定ラインに沿っての高さ変化、つまり断面形状を表示することもできる。
【0053】
図6は、有効範囲選択回路58の具体構成の一例を示すブロック図である。20ビットの高さデータのピーク値がピークホールド回路71にて求められ、第1演算回路72にa入力として与えられる。一方、高さデータの現在値はb入力として第1演算回路72に与えられる。第1演算回路72は、a−b=xの値を算出する。xの値が255(16進のFF)を越える場合はx=0に置き換える。このxの値は第2演算回路73に与えられ、第2演算回路73は255−X=h’を算出する。このようにして、0〜255(16進の00〜FF)の値をとり得る8ビットの高さデータh’が有効範囲の高さデータとして算出され、出力される。
【0054】
図7は、有効範囲選択回路58の別の構成例を示している。この例では、20ビットの高さデータhの設定された測定範囲(最大1,048,576ステップ)が256ステップ(8ビット)ずつのグループに分割され、各グループに属する高さデータhの個数nがヒストグラム処理部75によって求められる。この結果からnの値が最大のグループを有効範囲として範囲選択部76が選択し、ビット変換部77が、このグループに属する高さデータhを8ビット(0〜255ステップ)の高さデータh’に変換して出力する。
【0055】
図8は、高さデータhの分布の例と、そのときに上記の2種類の有効範囲選択回路58によって選択される有効範囲(高さデータh’)を示している。このように、ピークホールドやヒストグラム処理、又は他の公知技術を用いた有効範囲選択回路58により、最大20ビット分の測定範囲の高さデータhのうち、輝度信号等の画像信号に変換してモニタ画面に表示する8ビット分の有効範囲のデータh’が自動的に選択され、画像信号生成回路59に与えられる。この結果、輝度メモリMi、画像信号生成回路59等の構成は従来通り8ビット処理の構成を踏襲しながら、高さデータhの測定範囲の拡大、解像度の向上を実現することができる。
【0056】
つぎに、本実施形態の共焦点顕微鏡の代表的な動作モードについて説明する。これらの動作モードには、被写界深度の深いカラー画像を得る共焦点画像モードA、及び被写界深度の浅いカラー画像を得る共焦点画像モードB、試料wの表面の高さ(深さ)を所定の領域にわたって測定し、高さ分布を輝度信号に変換して表示する三次元形状測定モード、及び、試料wの断面形状を指定した測定ラインに沿って測定し表示する断面形状測定モードが含まれる。これらの動作モードは、処理装置46に接続された操作パネル48を用いて、表示装置47に表示されるガイダンス表示にしたがって行われる。
【0057】
図9に、共焦点画像モードAのフローチャートを示す。まず、ステップ#101において、被写界深度の深いカラー画像を得たい測定領域を指定する。この指定操作は、表示装置47のモニタ画面に試料wの非共焦点光学系による拡大カラー画像が表示されている状態で行う。操作パネル48のカーソルキー又はマウスを操作することにより、拡大カラー画像に重畳表示された矩形を移動し、拡大又は縮小する。このようにして、矩形で囲まれた任意の測定領域を指定することができる。
【0058】
上記のようにして測定領域が指定されると(ステップ#101)、水平偏向装置14a及び垂直偏向装置14bによって、試料wの表面の指定された測定領域を走査するように、レーザ光がXY方向(水平方向及び垂直方向)に偏向される(ステップ#102)。
【0059】
マイクロコンピュータで構成された処理装置46は、測定領域内の各画素の受光量及びZ方向位置(高さ)を前述の輝度メモリ(図3のMi)及び高さメモリ(図5の57)に記憶する(ステップ#103)。各画素の受光量は、前述のように、第1受光素子19からの信号を第1A/Dコンバータ41でディジタル値に変換したデータである。
【0060】
つぎに、試料ステージ30を1ピッチ(1ステップ)上昇させる(ステップ#104)。なお、測定開始時に、試料ステージ30の初期位置は測定範囲の下端位置にセットされている。
【0061】
続いて、試料wの表面を測定領域内でXY方向に再び走査する(ステップ#105)。処理装置46は、このときに得られる各画素の新たな受光量を輝度メモリに記憶されている各画素の光量と比較する(ステップ#106)。新たな受光量が記憶光量より大きければ、受光量及びZ方向位置の記憶データを更新する(ステップ#107)。新たな受光量が記憶光量より小さい場合は何もせずにステップ#108に進む。
【0062】
ステップ#108において、処理装置46は、試料ステージ30のZ方向位置を測定範囲の上端位置と比較する。上端位置より低ければステップ#104に戻る。こうして、試料ステージ30のZ方向位置が測定範囲の上端位置に達するまで、ステップ#104〜#108の処理を繰り返す。
【0063】
試料ステージ30のZ方向位置が測定範囲の上端位置に達した時点で、輝度メモリ及び高さメモリには、測定領域内の各画素について、最大受光量とそのときのZ方向位置のデータが記憶されている。各画素の最大受光量を各画素の輝度データとして輝度信号を生成すれば、前述のように、各点(画素)でピントが合った被写界深度の深い白黒画像が得られる。したがって、輝度信号とカラー画像信号とを組み合わせて生成された表示用画像信号により、被写界深度の深いカラー共焦点画像が得られる(ステップ#109)。このカラー共焦点画像を表示装置47のモニタ画面に表示して(ステップ#110)、共焦点画像モードAの処理が終了する。
【0064】
図10に、共焦点画像モードBのフローチャートを示す。このモードは、試料wの指定したポイントのみが明るくピントが合っており、その周辺は急激に暗くなる被写界深度の浅いカラー共焦点画像を得るモードである。まず、ステップ#201において、ピントを合わせるX,Y位置を指定する。この指定操作は、共焦点モードAと同様に、操作パネル48のカーソルキー又はマウスを用いて、表示装置47のモニタ画面上で行う。
【0065】
X,Y位置が指定されると(ステップ#201)、処理装置46は、試料ステージ30のZ方向位置を初期化(下端に移動)すると共に受光量を輝度メモリに記憶する(ステップ#202)。受光量は、前述のように、第1受光素子19からの信号を第1A/Dコンバータ41でディジタル値に変換したデータである。
【0066】
つぎに、試料ステージ30を1ピッチ(1ステップ)上昇させ(ステップ#203)、このときに得られる新たな受光量を輝度メモリに記憶されている光量と比較する(ステップ#204)。新たな受光量が記憶光量より大きければ、受光量及びZ方向位置の記憶データを更新する(ステップ#205)。新たな受光量が記憶光量より小さい場合は何もせずにステップ#206に進む。
【0067】
ステップ#206において、処理装置46は、試料ステージ30のZ方向位置を測定範囲の上端位置と比較する。上端位置より低ければステップ#203に戻る。こうして、試料ステージ30のZ方向位置が測定範囲の上端位置に達するまで、ステップ#203〜#206の処理を繰り返す。
【0068】
試料ステージ30のZ方向位置が測定範囲の上端位置に達した時点で、輝度メモリ及び高さメモリには、指定されたXY位置の画素について、最大受光量とそのときのZ方向位置のデータが記憶されている。
【0069】
続いて、上記のZ方向位置に試料ステージ30を固定し(ステップ#207)、水平偏向装置14a及び垂直偏向装置14bを用いてレーザ光をXY方向(水平方向及び垂直方向)に偏向することにより、試料wの表面をレーザ光で走査する(ステップ#208)。このとき、走査範囲内の各画素の受光量を輝度メモリに記憶する(ステップ#209)。
【0070】
このようにして得られた各画素の受光量を各画素の輝度データとして輝度信号を生成すると、前述のように、指定されたXY位置の画素はピントが合っているので最大輝度となるが、その位置から離れるにしたがって急激に輝度が低下する白黒画像が得られる。したがって、この白黒画像の輝度信号とカラー画像信号とを組み合わせて生成された表示用画像信号により、被写界深度の極端に浅いカラー共焦点画像が得られる(ステップ#210)。このカラー共焦点画像を表示装置47のモニタ画面に表示して(ステップ#211)、共焦点画像モードBの処理が終了する。
【0071】
なお、上記の共焦点画像モードBの変形例として、ステップ#201〜#206における処理を省略してもよい。つまり、ピントを合わせる位置(X,Y)の指定と、この位置での高さ(Z方向位置)測定の処理を省略し、手動で試料ステージをZ方向に移動させるだけでもよい。
【0072】
図11に、三次元形状測定モードのフローチャートを示す。この測定モードでは、試料wの表面の高さ(深さ)を所定の二次元領域にわたって測定し、高さ分布を輝度信号に変換してモニタ画面に表示する。まず、ステップ#301において、測定領域を指定する。この操作は、共焦点モードAと同様に操作パネル48のカーソルキー又はマウスを用いて、表示装置47のモニタ画面に表示された試料wの拡大カラー画像上で、矩形領域を指定することによって行われる。
【0073】
この三次元形状測定モードにおいても、前述の相関器54の働きにより、モニタ画面に表示されている非共焦点光学系の拡大カラー画像の画素と、共焦点光学系によって測定される試料wの高さデータの画素とが対応付けられる。したがって、非共焦点光学系による拡大カラー画像の解像度と共焦点光学系による高さデータの解像度とが異なる場合であっても、モニタ画面に表示された非共焦点光学系の拡大カラー画像上で指定した測定領域に正確に合致する領域の高さ分布が共焦点光学系の測定により得られる。
【0074】
測定領域が指定されると(ステップ#301)、水平偏向装置14a及び垂直偏向装置14bによって、試料wの表面の指定された測定領域を走査するように、レーザ光がXY方向(水平方向及び垂直方向)に偏向される(ステップ#302)。
【0075】
マイクロコンピュータで構成された処理装置46は、測定領域内の各画素の受光量及びZ方向位置(高さ)を輝度メモリ(図3のMi)及び高さメモリ(図5の57)に記憶する(ステップ#303)。各画素の受光量は、前述のように、第1受光素子19からの信号を第1A/Dコンバータ41でディジタル値に変換したデータである。
【0076】
つぎに、試料ステージ30を1ピッチ(1ステップ)上昇させる(ステップ#304)。なお、測定開始時に、試料ステージ30の初期位置は測定範囲の下端位置にセットされている。
【0077】
続いて、試料wの表面を測定領域内でXY方向に再び走査する(ステップ#305)。処理装置46は、このときに得られる各画素の新たな受光量をメモリに記憶されている各画素の光量と比較する(ステップ#306)。新たな受光量が記憶光量より大きければ、受光量及びZ方向位置の記憶データを更新する(ステップ#307)。新たな受光量が記憶光量より小さい場合は何もせずにステップ#308に進む。
【0078】
ステップ#308において、処理装置46は、試料ステージ30のZ方向位置を測定範囲の上端位置と比較する。上端位置より低ければステップ#304に戻る。こうして、試料ステージ30のZ方向位置が測定範囲の上端位置に達するまで、ステップ#304〜#308の処理を繰り返す。
【0079】
試料ステージ30のZ方向位置が測定範囲の上端位置に達した時点で、メモリには、測定領域内の各画素について、最大受光量とそのときのZ方向位置のデータが記憶されている。各画素のZ方向位置の分布を輝度データの分布として、輝度信号を生成する(ステップ#309)。この結果、モニタ画面には、試料wの表面高さの分布が明るさの分布としていわば等高線のように表示される(ステップ#310)。なお、Z方向位置の分布を色差信号に変換することにより、試料wの表面高さの分布を色の分布として表示してもよい。
【0080】
図12に、断面形状測定モードのフローチャートを示す。この測定モードでは、指定した測定ラインに沿って試料wの断面形状を測定し表示する。まず、ステップ#401において、Y方向の位置を決定する。本実施形態の共焦点顕微鏡では、測定ラインはX方向に延びる直線である。したがって、Y方向の位置を指定することによって測定ラインが指定される。具体的には、操作パネル48のカーソルキー等を用いて、つぎのような手順で測定ラインが指定される。
【0081】
図13に示すように、表示装置47のモニタ画面に、非共焦点光学系1のカラーCCD24から得られた試料wの拡大カラー画像60が表示されている。この表示例は、半導体集積回路のベアチップの表面パターンを簡素化して描いたものである。測定範囲(高さデータの最大値と最小値との差)、測定ピッチ(1ステップ当たりの高さ)等の測定条件を設定すると、横方向の測定ライン61が試料wの拡大カラー画像60に重畳表示される。操作パネル48のカーソルキー又はマウスを操作することにより、測定ライン61を画面上で上下方向(Y方向)に移動させる。例えば、破線62で示す位置に測定ライン61を移動してY方向位置を指定する。
【0082】
この断面形状測定モードにおいても、前述の相関器54の働きにより、モニタ画面に表示されている非共焦点光学系の拡大カラー画像の画素と、共焦点光学系によって測定される試料wの高さデータの画素とが対応付けられる。したがって、非共焦点光学系による拡大カラー画像の解像度と共焦点光学系による高さデータの解像度とが異なる場合であっても、モニタ画面に表示された非共焦点光学系の拡大カラー画像上で指定した測定ラインに正確に沿った断面形状が共焦点光学系の測定により得られる。
【0083】
上記のようにして測定ラインのY方向位置が決定されると(ステップ#401)、このY方向位置データが部分偏向停止回路45に与えられる。部分偏向停止回路45は、Y方向位置データにしたがって、垂直偏向装置14bによるレーザ光の偏向を停止し、そのY方向位置に固定する。具体的には、部分偏向停止回路45は、垂直偏向装置14bを構成するガルバノミラーに与える交流電圧の振幅をゼロにすると共に、上記のY方向位置データに対応する直流電圧を与える。これにより、垂直偏向装置14bを構成するガルバノミラーは所定の角度で停止する。
【0084】
この結果、光源10から発したレーザ光は、水平偏向装置14aによって水平方向にのみ偏向され、指定された測定ラインに沿って試料wの表面をX方向に走査する(ステップ#402)。
【0085】
マイクロコンピュータで構成された処理装置46は、測定ラインに沿う各画素の受光量及びZ方向位置(高さ)を前述の輝度メモリ(図3のMi)及び高さメモリ(図5の57)に記憶する(ステップ#403)。各画素の受光量は、前述のように、第1受光素子19からの信号を第1A/Dコンバータ41でディジタル値に変換したデータである。
【0086】
つぎに、試料ステージ30を1ピッチ(1ステップ)上昇させる(ステップ#404)。なお、測定開始時に、試料ステージ30の初期位置は測定範囲の下端位置にセットされている。
【0087】
続いて、試料wの表面を指定された測定ラインに沿ってX方向に再び走査する(ステップ#405)。処理装置46は、このときに得られる各画素の新たな受光量をメモリに記憶されている各画素の光量と比較する(ステップ#406)。新たな受光量が記憶光量より大きければ、受光量及びZ方向位置の記憶データを更新する(ステップ#407)。新たな受光量が記憶光量より小さい場合は何もせずにステップ#408に進む。
【0088】
ステップ#408において、処理装置46は、試料ステージ30のZ方向位置を測定範囲の上端位置と比較する。上端位置より低ければステップ#404に戻る。こうして、試料ステージ30のZ方向位置が測定範囲の上端位置に達するまで、ステップ#404〜#408の処理を繰り返す。
【0089】
試料ステージ30のZ方向位置が測定範囲の上端位置に達すれば、測定結果を表示装置47のモニタ画面に表示して(ステップ#409)測定を終了する。メモリには、測定ラインに沿う各画素について、最大受光量とそのときのZ方向位置のデータが記憶されており、これが測定結果に相当する。各画素のZ方向位置をつなぐと、測定ラインに沿う断面形状が得られる。その結果、図13に示すように、測定ライン62に沿う断面形状が輪郭線63としてモニタ画面に表示される。
【0090】
つぎに、本発明の共焦点顕微鏡のもう1つの特徴である測定時間及び残り時間の出力機能について説明する。前述のように、本発明の共焦点顕微鏡は、高さデータを従来の8ビットから20ビットに増加したため、従来の共焦点顕微鏡より高分解能で広い範囲の測定条件を設定することができる。このため、測定条件の設定内容によっては測定時間が従来の共焦点顕微鏡より長くなることが考えられる。そこで、処理装置46は、設定された測定条件に基づいて、測定終了までにかかる測定時間を算出し、表示装置47に表示させる機能を有する。また、測定開始後は、測定終了までの残り時間を表示させる機能をも有する。
【0091】
図14は、上記の機能の処理を示すフローチャートである。まず、オペレータによって操作パネル48(設定手段)から測定条件が設定される(ステップ#501)。この測定条件には、測定範囲r及び測定ピッチpの値が含まれる。測定範囲rは試料ステージ30をZ軸方向に変位させる範囲であり、測定ピッチpは試料ステージ30をZ軸方向に変位させる際の1ピッチ(距離)である。
【0092】
処理装置46は、設定された測定範囲r及び測定ピッチpと、走査周期tとに基づいて、測定時間T=t(r/p)を算出する(ステップ#502及び#503)。例えば、r=1mm、p=0.1μm、t=0.2秒の場合、T=0.2秒×1mm/0.1μm=2000秒(約33分)となる。そして、算出した測定時間Tを表示装置47に表示させる(ステップ#504)。このとき、表示装置47には測定条件の設定のための表示ウィンドウが表示されており、この表示ウィンドウ内の所定の場所に測定時間Tが表示される。
【0093】
ステップ#505でオペレータは測定を開始するか否か判断し、測定開始の確認をした場合は、ステップ#506に移行する。しかし、例えば測定時間が長すぎる場合は、測定開始の確認をせずに、ステップ#501へ戻り、測定条件の再設定を行うことができる。
【0094】
測定が開始されると、処理装置46は経過時間Tpをカウントし(ステップ#506)、残り時間Tr=T−Tpを算出する。算出された残り時間Trはモニタ画面の測定中の表示ウィンドウの所定の場所に表示される。測定条件の設定のための表示ウィンドウと測定中の表示ウィンドウが同じ場合は、測定開始前の測定時間Tの表示を測定開始に伴って残り時間Trの表示に切り換えてもよい。この残り時間Trの表示は、オペレータにとって、測定関連作業又は他の作業の段取りのために有意義な情報となる。
【0095】
なお、上記の実施形態の説明において、考えられる変形例についても適宜説明したが、本発明は、その他にも、種々の変形例又は形態による実施が可能である。例えば、光による試料の走査は、水平偏向及び垂直偏向による二次元走査に限らず、種々の走査方法が提案されている。例えば、シリンドリカルレンズを用いてX方向に細長い光(スリット光)を生成し、これをY方向に偏向すれば、二次元走査が可能である。
【0096】
また、上記の実施形態の共焦点顕微鏡は反射型の顕微鏡であるが、透過型の共焦点顕微鏡にも本発明を適用することができる。透過型の顕微鏡の場合は、試料の裏面から共焦点光学系のレーザ光及び非共焦点光学系の白色光が照射される。共焦点光学系の光源はレーザに限らず、単色光源であればよい。非共焦点光学系の光源は自然光又は室内光で代用することもできる。
【0097】
また、上記の実施形態では、輝度データ(画像データ)が8ビットで構成されているのに対して高さデータが20ビットで構成されているが、本発明はこれに限らず、高さデータの1画素当たりのビット数が画像データの1画素当たりのビット数より大きければよい。例えば、8ビットの画像データに対して、高さデータを12ビット、あるいは16ビットで構成してもよい。
【0098】
また、測定時間の算出は、上記実施形態のような算出方法に限らない。必要に応じて他の要因を考慮した補正係数を加味して測定時間を算出してもよい。あるいは、測定条件と測定時間との関係を予め概算して処理装置46内にテーブルとして記憶しておき、処理装置46内はテーブルルックアップによって測定時間を求めてもよい。
【0099】
また、算出された測定時間及び残り時間は、表示装置47に表示する代わりに、あるいは表示と共に、LED等を用いたバーグラフ表示によって表示してもよい。また、表示に代えて、あるいは表示と共に、音声出力によってオペレータに知らせることも可能である。
【0100】
【発明の効果】
以上に説明したように、本発明の共焦点顕微鏡によれば、従来の表示システムを変えることなく、測定範囲の拡大及び分解能の向上の両方又は一方を実現することができる。また、測定範囲等の測定条件の設定内容によっては測定時間が長くかかる場合に、測定開始前に測定時間をオペレータに知らせ、必要に応じてオペレータが測定条件を再設定することが可能になる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る共焦点顕微鏡の概略構成を示す図である。
【図2】共焦点光学系によって得られる受光量とZ方向位置との関係を例示するグラフである。
【図3】処理装置内の輝度データとカラー画像データから表示画像信号を生成する部分の回路構成を示すブロック図である。
【図4】輝度データの画素と色強度データの画素との対応関係の例を示す図である。
【図5】処理装置内の輝度データ又は高さデータから表示用画像信号を生成する部分のブロック図である。
【図6】有効範囲選択回路の具体構成の一例を示すブロック図である。
【図7】有効範囲選択回路の別の構成の例を示すブロック図である。
【図8】高さデータの分布の例と、そのときに2種類の有効範囲選択回路によって選択される有効範囲を示すグラフである。
【図9】共焦点画像モードAのフローチャートである。
【図10】共焦点画像モードBのフローチャートである。
【図11】三次元形状測定モードのフローチャートである。
【図12】断面形状測定モードのフローチャートである。
【図13】断面形状測定モードにおけるモニタ画面の例を示す図である。
【図14】測定時間及び残り時間の算出及び表示の処理を示すフローチャートである。
【符号の説明】
1 共焦点光学系
10 光源
14a 水平偏向装置(走査機構)
14b 垂直偏向装置(走査機構)
17 対物レンズ
19 受光素子
30 試料ステージ(変位機構)
40 ステージ制御回路(変位機構)
46 処理装置(測定時間出力手段、残り時間出力手段)
47 表示装置
48 操作パネル(設定手段)
57 高さメモリ
58 有効範囲選択回路
w 試料(対象物)
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a confocal microscope that can acquire not only two-dimensional image information of a measurement object but also three-dimensional information including height or depth information of the surface of the measurement object.
[0002]
[Prior art]
A confocal microscope irradiates an object to be measured with monochromatic light (usually laser light) and receives reflected light or transmitted light from the object through an optical system including an objective lens by a light receiving element. Usually, a pinhole is provided in front of the light receiving element, and an optical system (confocal optical system) is formed so that the focal point of the objective lens on the measurement surface of the object and the focal point on the light receiving side of the pinhole form a confocal point. Is formed. According to such a configuration, the relative distance at which the amount of received light becomes maximum when the relative distance in the optical axis direction between the focal point of the objective lens and the object (that is, the stage on which the object is placed) is changed is obtained. Thus, distribution data of the surface height (depth) of the object can be obtained. In order to change the relative distance between the focal point of the objective lens and the object in the optical axis direction, in addition to displacing the object in the optical axis direction, a lens having a refractive index is used to focus the objective lens. There is a method of changing in the optical axis direction.
[0003]
Further, the height data of the object can be obtained over the entire scanning range by scanning the object with the laser beam. With one-dimensional scanning, height data can be obtained along a one-dimensional line, and with two-dimensional scanning, height data over the entire two-dimensional plane, that is, three-dimensional information of the object can be obtained. it can. The scanning of the object by the laser beam may be a method of fixing the object and deflecting the laser beam, or a method of fixing the laser beam and displacing the object.
[0004]
The distribution of height data obtained as described above can be converted into image information such as a luminance signal and visually displayed. For example, height data composed of 8 bits per pixel is directly displayed on the monitor screen as 8-bit luminance data. As a result, the portion where the height of the surface of the object is high is bright and the portion where the surface is low is dark, or vice versa, on the other hand, it is displayed on the screen like a contour line. This is a method for displaying the change in the measured surface height of the object visually and in an easily understandable manner. It is also possible to convert the distribution of the height data into, for example, a color difference signal instead of a luminance signal, and display a change in the surface height of the object as a change in hue.
[0005]
[Problems to be solved by the invention]
As described above, when the distribution of height data is converted into an image signal such as a luminance signal (or color difference signal) and displayed on the screen, the simplest method is the number of bits constituting the height data per pixel. And the number of bits constituting the luminance data must be matched. In the above-described conventional configuration, height data composed of 8 bits per pixel is used as it is as 8-bit luminance data.
[0006]
On the other hand, when the height data is configured with a limited number of bits, the dynamic range of the height data (the difference between the maximum value and the minimum value) and its resolution are in a trade-off relationship. For example, in the case of 8-bit data, the level that can be distinguished is 256 steps. If the dynamic range, that is, the measurement range is widened, the level difference (resolution) per step becomes rough, and conversely if the resolution is made finer. The measurement range becomes narrow.
[0007]
Therefore, in order to widen the measurement range and reduce the resolution, it is necessary to increase the number of bits of height data and image data per pixel. However, if the number of bits per pixel of the image data is increased, it is necessary to greatly increase the capacity of the frame memory, which greatly affects the cost of the entire apparatus. Not only that, it involves a major design change of the display system.
[0008]
The present invention has been made in view of the conventional problems as described above, and is capable of realizing both or one of the expansion of the measurement range and the improvement of the resolution without changing the conventional display system. An object is to provide a focusing microscope.
[0009]
[Means for Solving the Problems]
A first configuration of a confocal microscope according to the present invention is a confocal optical system that includes a light source that irradiates light on an object and a light receiving element that receives reflected or transmitted light from the object through an optical system including an objective lens. , A scanning mechanism for scanning the object with light, a displacement mechanism that changes the relative distance between the focal point of the objective lens and the object in the optical axis direction, and a relative distance when the light receiving amount of the light receiving element is maximized Processing device for obtaining height data of surface of object, memory for storing distribution of height data obtained for a plurality of pixels within scanning range by scanning mechanism, and image signal for distribution of height data read from memory In a confocal microscope including a display device that converts the image data to display, the number of bits per pixel of the height data is larger than the number of bits per pixel of the converted image data.
[0010]
According to the above configuration, only the capacity of the memory for storing the distribution of the height data is increased, the number of bits per pixel of the image data is the same as the conventional one, and the measurement range is changed without changing the conventional display system. Can be enlarged and the resolution can be improved. Alternatively, the measurement range can be expanded or the resolution can be improved without sacrificing the other.
[0011]
For example, if the height data is composed of 8 bits (256 steps), the measurement range is 25.6 μm in units of 0.1 μm, but the height data is 20 bits (1,048,576 steps). If configured, a measurement range of about 10 mm in 0.01 μm units is possible. Note that the number of bits required to display the distribution of height data on the monitor screen as an image signal is limited, and 8 bits is sufficient.
[0012]
Preferably, an effective range selection circuit is further provided for selecting an effective range to be converted into image data from all step ranges of height data composed of a plurality of bits. As a result, a partial range (for example, 256 steps for 8 bits) in the entire height data step range (for example, 1,048,576 steps for 20 bits) increased by the above configuration is finally displayed on the monitor screen. Can be selected as a range of image data to be displayed.
[0013]
More preferably, the effective range selection circuit automatically selects an appropriate effective range by processing the height data. For example, the effective range selection circuit obtains the maximum value of the height data by the peak hold process, and selects an area whose upper limit is the maximum value as an effective range to be converted into image data. Alternatively, the effective range selection circuit may be configured to select the central region of the distribution of height data as an effective range to be converted into image data by histogram processing.
[0014]
A second configuration of the confocal microscope according to the present invention is a confocal optical system including a light source that irradiates light on an object and a light receiving element that receives reflected light or transmitted light from the object through an optical system including an objective lens. , A scanning mechanism for scanning the object with light, a displacement mechanism for changing the relative distance between the focal point of the objective lens and the object in the optical axis direction, and the relative distance and maximum when the light receiving amount of the light receiving element is maximized A processing device for obtaining at least one of the amount of received light and a measurement time output means for estimating and outputting a measurement time required from the start of measurement to the end of measurement are provided.
[0015]
According to the above configuration, the operator of the apparatus can know the time required for the measurement before starting the measurement. The operator can take measures such as changing the measurement conditions with reference to the output measurement time. In particular, when the number of bits per pixel of the height data is increased by the first configuration described above to expand the measurement range or increase the resolution, it is possible that the measurement time will take longer than before. It is meaningful to inform the operator of the time required before starting the measurement. As a method of outputting the measurement time, various output methods such as a method of using a bar graph display such as an LED and a method of outputting by voice other than a method of displaying on a monitor screen are possible.
[0016]
As a specific configuration, the confocal microscope includes a setting unit that sets a measurement parameter including a range in which the relative distance is changed and a measurement pitch within the range, and the measurement time output unit includes the measurement parameter and the scanning cycle. Based on the above, it is preferable to estimate and output the measurement time required for the measurement to obtain at least one of the relative distance and the maximum light receiving amount in the entire scanning range.
[0017]
For example, if the height data is 8 bits (256 steps) and the scanning cycle per step takes 0.2 seconds, the measurement time is about 51 seconds even if the 8-bit range is fully used. . However, when the height data is 20 bits (1,048,576 steps), when 20 bits are fully used, the measurement time is about 58 hours. As the measurement parameters, for example, when the range for changing the relative distance (measurement range) is set to 1 mm and the measurement pitch is set to 0.1 μm, the measurement time output means outputs these measurement parameters and the scanning cycle (for example, 0.2 seconds). ) To calculate and output the measurement time (0.2 seconds × 1 mm / 0.1 μm = 2000 seconds (about 33 minutes)). When the operator wants to shorten the measurement time with reference to the output measurement time, the operator can reset the measurement parameters such as narrowing the measurement range or roughening the measurement pitch.
[0018]
In addition, the measurement time output means approximates the measurement time required for the measurement to obtain at least one of the relative distance and the maximum received light amount in the entire scanning range, and calculates the difference between the measurement time and the elapsed time from the measurement start time until the measurement is completed. It is also preferable to calculate and output the remaining time. According to this configuration, the operator can know the remaining time until the completion of measurement, and this information becomes meaningful information for setting up other work.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0020]
FIG. 1 shows a schematic configuration of a confocal microscope according to the present invention. The confocal microscope of the present invention includes a confocal optical system 1 and a non-confocal optical system 2.
[0021]
First, the confocal optical system 1 will be described. The confocal optical system 1 includes a light source 10 for irradiating a sample w with monochromatic light (preferably laser light), a first collimating lens 11, a polarizing beam splitter 12, a quarter wavelength plate 13, a horizontal deflection device 14a, and a vertical. It includes a deflecting device 14b, a first relay lens 15, a second relay lens 16, an objective lens 17, an imaging lens 18, a pinhole plate PH, a first light receiving element 19, and the like.
[0022]
As the light source 10, for example, a semiconductor laser that emits red laser light is used. The laser light emitted from the light source 10 driven by the laser driving circuit 44 passes through the first collimating lens 11, the optical path is bent by the polarization beam splitter 12, and passes through the quarter wavelength plate 13. Thereafter, the light is deflected in the horizontal (lateral) direction and the vertical (longitudinal) direction by the horizontal deflecting device 14a and the vertical deflecting device 14b, passes through the first relay lens 15 and the second relay lens 16, and is sampled by the objective lens 17. The light is condensed on the surface of the sample w placed on the stage 30.
[0023]
The horizontal deflection device (first deflection mechanism) 14a and the vertical deflection device (second deflection mechanism) 14b are each composed of a galvanometer mirror, and the surface of the sample w is deflected by deflecting the laser light in the horizontal and vertical directions. Scan with laser light. For convenience of explanation, the horizontal direction is referred to as the X direction, and the vertical direction is referred to as the Y direction. The sample stage 30 is driven in the Z direction (optical axis direction) by the stage control circuit 40. That is, the sample stage 30 and the stage control circuit 40 constitute a displacement mechanism that changes the relative distance between the focal point of the objective lens 17 and the sample (object) w in the optical axis direction.
[0024]
However, the displacement mechanism that changes the relative distance between the focal point of the objective lens 17 and the sample w in the optical axis direction can also be realized by other configurations. For example, the position of the sample stage 30 is fixed, and the objective lens 17 is driven in the Z-axis direction to change the focal point, thereby changing the relative distance between the focal point and the sample w in the optical axis direction. Is possible. Alternatively, it is possible to change the relative distance in the optical axis direction between the focal point of the objective lens 17 and the sample w by inserting a lens whose refractive index changes between the objective lens 17 and the sample w. The sample stage 30 can be displaced in the X direction and the Y direction by manual operation.
[0025]
The laser beam reflected by the sample w follows the above optical path in reverse. That is, it passes through the objective lens 17, the second relay lens 16, and the first relay lens 15, and again passes through the quarter wavelength plate 13 through the horizontal deflection device 14a and the vertical deflection device 14b (galvanomirror). As a result, the laser beam passes through the polarization beam splitter 12 and is collected by the imaging lens 18. The condensed laser light passes through the pinhole of the pinhole plate PH arranged at the focal position of the imaging lens 18 and enters the first light receiving element 19. The first light receiving element 19 is composed of, for example, a photomultiplier or a photodiode, and converts the amount of received light into an electrical signal. An electric signal corresponding to the amount of received light is given to the first A / D converter 41 via an output amplifier and a gain control circuit (not shown), and converted into a digital value.
[0026]
With the confocal optical system 1 configured as described above, the height (depth) information of the sample w can be obtained. The principle will be briefly described below.
[0027]
As described above, when the sample stage 30 is driven in the Z direction (optical axis direction) by the stage control circuit 40, the relative distance between the focal point of the objective lens 17 and the sample w in the optical axis direction changes. Then, when the focal point of the objective lens 17 is focused on the surface (surface to be measured) of the sample w, the laser light reflected by the surface of the sample w is condensed by the imaging lens 18 through the optical path described above, and almost all. All the laser beams pass through the pinholes of the pinhole plate PH. Accordingly, at this time, the amount of light received by the first light receiving element 19 is maximized. On the contrary, in a state where the focus of the objective lens 17 is deviated from the surface (surface to be measured) of the sample w, the laser beam condensed by the imaging lens 18 is focused at a position deviated from the pinhole plate PH. Therefore, only a part of the laser light can pass through the pinhole. As a result, the amount of light received by the first light receiving element 19 is significantly reduced.
[0028]
Therefore, if the received light amount of the first light receiving element 19 is detected at any point on the surface of the sample w while driving the sample stage 30 in the Z direction (optical axis direction), the sample when the received light amount becomes maximum. The position in the Z direction of the stage 30 (the relative distance between the focal point of the objective lens 17 and the sample w in the optical axis direction) can be uniquely determined as height information.
[0029]
Actually, each time the sample stage 30 is moved by one step, the surface of the sample w is scanned by the horizontal deflection device 14a and the vertical deflection device 14b to obtain the amount of light received by the first light receiving element 19. When the sample stage 30 is moved in the Z direction from the lower end to the upper end of the measurement range, received light amount data that changes in accordance with the position in the Z direction as shown in FIG. 2 is obtained for a plurality of points (pixels) in the scanning range. It is done. Based on this received light amount data, the maximum received light amount and the position in the Z direction at that time are obtained for each point (pixel). Therefore, the distribution of the surface height of the sample w on the XY plane is obtained. This processing is executed by the processing device 46 using a microcomputer.
[0030]
The obtained surface height distribution is displayed as a brightness distribution on the monitor screen of the display device 47, for example, by converting the height data into luminance data. Alternatively, the height distribution may be displayed as a color distribution by converting the height data into color difference data. Alternatively, the change in surface height along the designated measurement line can be displayed on the screen as a cross-sectional shape.
[0031]
In addition, a surface image (black and white image) of the sample w is obtained from a luminance signal using the received light amounts obtained for a plurality of points in the scanning range as luminance data. If a luminance signal is generated using the maximum amount of received light at each point (pixel) as luminance data, an image having a deep depth of field, that is, an image in focus at each point having a different surface height can be obtained. In addition, when the maximum received light amount is obtained at a given pixel of interest (position in the Z direction), the amount of light received by other pixels is significantly reduced, so only the periphery of the pixel of interest is bright. An image in which the brightness decreases rapidly as the distance from the pixel of interest increases.
[0032]
Next, the non-confocal optical system 2 will be described. The non-confocal optical system 2 includes a white light source 20, a second collimating lens 21, a first half mirror 22, and a second half mirror 23 for irradiating the sample w with white light (illumination light for photographing a color image). And a color CCD 24 as a second light receiving element. The non-confocal optical system 2 shares the objective lens 17 of the confocal optical system 1, and the optical axes of both optical systems 1 and 2 are the same.
[0033]
For example, a white lamp is used as the white light source 20, but a dedicated light source may not be provided, and natural light or room light may be used. The white light emitted from the white light source 20 passes through the second collimating lens 21, the optical path is bent by the first half mirror 22, and is condensed on the surface of the sample w placed on the sample stage 30 by the objective lens 17. .
[0034]
The white light reflected by the sample w passes through the objective lens 17, the first half mirror 22, and the second relay lens 16, is reflected by the second half mirror 23, and enters the color CCD 24 to form an image. The color CCD 24 is provided at a position conjugate to or close to the pinhole of the pinhole plate PH of the confocal optical system 1. The color image picked up by the color CCD 24 is read by the CCD drive circuit 43, and its analog output signal is given to the second A / D converter 42 and converted into a digital value. The color image thus obtained is displayed on the monitor screen of the display device 47 as an enlarged color image for observing the sample w.
[0035]
As described above, the confocal microscope of this embodiment measures and displays the distribution of the height (depth) of the sample using the confocal optical system, displays the confocal image, and captures the color image using the non-confocal optical system. And various other functions. Combining a monochrome image with a deep depth of field obtained with a confocal optical system with a normal color image obtained with a non-confocal optical system produces a color image with a deep depth of field (color confocal image). It can also be generated and displayed.
[0036]
FIG. 3 shows that an image signal for display is generated from luminance data (received light amount data) obtained from the confocal optical system and color image data obtained from the non-confocal optical system in the internal configuration of the processing device 46. It is a block diagram of a part.
[0037]
The processing device 46 includes a first area circuit 51, a second area circuit 52, a luminance conversion circuit 53, a correlator 54, and the like. The first and second area circuits 51 and 52 select a common area of the imaging area by the confocal optical system 1 and the imaging area by the non-confocal optical system as the video area A0. The first area circuit 51 stores the luminance data i input from the first light receiving element 19 through the first A / D converter 41 in the luminance memory Mi for each pixel in the video area A0. On the other hand, for each pixel in the video area A0, the second area circuit 52 receives red (R), green (G), and blue (B) input from the color CCD 24 via the CCD drive circuit 43 and the second A / D converter 42. ) Color intensity data rm, gm and bm are stored in the R memory Mr, G memory Mg and B memory Mb, respectively.
[0038]
The luminance conversion circuit 53 replaces the luminance information of the color intensity data rm, gm, bm for each pixel with the luminance information of the luminance data i in accordance with the following arithmetic expressions (1) to (3), and converts the converted color. The intensity data ro, go, bo are obtained and stored in the second R memory Mr ′, G memory Mg ′, and B memory Mb ′, respectively.
[0039]
Ro = I · Rm / (Rm + Gm + Bm) (1)
[0040]
Go = I · Gm / (Rm + Gm + Bm) (2)
[0041]
Bo = I · Bm / (Rm + Gm + Bm) (3)
Here, I is luminance information of luminance data i, and Rm, Gm, and Bm are luminance (intensity) information of color intensity data rm, gm, and bm, respectively. Ro, Go, and Bo are luminance (intensity) information of the converted color intensity data ro, go, and bo.
[0042]
The above process is performed for each pixel in the video area A0. A correlator 54 provided between the luminance memory Mi and the luminance conversion circuit 53 serves to obtain the correspondence between the pixel group of the luminance data i and the pixels of the color intensity data rm, gm, bm. That is, the correlator 54 adjusts the difference between the resolution of the luminance data i and the resolution of the color intensity data rm, gm, bm.
[0043]
4A and 4B show an example of the correspondence relationship between the pixel of the luminance data i and the pixel of the color intensity data rm, gm, bm. FIG. 4A shows an area of 64 pixels of luminance data i, and the same area of color intensity data rm, gm, bm is composed of 16 pixels as shown in FIG. 4B. . In this case, one pixel of the color intensity data rm, gm, bm corresponds to 4 pixels (pixel group) of the luminance data i. For example, one pixel a of the color intensity data rm, gm, bm corresponds to four pixels 1, 2, 9, 10 of the luminance data i.
[0044]
In addition, as described with reference to FIG. 1, the confocal optical system 1 deflects the laser beam by the horizontal deflection device 14a and the vertical deflection device 14b, and two-dimensionally scans the surface of the sample w. When the scanning range is enlarged or reduced by changing the deflection angle, the confocal image displayed on the entire monitor screen of the display device is reduced or enlarged as a result. That is, optical magnification conversion is performed. Also in this case, the correlator 54 associates the confocal image with the color image based on the enlargement / reduction magnification.
[0045]
For example, it is assumed that the image area for 64 pixels of luminance data (confocal image data) shown in FIG. 4A is an enlargement of the area surrounded by the central thick line. On the other hand, for the area corresponding to 16 pixels of color intensity data (color image data) shown in FIG. 4A, the enlargement magnification is fixed and optical magnification conversion is not performed. In this case, for example, one pixel f of the color intensity data rm, gm, bm corresponds to 16 pixels 1-4, 9-12, 17-20, 25-28 of the luminance data i.
[0046]
The correlator 54 obtains the average luminance of the pixel group (for example, pixels 1 to 4) of the luminance data i corresponding to one pixel (for example, the pixel a) of the color intensity data, and passes this to the luminance conversion circuit 53. Thereby, the luminance conversion circuit 53 can replace the luminance of the color intensity data rm, gm, bm for each pixel with the luminance of the corresponding luminance data i on a one-to-one basis as described above. Alternatively, the pixel a of the color intensity data is divided into four pixels a1 to a4 (the color intensity of a1 to a4 is equal to the color intensity of a, respectively) corresponding to the pixels 1 to 4 of the luminance data i, respectively. It is also possible to replace with the luminance of the corresponding luminance data i.
[0047]
In this way, the converted color intensity data ro, go, bo output from the luminance conversion circuit 53 and stored in the second R memory Mr ′, G memory Mg ′, and B memory Mb ′ are D / A converters. 55 is converted into a time-series signal. This signal is added with a synchronization signal by the synthesis circuit 56 to become a composite color video signal which is a display image signal. The composite color video signal is given to the display device 47, and the color confocal image of the sample w is displayed on the monitor screen.
[0048]
FIG. 5 is a block diagram of a portion of the internal configuration of the processing device 46 that generates a display image signal from luminance data (light reception amount data) or height data h obtained from the confocal optical system. The same components as those in the block diagram shown in FIG.
[0049]
The processing device 46 includes a height memory 57 and an effective range selection circuit 58 in addition to the components shown in FIG. In the height memory 57, height data when the amount of light received by the first light receiving element 19 (luminance signal i) is maximized is stored for each pixel. In other words, as described above, the maximum received light amount obtained based on the change in the received light amount (luminance signal i) when the processing device 46 changes the position of the sample stage 30 in the Z-axis direction via the stage control circuit 40. The corresponding Z-axis direction position is stored as height data.
[0050]
This height data h is composed of 20 bits in this embodiment. In order to secure a sufficient dynamic range (measurement range) while increasing the resolution of height measurement, it is composed of 20 bits (1,048,576 steps). As a result, for example, a measurement range of about 10 mm in 0.01 μm units is possible. On the other hand, the luminance data i is composed of 8 bits. The resolution and dynamic range of the luminance data for displaying the confocal image is sufficient if it is 8 bits (256 steps). In order to suppress the cost increase, the resolution is 8 bits as before.
[0051]
The effective range selection circuit 58 selects a range of 256 steps corresponding to 8 bits out of all step ranges (1,048,576 steps) of the height data h composed of 20 bits as an effective bit range, The 8-bit height data h ′ is supplied to the image signal generation circuit 59. The effective range selection circuit 58 may be configured to select an effective range designated from the outside, but in the present embodiment, as will be described later, the peak hold processing of the height data is performed, and an appropriate range is automatically selected. Select the effective range.
[0052]
The image signal generation circuit 59 generates a luminance signal (image signal) using the 8-bit height data for each pixel given from the effective range selection circuit 58 as luminance data for each pixel. Alternatively, a luminance signal is generated from the first light receiving element 19 through the first A / D converter 41 and the first area circuit 51 using the luminance data for each pixel stored in the luminance memory. The generated luminance signal is added with a synchronization signal by the synthesizing circuit 56 to become a display image signal, and is output to the display device 47. As a result, the distribution of the surface height of the sample w is converted into the distribution of brightness and displayed on the monitor screen of the display device 47. Alternatively, a confocal image (monochrome image) in which luminance data (amount of received light) in each pixel is connected is displayed. As will be described in detail later, the height change along the designated measurement line, that is, the cross-sectional shape can be displayed.
[0053]
FIG. 6 is a block diagram showing an example of a specific configuration of the effective range selection circuit 58. The peak value of the 20-bit height data is obtained by the peak hold circuit 71 and given to the first arithmetic circuit 72 as the a input. On the other hand, the current value of the height data is given to the first arithmetic circuit 72 as b input. The first arithmetic circuit 72 calculates a value of a−b = x. When the value of x exceeds 255 (hexadecimal FF), it is replaced with x = 0. The value of x is given to the second arithmetic circuit 73, and the second arithmetic circuit 73 calculates 255−X = h ′. In this manner, 8-bit height data h ′ that can take values from 0 to 255 (hexadecimal 00 to FF) is calculated and output as height data in the effective range.
[0054]
FIG. 7 shows another configuration example of the effective range selection circuit 58. In this example, the set measurement range (maximum 1,048,576 steps) of 20-bit height data h is divided into groups of 256 steps (8 bits), and the number of height data h belonging to each group n is obtained by the histogram processing unit 75. From this result, the range selection unit 76 selects the group having the maximum value of n as the effective range, and the bit conversion unit 77 converts the height data h belonging to this group to 8-bit height data h (0 to 255 steps). Convert to 'and output.
[0055]
FIG. 8 shows an example of the distribution of the height data h and the effective range (height data h ′) selected by the above-described two types of effective range selection circuits 58 at that time. As described above, the effective range selection circuit 58 using peak hold, histogram processing, or other known technology converts the height data h of the measurement range of up to 20 bits into an image signal such as a luminance signal. The 8-bit effective range data h ′ displayed on the monitor screen is automatically selected and supplied to the image signal generation circuit 59. As a result, the configuration of the luminance memory Mi, the image signal generation circuit 59, and the like can realize the expansion of the measurement range of the height data h and the improvement of the resolution while following the configuration of 8-bit processing as before.
[0056]
Next, typical operation modes of the confocal microscope of the present embodiment will be described. These operation modes include a confocal image mode A for obtaining a color image having a deep depth of field, a confocal image mode B for obtaining a color image having a shallow depth of field, and the height (depth) of the surface of the sample w. ) Is measured over a predetermined area, the height distribution is converted into a luminance signal and displayed, and the cross-sectional shape measurement mode for measuring and displaying the cross-sectional shape of the sample w along the designated measurement line. Is included. These operation modes are performed according to the guidance display displayed on the display device 47 using the operation panel 48 connected to the processing device 46.
[0057]
FIG. 9 shows a flowchart of the confocal image mode A. First, in step # 101, a measurement region in which a color image having a deep depth of field is desired is designated. This designation operation is performed in a state where an enlarged color image of the sample w by the non-confocal optical system is displayed on the monitor screen of the display device 47. By operating the cursor key or the mouse on the operation panel 48, the rectangle superimposed and displayed on the enlarged color image is moved and enlarged or reduced. In this manner, an arbitrary measurement area surrounded by a rectangle can be designated.
[0058]
When the measurement area is designated as described above (step # 101), the laser beam is moved in the XY directions so that the designated measurement area on the surface of the sample w is scanned by the horizontal deflection device 14a and the vertical deflection device 14b. It is deflected (horizontal direction and vertical direction) (step # 102).
[0059]
The processing device 46 constituted by a microcomputer stores the received light amount and the Z-direction position (height) of each pixel in the measurement area in the above-described luminance memory (Mi in FIG. 3) and height memory (57 in FIG. 5). Store (step # 103). The amount of light received by each pixel is data obtained by converting the signal from the first light receiving element 19 into a digital value by the first A / D converter 41 as described above.
[0060]
Next, the sample stage 30 is raised by one pitch (one step) (step # 104). At the start of measurement, the initial position of the sample stage 30 is set at the lower end position of the measurement range.
[0061]
Subsequently, the surface of the sample w is scanned again in the XY directions within the measurement region (step # 105). The processing device 46 compares the new received light amount of each pixel obtained at this time with the light amount of each pixel stored in the luminance memory (step # 106). If the new received light amount is larger than the stored light amount, the received light amount and the stored data in the Z direction position are updated (step # 107). If the new received light amount is smaller than the stored light amount, the process proceeds to step # 108 without doing anything.
[0062]
In step # 108, the processing device 46 compares the position of the sample stage 30 in the Z direction with the upper end position of the measurement range. If lower than the upper end position, the process returns to step # 104. In this way, the processes of steps # 104 to # 108 are repeated until the position of the sample stage 30 in the Z direction reaches the upper end position of the measurement range.
[0063]
When the Z-direction position of the sample stage 30 reaches the upper end position of the measurement range, the luminance memory and the height memory store the maximum received light amount and the data of the Z-direction position at that time for each pixel in the measurement area. Has been. If a luminance signal is generated using the maximum received light amount of each pixel as the luminance data of each pixel, as described above, a black and white image having a deep depth of field in which each point (pixel) is in focus can be obtained. Therefore, a color confocal image having a deep depth of field is obtained from the display image signal generated by combining the luminance signal and the color image signal (step # 109). The color confocal image is displayed on the monitor screen of the display device 47 (step # 110), and the process of the confocal image mode A is completed.
[0064]
FIG. 10 shows a flowchart of the confocal image mode B. This mode is a mode for obtaining a color confocal image with a shallow depth of field where only the designated point of the sample w is bright and in focus, and its surroundings are darkened rapidly. First, in step # 201, the X and Y positions to be focused are designated. As in the confocal mode A, this designation operation is performed on the monitor screen of the display device 47 using the cursor key or the mouse of the operation panel 48.
[0065]
When the X and Y positions are designated (step # 201), the processing device 46 initializes the position of the sample stage 30 in the Z direction (moves to the lower end) and stores the amount of received light in the luminance memory (step # 202). . The amount of received light is data obtained by converting the signal from the first light receiving element 19 into a digital value by the first A / D converter 41 as described above.
[0066]
Next, the sample stage 30 is raised by one pitch (one step) (step # 203), and the new received light amount obtained at this time is compared with the light amount stored in the luminance memory (step # 204). If the new received light amount is larger than the stored light amount, the received light amount and the stored data in the Z direction position are updated (step # 205). If the new received light amount is smaller than the stored light amount, the process proceeds to step # 206 without doing anything.
[0067]
In step # 206, the processing device 46 compares the position of the sample stage 30 in the Z direction with the upper end position of the measurement range. If it is lower than the upper end position, the process returns to step # 203. Thus, the processes of steps # 203 to # 206 are repeated until the position of the sample stage 30 in the Z direction reaches the upper end position of the measurement range.
[0068]
When the Z-direction position of the sample stage 30 reaches the upper end position of the measurement range, the luminance memory and the height memory store the maximum received light amount and the data of the Z-direction position at that time for the pixel at the designated XY position. It is remembered.
[0069]
Subsequently, the sample stage 30 is fixed at the Z-direction position (step # 207), and the laser beam is deflected in the XY directions (horizontal and vertical directions) using the horizontal deflection device 14a and the vertical deflection device 14b. The surface of the sample w is scanned with laser light (step # 208). At this time, the received light amount of each pixel within the scanning range is stored in the luminance memory (step # 209).
[0070]
When a luminance signal is generated using the received light amount of each pixel thus obtained as luminance data of each pixel, as described above, the pixel at the designated XY position is in focus and has the maximum luminance. A black-and-white image whose luminance decreases sharply with distance from the position is obtained. Therefore, a color confocal image having an extremely shallow depth of field is obtained from the display image signal generated by combining the luminance signal of the monochrome image and the color image signal (step # 210). The color confocal image is displayed on the monitor screen of the display device 47 (step # 211), and the process of the confocal image mode B ends.
[0071]
As a modification of the confocal image mode B, the processes in steps # 201 to # 206 may be omitted. That is, it is possible to omit the designation of the focus position (X, Y) and the process of measuring the height (Z direction position) at this position, and manually move the sample stage in the Z direction.
[0072]
FIG. 11 shows a flowchart of the three-dimensional shape measurement mode. In this measurement mode, the height (depth) of the surface of the sample w is measured over a predetermined two-dimensional region, and the height distribution is converted into a luminance signal and displayed on the monitor screen. First, in step # 301, a measurement area is designated. This operation is performed by designating a rectangular area on the enlarged color image of the sample w displayed on the monitor screen of the display device 47 using the cursor key or the mouse of the operation panel 48 as in the confocal mode A. Is called.
[0073]
Also in this three-dimensional shape measurement mode, the function of the correlator 54 described above causes the pixels of the enlarged color image of the non-confocal optical system displayed on the monitor screen and the height of the sample w measured by the confocal optical system. Data pixels are associated with each other. Therefore, even if the resolution of the enlarged color image by the non-confocal optical system is different from the resolution of the height data by the confocal optical system, the enlarged color image of the non-confocal optical system displayed on the monitor screen The height distribution of the region that exactly matches the designated measurement region is obtained by the measurement of the confocal optical system.
[0074]
When the measurement area is designated (step # 301), the laser beam is moved in the XY directions (horizontal and vertical directions) so that the designated measurement area on the surface of the sample w is scanned by the horizontal deflection device 14a and the vertical deflection device 14b. Direction) (step # 302).
[0075]
The processing device 46 constituted by a microcomputer stores the received light amount and the Z-direction position (height) of each pixel in the measurement region in a luminance memory (Mi in FIG. 3) and a height memory (57 in FIG. 5). (Step # 303). The amount of light received by each pixel is data obtained by converting the signal from the first light receiving element 19 into a digital value by the first A / D converter 41 as described above.
[0076]
Next, the sample stage 30 is raised by one pitch (one step) (step # 304). At the start of measurement, the initial position of the sample stage 30 is set at the lower end position of the measurement range.
[0077]
Subsequently, the surface of the sample w is scanned again in the XY directions within the measurement region (step # 305). The processing device 46 compares the new received light amount of each pixel obtained at this time with the light amount of each pixel stored in the memory (step # 306). If the new received light amount is larger than the stored light amount, the received light amount and the stored data of the Z direction position are updated (step # 307). If the new received light amount is smaller than the stored light amount, the process proceeds to step # 308 without doing anything.
[0078]
In step # 308, the processing device 46 compares the position of the sample stage 30 in the Z direction with the upper end position of the measurement range. If it is lower than the upper end position, the process returns to step # 304. Thus, the processes of steps # 304 to # 308 are repeated until the position of the sample stage 30 in the Z direction reaches the upper end position of the measurement range.
[0079]
When the Z-direction position of the sample stage 30 reaches the upper end position of the measurement range, the memory stores the maximum amount of received light and the data in the Z-direction position at that time for each pixel in the measurement area. A luminance signal is generated using the distribution of the Z-direction position of each pixel as the distribution of luminance data (step # 309). As a result, the surface height distribution of the sample w is displayed on the monitor screen as a brightness distribution like a contour line (step # 310). Note that the distribution of the surface height of the sample w may be displayed as a color distribution by converting the distribution of the Z-direction position into a color difference signal.
[0080]
FIG. 12 shows a flowchart of the cross-sectional shape measurement mode. In this measurement mode, the cross-sectional shape of the sample w is measured and displayed along the designated measurement line. First, in step # 401, the position in the Y direction is determined. In the confocal microscope of the present embodiment, the measurement line is a straight line extending in the X direction. Therefore, the measurement line is specified by specifying the position in the Y direction. Specifically, the measurement line is designated by the following procedure using the cursor key of the operation panel 48 or the like.
[0081]
As shown in FIG. 13, an enlarged color image 60 of the sample w obtained from the color CCD 24 of the non-confocal optical system 1 is displayed on the monitor screen of the display device 47. This display example is a simplified drawing of the surface pattern of a bare chip of a semiconductor integrated circuit. When measurement conditions such as a measurement range (difference between the maximum value and the minimum value of height data) and a measurement pitch (height per step) are set, a horizontal measurement line 61 appears on the enlarged color image 60 of the sample w. It is displayed superimposed. By operating the cursor key or mouse of the operation panel 48, the measurement line 61 is moved in the vertical direction (Y direction) on the screen. For example, the measurement line 61 is moved to the position indicated by the broken line 62 to specify the Y direction position.
[0082]
Also in this cross-sectional shape measurement mode, the above-described correlator 54 functions to enlarge the color image pixel of the non-confocal optical system displayed on the monitor screen and the height of the sample w measured by the confocal optical system. Data pixels are associated with each other. Therefore, even if the resolution of the enlarged color image by the non-confocal optical system is different from the resolution of the height data by the confocal optical system, the enlarged color image of the non-confocal optical system displayed on the monitor screen A cross-sectional shape exactly along the designated measurement line is obtained by measurement of the confocal optical system.
[0083]
When the Y-direction position of the measurement line is determined as described above (step # 401), this Y-direction position data is given to the partial deflection stop circuit 45. The partial deflection stop circuit 45 stops the deflection of the laser beam by the vertical deflection device 14b in accordance with the Y-direction position data, and fixes it at the Y-direction position. Specifically, the partial deflection stop circuit 45 sets the amplitude of the AC voltage applied to the galvanometer mirror constituting the vertical deflection device 14b to zero, and applies a DC voltage corresponding to the Y-direction position data. Thereby, the galvanometer mirror which comprises the vertical deflection | deviation apparatus 14b stops at a predetermined angle.
[0084]
As a result, the laser beam emitted from the light source 10 is deflected only in the horizontal direction by the horizontal deflection device 14a, and scans the surface of the sample w in the X direction along the designated measurement line (step # 402).
[0085]
The processing device 46 constituted by a microcomputer stores the received light amount and the Z direction position (height) of each pixel along the measurement line in the above-described luminance memory (Mi in FIG. 3) and height memory (57 in FIG. 5). Store (step # 403). The amount of light received by each pixel is data obtained by converting the signal from the first light receiving element 19 into a digital value by the first A / D converter 41 as described above.
[0086]
Next, the sample stage 30 is raised by one pitch (one step) (step # 404). At the start of measurement, the initial position of the sample stage 30 is set at the lower end position of the measurement range.
[0087]
Subsequently, the surface of the sample w is scanned again in the X direction along the designated measurement line (step # 405). The processing device 46 compares the new received light amount of each pixel obtained at this time with the light amount of each pixel stored in the memory (step # 406). If the new received light amount is larger than the stored light amount, the received light amount and the stored data in the Z direction position are updated (step # 407). If the new received light amount is smaller than the stored light amount, the process proceeds to step # 408 without doing anything.
[0088]
In step # 408, the processing device 46 compares the position of the sample stage 30 in the Z direction with the upper end position of the measurement range. If it is lower than the upper end position, the process returns to step # 404. In this way, the processes of steps # 404 to # 408 are repeated until the position of the sample stage 30 in the Z direction reaches the upper end position of the measurement range.
[0089]
When the Z direction position of the sample stage 30 reaches the upper end position of the measurement range, the measurement result is displayed on the monitor screen of the display device 47 (step # 409), and the measurement is terminated. For each pixel along the measurement line, the memory stores the maximum amount of light received and the data in the Z-direction position at that time, and this corresponds to the measurement result. When the Z-direction positions of the pixels are connected, a cross-sectional shape along the measurement line is obtained. As a result, as shown in FIG. 13, the cross-sectional shape along the measurement line 62 is displayed as a contour line 63 on the monitor screen.
[0090]
Next, the measurement time and remaining time output function, which is another feature of the confocal microscope of the present invention, will be described. As described above, in the confocal microscope of the present invention, since the height data is increased from the conventional 8-bit to 20-bit, it is possible to set a wide range of measurement conditions with higher resolution than the conventional confocal microscope. For this reason, it can be considered that the measurement time is longer than that of a conventional confocal microscope depending on the setting contents of the measurement conditions. Therefore, the processing device 46 has a function of calculating the measurement time taken until the end of the measurement based on the set measurement conditions and displaying it on the display device 47. In addition, it has a function of displaying the remaining time until the end of measurement after the start of measurement.
[0091]
FIG. 14 is a flowchart showing the processing of the above function. First, the measurement conditions are set by the operator from the operation panel 48 (setting means) (step # 501). The measurement conditions include values of the measurement range r and the measurement pitch p. The measurement range r is a range in which the sample stage 30 is displaced in the Z-axis direction, and the measurement pitch p is one pitch (distance) when the sample stage 30 is displaced in the Z-axis direction.
[0092]
The processing device 46 calculates the measurement time T = t (r / p) based on the set measurement range r and measurement pitch p and the scanning period t (steps # 502 and # 503). For example, when r = 1 mm, p = 0.1 μm, and t = 0.2 seconds, T = 0.2 seconds × 1 mm / 0.1 μm = 2000 seconds (about 33 minutes). Then, the calculated measurement time T is displayed on the display device 47 (step # 504). At this time, a display window for setting measurement conditions is displayed on the display device 47, and the measurement time T is displayed at a predetermined location in the display window.
[0093]
In step # 505, the operator determines whether or not to start measurement. If the operator confirms the start of measurement, the process proceeds to step # 506. However, for example, when the measurement time is too long, the process returns to step # 501 without confirming the start of measurement, and the measurement conditions can be reset.
[0094]
When the measurement is started, the processing device 46 counts the elapsed time Tp (step # 506) and calculates the remaining time Tr = T−Tp. The calculated remaining time Tr is displayed at a predetermined location on the display window during measurement on the monitor screen. When the display window for setting the measurement conditions is the same as the display window during measurement, the display of the measurement time T before the start of measurement may be switched to the display of the remaining time Tr as the measurement starts. The display of the remaining time Tr is meaningful information for the operator to set up the measurement related work or other work.
[0095]
In the above description of the embodiment, possible modifications are also described as appropriate. However, the present invention can be implemented in various other modifications or forms. For example, scanning of a sample by light is not limited to two-dimensional scanning by horizontal deflection and vertical deflection, and various scanning methods have been proposed. For example, if a cylindrical lens is used to generate light that is elongated in the X direction (slit light) and is deflected in the Y direction, two-dimensional scanning is possible.
[0096]
The confocal microscope of the above embodiment is a reflection type microscope, but the present invention can also be applied to a transmission type confocal microscope. In the case of a transmission type microscope, laser light from a confocal optical system and white light from a non-confocal optical system are irradiated from the back surface of the sample. The light source of the confocal optical system is not limited to a laser, and may be a monochromatic light source. The light source of the non-confocal optical system can be replaced with natural light or room light.
[0097]
In the above embodiment, the luminance data (image data) is composed of 8 bits, whereas the height data is composed of 20 bits. However, the present invention is not limited to this, and the height data is composed of 20 bits. It is sufficient that the number of bits per pixel of the image data is larger than the number of bits per pixel of the image data. For example, height data may be composed of 12 bits or 16 bits with respect to 8-bit image data.
[0098]
The calculation of the measurement time is not limited to the calculation method as in the above embodiment. If necessary, the measurement time may be calculated by adding a correction coefficient considering other factors. Alternatively, the relationship between the measurement conditions and the measurement time may be estimated in advance and stored in the processing device 46 as a table, and the processing device 46 may obtain the measurement time by table lookup.
[0099]
Further, the calculated measurement time and remaining time may be displayed by a bar graph display using LEDs or the like instead of or on the display device 47. It is also possible to notify the operator by voice output instead of or together with the display.
[0100]
【The invention's effect】
As described above, according to the confocal microscope of the present invention, it is possible to realize both or one of the expansion of the measurement range and the improvement of the resolution without changing the conventional display system. Also, depending on the setting conditions of the measurement conditions such as the measurement range, when the measurement time takes a long time, the measurement time is notified to the operator before the measurement is started, and the operator can reset the measurement conditions as necessary.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a confocal microscope according to an embodiment of the present invention.
FIG. 2 is a graph illustrating the relationship between the amount of light received by the confocal optical system and the position in the Z direction.
FIG. 3 is a block diagram showing a circuit configuration of a part that generates a display image signal from luminance data and color image data in the processing apparatus.
FIG. 4 is a diagram illustrating an example of a correspondence relationship between a pixel of luminance data and a pixel of color intensity data.
FIG. 5 is a block diagram of a portion that generates a display image signal from luminance data or height data in the processing apparatus.
FIG. 6 is a block diagram showing an example of a specific configuration of an effective range selection circuit.
FIG. 7 is a block diagram illustrating another example of the configuration of the effective range selection circuit.
FIG. 8 is a graph showing an example of distribution of height data and effective ranges selected by two types of effective range selection circuits at that time.
FIG. 9 is a flowchart of a confocal image mode A.
FIG. 10 is a flowchart of a confocal image mode B.
FIG. 11 is a flowchart of a three-dimensional shape measurement mode.
FIG. 12 is a flowchart of a cross-sectional shape measurement mode.
FIG. 13 is a diagram showing an example of a monitor screen in a cross-sectional shape measurement mode.
FIG. 14 is a flowchart showing processing for calculating and displaying a measurement time and a remaining time.
[Explanation of symbols]
1 Confocal optical system
10 Light source
14a Horizontal deflection device (scanning mechanism)
14b Vertical deflection device (scanning mechanism)
17 Objective lens
19 Light receiving element
30 Sample stage (displacement mechanism)
40 Stage control circuit (displacement mechanism)
46 processing device (measurement time output means, remaining time output means)
47 Display device
48 Operation panel (setting means)
57 height memory
58 Effective range selection circuit
w Sample (object)

Claims (4)

対象物に光を照射する光源と前記対象物からの反射光又は透過光を対物レンズを含む光学系を通して受光する受光素子とを含む共焦点光学系と、
前記対象物を光で走査するための走査機構と、
前記対物レンズの焦点と前記対象物との光軸方向での相対距離を変化させる変位機構と、
前記走査機構による走査範囲内の各画素について、前記相対距離を変化させて前記受光素子の受光量が最大になるときの前記相対距離を前記対象物の表面の高さデータとして測定する処理装置と、
前記相対距離を変化させる範囲と当該範囲内で前記相対距離を変化させるピッチとを含む測定パラメータを設定する設定手段と、を有し、
前記相対距離を変化させる範囲と、当該範囲内で前記相対距離を変化させるピッチと、
前記走査機構による走査周期とに基づいて、前記処理装置が前記走査機構による走査範囲内の全画素について前記高さデータを測定するまでに要する測定時間を概算して出力する測定時間出力手段を備えることを特徴とする共焦点顕微鏡。
A confocal optical system including a light source that irradiates light to the object and a light receiving element that receives reflected light or transmitted light from the object through an optical system including an objective lens;
A scanning mechanism for scanning the object with light;
A displacement mechanism that changes a relative distance between the focal point of the objective lens and the object in the optical axis direction;
A processing device that measures the relative distance as the height data of the surface of the object when the light reception amount of the light receiving element is maximized by changing the relative distance for each pixel within the scanning range by the scanning mechanism; ,
Setting means for setting measurement parameters including a range for changing the relative distance and a pitch for changing the relative distance within the range;
A range for changing the relative distance, and a pitch for changing the relative distance within the range;
Based on the scanning period by the scanning mechanism, the processing device includes measurement time output means for roughly calculating the measurement time required for measuring the height data for all pixels within the scanning range by the scanning mechanism. A confocal microscope characterized by this.
前記測定時間出力手段は、前記測定時間をバーグラフとして出力することを特徴とする請求項1記載の共焦点顕微鏡。The measurement time output means according to claim 1 Symbol placement of a confocal microscope and outputs the measurement time as a bar graph. 前記処理装置による測定が開始されたとき、測定開始時からの経過時間をカウントするカウント手段と、
前記測定時間と前記経過時間との差を測定完了までの残り時間として算出して出力する残り時間出力手段と、を備えることを特徴とする請求項1又は2記載の共焦点顕微鏡。
When the measurement by the processing device is started, a counting means for counting an elapsed time from the start of measurement,
Claim 1 or 2 confocal microscope wherein a; and a remaining time output means for calculating and outputting a remaining time to completion measure the difference between the elapsed time and the measurement time.
前記残り時間出力手段は、前記残り時間をバーグラフとして出力することを特徴とする請求項のいずれか記載の共焦点顕微鏡。The confocal microscope according to claim 3 , wherein the remaining time output unit outputs the remaining time as a bar graph.
JP13647999A 1999-05-17 1999-05-17 Confocal microscope Expired - Lifetime JP4536845B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13647999A JP4536845B2 (en) 1999-05-17 1999-05-17 Confocal microscope

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13647999A JP4536845B2 (en) 1999-05-17 1999-05-17 Confocal microscope

Publications (2)

Publication Number Publication Date
JP2000330026A JP2000330026A (en) 2000-11-30
JP4536845B2 true JP4536845B2 (en) 2010-09-01

Family

ID=15176106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13647999A Expired - Lifetime JP4536845B2 (en) 1999-05-17 1999-05-17 Confocal microscope

Country Status (1)

Country Link
JP (1) JP4536845B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4937457B2 (en) * 2001-03-01 2012-05-23 オリンパス株式会社 Microscope control apparatus, microscope control system, microscope control method, program, and recording medium
JP5102107B2 (en) * 2008-05-23 2012-12-19 オリンパス株式会社 Microscope equipment
DE102013211403B4 (en) * 2013-06-18 2020-12-17 Carl Zeiss Smt Gmbh Method and device for the automated determination of a reference point of an alignment mark on a substrate of a photolithographic mask
JP6207282B2 (en) * 2013-07-31 2017-10-04 株式会社キーエンス Image processing apparatus, image processing system, inspection method, and program
JP6363890B2 (en) * 2014-07-04 2018-07-25 オリンパス株式会社 Scanning microscope apparatus and super-resolution image generation method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08508092A (en) * 1992-12-14 1996-08-27 グレイブリー・リサーチ・コーポレイション Imaging system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08171056A (en) * 1994-12-19 1996-07-02 Olympus Optical Co Ltd Scanning type microscope
JP3201707B2 (en) * 1995-06-08 2001-08-27 株式会社エルモ社 Document presentation device
JP3874893B2 (en) * 1997-06-20 2007-01-31 株式会社キーエンス Scanning microscope

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08508092A (en) * 1992-12-14 1996-08-27 グレイブリー・リサーチ・コーポレイション Imaging system

Also Published As

Publication number Publication date
JP2000330026A (en) 2000-11-30

Similar Documents

Publication Publication Date Title
US6337474B1 (en) Scanning microscope
JP4309523B2 (en) 3D measurement confocal microscope
JP2007033217A (en) Interference measuring instrument, and interference measuring method
US7139073B1 (en) Imaging apparatus
JP2006023476A (en) Confocal scanning type microscope
JP4536845B2 (en) Confocal microscope
JP4410335B2 (en) Confocal microscope
JP4542302B2 (en) Confocal microscope system
JP4180322B2 (en) Confocal microscope system and computer program for parameter setting
JP4473987B2 (en) Confocal microscope
JP4290413B2 (en) Confocal microscope system with measurement repeat mode
JPH1152252A (en) Fluorescent microscope
JP2004138947A (en) Confocal microscopic system selective in scanning mode
JP4303465B2 (en) Confocal microscope
JP4963567B2 (en) Minute height measuring device
JP4050039B2 (en) Scanning confocal microscope and its image construction method
JP2004170572A (en) Confocal microscopic system having image connecting function, light quantity eccentricity correcting method and computer program
JP4185712B2 (en) Color microscope
JPH11326778A (en) Microscopic image observation device
JP2004170573A (en) Two-dimensional test pattern used for color confocal microscope system and adjustment of the system
Awamura et al. Color laser microscope
JP2005114713A (en) Magnification observation device, method of observing magnified image, operation program for magnification observation, and computer-readable recording medium
JP2000330027A (en) Confocal microscope
JP2004239890A (en) Magnifying observation device, magnified image observing method, magnifying observation device operation program, and computer-readable recording medium
JP2000171718A (en) Confocal optical scanner

Legal Events

Date Code Title Description
RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20050810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100615

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100617

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term