JP4563643B2 - Microscope focus detection apparatus and microscope equipped with the same - Google Patents

Microscope focus detection apparatus and microscope equipped with the same Download PDF

Info

Publication number
JP4563643B2
JP4563643B2 JP2002179810A JP2002179810A JP4563643B2 JP 4563643 B2 JP4563643 B2 JP 4563643B2 JP 2002179810 A JP2002179810 A JP 2002179810A JP 2002179810 A JP2002179810 A JP 2002179810A JP 4563643 B2 JP4563643 B2 JP 4563643B2
Authority
JP
Japan
Prior art keywords
contrast
objective lens
microscope
focus detection
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002179810A
Other languages
Japanese (ja)
Other versions
JP2004021185A (en
Inventor
章 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2002179810A priority Critical patent/JP4563643B2/en
Publication of JP2004021185A publication Critical patent/JP2004021185A/en
Application granted granted Critical
Publication of JP4563643B2 publication Critical patent/JP4563643B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、標本の観察に用いられる顕微鏡用焦点検出装置およびそれを備えた顕微鏡に関する。
【0002】
【従来の技術】
従来より、顕微鏡用の焦点検出装置として、画像コントラスト方式を採用した構成が知られている。画像コントラスト方式とは、標本の像を画像として取り込み、その画像のコントラストに基づいて焦点検出を行う方式である。
【0003】
なお、画像コントラスト方式では、「ステップ送り方式」が主に採用されている。ステップ送り方式とは、ステージと対物レンズとの位置関係を細かいステップで変更して一旦停止し、コントラストのサンプリングを行うことを繰り返す方式である。このようなステップ送り方式には、焦点検出を精度良く行うことができるという利点がある。
【0004】
【発明が解決しようとする課題】
しかし、従来のステップ送り方式では、細かいステップで位置関係を変更させるため、合焦までに時間がかかるという問題があった。
このような問題を解決するために、ステージと対物レンズとの位置関係を連続的に変更しながらコントラストのサンプリングを行う「スキャン方式」も提案されているが、スキャン方式では速度が速すぎて焦点検出の精度が悪くなったり、速度が遅すぎて時間がかかったり、サンプリング回数が無駄に多くなる場合があった。
【0005】
本発明の目的は、精度を落とすことなく短時間で焦点検出を行うことができる顕微鏡用焦点検出装置およびそれを備えた顕微鏡を提供することにある。
【0006】
本発明の顕微鏡用焦点検出装置は、対物レンズを含み、標本の像を形成する結像光学系と、前記対物レンズを介して形成される標本の像のコントラストを所定の時間間隔(単位:時間/回)で周期的に検出する検出手段と、前記標本と前記対物レンズとのZ軸方向の相対的な位置関係を所定の速度(単位:距離/時間)で連続的に変更する変更手段と、前記対物レンズの倍率で決まる焦点深度の幅より広く、かつ、前記倍率が低いほど広くなるよう予め設定された合焦可能範囲(単位:距離)を読み込む読込手段と、前記合焦可能範囲での前記コントラストの検出回数(単位:回)と、前記時間間隔とユーザ操作に基づいて設定する設定手段と、前記合焦可能範囲と前記検出回数と前記時間間隔とを用いて、速度=合焦可能範囲÷時間間隔÷検出回数の式により前記位置関係の変更速度を算出し、前記変更速度に基づいて前記検出手段および前記変更手段を制御して焦点検出を行う制御手段とを備えたことを特徴とする。
【0010】
本発明の顕微鏡は、上述した顕微鏡用焦点検出装置と、倍率が異なる複数の前記対物レンズを支持するとともに、前記複数の対物レンズのうち何れか1つを観察光路に挿入する挿入手段とを備え、前記顕微鏡用焦点検出装置の前記読込手段は、前記観察光路に挿入された対物レンズの倍率で決まる焦点深度の幅より広く、かつ、前記倍率が低いほど広くなるよう予め設定された前記合焦可能範囲を読み込むことを特徴とする。
【0011】
以下、図面を用いて本発明の実施形態を詳細に説明する。なお、以下の説明では、本発明の顕微鏡用焦点検出装置が組み込まれた顕微鏡を用いて説明を行う
発明の顕微鏡10は、図1に示すように、観察対象となる標本(不図示)を載置するステージ11、対物レンズ12、第2対物レンズ13、中間変倍レンズ14、CCDセンサ15、信号処理部16、CPU17、メモリ18、表示部19、および入力部20から構成されている。
【0012】
ここで、不図示の標本は、カバーガラス21とスライドガラス22との間に挟まれた生物標本(例えば細胞)である。図示省略したが、顕微鏡10には、ステージ11上に載置された標本を照明する照明装置も設けられる。照明装置は、透過型または落射型である。透過型の照明装置はステージ11の下方に配置され、落射型の照明装置はステージ11の上方に配置される。
【0013】
また、図1には1本の対物レンズ12のみを示したが、本実施形態の顕微鏡10は、倍率が異なる複数の対物レンズ12によって観察可能である。複数の対物レンズ12は、不図示の電動レボルバに支持されている。そして、電動レボルバ(不図示)は、これを回転駆動する駆動部23に接続されている。
さらに、ステージ11はこれを駆動する駆動部24に接続され、図1の矢印aの方向に駆動される。ステージ11の移動によって、標本と対物レンズ12との相対的な位置関係が変更される。
【0014】
以上説明した構成の顕微鏡10において、対物レンズ12は、標本の像を拡大する。そして、第2対物レンズ13は、対物レンズ12からの平行光を集光して結像光に変換する。中間変倍レンズ14は、結像倍率を切り替える。
標本の像は、対物レンズ12と第2対物レンズ13と中間変倍レンズ14とを通過し、CCDセンサ15の撮像面に結像される。
【0015】
CCDセンサ15の撮像面では、各々の受光部に電荷が蓄積される。そして、CCDセンサ15の各受光部に蓄積された電荷は、CCDセンサ15を介して転送され、撮像信号として信号処理部16に出力される。
そして、信号処理部16で処理された画像は、表示部19において不図示のモニタに表示される。したがって、ユーザは、表示部19に表示された画像を見ることにより標本の像を観察することができる。
【0016】
次に、顕微鏡10における焦点検出装置について説明する。ただし、焦点検出装置の一部の構成は、顕微鏡10の構成を兼用したものであるため説明を省略する。ここでは、焦点検出に関わる部分の構成と焦点検出に際しての各部の動作について、以下に説明する。
始めに、ステージ11の駆動部24について図2を用いて説明する。
【0017】
駆動部24には、図2に示すように、ステージ11に取り付けられたDCモータ31と、DCモータ31を回転させるモータ駆動回路32と、DCモータ31の回転角を検出するロータリーエンコーダ33と、ロータリーエンコーダ33の検出結果に基づいてステージ11の上下動をカウントするアップ/ダウンカウンタ34とが設けられている。アップ/ダウンカウンタ34のカウント結果は、上下動位置信号としてCPU17に出力される。なお、ロータリーエンコーダ33の代わりにリニアエンコーダーを用いても良い。
【0018】
また、駆動部24には、D/Aコンバータ35が設けられる。CPU17は、D/Aコンバータ35を介してステージ11の位置の変更速度を示す情報をモータ駆動回路32に対して出力する。なお、上記した変更速度を、以下では、「Z軸サーチ速度」と称する。Z軸サーチ速度を示す情報は、後述するメモリ18の変数Zspeed[ ]の領域に記憶される(詳細は後述する)。
【0019】
また、CPU17は、モータ駆動回路32に対して、後述するステップ送りの際にステージ11の位置を変更させる変更量を示す情報も出力する。なお、上記した変更量を、以下では、「ステップ送り量」と称する。ステップ送り量を示す情報は、後述するメモリ18の変数Zstep[ ]の領域に記憶される(詳細は後述する)。
【0020】
ステージ11は、上記したDCモータ31が回転すると、その回転角に応じて上下動する。そして、ステージ11上に載置された標本もカバーガラス21、スライドガラス22と共に上下動し、標本と対物レンズ12との位置関係が変更される。
また、駆動部24には、リミットセンサ36が設けられている。リミットセンサ36は、ステージ11の上下動の限界点を検出するセンサであり、対物レンズ12とカバーガラス21との接触を回避するために設けたものである。
【0021】
次に、信号処理部16について、図2を用いて説明する。
信号処理部16は、図2に示すように、A/Dコンバータ37とコントラスト検出回路38とで構成されている。
A/Dコンバータ37は、CCDセンサ15から出力される撮像信号をディジタルデータ化し、画像信号としてCPU17とコントラスト検出回路38とに出力する。なお、画像信号の出力は一定の時間間隔で周期的に行われ、この周期を「サンプリング周期」と称する。サンプリング周期を示す情報は、後述するメモリ18の変数Mcycの領域に記憶され、本実施形態では、例えば、1/15(S)とする。このようなサンプリング周期は、一般的に、顕微鏡10および顕微鏡用焦点検出装置の構成、性能に応じた固有の値である。
【0022】
コントラスト検出回路38は、CPU17からの指示に応じて、A/Dコンバータ37から出力された画像信号のコントラストを検出し、コントラストデータとしてCPU17に出力する。
ここで、コントラスト検出回路38からCPU17に対して出力されるコントラストデータについて図3(a)を用いて説明しておく。図3(a)の横軸は、ステージ11のZ位置を示し、縦軸は、コントラストデータを示している。コントラストデータは、標本像のコントラストの大小を示す。そのため、ステージ11が上下動してZ位置が変わると、コントラストデータも変化し、あるZ位置で最大となる。この位置が、図3(a)の合焦位置であり、以下、合焦位置Zpと称する。
【0023】
このようにコントラストデータに基づいて焦点検出を行う方式を「画像コントラスト方式」という。
CPU17は、上記したようにステージ11の駆動部24を制御しながら、コントラストデータとそのときのステージ11のZ位置とを読み出し、メモリ18に記憶する。ここで、Z軸サーチ速度の変化に応じたコントラストデータの例を図3(b)〜図3(d)に示す。図3(b)〜図3(d)は、対物レンズ12の倍率が同じで、Z軸サーチ速度が異なる場合のコントラストデータの例である。図3(b)がもっとも速度が遅く、図3(d)がもっとも速度が速い。また、図3(b)〜図3(d)中の点線の間隔は、分解能を表す。分解能とは、ステージ11の駆動部24のロータリーエンコーダ33が、「ステージ11のZ位置が変化した」と検出できる最小の間隔である。
【0024】
上記したように、サンプリング周期は一定(1/15(S))である。そのため、異なる2つのZ位置の間(例えば、合焦可能範囲内)で読み出されるコントラストデータの数は、Z軸サーチ速度が遅いほど多くなり、Z軸サーチ速度が速いほど少なくなる。図3(b)では、コントラストデータの数が多いので分解能よりも細かくサンプリングが行われている。したがって無駄が多い。また、図3(d)では、コントラストデータの数が少ないので焦点検出の精度が低い。
【0025】
次に、対物レンズ12が支持されている電動レボルバ(図1では図示せず)の駆動部23について、図2を用いて説明する。
図2に示すように、駆動部23には、電動レボルバ12aに取り付けられたDCモータ39と、CPU17からの回転制御信号に基づいてDCモータ39を回転させるモータドライバ40とが設けられる。
【0026】
電動レボルバ12aは、上記したDCモータ39の回転に応じて回転する。そして、電動レボルバ12aに支持された複数の対物レンズ12も共に回転し、何れか1つの対物レンズ12が顕微鏡10の観察光路に挿入される。
駆動部23には、電動レボルバ12aのレボルバ穴(例えば6個)のうち、顕微鏡10の観察光路に挿入されたレボルバ穴の番号(1〜6)を検知するセンサ(不図示)も設けられる。
【0027】
次に、入力部20について、図2を用いて説明する。
入力部20には、図2に示すように、キーボード41、対物レンズ切換スイッチ42および合焦制御開始スイッチ43が設けられている。
本実施形態の顕微鏡10において、キーボード41は、対物レンズ情報などを入力するときに使用される。キーボード41から入力された対物レンズ情報は、メモリ18に記憶される。
【0028】
対物レンズ切換スイッチ42は、顕微鏡10の観察光路に挿入された対物レンズ12を別の対物レンズ12に切り換えるときに使用される。CPU17は、対物レンズ切換スイッチ42から入力された切換信号に基づいて電動レボルバの駆動部23を制御し、切換信号によって指定されたレボルバ穴を顕微鏡10の観察光路に挿入する。
【0029】
合焦制御開始スイッチ43は、顕微鏡10における合焦制御の開始を指示するときに使用される。CPU17は、合焦制御開始スイッチ43が操作されると、AF制御を実行する。
このように、CPU17は、メモリ18に格納された制御プログラムや各種データ、信号処理部16からのコントラストデータ、入力部20から入力された各種の信号などを適宜参照しながら、上記したステージ11の駆動部24や電動レボルバの駆動部23を制御する。
【0030】
なお、メモリ18には、顕微鏡10において使用する可能性のある7本の対物レンズ12に関して、図4(d)に示すように、各々の倍率に応じて設定された合焦可能範囲(μm)のデータが、予め記憶されている。
ここで、対物レンズ12の倍率と合焦可能範囲との関係について図5を用いて説明する。図5に示すように対物レンズ12の倍率が低いほど、合焦可能範囲および焦点深度の幅は広くなる。また、対物レンズ12の倍率が高いほど、合焦可能範囲および焦点深度の幅は狭くなる。
【0031】
合焦可能範囲を示す情報は、メモリ18の変数Zarea[ ]の領域に記憶される。CPU17は、対物レンズ12が1倍のときにはZarea[1]、対物レンズ12が2倍のときにはZarea[2]というように、対物レンズ12の倍率に対応する部分を参照する(図4(d)参照)。
また、メモリ18には、前記した対物レンズ情報として、対物レンズ12の倍率情報が変数Mobj_mag[ ]の領域に記憶され(図4(a)参照)、対物レンズ12の開口数情報が変数Mobj_na[ ]の領域に記憶される(図4(b)参照)。さらに、メモリ18には、前記したサンプリング周期情報がMcycの領域に記憶され(図4(c)参照)、Z軸サーチ速度情報がZspeed[ ]の領域に記憶され(図4(e)参照)、Z軸ステップ送り量情報がZstep[ ]の領域に記憶される(図4(f)参照)。
【0033】
次に、上記のように構成された顕微鏡10における焦点検出動作について、図6〜図8のフローチャートを用いて説明する。図7に示す手順(ステップS21〜34)は、図6に示す手順(ステップS1〜12)のステップS10の処理を詳細に示したものであり、図8に示す手順(ステップS41〜50)は、図6に示す手順(ステップS1〜12)のステップS12の処理を詳細に示したものである。
【0034】
CPU17は、顕微鏡10に電源が投入されると、まず、顕微鏡10の各部(メモリ18など)を初期化する(図6のステップS1)。この初期化によって、ステージ11が基準位置に配置される。基準位置とは、予め定められたステージ11の移動開始位置であり、対物レンズ12の倍率に拘らず同じ位置である(図3,図5参照)。また、CCDセンサ15による標本の像の撮像が開始される。
【0035】
初期化の後、CPU17は、入力部20からの入力信号に基づく設定を行う(図6のステップS2〜S8)。その後、合焦制御開始スイッチ43の入力があれば(ステップS9がY)、CPU17は、各部を介して、後述するピークサーチ処理を行い(図6のステップS10)、ピークサーチが成功すると(図6のステップS11Y)、ピークサーチの結果に基づいて後述するピーク検出を行う(図6のステップS12)。
【0036】
まず始めに、入力部20からの入力信号に基づく設定処理(図6のステップS2〜S8)について説明する。
CPU17は、入力部20を介して対物レンズ情報が入力されると(ステップS2がY)、対物レンズ情報をレボルバ穴の番号に対応付けてメモリ18に記憶する(ステップS3)。対物レンズ情報は、レボルバ穴ごとの対物レンズ12の倍率と開口数とであり、倍率はMobj_mag[ ]の領域に記憶され(図4(a)参照)、開口数はMobj_na[ ]の領域に記憶される(図4(b)参照)。
【0037】
次に、CPU17は、図4(d)のデータを参照して、対物レンズ12の倍率に応じた合焦可能範囲(Zarea[ ])を読み出す(ステップS4)。
そして、CPU17は、メモリ18内の情報および合焦可能範囲情報に基づいて、Z軸サーチ速度とZ軸ステップ送り量とを算出する(ステップS5,S6)。
【0038】
Z軸サーチ速度は以下の式を用いて算出される。
Z軸サーチ速度(μm/S)=Zarea[ ]÷Mcyc÷8・・・式1
式1のZarea[ ]は対物レンズ12の倍率に対応した合焦可能範囲であり、Mcycはサンプリング周期である。
また、式1の「8」の部分は、合焦可能範囲内で8回程度サンプリング(コントラストの検出)を行うことを意味する。合焦可能範囲内で8回程度サンプリングを行うことにより、合焦位置Zpを大まかに見つけることができる。
【0039】
そして、CPU17は、算出したZ軸サーチ速度を、メモリ18のZspeed[ ]の領域に、レボルバ穴の番号に対応付けて記憶する(図4(e)参照)。
また、Z軸ステップ送り量は、以下の式を用いて算出される。
Z軸ステップ送り量(μm)=2×λ÷{2×(Mobj_na[ ])2×4}・・・式2式2のλは照明装置による照明光の波長であり、Mobj_na[ ]は対物レンズ12の開口数である。
【0040】
また、式2の「4」の部分は、焦点深度内で4回程度サンプリング(コントラストの検出)を行うことを意味する。焦点深度内で4回程度サンプリングを行うことにより、高精度で焦点検出を行い合焦位置Zpに位置決めすることができる。
そして、CPU17は、算出したZ軸ステップ送り量を、メモリ18のZstep[ ]の領域に、レボルバ穴の番号に対応付けて記憶する(図4(f)参照)。
【0041】
以上のような設定処理の結果、メモリ18には、対物レンズ情報(倍率:Mobj_mag[ ]、開口数:Mobj_na[ ])、サンプリング周期情報(Mcyc)、合焦可能範囲情報(Zarea[ ])、Z軸サーチ速度情報(Zspeed[ ])、Z軸ステップ送り量情報(Zstep[ ])が記憶されることになる。
その後、対物レンズ切換スイッチ42の入力があれば(ステップS7Y)、CPU17は、入力された切換信号に基づいて対物レンズ12の切換制御を行う(ステップS8)。
【0042】
次に、図7を用いてピークサーチ処理について詳細に説明する。ピークサーチ処理は、高速かつ連続的にステージ11の位置を変更しながら、周期的にサンプリングを行い、合焦位置Zpを大まかに見つけるスキャン方式の処理である。
まず、CPU17は、メモリ18を初期化する(ステップS21)。メモリ18には、以下の各領域が含まれる。
【0043】
・コントラストデータの最大値を記憶する領域:コントラスト最大値メモリCmax
・バックアップ用のコントラストデータを記憶する領域:コントラスト一時記憶メモリCo
・コントラスト最大値のときのZ位置を記憶する領域:最大Z位置メモリZmax・コントラスト一時記憶メモリCoの値に対応したZ位置を記憶する領域:Z軸位置一時記憶メモリZo
・更新されたコントラストデータを記憶する領域:コントラストメモリC
・コントラストメモリCの値に対応したZ位置を記憶する領域:Z位置メモリZ初期化により、コントラスト最大値メモリCmax、コントラスト一時記憶メモリCo、最大Z位置メモリZmax、Z軸位置一時記憶メモリZoにそれぞれ初期化データ(最小値)が記憶される。
【0044】
次に、CPU17は、ステージ11の駆動部24を制御して、ステージ11を基準位置(サーチ開始位置)に移動させ、Z位置を読み出す(ステップS22)。そして、CPU17は、最大Z位置メモリZmax、Z軸位置一時記憶メモリZoにそれぞれ現在位置を記憶する。
サーチ開始位置への移動が終了すると、CPU17は、メモリ18のZspeed[ ]の領域からZ軸サーチ速度情報を読み出し(ステップS23)、D/Aコンバータ35を介して、モータ駆動回路32に、Z軸サーチ速度情報を出力する。そして、CPU17は、ステージ11の駆動部24とコントラスト検出回路38とに制御開始信号を出力して、実際のピークサーチ処理を開始する(ステップS24)。
【0045】
CPU17により制御開始信号が出力されると、ステージ11の位置の連続的な変更が始まるとともに、コントラストの周期的な検出が始まる。この時のステージ11の位置の変更速度はZspeed[ ]に対応した速度であり、コントラストの検出周期はMcycに対応したサンプリング周期である。
コントラストデータが更新されると(ステップS25Y)、CPU17は、コントラストデータをコントラストメモリCに記憶し、そのときのZ位置をZ位置メモリZに記憶する(ステップS26)。
【0046】
このとき、ステージ11の駆動部24のリミットセンサ36を介して、リミット検出信号が検出された場合(ステップS27Y)、CPU17は、ステージ11の駆動部24に制御停止信号を出力し(ステップS28)、エラー処理を行う(ステップS29)。
リミット検出信号が検出されなかった場合(ステップS27N)、CPU17は、コントラストメモリCの値がコントラスト最大値メモリCmaxの値より大きいか否かを判定する(ステップS30)。そして、コントラストメモリCの値のほうが大きかった場合(ステップS30Y)、コントラスト最大値メモリCmaxの値をコントラストメモリCの値に更新し、最大Z位置メモリZmaxの値をZ位置メモリZの値に更新する(ステップS31)。その後、CPU17は、ステップS25に戻り、ステップS25〜ステップS31の処理を繰り返す。
【0047】
したがって、CPU17は、コントラストメモリCの値がコントラスト最大値メモリCmaxの値より小さくなる(ステップS30N)まで、ステージ11の位置を連続的に移動させつつ、Mcycのサンプリング周期でコントラストの検出を行い続ける。
そして、コントラストメモリCの値のほうが小さくなる(ステップS30N)と、CPU17は、ピーク位置を通過したか否か判定する(ステップS32)。
【0048】
なお、ピーク位置を通過したか否かの判定は、今回の処理で入力したコントラストメモリCの値とコントラスト最大値メモリCmaxの値との間に所定の差分があるかどうかを判断することにより行われる。
ピーク位置を通過したと判定した場合(ステップS32Y)、CPU17は、ステージ11の駆動部24とコントラスト検出回路38とに制御停止信号を出力し(ステップS33)、ピークサーチ処理を終了する。
【0049】
一方、ピーク位置を通過したと判定できなかった場合(ステップS32N)、CPU17は、今回の処理で入力したコントラストメモリCの値をバックアップ用にコントラスト一時記憶メモリCoにコピーし、Z位置メモリZの値をバックアップ用にZ位置一時記憶メモリZoにコピーする(ステップS34)。これらのバックアップ用のデータは、ピーク位置を通過したか否かを次に判定する(ステップS32)際に参照される。そして、CPU17は、ステップS25に戻り、ステップS25〜ステップS34の処理を繰り返す。
【0050】
ここで、ピークサーチ処理時のステージ11の移動およびコントラストの検出の様子を図9(a)のグラフを用いて説明する。ピークサーチ処理時におけるステージ11のZ位置の移動は図9(a)の矢印の通りである。CPU17が、ステージ11の駆動部24に対して出力する信号は、制御開始信号および制御停止信号だけである。したがって、ステージ11の位置は、CPU17により制御開始信号が出力されてから制御停止信号が出力されるまでの間、高速で、連続的に変更される。また、コントラストの検出は、<1>〜<8>のタイミングで周期的に行われる。そして、ピークサーチ処理が正常に終了した時点で、コントラスト最大値メモリCmaxには<7>のときのコントラストデータが記憶され、最大Z位置メモリZmaxには<7>のときのZ位置が記憶される。
【0051】
なお、CPU17により制御停止信号が出力されてから、実際にステージ11が停止するまでにはタイムラグがあるため、ピークサーチが終了した時点で、ステージ11は、<8>のZ位置よりも図9(a)のグラフ上の右方にシフトする。
【0052】
以上説明したピークサーチ処理の結果、ステージ11の位置は、高速で、連続的に変更され、合焦位置Zpの近傍に迅速に位置決めされることになる。
次に、図8を用いてピーク検出処理について詳細に説明する。ピーク検出処理は、ピークサーチ処理の結果を踏まえて、高精度で焦点検出を行い、合焦位置Zpにステージ11を位置決めするステップ送り方式の処理である。
【0053】
まず、CPU17は、コントラスト一時記憶メモリCoに初期化データ(最小値)を記憶し、Z位置一時記憶メモリZoに現在位置データを記憶する(ステップS41)。
次に、CPU17は、メモリ18のZstep[ ]の領域から、Z軸ステップ送り量情報を読み出し(ステップS42)、D/Aコンバータ35を介して、モータ駆動回路32に、Z軸ステップ送り量情報を出力する。そして、CPU17は、ステージ11の駆動部24とコントラスト検出回路38とに制御開始信号を出力して実際のピーク検出処理を開始する(ステップS43)。ただし、ピーク検出処理においては、ステージ11が移動する毎にコントラストの検出を行うにように、CPU17から制御開始信号が間欠的に出力されるものとする。ステージ11の位置が変更されると、コントラストの検出が行われ、検出結果に応じて、再びステージ11の位置が変更されることになる。また、ステージ11は、上記したピークサーチ方向とは逆の方向(図9(a)のグラフの左方)に移動するよう制御される。
【0054】
CPU17により制御開始信号が出力されると、ステージ11の位置の間欠的な変更(ステップ送り)が始まるとともに、ステージ11の位置が変更される毎にコントラストの検出が始まる。この時のステージ11の位置の変更量はZstep[ ]に対応したステップ送り量であり、コントラストはステージ11の位置が変更される毎に検出される。
【0055】
コントラストデータが更新されると(ステップS44Y)、CPU17は、コントラストデータをコントラストメモリCに記憶し、そのときのZ位置をZ位置メモリZに記憶する(ステップS45)。
次に、CPU17は、コントラストメモリCの値がコントラスト最大値メモリCmaxの値より大きいか否かを判定する(ステップS46)。そして、コントラストメモリCの値のほうが大きかった場合(ステップS46Y)、CPU17は、コントラスト最大値メモリCmaxの値をコントラストメモリCの値に更新し、最大Z位置メモリZmaxの値をZ位置メモリZの値に更新する(ステップS47)。そして、CPU17は、ステップS43に戻り、ステップS43〜ステップS47の処理を繰り返す。
【0056】
したがって、CPU17は、コントラストメモリCの値がコントラスト最大値メモリCmaxの値より小さくなる(ステップS46N)まで、ステージ11の位置を間欠的に変更させる毎に、コントラストの検出を行い続ける。
そして、コントラストメモリCの値のほうが小さくなる(ステップS46N)と、CPU17は、前回のコントラストデータが最大値であるか否かを判定する(ステップS48)。なお、前回のコントラストデータが最大値であるか否かの判定は、図7ステップS30と同様に行われる。
【0057】
前回のコントラストデータが最大値であると判定した場合(ステップS48Y)、CPU17は、前回のコントラストデータに対応付けて記憶されているZ位置にステージ11を移動する(ステップS49)。なお、「前回のコントラストデータに対応付けて記憶されているZ位置」は、コントラストデータが最大値であるZ位置、すなわち合焦位置Zpである。そして、CPU17は、ピーク検出処理を終了する。
【0058】
一方、前回のコントラストデータが最大値であると判定できなかった場合(ステップS48N)、CPU17は、今回の処理で入力したコントラストメモリCの値をバックアップ用にコントラスト一時記憶メモリCoにコピーし、Z位置メモリZの値をバックアップ用にZ位置一時記憶メモリZoにコピーする(ステップS50)。これらのバックアップ用のデータは、前回のコントラストデータが最大値であるか否かを次に判定する(ステップS48)際に参照される。そして、CPU17は、ステップS43に戻り、ステップS43〜ステップS50の処理を繰り返す。
【0059】
ここで、ピーク検出処理時のステージ11の移動およびコントラストの検出の様子を図9(b)のグラフを用いて説明する。ピーク検出処理時におけるステージ11のZ位置の移動は図9(b)の矢印の通りである。CPU17は、(1)〜(6)のタイミングで、ステージ11の駆動部24に制御開始信号を出力する。ステージ11の位置は、CPU17により制御開始信号が出力される度に、間欠的に変更(ステップ送り)される。また、コントラストの検出は<1>〜<6>のタイミングで、ステージ11の位置が変更される毎に行われる。そして、ピーク検出処理が終了した時点で、コントラスト最大値メモリCmaxには<5>のときのコントラストデータが記憶され、最大Z位置メモリZmaxには<5>のときのZ位置(合焦位置Zp)が記憶される。
【0060】
以上説明したピーク検出処理の結果、ステージ11は、合焦位置Zpに精度良く位置決めされることになる。
上記のように、本実施形態の顕微鏡10によれば、スキャン方式で大まかに焦点検出を行い、その結果に基づいてステップ送り方式の焦点検出を行うことにより、短時間で精度良く焦点検出を行うことができる。
【0061】
特に、ステージ11の位置を変更する速度を、対物レンズ情報に基づいて調整することにより、最適な速度でスキャン方式の焦点検出を行うことができる。例えば、速度が速すぎて焦点検出の精度が悪くなるのを防ぐことができる。また、速度が遅すぎて時間がかかったり、サンプリング回数が無駄に多くなるのを防ぐことができる。また、ステップ送り量を、対物レンズ情報に基づいて調整することにより、最適なステップ送り量でステップ送り方式の焦点検出を行うことができる。
【0062】
また、本実施形態の顕微鏡10によれば、観察用画像を撮像する光学系(12〜14)およびCCDセンサ15を兼用して焦点検出を行う。したがって、焦点検出用の独自の光学系を必要としないためコストを抑えることができる。
なお、上記した実施形態では、スキャン方式とステップ送り方式とを組み合わせて焦点検出を行う例を示したが、スキャン方式のみを用いて焦点検出を行うようにしても良い。この場合、Z軸サーチ速度を調整してスキャン方式の焦点検出を行うことにより、短時間で精度良く焦点検出を行うことができる。なお、スキャン方式のみを用いて焦点検出を行う場合、図3(c)に示したように、分解能に応じた数のコントラストデータを検出できるようにZ軸サーチ速度を調整することにより、無駄なく、精度良く焦点検出を行うことができる。
【0063】
また、対物レンズ12の倍率が低い場合には、スキャン方式のみで十分な焦点検出精度を得ることができる。さらに、対物レンズ12の倍率に応じて、スキャン方式とステップ送り方式とを組み合わせて焦点検出を行うか否かを決定するようにすると良い。
なお、上記した実施形態では、サンプリング周期(コントラストの検出周期)が顕微鏡10に応じた固有の値である例を示したが、顕微鏡10および顕微鏡用焦点検出装置の構成、性能に応じて可変であっても良い。その場合、サンプリング周期とZ軸サーチ速度との何れか一方または両方を変化させることにより、サンプリング周期とZ軸サーチ速度との関係を調整することができる。
【0064】
サンプリング周期とZ軸サーチ速度とが決まると、焦点検出精度が決まる。また、焦点検出精度が決まると、サンプリング周期とZ軸サーチ速度とを決めることができる。すなわち、サンプリング周期とZ軸サーチ速度との間には、相関関係がある。例えば、ある焦点検出精度を実現するためには、サンプリング周期とZ軸サーチ速度との何れか一方または両方を変化させることにより、サンプリング周期とZ軸サーチ速度との関係を調整すれば良い。
【0065】
したがって、サンプリング周期とZ時サーチ速度との関係を調整することにより、焦点検出の精度を調整することになる。そのため、このような調整を行うことにより、例えば、対物レンズ12の倍率が変わっても同じ焦点検出精度で焦点検出を行うことができる。また、同様の調整を行うことにより、例えば、対物レンズ12が同じであっても所望の焦点検出精度で焦点検出を行うことができる。
【0066】
なお、サンプリング周期が可変である場合には、対物レンズ情報入力の際に、サンプリング周期を設定可能にすると良い。また、設定は、顕微鏡10および顕微鏡用焦点検出装置の構成、性能に応じて予め決められたいくつかのサンプリング周期から選択するようにすると良い。
また、上記した実施形態では、Z軸サーチ速度を、予め設定された合焦可能範囲内でのサンプリング回数(コントラストの検出回数)に基づいて算出する例を示したが、このサンプリング回数をユーザ操作により設定するようにしても良い。
図6ステップS5で用いた式1の「8」の部分を「変数A」と置き換えると、式1により、合焦可能範囲内でA回程度サンプリング(コントラストの検出)を行うのに適当なZ軸サーチ速度を算出することができる。
【0067】
さらに、上記したようにサンプリング周期が可変であり、合焦可能範囲内でのサンプリング回数が設定可能である場合には、ユーザ操作により設定されたサンプリング回数を実現するようにサンプリング周期とZ軸サーチ速度とを調整すると良い。
なお、Z軸ステップ送り量についても同様に、焦点深度内でのサンプリング回数を設定可能にしても良い。
【0068】
また、上記した実施形態では、焦点検出に用いるCCDセンサ15として、観察像撮像用のエリアセンサを兼用して用いる例を示したが、受光部が一列に配列されたラインセンサを焦点検出用に新たに備えても良い。その場合、図1の対物レンズ12と第2対物レンズ13との間に光路分割素子を設け、観察像撮像用のエリアセンサと焦点検出用のラインセンサとに光路を分割すれば良い。
【0069】
また、上記した実施形態では、落射型または透過型の照明によって生物標本を観察する顕微鏡10の例を示したが、本発明は、生物標本に限らず、例えば半導体ウエハを落射照明で観察する顕微鏡などにも適用できる。
さらに、上記した実施形態では、標本と対物レンズ12との位置関係を調整するためにステージ11を上下動させる例を示したが、対物レンズ12を上下動させても良いし、対物レンズ12と標本との双方を上下動させても良い。
【0070】
【発明の効果】
以上説明したように、本発明によれば、精度を落とすことなく短時間で焦点検出を行うことができる。
【図面の簡単な説明】
【図1】本実施形態の顕微鏡の全体構成を示す図である。
【図2】本実施形態の顕微鏡の電気的な構成を示すブロック図である。
【図3】コントラストデータについて説明する図である。
【図4】本実施形態の顕微鏡のメモリに記憶される情報を示すテーブルである。
【図5】対物レンズの倍率と合焦可能範囲および焦点深度との関係を示す図である。
【図6】本実施形態の顕微鏡における焦点検出動作を示すフローチャートである。
【図7】本実施形態の顕微鏡における焦点検出動作を示すフローチャートである。
【図8】本実施形態の顕微鏡における焦点検出動作を示すフローチャートである。
【図9】焦点検出動作を説明する図である。
【符号の説明】
10 顕微鏡
11 ステージ
12 対物レンズ
13 第2対物レンズ
14 中間変倍レンズ
15 CCDセンサ
16 信号処理部
17 CPU
18 メモリ
19 表示部
20 入力部
21 カバーガラス
22 スライドガラス
23,24 駆動部
31,39 DCモータ
32 モータ駆動回路
33 ロータリーエンコーダ
34 アップ/ダウンカウンタ
35 D/Aコンバータ
36 リミットセンサ
37 A/Dコンバータ
38 コントラスト検出回路
40 モータドライバ
41 キーボード
42 対物レンズ切換スイッチ
43 合焦制御開始スイッチ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a microscope focus detection apparatus used for specimen observation and a microscope equipped with the same.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a configuration employing an image contrast method is known as a focus detection device for a microscope. The image contrast method is a method in which an image of a specimen is taken as an image and focus detection is performed based on the contrast of the image.
[0003]
In the image contrast method, the “step feed method” is mainly employed. The step feed method is a method in which the positional relationship between the stage and the objective lens is changed in fine steps, temporarily stopped, and contrast sampling is repeated. Such a step feed method has an advantage that focus detection can be performed with high accuracy.
[0004]
[Problems to be solved by the invention]
  However, the conventional step feed method has a problem that it takes time to focus because the positional relationship is changed in fine steps.
  In order to solve such problems, a “scanning method” has been proposed in which the contrast is sampled while continuously changing the positional relationship between the stage and the objective lens.If the speed is too fast and the focus detection accuracy is poor, the speed is too slow and it takes a long time, or the number of samplings is unnecessarily highwas there.
[0005]
  The purpose of the present invention is toWithout loss of accuracyIt is an object of the present invention to provide a focus detection apparatus for a microscope capable of performing focus detection in a short time and a microscope including the same.
[0006]
  The focus detection apparatus for a microscope of the present invention isAn imaging optical system that includes an objective lens and forms an image of the specimen; andThe contrast of the sample image formed through the objective lensAt a predetermined time interval (unit: time / time)The relative positional relationship in the Z-axis direction between the detection means for periodically detecting, the sample and the objective lens,Predetermined speed(Unit: distance / time)And a focusable range that is preset to be wider as the magnification is lower than the width of the focal depth determined by the magnification of the objective lens.Reading means for reading (unit: distance) and the focusable rangeNumber of times the contrast is detected in(Unit: times) and the time intervalTheBased on user operationSetting means for setting and the focusable range, The number of detection times and the time interval are used to calculate the change speed of the positional relationship by the following equation: speed = focusable range / time interval / number of detection times.And a control means for controlling the detection means and the changing means to perform focus detection.
[0010]
  The microscope of the present invention is,UpThe microscope focus detection apparatus including the microscope focus detection apparatus described above and an insertion unit that supports the plurality of objective lenses having different magnifications and inserts any one of the plurality of objective lenses into an observation optical path. Said of the deviceReading meansIs the magnification of the objective lens inserted in the observation optical pathThe focusable range preset in advance is read so that it is wider than the width of the depth of focus determined by, and becomes wider as the magnification is lowerIt is characterized by that.
[0011]
  Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following description, the description will be made using a microscope in which the microscope focus detection apparatus of the present invention is incorporated..
BookAs shown in FIG. 1, the microscope 10 of the invention includes a stage 11 on which a specimen (not shown) to be observed is placed, an objective lens 12, a second objective lens 13, an intermediate zoom lens 14, a CCD sensor 15, a signal. The processing unit 16, the CPU 17, the memory 18, the display unit 19, and the input unit 20 are included.
[0012]
Here, the specimen (not shown) is a biological specimen (for example, a cell) sandwiched between the cover glass 21 and the slide glass 22. Although not shown, the microscope 10 is also provided with an illumination device that illuminates the specimen placed on the stage 11. The illumination device is a transmission type or an epi-illumination type. The transmissive illumination device is disposed below the stage 11, and the epi-illumination device is disposed above the stage 11.
[0013]
Although only one objective lens 12 is shown in FIG. 1, the microscope 10 of this embodiment can be observed with a plurality of objective lenses 12 having different magnifications. The plurality of objective lenses 12 are supported by an electric revolver (not shown). The electric revolver (not shown) is connected to a drive unit 23 that rotationally drives the electric revolver.
Further, the stage 11 is connected to a driving unit 24 for driving the stage 11 and is driven in the direction of an arrow a in FIG. As the stage 11 moves, the relative positional relationship between the sample and the objective lens 12 is changed.
[0014]
In the microscope 10 having the configuration described above, the objective lens 12 enlarges the sample image. The second objective lens 13 condenses the parallel light from the objective lens 12 and converts it into imaging light. The intermediate zoom lens 14 switches the imaging magnification.
The sample image passes through the objective lens 12, the second objective lens 13, and the intermediate magnification lens 14, and is formed on the imaging surface of the CCD sensor 15.
[0015]
On the imaging surface of the CCD sensor 15, electric charges are accumulated in each light receiving portion. Then, the charges accumulated in each light receiving unit of the CCD sensor 15 are transferred via the CCD sensor 15 and output to the signal processing unit 16 as an imaging signal.
The image processed by the signal processing unit 16 is displayed on a monitor (not shown) in the display unit 19. Therefore, the user can observe the image of the specimen by looking at the image displayed on the display unit 19.
[0016]
Next, the focus detection apparatus in the microscope 10 will be described. However, since a part of the configuration of the focus detection apparatus is also used as the configuration of the microscope 10, the description thereof is omitted. Here, the configuration of the part related to focus detection and the operation of each part during focus detection will be described below.
First, the drive unit 24 of the stage 11 will be described with reference to FIG.
[0017]
As shown in FIG. 2, the drive unit 24 includes a DC motor 31 attached to the stage 11, a motor drive circuit 32 that rotates the DC motor 31, a rotary encoder 33 that detects the rotation angle of the DC motor 31, An up / down counter 34 that counts the vertical movement of the stage 11 based on the detection result of the rotary encoder 33 is provided. The count result of the up / down counter 34 is output to the CPU 17 as a vertical movement position signal. A linear encoder may be used instead of the rotary encoder 33.
[0018]
The drive unit 24 is provided with a D / A converter 35. The CPU 17 outputs information indicating the change speed of the position of the stage 11 to the motor drive circuit 32 via the D / A converter 35. The above change speed is hereinafter referred to as “Z-axis search speed”. Information indicating the Z-axis search speed is stored in a variable Zspeed [] area of the memory 18 described later (details will be described later).
[0019]
Further, the CPU 17 also outputs information indicating a change amount for changing the position of the stage 11 at the time of step feed described later to the motor drive circuit 32. The above-described change amount is hereinafter referred to as “step feed amount”. Information indicating the step feed amount is stored in a variable Zstep [] area of the memory 18 to be described later (details will be described later).
[0020]
When the above-described DC motor 31 rotates, the stage 11 moves up and down according to the rotation angle. Then, the specimen placed on the stage 11 also moves up and down together with the cover glass 21 and the slide glass 22, and the positional relationship between the specimen and the objective lens 12 is changed.
Further, the drive unit 24 is provided with a limit sensor 36. The limit sensor 36 is a sensor that detects a limit point of vertical movement of the stage 11 and is provided to avoid contact between the objective lens 12 and the cover glass 21.
[0021]
Next, the signal processing unit 16 will be described with reference to FIG.
As illustrated in FIG. 2, the signal processing unit 16 includes an A / D converter 37 and a contrast detection circuit 38.
The A / D converter 37 converts the imaging signal output from the CCD sensor 15 into digital data, and outputs it as an image signal to the CPU 17 and the contrast detection circuit 38. The output of the image signal is periodically performed at regular time intervals, and this cycle is referred to as a “sampling cycle”. Information indicating the sampling period is stored in an area of a variable Mcyc in the memory 18 to be described later. In this embodiment, for example, it is 1/15 (S). Such a sampling period is generally a specific value corresponding to the configuration and performance of the microscope 10 and the microscope focus detection apparatus.
[0022]
The contrast detection circuit 38 detects the contrast of the image signal output from the A / D converter 37 in accordance with an instruction from the CPU 17 and outputs it to the CPU 17 as contrast data.
Here, the contrast data output from the contrast detection circuit 38 to the CPU 17 will be described with reference to FIG. The horizontal axis in FIG. 3A indicates the Z position of the stage 11, and the vertical axis indicates contrast data. The contrast data indicates the magnitude of the contrast of the sample image. Therefore, when the stage 11 moves up and down and the Z position changes, the contrast data also changes and becomes maximum at a certain Z position. This position is the in-focus position in FIG. 3A and is hereinafter referred to as an in-focus position Zp.
[0023]
A method of performing focus detection based on contrast data in this way is called an “image contrast method”.
The CPU 17 reads out the contrast data and the Z position of the stage 11 at that time and stores it in the memory 18 while controlling the driving unit 24 of the stage 11 as described above. Here, examples of contrast data corresponding to changes in the Z-axis search speed are shown in FIGS. 3 (b) to 3 (d). FIGS. 3B to 3D are examples of contrast data when the magnification of the objective lens 12 is the same and the Z-axis search speed is different. FIG. 3B shows the slowest speed and FIG. 3D shows the fastest speed. Further, the interval between dotted lines in FIGS. 3B to 3D represents the resolution. The resolution is the minimum interval at which the rotary encoder 33 of the drive unit 24 of the stage 11 can detect that “the Z position of the stage 11 has changed”.
[0024]
As described above, the sampling period is constant (1/15 (S)). For this reason, the number of contrast data read between two different Z positions (for example, within a focusable range) increases as the Z-axis search speed decreases, and decreases as the Z-axis search speed increases. In FIG. 3B, since the number of contrast data is large, sampling is performed more finely than the resolution. Therefore, there is a lot of waste. Further, in FIG. 3D, since the number of contrast data is small, focus detection accuracy is low.
[0025]
Next, the drive unit 23 of the electric revolver (not shown in FIG. 1) on which the objective lens 12 is supported will be described with reference to FIG.
As shown in FIG. 2, the drive unit 23 is provided with a DC motor 39 attached to the electric revolver 12 a and a motor driver 40 that rotates the DC motor 39 based on a rotation control signal from the CPU 17.
[0026]
The electric revolver 12a rotates according to the rotation of the DC motor 39 described above. The plurality of objective lenses 12 supported by the electric revolver 12 a also rotate together, and any one objective lens 12 is inserted into the observation optical path of the microscope 10.
The drive unit 23 is also provided with a sensor (not shown) that detects the number (1 to 6) of the revolver holes inserted in the observation optical path of the microscope 10 among the revolver holes (for example, six) of the electric revolver 12a.
[0027]
Next, the input unit 20 will be described with reference to FIG.
As shown in FIG. 2, the input unit 20 is provided with a keyboard 41, an objective lens switch 42, and a focus control start switch 43.
In the microscope 10 of the present embodiment, the keyboard 41 is used when inputting objective lens information and the like. The objective lens information input from the keyboard 41 is stored in the memory 18.
[0028]
The objective lens changeover switch 42 is used when the objective lens 12 inserted in the observation optical path of the microscope 10 is switched to another objective lens 12. The CPU 17 controls the drive unit 23 of the electric revolver based on the switching signal input from the objective lens switching switch 42 and inserts the revolver hole designated by the switching signal into the observation optical path of the microscope 10.
[0029]
The focus control start switch 43 is used when instructing the start of focus control in the microscope 10. When the focusing control start switch 43 is operated, the CPU 17 executes AF control.
As described above, the CPU 17 appropriately refers to the control program and various data stored in the memory 18, the contrast data from the signal processing unit 16, the various signals input from the input unit 20, and the like. The drive unit 24 and the drive unit 23 of the electric revolver are controlled.
[0030]
Note that the memory 18 has a focusable range (μm) set according to each magnification, as shown in FIG. 4D, for the seven objective lenses 12 that may be used in the microscope 10. These data are stored in advance.
Here, the relationship between the magnification of the objective lens 12 and the focusable range will be described with reference to FIG. As shown in FIG. 5, the lower the magnification of the objective lens 12, the wider the focusable range and the depth of focus. Further, the higher the magnification of the objective lens 12, the narrower the focusable range and the depth of focus.
[0031]
Information indicating the focusable range is stored in a variable Zarea [] area of the memory 18. The CPU 17 refers to a portion corresponding to the magnification of the objective lens 12 such as Zarea [1] when the objective lens 12 is 1 × and Zarea [2] when the objective lens 12 is 2 × (FIG. 4D). reference).
The memory 18 stores the magnification information of the objective lens 12 in the area of the variable Mobj_mag [] as the objective lens information (see FIG. 4A), and the numerical aperture information of the objective lens 12 is the variable Mobj_na [ ] (See FIG. 4B). Further, in the memory 18, the above-described sampling period information is stored in the Mcyc area (see FIG. 4C), and the Z-axis search speed information is stored in the Zspeed [] area (see FIG. 4E). The Z-axis step feed amount information is stored in the area of Zstep [] (see FIG. 4 (f)).
[0033]
Next, the focus detection operation in the microscope 10 configured as described above will be described with reference to the flowcharts of FIGS. The procedure (steps S21 to 34) shown in FIG. 7 shows details of the process of step S10 of the procedure (steps S1 to 12) shown in FIG. 6, and the procedure (steps S41 to 50) shown in FIG. FIG. 6 shows details of the process in step S12 of the procedure shown in FIG. 6 (steps S1 to S12).
[0034]
When the power to the microscope 10 is turned on, the CPU 17 first initializes each part (memory 18 and the like) of the microscope 10 (step S1 in FIG. 6). By this initialization, the stage 11 is placed at the reference position. The reference position is a predetermined movement start position of the stage 11, and is the same position regardless of the magnification of the objective lens 12 (see FIGS. 3 and 5). In addition, the imaging of the specimen image by the CCD sensor 15 is started.
[0035]
After initialization, the CPU 17 performs setting based on the input signal from the input unit 20 (steps S2 to S8 in FIG. 6). Thereafter, if there is an input from the focus control start switch 43 (Y in step S9), the CPU 17 performs a peak search process to be described later (step S10 in FIG. 6) via each part, and if the peak search is successful (FIG. 6). 6 (step S11Y), peak detection to be described later is performed based on the peak search result (step S12 in FIG. 6).
[0036]
FirstFirst, the setting process (steps S2 to S8 in FIG. 6) based on the input signal from the input unit 20 will be described.
  When the objective lens information is input via the input unit 20 (step S2 is Y), the CPU 17 stores the objective lens information in the memory 18 in association with the number of the revolver hole (step S3). The objective lens information is the magnification and numerical aperture of the objective lens 12 for each revolver hole. The magnification is stored in the area of Mobj_mag [] (see FIG. 4A), and the numerical aperture is stored in the area of Mobj_na []. (See FIG. 4B).
[0037]
Next, the CPU 17 reads out a focusable range (Zarea []) corresponding to the magnification of the objective lens 12 with reference to the data in FIG. 4D (step S4).
Then, the CPU 17 calculates the Z-axis search speed and the Z-axis step feed amount based on the information in the memory 18 and the focusable range information (steps S5 and S6).
[0038]
  The Z-axis search speed is calculated using the following formula.
  Z-axis search speed (μm / S) = Zarea []÷Mcyc ÷ 8 ・ ・ ・ Formula 1
  Zarea [] in Equation 1 is a focusable range corresponding to the magnification of the objective lens 12, and Mcyc is a sampling period.
  Further, the portion “8” in Equation 1 means that sampling (contrast detection) is performed about 8 times within the focusable range. By performing sampling about 8 times within the focusable range, the focus position Zp can be roughly found.
[0039]
Then, the CPU 17 stores the calculated Z-axis search speed in the Zspeed [] area of the memory 18 in association with the number of the revolver hole (see FIG. 4 (e)).
The Z-axis step feed amount is calculated using the following equation.
Z-axis step feed amount (μm) = 2 × λ ÷ {2 × (Mobj_na [])2X4} λ in Expression 2 is the wavelength of the illumination light from the illumination device, and Mobj_na [] is the numerical aperture of the objective lens 12.
[0040]
In addition, “4” in Expression 2 means that sampling (contrast detection) is performed about four times within the depth of focus. By performing sampling about four times within the depth of focus, it is possible to detect the focus with high accuracy and position the focus position Zp.
Then, the CPU 17 stores the calculated Z-axis step feed amount in the Zstep [] area of the memory 18 in association with the number of the revolver hole (see FIG. 4F).
[0041]
As a result of the setting process as described above, the memory 18 stores objective lens information (magnification: Mobj_mag [], numerical aperture: Mobj_na []), sampling period information (Mcyc), focusable range information (Zarea []), Z-axis search speed information (Zspeed []) and Z-axis step feed amount information (Zstep []) are stored.
Thereafter, if there is an input of the objective lens changeover switch 42 (step S7Y), the CPU 17 performs switching control of the objective lens 12 based on the inputted changeover signal (step S8).
[0042]
Next, the peak search process will be described in detail with reference to FIG. The peak search process is a scan-type process in which sampling is periodically performed while the position of the stage 11 is continuously changed at high speed to roughly find the in-focus position Zp.
First, the CPU 17 initializes the memory 18 (step S21). The memory 18 includes the following areas.
[0043]
-Area for storing the maximum value of contrast data: contrast maximum value memory Cmax
-Area for storing backup contrast data: Contrast temporary storage memory Co
Area for storing the Z position at the maximum contrast value: Maximum Z position memory Zmax Area for storing the Z position corresponding to the value of the contrast temporary storage memory Co: Z axis position temporary storage memory Zo
Area for storing updated contrast data: contrast memory C
-Area for storing the Z position corresponding to the value of the contrast memory C: By initializing the Z position memory Z, the contrast maximum value memory Cmax, the contrast temporary storage memory Co, the maximum Z position memory Zmax, and the Z axis position temporary storage memory Zo Initialization data (minimum value) is stored for each.
[0044]
Next, the CPU 17 controls the drive unit 24 of the stage 11 to move the stage 11 to the reference position (search start position) and read the Z position (step S22). Then, the CPU 17 stores the current position in the maximum Z position memory Zmax and the Z-axis position temporary storage memory Zo.
When the movement to the search start position is completed, the CPU 17 reads the Z-axis search speed information from the Zspeed [] area of the memory 18 (step S23), and sends it to the motor drive circuit 32 via the D / A converter 35. Axis search speed information is output. Then, the CPU 17 outputs a control start signal to the drive unit 24 and the contrast detection circuit 38 of the stage 11, and starts actual peak search processing (step S24).
[0045]
When the control start signal is output by the CPU 17, the position of the stage 11 is continuously changed and the contrast is periodically detected. At this time, the change speed of the position of the stage 11 is a speed corresponding to Zspeed [], and the contrast detection period is a sampling period corresponding to Mcyc.
When the contrast data is updated (step S25Y), the CPU 17 stores the contrast data in the contrast memory C, and stores the Z position at that time in the Z position memory Z (step S26).
[0046]
At this time, when a limit detection signal is detected via the limit sensor 36 of the drive unit 24 of the stage 11 (step S27Y), the CPU 17 outputs a control stop signal to the drive unit 24 of the stage 11 (step S28). Then, error processing is performed (step S29).
When the limit detection signal is not detected (step S27N), the CPU 17 determines whether or not the value of the contrast memory C is larger than the value of the contrast maximum value memory Cmax (step S30). When the value of the contrast memory C is larger (step S30Y), the value of the maximum contrast value memory Cmax is updated to the value of the contrast memory C, and the value of the maximum Z position memory Zmax is updated to the value of the Z position memory Z. (Step S31). Thereafter, the CPU 17 returns to step S25 and repeats the processes of steps S25 to S31.
[0047]
Therefore, the CPU 17 continues to detect the contrast at the sampling cycle of Mcyc while continuously moving the position of the stage 11 until the value of the contrast memory C becomes smaller than the value of the maximum contrast value memory Cmax (step S30N). .
When the value of the contrast memory C becomes smaller (step S30N), the CPU 17 determines whether or not the peak position has been passed (step S32).
[0048]
Whether or not the peak position has been passed is determined by determining whether or not there is a predetermined difference between the value of the contrast memory C and the value of the contrast maximum value memory Cmax input in this processing. Is called.
If it is determined that the peak position has been passed (step S32Y), the CPU 17 outputs a control stop signal to the drive unit 24 and the contrast detection circuit 38 of the stage 11 (step S33), and ends the peak search process.
[0049]
On the other hand, if it cannot be determined that the peak position has been passed (step S32N), the CPU 17 copies the value of the contrast memory C input in the current process to the contrast temporary storage memory Co for backup, and stores it in the Z position memory Z. The value is copied to the Z position temporary storage memory Zo for backup (step S34). These backup data are referred to when it is next determined whether or not the peak position has been passed (step S32). And CPU17 returns to step S25 and repeats the process of step S25-step S34.
[0050]
Here, the movement of the stage 11 and the detection of the contrast during the peak search process will be described with reference to the graph of FIG. The movement of the Z position of the stage 11 during the peak search process is as shown by the arrow in FIG. The signals that the CPU 17 outputs to the drive unit 24 of the stage 11 are only a control start signal and a control stop signal. Therefore, the position of the stage 11 is continuously changed at a high speed from the output of the control start signal by the CPU 17 to the output of the control stop signal. The contrast is detected periodically at timings <1> to <8>. When the peak search process is normally completed, the contrast data for <7> is stored in the maximum contrast value memory Cmax, and the Z position for <7> is stored in the maximum Z position memory Zmax. The
[0051]
Since there is a time lag from when the control stop signal is output by the CPU 17 to when the stage 11 actually stops, the stage 11 is more in FIG. 9 than the Z position of <8> when the peak search is completed. Shift to the right on the graph (a).
[0052]
As a result of the peak search process described above, the position of the stage 11 is continuously changed at high speed, and is quickly positioned in the vicinity of the in-focus position Zp.
Next, the peak detection process will be described in detail with reference to FIG. The peak detection process is a step feed type process in which focus detection is performed with high accuracy based on the result of the peak search process, and the stage 11 is positioned at the in-focus position Zp.
[0053]
First, the CPU 17 stores initialization data (minimum value) in the contrast temporary storage memory Co, and stores current position data in the Z position temporary storage memory Zo (step S41).
Next, the CPU 17 reads the Z-axis step feed amount information from the Zstep [] area of the memory 18 (step S42), and sends the Z-axis step feed amount information to the motor drive circuit 32 via the D / A converter 35. Is output. Then, the CPU 17 outputs a control start signal to the drive unit 24 and the contrast detection circuit 38 of the stage 11 to start actual peak detection processing (step S43). However, in the peak detection process, it is assumed that the control start signal is intermittently output from the CPU 17 so that the contrast is detected every time the stage 11 moves. When the position of the stage 11 is changed, the contrast is detected, and the position of the stage 11 is changed again according to the detection result. Further, the stage 11 is controlled to move in the direction opposite to the above-described peak search direction (left side of the graph of FIG. 9A).
[0054]
When a control start signal is output by the CPU 17, an intermittent change (step feed) of the position of the stage 11 starts and contrast detection starts every time the position of the stage 11 is changed. The change amount of the position of the stage 11 at this time is a step feed amount corresponding to Zstep [], and the contrast is detected every time the position of the stage 11 is changed.
[0055]
When the contrast data is updated (step S44Y), the CPU 17 stores the contrast data in the contrast memory C, and stores the Z position at that time in the Z position memory Z (step S45).
Next, the CPU 17 determines whether or not the value of the contrast memory C is larger than the value of the maximum contrast value memory Cmax (step S46). If the value of the contrast memory C is larger (step S46Y), the CPU 17 updates the value of the contrast maximum value memory Cmax to the value of the contrast memory C, and sets the value of the maximum Z position memory Zmax to the value of the Z position memory Z. The value is updated (step S47). And CPU17 returns to step S43 and repeats the process of step S43-step S47.
[0056]
Therefore, the CPU 17 continues to detect the contrast every time the position of the stage 11 is changed intermittently until the value of the contrast memory C becomes smaller than the value of the maximum contrast value memory Cmax (step S46N).
When the value of the contrast memory C becomes smaller (step S46N), the CPU 17 determines whether or not the previous contrast data is the maximum value (step S48). Whether or not the previous contrast data is the maximum value is determined in the same manner as in step S30 in FIG.
[0057]
When it is determined that the previous contrast data is the maximum value (step S48Y), the CPU 17 moves the stage 11 to the Z position stored in association with the previous contrast data (step S49). The “Z position stored in association with the previous contrast data” is the Z position where the contrast data is the maximum value, that is, the in-focus position Zp. Then, the CPU 17 ends the peak detection process.
[0058]
On the other hand, if it is not possible to determine that the previous contrast data is the maximum value (step S48N), the CPU 17 copies the value of the contrast memory C input in the current process to the contrast temporary storage memory Co for backup, and Z The value in the position memory Z is copied to the Z position temporary storage memory Zo for backup (step S50). These backup data are referred to when determining whether or not the previous contrast data is the maximum value (step S48). And CPU17 returns to step S43 and repeats the process of step S43-step S50.
[0059]
Here, the movement of the stage 11 and the detection of the contrast during the peak detection process will be described with reference to the graph of FIG. The movement of the Z position of the stage 11 during the peak detection process is as shown by the arrow in FIG. The CPU 17 outputs a control start signal to the drive unit 24 of the stage 11 at the timings (1) to (6). The position of the stage 11 is intermittently changed (step feed) every time a control start signal is output by the CPU 17. The contrast is detected every time the position of the stage 11 is changed at timings <1> to <6>. When the peak detection processing is completed, the contrast data at <5> is stored in the maximum contrast value memory Cmax, and the Z position (in-focus position Zp) at <5> is stored in the maximum Z position memory Zmax. ) Is memorized.
[0060]
As a result of the peak detection process described above, the stage 11 is accurately positioned at the in-focus position Zp.
As described above, according to the microscope 10 of the present embodiment, the focus detection is roughly performed by the scanning method, and the focus detection by the step feed method is performed based on the result, thereby performing the focus detection with high accuracy in a short time. be able to.
[0061]
In particular, by adjusting the speed at which the position of the stage 11 is changed based on the objective lens information, it is possible to perform focus detection by a scanning method at an optimum speed. For example, it is possible to prevent the focus detection accuracy from deteriorating due to the speed being too high. Further, it is possible to prevent the speed from being too slow and take a long time, and the number of samplings to be increased unnecessarily. Further, by adjusting the step feed amount based on the objective lens information, the focus detection by the step feed method can be performed with the optimum step feed amount.
[0062]
Further, according to the microscope 10 of the present embodiment, the focus detection is performed by using both the optical system (12 to 14) for capturing an observation image and the CCD sensor 15. Accordingly, the cost can be reduced because a unique optical system for focus detection is not required.
In the above-described embodiment, an example in which focus detection is performed by combining the scan method and the step feed method has been described. However, focus detection may be performed using only the scan method. In this case, the focus detection can be performed with high accuracy in a short time by adjusting the Z-axis search speed and performing the scan-type focus detection. When focus detection is performed using only the scan method, as shown in FIG. 3C, by adjusting the Z-axis search speed so that the number of contrast data corresponding to the resolution can be detected, there is no waste. Therefore, focus detection can be performed with high accuracy.
[0063]
  Further, when the magnification of the objective lens 12 is low, sufficient focus detection accuracy can be obtained only by the scanning method. Furthermore, a scan method and a step feed method are combined according to the magnification of the objective lens 12.TogetherIt is preferable to determine whether or not to perform focus detection.
  In the above-described embodiment, the example in which the sampling period (contrast detection period) is a specific value corresponding to the microscope 10 has been described. There may be. In that case, the relationship between the sampling period and the Z-axis search speed can be adjusted by changing either or both of the sampling period and the Z-axis search speed.
[0064]
When the sampling period and the Z-axis search speed are determined, the focus detection accuracy is determined. When the focus detection accuracy is determined, the sampling period and the Z-axis search speed can be determined. That is, there is a correlation between the sampling period and the Z-axis search speed. For example, in order to realize a certain focus detection accuracy, the relationship between the sampling period and the Z-axis search speed may be adjusted by changing either one or both of the sampling period and the Z-axis search speed.
[0065]
Accordingly, the accuracy of focus detection is adjusted by adjusting the relationship between the sampling period and the Z-time search speed. Therefore, by performing such adjustment, for example, even if the magnification of the objective lens 12 is changed, focus detection can be performed with the same focus detection accuracy. Further, by performing the same adjustment, for example, focus detection can be performed with desired focus detection accuracy even if the objective lens 12 is the same.
[0066]
When the sampling period is variable, it is preferable that the sampling period can be set when inputting objective lens information. The setting may be selected from a number of sampling periods determined in advance according to the configuration and performance of the microscope 10 and the microscope focus detection apparatus.
Further, in the above-described embodiment, the example in which the Z-axis search speed is calculated based on the number of samplings (contrast detection times) within a preset focusable range is shown. You may make it set by.
When “8” in Equation 1 used in step S5 in FIG. 6 is replaced with “variable A”, Z suitable for performing sampling (contrast detection) about A times within the in-focusable range by Equation 1. The axis search speed can be calculated.
[0067]
Furthermore, as described above, when the sampling cycle is variable and the number of samplings within the focusable range can be set, the sampling cycle and the Z-axis search are performed so as to realize the sampling number set by the user operation. Adjust the speed.
Similarly, for the Z-axis step feed amount, the number of times of sampling within the depth of focus may be settable.
[0068]
In the above-described embodiment, an example in which an observation image capturing area sensor is also used as the CCD sensor 15 used for focus detection has been described. However, a line sensor in which light receiving units are arranged in a row is used for focus detection. You may prepare newly. In that case, an optical path dividing element may be provided between the objective lens 12 and the second objective lens 13 shown in FIG. 1, and the optical path may be divided into an observation image capturing area sensor and a focus detection line sensor.
[0069]
In the above-described embodiment, an example of the microscope 10 that observes a biological specimen by epi-illumination or transmission illumination has been described. However, the present invention is not limited to a biological specimen, and for example, a microscope that observes a semiconductor wafer by epi-illumination. It can also be applied.
Furthermore, in the above-described embodiment, an example in which the stage 11 is moved up and down to adjust the positional relationship between the specimen and the objective lens 12 has been shown. However, the objective lens 12 may be moved up and down, Both the specimen and the specimen may be moved up and down.
[0070]
【The invention's effect】
  As explained above, according to the present invention,Without loss of accuracyFocus detection can be performed in a short time.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an overall configuration of a microscope according to an embodiment.
FIG. 2 is a block diagram showing an electrical configuration of the microscope according to the present embodiment.
FIG. 3 is a diagram illustrating contrast data.
FIG. 4 is a table showing information stored in a memory of a microscope according to the present embodiment.
FIG. 5 is a diagram illustrating a relationship between a magnification of an objective lens, a focusable range, and a focal depth.
FIG. 6 is a flowchart showing a focus detection operation in the microscope of the present embodiment.
FIG. 7 is a flowchart showing a focus detection operation in the microscope of the present embodiment.
FIG. 8 is a flowchart showing a focus detection operation in the microscope of the present embodiment.
FIG. 9 is a diagram illustrating a focus detection operation.
[Explanation of symbols]
10 Microscope
11 stages
12 Objective lens
13 Second objective lens
14 Intermediate zoom lens
15 CCD sensor
16 Signal processor
17 CPU
18 memory
19 Display
20 Input section
21 Cover glass
22 Slide glass
23, 24 Drive unit
31,39 DC motor
32 Motor drive circuit
33 Rotary encoder
34 Up / Down Counter
35 D / A converter
36 limit sensor
37 A / D converter
38 Contrast detection circuit
40 Motor driver
41 keyboard
42 Objective lens selector switch
43 Focus control start switch

Claims (2)

対物レンズを含み、標本の像を形成する結像光学系と、
前記対物レンズを介して形成される標本の像のコントラストを所定の時間間隔(単位:時間/回)で周期的に検出する検出手段と、
前記標本と前記対物レンズとのZ軸方向の相対的な位置関係を所定の速度(単位:距離/時間)で連続的に変更する変更手段と、
前記対物レンズの倍率で決まる焦点深度の幅より広く、かつ、前記倍率が低いほど広くなるよう予め設定された合焦可能範囲(単位:距離)を読み込む読込手段と、
前記合焦可能範囲での前記コントラストの検出回数(単位:回)と、前記時間間隔とユーザ操作に基づいて設定する設定手段と、
前記合焦可能範囲と前記検出回数と前記時間間隔とを用いて、速度=合焦可能範囲÷時間間隔÷検出回数の式により前記位置関係の変更速度を算出し、前記変更速度に基づいて前記検出手段および前記変更手段を制御して焦点検出を行う制御手段と
を備えたことを特徴とする顕微鏡用焦点検出装置。
An imaging optical system that includes an objective lens and forms an image of the specimen;
The contrast of the predetermined time interval of the image of the sample formed by the objective lens (unit: time / time) detection means for periodically detecting by,
Changing means for continuously changing the relative positional relationship between the specimen and the objective lens in the Z-axis direction at a predetermined speed (unit: distance / time) ;
A reading unit that reads a focusable range (unit: distance) that is wider than a width of a focal depth determined by the magnification of the objective lens and that is wider as the magnification is lower ;
Setting means for setting the number of times of detection of the contrast in the focusable range (unit: times) and the time interval based on a user operation ;
Using the focusable range , the number of times of detection, and the time interval, the speed of changing the positional relationship is calculated by the equation of speed = focusable range / time interval / number of times of detection, and the speed of the positional relationship is calculated based on the speed of change. A microscope focus detection apparatus comprising: a detection unit; and a control unit configured to control the change unit to perform focus detection.
請求項1に記載の顕微鏡用焦点検出装置と、
倍率が異なる複数の前記対物レンズを支持するとともに、前記複数の対物レンズのうち何れか1つを観察光路に挿入する挿入手段とを備え、
前記顕微鏡用焦点検出装置の前記読込手段は、前記観察光路に挿入された対物レンズの倍率で決まる焦点深度の幅より広く、かつ、前記倍率が低いほど広くなるよう予め設定された前記合焦可能範囲を読み込む
ことを特徴とする顕微鏡。
A focus detection apparatus for a microscope according to claim 1,
An insertion means for supporting the plurality of objective lenses having different magnifications and inserting any one of the plurality of objective lenses into the observation optical path;
The reading means of the microscope focus detection apparatus is capable of focusing in advance that is wider than the width of the focal depth determined by the magnification of the objective lens inserted in the observation optical path and wider as the magnification is lower A microscope characterized by reading a range .
JP2002179810A 2002-06-20 2002-06-20 Microscope focus detection apparatus and microscope equipped with the same Expired - Lifetime JP4563643B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002179810A JP4563643B2 (en) 2002-06-20 2002-06-20 Microscope focus detection apparatus and microscope equipped with the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002179810A JP4563643B2 (en) 2002-06-20 2002-06-20 Microscope focus detection apparatus and microscope equipped with the same

Publications (2)

Publication Number Publication Date
JP2004021185A JP2004021185A (en) 2004-01-22
JP4563643B2 true JP4563643B2 (en) 2010-10-13

Family

ID=31177120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002179810A Expired - Lifetime JP4563643B2 (en) 2002-06-20 2002-06-20 Microscope focus detection apparatus and microscope equipped with the same

Country Status (1)

Country Link
JP (1) JP4563643B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4751651B2 (en) * 2004-06-16 2011-08-17 Hoya株式会社 Focus detection method and focus detection apparatus
US9376657B2 (en) * 2005-07-05 2016-06-28 Nikon Corporation Culture device
EP2028264A4 (en) * 2006-06-15 2012-10-24 Nikon Corp Cell incubator
JP2009223164A (en) * 2008-03-18 2009-10-01 Olympus Corp Microscopic image photographing apparatus
EP2519853A2 (en) * 2009-12-31 2012-11-07 Abbott Point Of Care, Inc. Method and apparatus for fast focus imaging biologic specimens
US8908083B2 (en) * 2011-09-28 2014-12-09 Apple Inc. Dynamic autofocus operations
JP6087538B2 (en) * 2012-08-20 2017-03-01 キヤノン株式会社 Automatic focus detection apparatus, control method therefor, and imaging apparatus

Also Published As

Publication number Publication date
JP2004021185A (en) 2004-01-22

Similar Documents

Publication Publication Date Title
US7660523B2 (en) Intermittent photo-taking device
CN101025540A (en) Image capturing apparatus
JP2008122857A (en) Automatic focus detector, its control method, and microscope system
JP2012022037A (en) Imaging apparatus
JP4563643B2 (en) Microscope focus detection apparatus and microscope equipped with the same
JP2007139892A (en) Focusing detection device
EP0459408B1 (en) Optical system controlling apparatus
JP3631304B2 (en) Microscope automatic focusing device
JPH1195091A (en) Autofocusing microscope
JP5400396B2 (en) Imaging device
JP4468396B2 (en) Lens unit and optical apparatus having the same
JP2009223164A (en) Microscopic image photographing apparatus
JP2633129B2 (en) Optical equipment
JPH1130740A (en) Method for adjusting zoom lens and zoom lens
JP4477181B2 (en) Microscope equipment
JP2891739B2 (en) microscope
JP4792269B2 (en) Microscope focus maintaining device and microscope device
JPH09189849A (en) Focus detection device for microscope
JP4720460B2 (en) microscope
JP2919017B2 (en) microscope
JPH0943483A (en) Lens controller and lens position adjusting method using the same
JPH08242403A (en) Image input device
JPH11271623A (en) Automatic focusing device for microscope
JP2000066084A (en) Image pickup device and method for controlling lens position in the image pickup device
JPH10161038A (en) Microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071227

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080328

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080508

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20080530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100630

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100729

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4563643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term