JP2013235110A - オートフォーカス装置およびこれを有する顕微鏡 - Google Patents

Abstract

【課題】安定、正確かつ迅速に合焦調整を行うことが可能なオートフォーカス装置およびこれを有する顕微鏡を提供する。
【解決手段】標本Ｓからの光束を集光する対物レンズ系１１と、対物レンズ系１１の射出瞳位置と略共役な位置に設けられ、対物レンズ系１１からの光束を遮蔽する板状部材１４ａと、板状部材１４ａの複数の開口１４ｈと、複数の開口１４ｈに装着され所定の色成分のみを透過させるフィルタ１４ｒ，１４ｂ，１４ｇとを有する構造化瞳１４と、各フィルタを透過した光束を撮像素子１６に結像させる結像レンズ系１５と、第１の撮像素子１６から取得した画像データを処理・解析し、焦点位置を検出する焦点位置検出部１７とを有し、焦点位置検出部１７は、第１の撮像素子１６から各フィルタを透過して複数の異なる色成分に分離された光束に基づく画像を取得し、これらの画像の重なり具合から、対物レンズ系１１の焦点位置を検出する。
【選択図】図１

Description

本発明は、オートフォーカス装置に関する。

顕微鏡のオートフォーカス（以下、ＡＦ）装置として、ＡＦ用光源から標本に対して投光し、標本からの反射光を検出することで焦点ズレ量を算出し、対物レンズの位置を制御するアクティブ方式（例えば、特許文献１を参照）や、標本からの光を検出することで焦点ズレ量を検出して、ピント合わせを行うパッシブ方式（例えば、特許文献２を参照）が知られている。

特開２００３-１６７１８３号公報 特開平５−２１３１８号公報

方式の如何にかかわらず、オートフォーカス装置に対しては、安定、正確かつ迅速に合焦調整を行うことが望まれている。

本発明は、このような問題に鑑みてなされたものであり、安定、正確かつ迅速に合焦調整を行うことが可能なオートフォーカス装置およびこれを有する顕微鏡を提供することを目的とする。

このような目的を達成するため、本発明を例示する第一の態様に従えば、標本からの光束を集光する対物レンズ系と、前記対物レンズ系の射出側において、前記対物レンズ系の射出瞳位置もしくは前記瞳位置と略共役な位置に設けられ、前記対物レンズ系からの光束を遮蔽する板状部材と、前記板状部材に形成された複数の開口と、前記複数の開口に装着され所定の色成分の光束のみを透過させるフィルタとを有する構造化瞳と、前記構造化瞳の各フィルタを透過した光束を撮像素子に結像させる結像レンズ系と、前記撮像素子から取得した画像データを処理・解析し、前記対物レンズ系の焦点位置を検出する焦点位置検出部とを有し、前記焦点位置検出部は、前記撮像素子から前記構造化瞳の各フィルタを透過して複数の異なる色成分に分離された光束に基づく画像を取得し、これら複数の異なる色成分の光束に基づく画像の重なり具合から、前記対物レンズ系の焦点位置を検出することを特徴とするオートフォーカス装置が提供される。

なお、各レンズ系は、１つのレンズで構成したものであっても、複数のレンズで構成したものであってもよい。

また、本発明を例示する第二の態様に従えば、第一の態様のオートフォーカス装置を有することを特徴とする顕微鏡が提供される。

本発明によれば、安定、正確かつ迅速に合焦調整を行うことが可能なオートフォーカス装置およびこれを有する顕微鏡を提供することができる。

第１の実施形態に係るオートフォーカス装置および該装置が組み込まれる顕微鏡の構成図である。 色ズレの原理を説明する図である。 （ａ）は構造化瞳の平面図、（ｂ）は焦点ズレがない場合に第１の撮像素子により撮像された画像の模式図、（ｃ）は焦点ズレがある場合に第１の撮像素子により撮像された画像の模式図である。 リファレンス座標、各色成分の光束に基づく標本像および局所ウィンドウの関係を説明する図である。 色ズレ量の算出方法について説明する図である。 焦点ズレの方向の算出方法について説明する図である。 オートフォーカス装置の動作を示すフローチャートである。 第１の実施形態に係る、別のオートフォーカス装置および該装置が組み込まれる顕微鏡の構成図である。 ピクセル構造の液晶表示素子と、変調部がリング状に形成されている液晶表示素子とについて説明する図である。 第２の実施形態に係るオートフォーカス装置および該装置が組み込まれる顕微鏡の構成図である。 標本面のチルト情報の算出方法について説明する図である。 ３次元補正機構の構成例を示す図である。

以下、本発明に係る実施形態について、図面を用いて説明する。

（第１の実施形態）
第１の実施形態に係るオートフォーカス装置が組み込まれる顕微鏡の構成例を図１に示す。第１の実施形態では、オートフォーカス装置として、合焦指標光を投影しないパッシブ方式を採用する。本方式では、撮像した標本の画像をそのままリアルタイムに、オートフォーカスの指標として用いる。この方式では、対物レンズ系により結像された像と本来の像面との位置ズレ、すなわち焦点ズレの情報を、極めて単純な方法で、かつ高速に取得できる点がメリットである。

まず、図１（ａ），（ｂ）を参照しつつ、顕微鏡の構成について説明する。顕微鏡は、図１（ａ）に示すように、標本側から光軸に沿って順に並んだ、対物レンズ系１１、瞳拡大レンズ系１２、ビームスプリッタ１３、第２の結像レンズ系３１からなる観察用光学系と、第２の撮像素子３２とを有する。そして、標本Ｓが対物レンズ系１１に対して合焦している状態では、標本Ｓからの光束が、対物レンズ系１１、瞳拡大レンズ系１２およびビームスプリッタ１３を順に透過して、第２の結像レンズ系３１により第２の撮像素子３２の撮像面に結像される。なお、図１は、すでに焦点ズレが生じている場合を示している。したがって、標本Ｓと、第１の撮像素子１６および第２の撮像素子３２は、共役関係とはなっていないことに注意されたい。

第２の撮像素子３２の撮像面では、合焦の状態に応じて、標本Ｓの像の形成のされ方が異なる。例えば、対物レンズ系１１が合焦位置にあれば、図１（ｂ）の左図に示すように、鮮明な標本Ｓの像が形成され、対物レンズ系１１が合焦位置になければ、図１（ｂ）の右図に示すように、ボケた標本Ｓの像が形成される。

次に、図１（ａ），（ｃ）を参照しつつ、オートフォーカス装置について説明する。オートフォーカス装置は、図１（ａ）に示すように、標本側から光軸に沿って順に並んだ、対物レンズ系１１、瞳拡大レンズ系１２、ビームスプリッタ１３、構造化瞳１４、第１の結像レンズ系１５からなるＡＦ用光学系と、第１の撮像素子１６とを有する。なお、理想光学系を達成すべく、レンズ系を両側テレセントリックとなるように構成したが、これは絶対要件ではない。

対物レンズ系１１は、標本Ｓからの光を集光し、該標本Ｓの像を形成する。対物レンズ系１１は、後述の駆動部１９により光軸に沿う方向に往復移動可能に構成されており、対物レンズ系１１と標本Ｓとの光軸方向の相対位置を変化させることが可能になっている。

瞳拡大レンズ系１２は、対物レンズ系１１の射出瞳を拡大してリレーする。

ビームスプリッタ１３は、瞳拡大レンズ系１２を透過した標本Ｓからの光を２つに分離し、一方をＡＦ用光学系の構造化瞳１４へと導き、他方を観察用光学系の第２の結像レンズ３１へと導く。

構造化瞳１４は、対物レンズ系１１の射出側において、対物レンズ系１１の射出瞳位置と略共役な位置に設けられ、対物レンズ系１１からの光束を遮蔽する板状部材１４ａと、板状部材１４ａに形成された複数の開口１４ｈと、複数の開口１４ｈに装着され所定の色成分の光束のみを透過させるフィルタ、例えば赤，緑，青のカラーフィルタ１４ｒ，１４ｇ，１４ｂを有する。複数の開口１４ｈは、対物レンズ系１１の射出瞳の中心に対してそれぞれ偏心した位置に設けられている。

本実施形態では、フィルタとして以下全て赤，緑，青の３色を想定するが、２色以上であれば本手法を実現できる。また、各フィルタの透過波長領域は、第１の撮像素子１６の測定可能帯域であればよく、特定の波長に限定されるわけではない。構造化瞳１４の設置位置は、上記に限定されず、対物レンズ系１１の瞳位置であってもよい。構造化瞳１４の構成は、精度よく色成分ごとの画像を取得できるものであればよく、本実施形態に限定されるわけではない。但し、開口１４ｈを大きくしすぎると、後述するように合焦の検出精度の低下を招くため、注意が必要である。構造化瞳１４は、固定開口を予め配置してもよいし、空間光変調器などにより電気的に生成してもよい。

第１の結像レンズ系１５は、構造化瞳１４の各フィルタ１４ｒ，１４ｇ，１４ｂを透過した光束を、第１の撮像素子１６に結像させる。

第１の撮像素子１６は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-oxide Semiconductor）センサにより形成され、各フィルタ１４ｒ，１４ｇ，１４ｂを透過した光束に対応する色（本実施形態では、赤，緑，青）の画像信号を生成し、生成した各色の画像信号を焦点位置検出部１７に出力する。

なお、顕微鏡の観察用光学系と、オートフォーカス装置のＡＦ用光学系とは、構造化瞳１４が設けられているか否かという点を除いて、全て同じ光学配置である。すなわち、現行のアクティブ方式のオートフォーカス装置のように、対物レンズ系１１の倍率、収差特性および迷光等の影響を考慮したＡＦ用光学系を別途設計・組み込む必要がない。よって、装置が複雑化、大型化せず、また製造コストの抑制にも繋がる。

このような構成を有する本実施形態において、標本Ｓから射出された光は、対物レンズ系１１および瞳拡大レンズ系１２を通過し、ビームスプリッタ１３で反射されて、構造化瞳１４および第１の結像レンズ１５を経て、第１の撮像素子１６上に結像される一方、ビームスプリッタ１３を透過して、第２の結像レンズ系３１により、第２の撮像素子３２上に結像される。

そして、オートフォーカス装置は、第１の撮像素子１６から取得した画像データを処理・解析し、対物レンズ系１１の焦点位置を検出する焦点位置検出部１７と、標本Ｓを載置するステージ１８および対物レンズ系１１の少なくとも一方を対物レンズ系１１の光軸に沿って上下動させる駆動部１９と、焦点位置検出部１７による検出結果に基づいて駆動部１９を駆動して標本Ｓに対する合焦制御を行う合焦制御部２０とを有する。

駆動部１９としては、例えばピエゾアクチュエータや、ステッピングモータ等が利用される。本実施形態では、駆動部１９により対物レンズ系１１を光軸方向に移動させることにより標本Ｓとの相対位置を変化させるが、ステージ１８を光軸方向に移動させたり、対物レンズ系１１とステージ１８の両方を光軸方向に移動させたりしてもよい。

ここで、焦点位置検出部１７の機能についてより詳しく説明する。焦点位置検出部１７は、第１の撮像素子１６から構造化瞳１４の各フィルタ１４ｒ，１４ｇ，１４ｂを透過して複数の異なる色成分（赤，緑，青）に分離された光束に基づく画像を取得し、これら複数の異なる色成分の光束に基づく画像の重なり具合から、対物レンズ系１１の焦点位置を検出する。これは、以下に示す色ズレの原理を利用したものである。

例えば、インコヒーレント結像、もしくは限りなくこれに近い部分的コヒーレント結像においては、瞳は、標本から発せられた光線群のうち、どの光線を結像に寄与させるかを選択する役割を果たす。焦点ズレが起こっていない場合、瞳を通った全ての光線は、同じセンサ位置にたどり着く。この場合、瞳を通るどの位置の光線を選択しても、結像位置は変わらない（図２（ａ）参照）。一方で、焦点ズレが起こっている場合、瞳を通る光線の位置ごとに、光線がたどり着くセンサ位置が異なる。この場合、瞳のどの位置を通る光線を選択するかによって、結像位置が変化する（図２（ｂ）参照）。すなわち、瞳の上側の光線群Ｌ₁を選択すると、光軸より下側に像Ｉ₁が形成され、瞳の下側の光線群Ｌ₂を選択すると、光軸より上側に像Ｉ₂が形成されることになる（これらの像は一般的に「視差画像」と呼ばれる）。このときのシフト量（光軸から結像位置までの距離）は、焦点ズレの大きさに依存する。なぜならば、焦点ズレが大きいと画像のボケも大きくなり、各視差画像の広がりが大きくなることを意味するからである。

このような色ズレの原理から、ＡＦ用光学系を介して取得される標本Ｓの画像は、構造化瞳１４に偏心配置された各カラーフィルタ１４ｒ，１４ｇ，１４ｂの作用により、焦点ズレに応じて色成分ごとに画像の位置ずれ（色ズレ）を起こしている。例えば、図３（ａ）に示すように、構造化瞳１４において、光の入射方向から見て、赤色のフィルタ１４ｒが瞳の下側、緑色のフィルタ１４ｇが瞳の右側、青色のフィルタ１４ｂが瞳の右側に配置されている場合、（１）焦点が合っていれば、３つの色成分、赤色，緑色，青色の光束それぞれに基づく標本像Ｒ₁，Ｇ₁，Ｂ₁は、第１の撮像素子１６の撮像面の同じ位置に形成されるため、色ズレは起こらない（図３（ｂ）参照）、（２）焦点位置が手前にズレていれば、赤色成分の光束に基づく標本像Ｒ₂は上側、緑色成分の光束に基づく標本像Ｇ₂は右側、青色成分に基づく画像Ｂ₂は左側にそれぞれズレて観察される（図３（ｃ）参照）、（３）焦点位置が後側にズレていれば、色ズレ方向が逆になる。そして、色ズレの大きさは、焦点ズレの大きさに依存する。

このような色ズレの原理は、光学結像理論により、瞳関数と点像強度分布関数(ＰＳＦ)とを用いて説明できる。以下、説明を容易にするため、ＡＦ用光学系は、インコヒーレント結像系であり、かつ合焦時において無収差光学系であると仮定する。

光学結像理論によれば、ＡＦ用光学系の伝達関数をＰＳＦ（point spread function）としたとき、物体Ｏ（ｘ,ｙ）、像Ｉ（ｘ,ｙ）およびＰＳＦ（ｘ,ｙ）の三者の関係は、次式（１）で表される。

そして、ＡＦ用光学系の伝達関数を意味するＰＳＦ（ｘ,ｙ）は、点像振幅分布（amplitude spread function）をＡＳＦ（ｘ,ｙ）とし、瞳から射出する光線の方向余弦を（ξ,η）とし、瞳関数をＧ（ξ,η）とし、瞳の振幅（開口）をＡ（ξ,η）とし、ＡＦ用光学系の収差を表す波面収差をＷ（ξ,η）としたとき、次式（２）で記述できる。

瞳の振幅Ａ（ξ,η）は、瞳の開口数をａ（＜１）としたとき、次式（３）となる。

ここでまず、ＡＦ用光学系において、焦点ズレが生じていない場合を考える。本実施形態では、ＡＦ用光学系を無収差光学系として扱っているので、波面収差はＷ（ξ,η）＝０となる。よって、点像振幅分布ＡＳＦ（ｘ,ｙ）は、次式（４）で表せる。

但し、Ｃは定数である。

この状態から、瞳の開口位置がξおよびη方向に開口数ｓだけシフトした場合、新たな点像振幅分布ＡＳＦ_shift（ｘ,ｙ）は、次式（５）で表せる。

よって、このときの点像強度分布ＰＳＦ_shift（ｘ,ｙ）は、次式（６）で表せる。

すなわち、構造化瞳１４において開口位置がシフトとしても、ＡＦ用光学系の伝達関数ＰＳＦが不変であることから、像形成に影響を及ぼさないことが分かる。

次に、瞳の開口位置がξおよびη方向に開口数ｓだけシフトしている状態で、焦点ズレが生じた場合を考える。焦点ズレは、光学的には瞳に２次の波面収差Ｗ（ξ,η）＝β（ξ²＋η²）を付加することと等しい。但し、βは、焦点ズレの大きさを示す係数である。すると、点像振幅分布ＡＳＦ_shift（ｘ,ｙ）は、次式（７）で表せる。

ここで、瞳の開口数ａが１に比べて十分に小さい場合を想定し、２次の項ξ²およびη²無視すると、式（７）は、次式（８）のように表せる。

よって、このときの点像強度分布ＰＳＦ_shift（ｘ,ｙ）は、次式（９）と表せる。

これは、ＡＦ用光学系の伝達関数ＰＳＦが、強度分布不変のまま、−２βｓだけシフトしたことを意味する。よって、結像方程式に従えば、構造化瞳１４を通って形成される像は、像自体は変わらず、結像位置だけが−２βｓシフトすることになる。また、画像のシフト量は、焦点ズレの大きさβ、および瞳の開口位置のシフト量ｓに依存することが分かる。

以上の色ズレの原理により、構造化瞳１４の配置によって、ここを通って分離された各色成分の光束に基づく標本像が、焦点ズレ量に依存した色ズレを起こすことが分かる。

なお、計算過程で無視した２次の項ξ²およびη²は、点像強度分布ＰＳＦの幅を広げる効果を持つ（すなわち、ボケを意味する）。よって、瞳の開口数ａが大きく、これらの項が無視できない場合は、像のシフトとともにボケを生じさせる。これは、後述の焦点ズレの計算過程において、検出精度の低下を招くことになるので、瞳の開口数ａの設定には注意が必要である。

続いて、図４〜図６を参照しつつ、焦点位置検出部１７による、焦点ズレ量およびズレ方向の算出方法について説明する。図４に示すように、第１の撮像素子１６から取得した、赤，緑，青の各色成分の光束に基づく画像Ｒ₃，Ｇ₃，Ｂ₃の中心（換言すると各色成分の光束の結像位置）をそれぞれＩ_r，Ｉ_g，Ｉ_bとする。そして、仮想的な中央の視点を、リファレンス座標に取る。このリファレンス座標（ｘ，ｙ）における色ズレ量（視差）をｄ画素とすると、Ｒ（赤），Ｇ（緑），Ｂ（青）成分はそれぞれＩ_r（ｘ，ｙ−ｄ）、Ｉ_g（ｘ＋ｄ，ｙ）、Ｉ_b（ｘ−ｄ，ｙ）と表現できる。次に、リファレンス座標（ｘ，ｙ）の周りに局所ウィンドウｗ（ｘ,ｙ）を考え、そこに含まれる画素色の集合を、次式（１０）で表す。

この色集合の位置関係を、次式（１１）で計算する。但し、λ₀、λ₁、λ₂（λ₀≧λ₁≧λ₂≧０）は、色集合Ｓ（ｘ，ｙ；ｄ）の主成分軸に沿った分散（すなわちＳ（ｘ，ｙ；ｄ）の共分散行列Σの固有値）であり、σ_r ²、σ_g ²、σ_b ²は色集合のＲ（赤）軸、Ｇ（緑）軸、Ｂ（青）軸のそれぞれに沿った分散である。

固有値間の大小に差があるほど、式（１１）すなわちＬ（ｘ,ｙ;ｄ）の値は小さくなる。色集合が直線的な分布（λ₀>>λ₁,λ₂）であれば、Ｌは０に近く、完全無相関のとき最大値Ｌ＝１をとる。つまり、図５に示すように、色ズレがない場合はＬ＝０であり（In-focus）、色ズレが大きくなるほどＬの値が大きくなる（Defocus-１，Defocus-２）。しかしながら、Ｌは必ず正の値をとるため、対物レンズ系１１の焦点ズレの方向が判定できない。そこで、図６に示す、以下の方法をとる。

まず、取得した局所ウィンドウｗ（ｘ，ｙ）内の赤，緑，青の各色成分の光束に基づく画像Ｒ_４，Ｇ_４，Ｂ_４を、色ズレ方向に対して（Ｒ軸，Ｇ軸，Ｂ軸にそれぞれ沿って）±ｐ画素だけシフトさせた画像を計算機内で用意し、これらに対応するＬの値をＬ₊、Ｌ_-として算出する。焦点ズレが後側の場合は、−ｐ画素だけシフトさせるとＲ_４，Ｇ_４，Ｂ_４の各画像は互いに近づき、＋ｐ画素だけシフトさせるとＲ_４，Ｇ_４，Ｂ_４の各画像は互いに遠ざかる、つまりＬ₊ ＞ Ｌ ＞ Ｌ_-という関係が成り立つ。焦点ズレが前側の場合は、−ｐ画素だけシフトさせるとＲ_４，Ｇ_４，Ｂ_４の各画像は互いに遠ざかり、＋ｐ画素だけシフトさせるとＲ_４，Ｇ_４，Ｂ_４の各画像は互いに近づく、つまりＬ_- ＞ Ｌ ＞ Ｌ₊、という関係が成り立つ。このように、Ｌの値を算出して色ズレの有無を確認するのに加えて、Ｌ₊ とＬ_- の値を算出してこれらの大小関係を同時に確認すれば、焦点ズレの方向(前側か、後側か)も判定することができる。

なお、ｐの値として、最小視差量である１画素が適切だと考えられるが、特定の値に限定されるわけではない。また、Ｌの計算は、標本像の構造を所与とするため、画像が大きくボケてその構造が不明瞭になると、同時に測定精度も低下する可能性が高い。よって、構造化瞳１４の開口サイズには十分に注意する。

続いて、焦点位置検出部１７により算出される、焦点ズレの測定分解能(奥行き分解能)Δｚについて説明する。焦点ズレの測定分解能Δｚは、薄肉レンズを想定した近軸近似幾何光学により見積もると、次式（１２）で表すことができる。

ここで、Ｄは構造化瞳１４の各フィルタ１４ｒ，１４ｇ，１４ｂの瞳中心位置の相対距離間隔、ｆ_objは対物レンズ系１１の焦点距離、Ｆ_objは対物レンズ系１１のＦナンバー、γは瞳拡大レンズ系１２による外部繰り出し瞳の拡大倍率、ｆ₃は第１の結像レンズ系１５の焦点距離、ｐｓは第１の撮像素子１６のピクセルサイズである。

すなわち、分解能を向上させたい場合は、構造化瞳１４の各フィルタの瞳中心位置の相対距離間隔Ｄを大きくするか、ピクセルサイズｐｓ、対物レンズ系１１の焦点距離ｆ_obj、対物レンズ系１１のＦナンバーＦ_objなどを小さくするように設計すればよい。

参考として、ｆ_obj＝20mm、Ｆ_obj＝1.5、γ=5、ｆ₃＝200mm、ｐｓ＝4.5μm、Ｄ＝30mmという条件では、Δｚ＝0.3μmという分解能を達成できる。

図７に、オートフォーカス装置における、焦点位置検出部１７による焦点ズレの測定から、合焦制御部２０による対物レンズ系１１と標本Ｓとを相対移動させて焦点位置を補正するまでの一連の処理過程を示す。ここでは、現行のＡＦと同じ、リアルタイムフィードバックを行っている。

まず、画像全体を複数のウィンドウに分割し、各ウィンドウごとにＬを計算する。このうち、Ｌの値が最小値を取るウィンドウを初期ピント位置と決定する。以下の処理では、このウィンドウ箇所のみ、Ｌの計算対象とする。焦点位置検出部１７は、第１の撮像素子１６から１フレームごとに、Ｒ（赤）成分，Ｇ（緑）成分，Ｂ（青）成分の画像をそれぞれ取得する（ステップＳＴ１）。

次に、焦点位置検出部１７は、上述の色ズレ量の算出方法に基づきＬ_-，Ｌ，Ｌ₊の値をそれぞれ計算し（図６参照）、焦点のズレ量およびズレ方向を判定する（ステップＳＴ２）。

なお、ステップＳＴ２において、画像の取込みおよびズレ量の計算は、（外部処理ではなく）オートフォーカス装置に設けられたハードウェアにより直接実行させる。撮像した画像を一旦パソコンに取込み、パソコン内で計算させるという手法も考えられるが、処理・通信速度の点から好ましくないからである。

そして、焦点位置検出部１７は、Ｌの値が目標値であるゼロであるか否かを判定する（ステップＳＴ３）。ここで、Ｌの値がゼロである場合、つまり合焦状態である場合は、ステップＳＴ１に戻る。一方、Ｌの値がゼロではない場合、つまり焦点ズレが発生している場合は、ステップＳＴ４に進む。

合焦制御部２０は、焦点位置検出部１７により検出された焦点ズレ量およびズレ方向から、補正値(駆動部１９への付加電圧値)を導出する（ステップＳＴ４）。

本実施形態では、対物レンズ系１１を駆動部１９により光軸方向に微動させて、焦点ズレの補正を行う。駆動部１９への付加電圧量と、対物レンズ系１１の移動量との関係は、予めキャリブレーションしておく。この関係をもとに、合焦制御部２０は、焦点ズレ量を、補正値(駆動部１９への付加電圧値)に換算する。

最後に、補正値(付加電圧値)に基づき駆動部１９を駆動して、対物レンズ系１１を微動させ、焦点ズレを補正する（ステップＳＴ５）。

このようなフィードバックプロセスを常時行うことで、リアルタイムオートフォーカス制御を実現している。

本実施形態では、「画像取得」、「焦点ズレ量計算」、「補正値換算」というプロセスを経るので、実質上のオートフォーカス（ＡＦ）応答速度を決めるのは、ハードウェアによる焦点ズレ量の計算処理速度、および、その範囲で許容されるセンサの最高フレームレート（一連の画像を取得可能である速度）ということになる。ここで、ハードウェアによる計算速度の見積もりとして、ＦＰＧＡデバイスを用いてほぼ同様の計算処理をするリアルタイムステレオカメラ開発の研究分野を参考にすると、解像度６４０×４８０ｐｉｘの画像で、フレームレート約２７０ｆｐｓという、高速度でのリアルタイム処理が可能である。よって、本実施形態でのＡＦ応答速度としては、およそ数１０ｍｓオーダーという高速度が見込め、これは現行のＡＦ応答速度と比較しても十分であると言える。

第１の実施形態（図１参照）と同様の効果を実現させる別の形態として、観察用光学系とＡＦ用光学系とを分けずに、同一の光学系で目的を実現しうる形態も考えられる。図８（ａ）に、その光学系の構成図を示す。この実施形態では、ＡＦ用光学系がない点、構造化瞳の真上に透過型の液晶表示素子ＬＣＤ（Liquid Crystral Display）が配置されている点、構造化瞳の形状が変わっている点が、図１に示す形態と異なる。以下、図１の形態と同一の部材についてはそれと同じ番号を付し、その説明は省略する。

構造化瞳１４´は、板状部材１４ａ´がドーナツ型であり、リングの部分に複数の開口１４ｈ´が形成され、各開口１４ｈ´にはそれぞれファイル１４ｒ，１４ｂ，１４ｇが装着される。

透過型の液晶表示素子ＬＣＤには、２つの透過マスクパターンを付加する。ここでは、円形の開口部２１を有する第１のマスクパターン（図８（ｂ）の左図参照）と、図８（ｃ)に示す輪帯状の開口部２２を有する第２のマスクパターン（図８（ｃ）の左図参照）を付加する。

なお、第１のマスクパターンの開口部２１の大きさは、構造化瞳１４´の開口部の大きさとほぼ等しい。よって、構造化瞳１４´と第１のマスクパターンを組み合わせると、第２の撮像素子３２の撮像面には、第２の結像レンズ系３１により、瞳拡大レンズ系１２を介した対物レンズ系１１を透過した光束がそのまま結像される。また、第２のマスクパターンの開口部２２の幅は、構造化瞳１４´のリング部分の幅とほぼ等しい。よって、構造化瞳１４´と第２のマスクパターンを組み合わせると、第２の撮像素子３２の撮像面には、第２の結像レンズ系３１により、構造化瞳１４の各フィルタを透過した所定の色成分の光束のみが結像される。

よって、標本Ｓを撮影するときは、液晶表示素子ＬＣＤに図８（ｂ）の第１のマスクパターンを付加する。結果として、図１の観察用光学系と同じ構成になり、純然たる標本Ｓの像を取得できる（通常モード）。一方、焦点ズレの検出を行うときは、液晶表示素子ＬＣＤに図８（ｃ）の第２のマスクパターンを付加する。結果として、図１のＡＦ用光学系と同じ構成になり、焦点ズレに関する情報を取得できる（ＡＦモード）。

液晶表示素子ＬＣＤのマスクパターンの切り替えと、第２の撮像素子３２による画像取得のタイミングを同期させる。すなわち、液晶表示素子ＬＣＤの通常モードとＡＦモードを、第２の撮像素子３２のフレームレートに対応させて、交互に切り替える。すなわち、サンプル像と焦点ズレ情報を交互に取得する。

この手法では、標本Ｓの像のフレームレートが半減する、光学解像力が低下する、液晶表示素子ＬＣＤのピッチ構造による回折現象が起こる、などのデメリットがあるが、ＡＦ用光学系を別途用意する必要が全くないことから、小型化・低コスト化が図れるというメリットがある。また、回折現象が問題となる場合は、図９に示すように、従来のピクセル構造ではなく、ドーナツ形状である（変調部がリング型である）液晶表示素子を別途作成・使用すれば解決できる。

ここに、改めて第１の実施形態のメリットをまとめると、（１）観察用光学系から独立した、ＡＦ用光学系を別途設計・組込をする必要がない、（２）焦点ズレを色成分が異なる標本像の重なり具合から読み取るので、何らかの理由により光学系のアライメントが変動した場合でも検出精度への影響が少なく、安定した合焦検出が行える、（３）極めて単純な処理で、かつ高速なオートフォーカス装置を実現することができる。

（第２の実施形態）
図１０は、第２の実施形態に係るオートフォーカス装置が組み込まれる顕微鏡の構成例を示す。図１０では、説明を簡単にするため、ＡＦ用光学系のみを図示し、標本Ｓを撮影するための観察用光学系は省略している。以下、第１の実施形態と同一の部材についてはそれと同じ番号を付し、その説明は省略する。

第２の実施形態では、オートフォーカス装置として、アクティブ方式を採用する。本方式では、ＡＦ用の光学パターンを標本面に投影し、その反射光をオートフォーカスの指標として用いる。この方式では、標本面の傾き（以下、チルト）情報も加えた、視野域全体の焦点ズレが検出できる点がメリットである。

第２の実施形態に係るオートフォーカス装置は、ケーラー照明系４０と、標本側から光軸に沿って順に並んだ、対物レンズ系１１、ビームスプリッタ１３、瞳拡大レンズ系１２、構造化瞳１４および第１の結像レンズ系１５からなるＡＦ用光学系と、第１の撮像素子１６とを有する。

ケーラー照明系４０は、波長幅を有する光を射出するＡＦ用光源（白色光源）４１と、コンデンサレンズ４１と、光を透過する領域を有するパターンが所定の方向に沿って繰り返し形成された投影マスク４３と、（対物レンズ系１１、ビームスプリッタ１３を含む）リレーレンズ系４４とを有する。なお、投影マスク４３は、予め固定開口を配置してもよいし、空間光変調器などにより電気的に生成してもよい。

第２の実施形態では、まず、コンデンサレンズ４２を介してＡＦ用光源４１から射出された光によって照明された投影マスク４３のパターンの像を、リレーレンズ系４４を介して標本Ｓに投影する。ここでは、例えば図１０に示すような、視野全体に均等に丸型構造が投影されるパターンを有する投影マスク４３を想定する。

標本面で反射されたパターン像は、ビームスプリッタ１３で反射され、ＡＦ用光学系に向かう。その後の光学構成および構造化瞳の形状については、第１の実施形態に準じる。第１の撮像素子１６で撮影された画像は、対物レンズ系１１の焦点ズレ量に応じた色ズレを起こす。但し、第１の実施形態とは異なり、図１１に示すような、撮像面上での形成位置が異なる各パターン像Ｓ₁，Ｓ₂，・・・Ｓ_n-1，Ｓ_nのそれぞれにおいて色ズレ量を検出すれば、標本面の傾き情報も含む視野域全体の焦点ズレ情報を得ることができる。

本実施形態において、焦点ズレ量およびズレ方向の算出方法およびフィードバック制御の処理過程は、上述の第１の実施形態と同様である。但し、標本面のチルト情報を推定するために、以下の計算処理を追加する（図１１参照）。

まず、撮像面に投影されたパターンの位置を基準として、焦点ズレ量Ｌの数値マップ（行列）を準備する。これを平面と仮定し、この行列を１次元ベクトルに再配列したものをＭと表記する。ここで、ｘ方向の傾き、ｙ方向の傾き、およびｚ方向（光軸方向）の焦点ズレを表現する基底平面行列を準備し、これを１次元ベクトルに再配列したものをＸ、ＹおよびＺと表記する。また、これらにかかる係数をそれぞれａ_x，ａ_yおよびａ_zと表記する。最小二乗法により係数ａ_x，ａ_yおよびａ_zをＭに対してフィッテングすることで、標本面のチルト情報を推定することができる。具体的には、次式（１３）から求める。

また、Ａ⁺は、Ａの疑似逆行列である。

得られた係数ａ_x，ａ_yおよびａ_zに基づき、各軸方向への補正量に換算し、これをフィードバック指標とする。

なお、３次元の焦点ズレの補正機構としては、例えば図１２に示すように、サンプルステージ５１の下部に３つのピエゾステージ５２，５３，５４を取り付けて行う。ｘ軸方向の平面ズレはピエゾステージ５２，５３を同時に動かすことで補正する。ｙ軸方向の平面ずれはピエゾステージ５３，５４を同時に動かすことで補正する。そして、ｚ軸方向の焦点ズレは全てのピエゾステージ５２，５３，５４を同時に動かすことで補正する。

ここに、第２の実施形態のメリットをまとめると、（１）焦点ズレを、色成分が異なる標本像の重なり具合から読み取るので、何らかの理由により光学系のアライメントが変動した場合でも検出精度への影響が少なく、安定した合焦検出が行える、（２）極めて単純、かつ高速な処理で、焦点ズレ情報を集めることができるとともに、標本面のチルト情報も加えて、視野域全体の焦点ズレおよびその補正を実現できる。

ここまで本発明を分かりやすくするために、実施形態の構成要件を付して説明したが、本発明がこれに限定されるものではないことは言うまでもない。

１１ 対物レンズ系
１４ 構造化瞳
１４ａ 板状部材
１４ｈ 構造化瞳の開口
１４ｒ，１４ｂ，１４ｇ フィルタ
１５ 第１の結像レンズ系（ＡＦ用光学系）
１６ 第１の撮像素子（ＡＦ用光学系）
１７ 焦点位置検出部
１８ ステージ
１９ 駆動部
２０ 合焦制御部
３１ 第２の結像レンズ系（観察用光学系）
３２ 第２の撮像素子（観察用光学系）
Ｓ 標本

Claims (13)

1. 標本からの光束を集光する対物レンズ系と、
   前記対物レンズ系の射出側において、前記対物レンズ系の射出瞳位置もしくは前記瞳位置と略共役な位置に設けられ、前記対物レンズ系からの光束を遮蔽する板状部材と、前記板状部材に形成された複数の開口と、前記複数の開口に装着され所定の色成分の光束のみを透過させるフィルタとを有する構造化瞳と、
   前記構造化瞳の各フィルタを透過した光束を撮像素子に結像させる結像レンズ系と、
   前記撮像素子から取得した画像データを処理・解析し、前記対物レンズ系の焦点位置を検出する焦点位置検出部とを有し、
   前記焦点位置検出部は、前記撮像素子から前記構造化瞳の各フィルタを透過して複数の異なる色成分に分離された光束に基づく画像を取得し、これら複数の異なる色成分の光束に基づく画像の重なり具合から、前記対物レンズ系の焦点位置を検出することを特徴とするオートフォーカス装置。
2. 前記複数の開口は、前記対物レンズ系の射出瞳の中心に対して偏心した位置に形成されていることを特徴とする請求項１に記載のオートフォーカス装置。
3. 前記焦点位置検出部は、前記構造化瞳の各フィルタを透過した複数の異なる色成分に分離された光束に基づく画像が全て重なったとき、前記対物レンズ系が合焦位置にあると判定することを特徴とする請求項１または２に記載のオートフォーカス装置。
4. 前記フィルタは、赤色の光束のみを透過させるフィルタ、緑色の光束のみを透過させるフィルタと、青色の光束のみを透過させるフィルタであることを特徴とする請求項１〜３のいずれかに記載のオートフォーカス装置。
5. 前記焦点位置検出部は、前記撮像素子により取得された前記画像の一部分である局所ウィンドウにおいて、そこに含まれる画素色の集合の位置関係を利用して、焦点ズレの有無およびその方向を判定することを特徴とする請求項１〜４のいずれか一項に記載のオートフォーカス装置。
6. 前記焦点位置検出部は、前記局所ウィンドウに含まれる前記画素色の集合において、線形性が存在するときは焦点ズレ無しと判定し、線形性が存在しないときは焦点ズレ有りと判定することを特徴とする請求項５に記載のオートフォーカス装置。
7. 前記焦点位置検出部は、前記局所ウィンドウに含まれる画素色の集合の線形性を測る指標をＬとしたとき、所定の計算式を用いてＬの値を算出し、Ｌ＜αであれば線形性が存在し焦点ズレ無しと判定し、Ｌ≧αであれば線形性が存在せず焦点ズレ有りと判定することを特徴とする請求項８に記載のオートフォーカス装置（但し、αは限りなく０に近い値とする）。
8. 前記焦点位置検出部は、前記局所ウィンドウに含まれる画素色の集合の線形性を測る指標をＬとし、前記局所ウィンドウにおいて各色成分の光束に基づく画像を色ズレ方向に対して＋ｐ画素だけシフトさせたと仮定したときの画素色の集合の線形性を測る指標をＬ₊とし、前記局所ウィンドウにおいて各色成分の光束に基づく画像を色ズレ方向に対して−ｐ画素だけシフトさせたと仮定したときの画素色の集合の線形性を測る指標をＬ_-としたとき、前記所定の計算式を用いてＬ，Ｌ₊，Ｌ_-の値をそれぞれ算出し、Ｌ₊＞Ｌ＞Ｌ_-という関係が成り立つときは焦点ズレの方向が後側（前記被検物側）であると判定し、Ｌ_-＞Ｌ＞Ｌ₊という関係が成り立つときは焦点ズレの方向が前側（前記対物レンズ系側）であると判定することを特徴とする請求項５または６に記載のオートフォーカス装置。
9. 前記所定の計算式は、次式で表されることを特徴とする請求項７または８に記載のオートフォーカス装置。
   Ｌ＝λ₀λ₁λ₂／σ_r ²σ_g ²σ_b ²
   但し、
   Ｌ：前記局所ウィンドウに含まれる画素色の集合の線形性を測る指標、
   λ₀，λ₁，λ₂（λ₀≧λ₁≧λ₂≧０）：前記局所ウィンドウに含まれる画素色の集合の主成分軸に沿った分散、
   σ_r ²，σ_g ²，σ_b ²：前記色の集合のＲ軸、Ｇ軸、Ｂ軸のそれぞれに沿った分散。
10. 前記対物レンズ系の射出瞳を拡大してリレーする瞳拡大レンズ系を有し、
    前記構造化瞳は、前記瞳投影レンズ系により拡大してリレーされた前記対物レンズ系の射出瞳と略共役な位置に設けられていることを特徴とする請求項１〜９のいずれか一項に記載のオートフォーカス装置。
11. 波長幅を有する光を射出する光源と、光を透過する領域を有するパターンが所定の方向に沿って繰り返し形成された投影マスクとを有し、前記光源から射出された光によって照明された前記投影マスクのパターンの像を、前記対物レンズ系を介して前記標本面に投影するケーラー照明系を有し、
    前記焦点位置検出部は、前記標本面に投影されたパターンの位置ごとに、前記構造化瞳の各フィルタを透過して複数の異なる色成分に分離された光束に基づく画像を前記撮像素子から取得し、これら複数の異なる色成分の光束に基づく画像の重なり具合から、前記対物レンズ系の焦点位置および前記標本面のチルト情報を検出することを特徴とする請求項１〜１０のいずれか一項に記載のオートフォーカス装置。
12. 前記標本を載置するステージと、
    前記ステージおよび前記対物レンズ系の少なくとも一方を、前記対物レンズ系の光軸に沿って上下動させる駆動部と、
    前記焦点位置検出部による検出結果に基づいて前記駆動部を駆動し、前記標本と前記対物レンズ系との間隔を変更させる合焦制御部とを有することを特徴とする請求項１〜１１のいずれか一項に記載のオートフォーカス装置。
13. 請求項１〜１２のいずれか一項に記載のオートフォーカス装置を有することを特徴とする顕微鏡。