JP2015203727A - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP2015203727A JP2015203727A JP2014081928A JP2014081928A JP2015203727A JP 2015203727 A JP2015203727 A JP 2015203727A JP 2014081928 A JP2014081928 A JP 2014081928A JP 2014081928 A JP2014081928 A JP 2014081928A JP 2015203727 A JP2015203727 A JP 2015203727A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- optical system
- subject
- image
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 126
- 238000003384 imaging method Methods 0.000 claims description 216
- 238000005259 measurement Methods 0.000 claims description 54
- 238000012937 correction Methods 0.000 claims description 14
- 238000005286 illumination Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 239000006059 cover glass Substances 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 238000012887 quadratic function Methods 0.000 description 3
- 239000010409 thin film Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Signal Processing (AREA)
Abstract
【課題】広い視野において被写体に合焦した状態で高解像度撮像を行えるようにする。【解決手段】撮像装置は、被写体をその表面側から撮像する。撮像装置は、撮像光学系304と、該撮像光学系の中間結像領域に配置された可変形状ミラー3042と、被写体を複数の被写体領域に分割し、被写体の表面形状を示す形状データを用いて各被写体領域の表面形状を近似する近似面を求め、可変形状ミラーを近似面に対応する形状に変形させて撮像を行う制御手段400とを有する。【選択図】図1
Description
本発明は、標本等の被写体を撮像する顕微鏡等の撮像装置に関する。
人体の組織片等の標本を撮像してデジタル画像を取得する顕微鏡では、標本の微細な構造を判別するために、撮像光学系の高解像度化が進められている。ただし、一般に、撮像光学系の高解像度化が進むと、焦点深度が浅くなる。
一方、標本の表面形状は必ずしも平坦とは限らず、凹凸を有することが多い。また、プレパラートにおいて標本を挟んだカバーガラスの厚さにむらがあると、標本の表面形状に大きなうねりが生ずる。さらに、標本付近の温度が変動することで撮像光学系のピント状態が変化する可能性もある。
従来の顕微鏡では、特許文献1にて開示されているように、標本のうち小領域のみを撮像可能な視野を有する撮像光学系を標本に対して移動させるとともに該小領域ごとに撮像光学系のフォーカス調整をしながら標本全体を撮像する方法が採られている。このため、撮像時間が長くなるという欠点がある。
これに対して、特許文献2には、撮像光学系を広視野化するとともに複数の撮像素子を用いて標本の複数の小領域を一括して撮像することで、標本全体の高速撮像を可能とする方法が開示されている。
しかしながら、撮像光学系を広視野化しつつ高解像度化すると、前述したように撮像光学系の焦点深度が浅くなるため、凹凸やうねりを含む表面形状を有する標本に対して視野全域において合焦した状態を得ることが難しくなる。
本発明は、広い視野において標本(被写体)に合焦した状態で高解像度撮像を行えるようにする撮像装置および撮像方法を提供する。
本発明の一側面としての撮像装置は、被写体をその表面側から撮像する。撮像装置は、撮像光学系と、該撮像光学系の中間結像領域に配置された可変形状ミラーと、被写体を複数の被写体領域に分割し、被写体の表面形状を示す形状データを用いて各被写体領域の表面形状を近似する近似面を求め、可変形状ミラーを近似面に対応する形状に変形させて撮像を行う制御手段とを有することを特徴とする。
また、本発明の他の一側面としての撮像方法は、被写体をその表面側から撮像光学系を通して撮像する撮像方法である。該撮像方法は、被写体の表面形状を示す形状データを用意し、被写体を複数の被写体領域に分割し、上記形状データを用いて各被写体領域の表面形状を近似する近似面を求める。そして、撮像光学系の中間結像領域に配置した可変形状ミラーを近似面に対応する形状に変形させて撮像を行うことを特徴とする。
本発明によれば、被写体の表面形状に近い形状を有する可変形状ミラーを介して撮像を行うことで、広い視野において被写体に合焦した状態で高解像度撮像を行うことができる。
以下、本発明の実施例について図面を参照して説明する。
図1には、本発明の実施例1である撮像装置としての顕微鏡を含む顕微鏡システムの構成例を示す。顕微鏡システムは、標本の表面形状や後述するスライドガラスの厚さ等を計測する計測システム100と、標本を撮像する顕微鏡300とにより構成されている。
計測システム100は、計測用照明部101と、計測用ステージ102と、計測用光学系104と、計測部105とにより構成されている。
計測用照明部101は、計測用ステージ102上に設置されたプレパラート103内の被写体としての標本に不図示の光源からの光を導く照明光学系を有する。プレパラート103は、スライドガラスと、該スライドガラス上に載置された観察対象物である組織片等の標本と、標本を覆う(保護する)ようにスライドガラスに重ねられたカバーガラスとによって構成されている。計測用ステージ102は、プレパラート103を保持するとともに、計測光学系104に対するプレパラート103(標本)の位置を調整するよう駆動される。計測部105は、計測用照明部101から射出してプレパラート103にて透過または反射した光を計測用光学系104を通して受光することにより、標本の大きさや表面形状およびカバーガラスの厚さ等を計測する。
計測用光学系104は、標本全体をカバーする広視野を有することが望ましく、解像力は低くてもよい。標本の大きさは、計測用光学系104により形成される標本像の輝度分布を二値化したり標本像の輪郭検出を行ったりする等の一般的な手法によって計測することができる。また、標本の表面形状は、標本での反射光を用いて計測したり干渉計を用いて計測したりしてもよい。例えば、三角測量法を利用する方法(特開平6−011341号公報参照)や、共焦点光学系を用いてガラス境界面で反射するレーザ光の距離の差を測定する方法(特開2005−98833号公報参照)を用いてもよい。また、カバーガラスの厚さは、レーザ干渉計等を用いて計測することができる。計測部105は、これらの計測結果を示すデータを制御部400に伝送する。
これら計測の終了後、計測用ステージ102上に設置されていたプレパラート103は、不図示の標本搬送装置による吸着や把持等によって撮像用ステージ302上に搬送される(以下、プレパラートの符号を303とする)。なお、計測用ステージ102自体が移動して撮像用ステージ302として用いられる構成を採用してもよい。
撮像用ステージ302は、撮像光軸(図1中に示すX,YおよびZ軸方向のうちZ軸方向)に直交するX軸方向とY軸方向に平行移動したりX軸回りやY軸周りで傾動したりすることができる。
顕微鏡300は、プレパラート103内の標本をその表面側から撮像する。顕微鏡300は、撮像用照明部301と、上述した撮像用ステージ302と、撮像光学系304と、撮像部305と、制御部400とにより構成されている。顕微鏡300は、温度センサ308およびフォーカス計測部(フォーカス計測手段)309の少なくとも一方を有する。
撮像用照明部301は、光源201と、該光源201から発せられた光を撮像用ステージ302上に設置されたプレパラート303に導く照明光学系202とを有する。光源201としては、ハロゲンランプ、キセノンランプ、LED等を用いることができる。撮像用ステージ302は、プレパラート303を保持するとともに、撮像光学系304に対するプレパラート303の位置を調整するよう駆動される。
撮像用ステージ302上(または撮像用ステージ302の付近でもよい)には、温度センサ308が設置されている。温度センサ308は、プレパラート303の近傍の温度を計測する。なお、温度センサを、プレパラート303におけるカバーガラスとスライドガラスの間に設置したり撮像光学系304の内部に設置したりしてもよい。また、複数の温度センサを上述した複数の箇所に設置してもよい。
フォーカス計測部309は、撮像光学系304の光軸方向におけるプレパラート303の位置を計測する。具体的には、フォーカス計測部309は、プレパラート303において任意に設定された特定の1点ないし複数点(特定点)の光軸方向での位置をモニタリングする。これにより、特定点の光軸方向での位置が顕微鏡300のフォーカス基準位置(例えば、撮像光学系304のベストフォーカス面)からどの程度ずれているかを(温度変化によるずれを含めて)検出することができる。そして、計測システム100によって計測された標本の表面形状やカバーガラスの厚みのデータと該ずれ量から、プレパラート303全体のフォーカス位置の変化(以下、フォーカスシフトという)の量を得ることができる。
なお、本実施例では、フォーカス計測部309を撮像光学系304の外部に配置しているが、撮像光学系304の内部に組み込んでもよい。
撮像光学系304は、撮像用ステージ302上の面(被撮像面)Aにおいて照明された標本の光学像を、高解像度で撮像面Bに結像させる。また、撮像光学系304は、後述する可変形状ミラー(デフォーマブルミラー)を内部に含んでいる。
制御部400は、計測システム100による計測で得られた標本の表面形状やカバーガラスの厚みのデータと温度センサ308により計測された温度の変化を示すデータを用いてフォーカスシフト量を計算する。そして、該フォーカスシフト量に基づいて、可変形状ミラーの反射面の形状を変形させることによって、フォーカスシフトを補正する。
撮像部305は、プレパラート303内の標本において透過または反射した光が撮像光学系304を通過することで撮像面Bに形成された標本像(光学像)を受光する。撮像部305は、CCDセンサやCMOSセンサ等の撮像素子306とこれを駆動する電気回路とを有し、撮像素子306は標本像を光電変換する。撮像素子306からの出力される電気信号(撮像信号)を処理することで、標本の画像データを得ることできる。この顕微鏡300では、標本を複数の領域(被写体領域:以下、分割標本領域という)に分割し、該複数の分割標本領域のうち一部の分割標本領域に対応する撮像素子306が撮像面Bに沿って配置されている。
反射面の変形だけでは補正しきれないフォーカスシフトは、撮像光学系304の光軸方向に対して可変形状ミラーの位置や撮像素子306の位置を単独または同時に変更(調整)することで補正することが可能である。このときの可変形状ミラーおよび撮像素子306の光軸方向での位置調整量をフォーカスオフセット量という。
次に、標本の画像データを取得する手順(撮像方法)について、図2(A)に示すフローチャートを用いて説明する。まずステップS101では、計測用ステージ102上にプレパラート103を設置し、計測用照明部101により計測用ステージ102上に設置されたプレパラート103内の標本を照明する。
次に、ステップS102において、計測部105は、標本からの透過光(または反射光)を計測用光学系104を通して計測部105により受光し、該透過光(または反射光)の強度と標本の厚さ方向での位置(座標)とを計測する。
そして、ステップS103において、計測部105は、計測結果を示すデータ(形状データ)を制御部400に伝送する。
次に、ステップS104において、制御部400は、計測部105から伝送されてきた形状データを用いて、標本の表面形状を近似する近似面としての近似曲面(を示す式)を算出する。この近似曲面を算出する間に、ステップS105にて、プレパラート103は標本搬送部を介して計測用ステージ102から撮像用ステージ302へと搬送される。撮像用ステージ302は、標本をx軸およびy軸方向における撮像位置にセットする。
次に、ステップS106において、温度センサ308は、プレパラート303の近傍(または撮像光学系304の近傍)の温度を計測する。この温度の計測に代えてまたは加えて、フォーカス計測部309がプレパラート303の特定点の光軸方向での位置(フォーカス位置)を計測してもよい。そして、ステップS107において、温度センサ308または(および)フォーカス計測部309は、計測した温度または(および)フォーカス位置のデータを制御部400に伝送する。
次に、ステップS108において、制御部400は、温度センサ308により計測された温度をプレパラート303全体のフォーカスシフト量に換算する。また、フォーカス計測部309で特定点のフォーカス位置が計測された場合は、該計測されたフォーカス位置をプレパラート303全体のフォーカスシフト量に換算する。これらのフォーカスシフト量はX軸およびY軸方向での位置(XY座標)によらず一様な値であってもよいし、XY座標の2次関数で表現される値であってもよい。
次に、同ステップにおいて、制御部400は、ステップS104で算出した近似曲面の式の係数にフォーカスシフト量を加え、新たな近似曲面を得る。さらに、制御部400は、新たな近似曲面から可変形状ミラーの反射面の変形量(以下、ミラー補正量いう)とフォーカスオフセット量とを計算する。
そして、ステップS109において、制御部400は、ミラー補正量に応じて可変形状ミラーを変形させる。また、制御部400は、フォーカスオフセット量に応じて、撮像素子306および可変形状ミラーのうち少なくとも一方の光軸方向での位置を調整する。
次に、ステップS110において、撮像用照明部301は撮像用ステージ302上のプレパラート303(標本)に対して照明光を照射する。そして、各撮像部305の撮像素子306は、標本全体のうち該撮像部305に対応する分割標本領域を撮像する。撮像部305は、撮像素子306から出力された撮像信号を不図示の画像処理部に伝送する。画像処理部は撮像信号を処理して画像データを生成する。画像データは、顕微鏡300の内部または外部の記憶部に伝送されて記憶される。
次に、ステップS111では、制御部400は、複数の分割標本領域のすべてを撮像したか否かを判定する。このとき、複数の分割標本領域のすべてを撮像するための撮像回数を予め設定しておき、実際の撮像回数がその設定された撮像回数に達したか否かを判定してもよい。まだ複数の分割標本領域のすべてを撮像していない場合は、制御部400は、まだ撮像していない分割標本領域を撮像するために撮像用ステージ302をX軸およびY軸方向の少なくとも一方に移動させ、ステップS106からステップS110の処理を繰り返す。すなわち、制御部400は、計測部105から伝送された標本全体の大きさの情報に基づいて、該標本全体の画像データが得られるように、撮像する分割標本領域を変えながら撮像を繰り返す。
これについて、図8を用いて説明する。図8には、複数の撮像素子306として4つの撮像素子が互いにX軸およびY軸方向に1つの撮像素子(または分割標本領域)分の間隔をあけて配置されている場合を示している。被撮像面A上における標本全体の領域を点線で囲んで示し、4つの撮像素子306のそれぞれによって撮像される分割標本領域をハッチング領域として示している。撮像光学系304の視野は円により囲まれた領域であり、1回の撮像により撮像されるのは、この円に内接する1点鎖線で囲まれた9つの分割標本領域のうちのハッチング領域の部分である。
この図の例では、撮像する4つの分割標本領域(つまりは撮像光学系304の視野の中心)を変えながら4回の撮像を行うことで標本全体(16の分割標本領域)を撮像することができる。1回目の撮像における撮像光学系304の視野の中心を1として示している。同様に、2回目以後の撮像光学系304の視野の中心を2,3,4として示している。
このようにして複数の分割標本領域のすべての撮像が終了した場合は、ステップS112において、制御部400は、画像処理部にすべての分割標本領域の画像データを合成して標本全体の画像データを生成させる。画像処理部は、合成した画像データに対して、ガンマ補正、ノイズ除去、圧縮等の画像処理も行う。
そして、ステップS113において、制御部400は、画像処理部において生成された標本全体の画像データを前述した記憶部に記憶させる。
次に、撮像光学系304のより具体的な構成について、図3(A)を用いて説明する。撮像光学系304は、被撮像面A側(被写体側)から撮像面B側に順に、第1の結像光学系(第1の光学系部分)3041、複数の可変形状ミラー3042と、複数の第2の結像光学系(第2の光学系部分)3043とにより構成されている。ここでは、図8を用いて説明したように複数(9つ)の標本分割領域をカバーできる広い視野と高解像度を有する撮像光学系304について説明する。
撮像光学系304は、第1の結像光学系3041の結像面(中間結像面)Cを9つの領域に分割する。そして、これら9つの領域のうち1つの領域の像(中間像)を第2の結像光学系3043によって撮像面Bに再結像させる。つまり、被撮像面Aと撮像面Bと中間結像面Cとは互いに共役な関係になっている。なお、中間結像面Cよりも被撮像面A側に他の中間結像面が存在してもよい。
中間結像面Cおよびその近傍を含む中間結像領域には、撮像素子306の数と同じ数の可変形状ミラー(以下、単にミラーともいう)3042が配置されている。図8に示したように4つの撮像素子306が設けられている場合は、4つのミラー3042が配置されている。そして、複数のミラー3042のそれぞれに対して第2の結像光学系3043が設けられている。このように、複数の撮像素子306のそれぞれに対して、共通の第1の結像光学系3041と、専用のミラー3042および第2の結像光学系3043とが設けられている。なお、図3(A)では、複数(4つ)のミラー3042および第2の結像光学系3043のうち2つのみを示している。
第1の結像光学系3041の中間結像面Cでの視野(イメージサークル)を、図3(B)に大きな円で示す。この視野に内接する小さな円で示す4つの領域は、第2の結像光学系3043の中間結像面Cでの視野に相当する。各小円領域は、ハッチング領域として示すある連続した領域、すなわち1つの分割標本領域の中間像が形成される領域をカバーするように設定されている。そして、各小円領域内の光は、4つのミラー3042で反射され、第2の結像光学系3043によって最終結像面である撮像面B上にて結像するとともに撮像素子306に入射する。
図3(A)において、被撮像面Aにおける任意の点A1からの光は第1の結像光学系3041を通過して第1結像点(中間結像点)C1に結像する。そして、この光は、第1結像点C1およびその近傍を含む中間結像領域に配置されたミラー3042によって反射される。第1結像点C1の近傍とは、第1結像点C1にミラー3042上の1点が配置されていたとしても、その1点から離れた像高ではミラー3042が第1結像点C1から光軸方向にずれていること意味する。
ミラー3042で反射した光は、第2の結像光学系3043を通過して撮像面B上の第2結像点B1に結像して撮像素子306に入射する。
同様に、被撮像面A上の点A2,A3,A4からの光は、第1結像点C2,C3,C4に結像し、さらに第2結像点B2,B3,B4に結像する(ただし、A3,A4,B3,B4は図示していない)。
また、図3(B)には、フォーカス計測部309によるフォーカス位置の計測を、第1の結像光学系3041の視野内のうち複数の小円領域、つまりは中間像が撮像される領域に含まれない部分(非撮像領域)に設定したフォーカス計測領域で行う場合を示している。
フォーカス計測部309がフォーカス位置計測に用いるフォーカス状態の検出方法の例として、図9には、TTL方式でのフォーカス状態検出方法を示している。ここでは、被写体に光を照射し、該被写体からの反射光を受光素子で受光することで得られる反射光の状態からフォーカス状態を検出する方法(米国特許4,798,948号参照)を示している。
光源3091から発せられた光はコリメートレンズ3092により平行光束に変換される。そして、該平行光束のうち半分が遮光板3093によって遮光され、残りがハーフミラー3094に入射する。ハーフミラー3094に入射した光は第1の結像光学系3041を通過して被撮像面Aに集光される。この光は被撮像面Aにて反射し、入射時の光路とは光軸を挟んで反対側(図中の上側)の光路を通ってハーフミラー3094に入射し、反射する。反射した光は結像レンズ3095により集光され、受光素子3096上に点像を形成する。受光素子3096の出力信号は反射光の状態を示しており、該出力信号に基づいてフォーカス状態を検出することができる。そして、検出されたフォーカス状態が合焦状態になる被撮像面Aの位置が第1の結像光学系3041(つまりは撮像光学系304)のフォーカス位置に相当する。
このような方法を用いてフォーカス位置計測を行う場合において、前述したように第1の結像光学系3041の視野内のうち非撮像領域をフォーカス位置計測用の領域として用いると特によい。これにより、フォーカス位置計測用の光源3091、光学系(コリメータレンズ3092、ハーフミラー3094および結像レンズ3095)および受光素子3096の配置が容易になるためである。
図4(A),(B)には、可変形状ミラー3042の構成例を示している。ミラー3042は、アルミニウム等の金属の薄膜によって所望の反射特性が得られるように形成されている。また、ミラー3042は、図3(A)に示したように中間結像領域に配置されるため、中間像の情報を欠落させないように連続した反射面を有する。反射面の形状は、図4(A)に示すように圧電素子等のアクチュエータの伸縮により薄膜の形状を変えたり、図4(B)に示すように薄膜と複数の電極との間に電圧を印加することで発生する静電引力により薄膜の形状を変えたりすることで変形させることができる。また、図示はしないが、ミラーを保持する部材(枠)を変形させる等、図4(A),(B)に示した方法以外の方法によって反射面を変形させてもよい。なお、ミラー3042の反射面の初期形状は、平面であってもよいし曲面や球面であってもよい。さらに、ミラー3042の反射面の変形量をモニタするための構成を備えていてもよい。
このように構成されたミラー3042の反射面の形状を制御するため、前述したように制御部400は、計測部105からの形状データを用いて標本の表面形状(うねり形状)を近似する近似曲面を算出する。ここでは、近似曲面としての2次曲面を、以下の式(1)のように算出する。
z=B1x2+B2xy+B3y2+B4x+B5y+B6 …(1)
実際の標本の表面形状に3次以上の高次のうねり成分が含まれる場合もあるが、3次以上のうねり成分の量は小さいので無視してもよい。また、温度の変化に起因するフォーカスシフトは2次以下の低次のうねり成分を近似するだけで十分である。さらに、標本の表面形状を2次曲面で近似することにより、ミラー3042の反射面の変形制御が容易になるとともに、反射面を変形させるためのアクチュエータ(図4(A))や電極(図4(B))の数を少なくすることができる。また、反射面の変形量をモニタする場合にも、反射面のうち代表する数点をモニタすれば十分である。
z=B1x2+B2xy+B3y2+B4x+B5y+B6 …(1)
実際の標本の表面形状に3次以上の高次のうねり成分が含まれる場合もあるが、3次以上のうねり成分の量は小さいので無視してもよい。また、温度の変化に起因するフォーカスシフトは2次以下の低次のうねり成分を近似するだけで十分である。さらに、標本の表面形状を2次曲面で近似することにより、ミラー3042の反射面の変形制御が容易になるとともに、反射面を変形させるためのアクチュエータ(図4(A))や電極(図4(B))の数を少なくすることができる。また、反射面の変形量をモニタする場合にも、反射面のうち代表する数点をモニタすれば十分である。
制御部400は、このように算出した標本の表面形状を近似する近似曲面に応じてミラー3042の反射面を変形させる。言い換えれば、ミラー3042の反射面を近似曲面に対応する形状に変形させる。さらに、制御部400は、フォーカスシフトを補正するために撮像素子306またはミラー3042の光軸方向での位置を調整する。
図2(A)に示したフローチャートのうちステップS104で行われる近似曲面の算出処理について、図2(B)のフローチャートを用いて説明する。ここでは、図5(A)に示すように標本の表面形状の凹凸を示すデータである表面形状マップが、計測部105によって前述した形状データとして用意(生成)された場合について説明する。表面形状マップの横軸および縦軸はそれぞれ、X軸方向およびY軸方向での原点からの距離、つまりは位置(座標)を示しており、単位はmmである。また、図5(A)中のスケールバーは、Z軸方向である光軸方向での高さ位置(座標)を示しており、単位はmmである。この表面形状マップから分かるように、標本の表面形状の凹凸は±6μm以上ある。一方、撮像光学系304の焦点深度はおおよそ1μm以下であるので、焦点深度に対して凹凸が非常に大きい。
ステップS201では、制御部400は、計測部105によって各XY座標での高さ位置(Z位置)を(X,Y,Z)の形で表した表面形状マップを取得する。
次に、ステップS202では、制御部400は、図5(B)に示すように、取得した表面形状マップを先に説明した複数の分割標本領域の数と同じ数に、かつ相似な形状(つまりは撮像素子306と相似な形状)を有するように複数に分割する。図5(B)中の格子状の白線が分割線であり、表面形状マップの1つの分割領域を、以下の説明において分割マップ領域という。
標本上での各分割標本領域の大きさは、撮像素子306の大きさを撮像光学系304の倍率で除したものとなる。例として、第1の結像光学系の倍率m1を5倍とし、第2の結像光学系の倍率m2を2倍とすると、撮像光学系304全体の倍率は10倍である。そして、撮像素子306がその一辺が32.5mmの正方形であるとすると、標本上における各分割標本領域の一辺の長さは32.5mm/10倍=3.25mmとなる。また、第1の結像光学系3041の被撮像面A側の視野は直径14.1mmの円形であり、この視野に内接する正方形の一辺の長さは10mmである。一方、第2の結像光学系3043の被撮像面A側の視野は直径4.6mmの円形であり、この視野に内接する正方形の一辺の長さは3.25mmである。
各分割マップ領域内のXY座標(xj,yj)でのZ位置を(xj,yj,zj)とする。ステップS203では、制御部400は、標本の表面形状を近似する2次曲面を求める。この際、分割標本領域(領域番号をiとする)ごとの表面形状を近似する以下の式(1′)で示される2次曲面をその分割標本領域に対応する分割マップ領域のZ位置データを用いて最小二乗法により求める。
z=B1(i)x2+B2(i)xy+B3(i)y2+B4(i)x+B5(i)y+B6(i) …(1′)
ただし、i=1,2,3、・・・,inとする。
z=B1(i)x2+B2(i)xy+B3(i)y2+B4(i)x+B5(i)y+B6(i) …(1′)
ただし、i=1,2,3、・・・,inとする。
係数B1(i),B2(i),、・・・,B6(i)はすべての分割標本領域に対して分割標本領域ごとに求められる。
図5(C)には、ある分割標本領域のうねりがある表面形状Sと、これを近似する2次曲面S′であって上記のように最小二乗法によって求めたものとを3次元的に示している。
次に、図2(A)に示したフローチャートのうちステップS108にて行われるミラー補正量およびフォーカスオフセット量を決定する処理についてより詳しく説明する。
まず、制御部400は、前述したように、ステップS107で入力された温度を標本全体のフォーカスシフト量に換算する。もしくは、制御部400は、フォーカス計測部309で計測された標本の特定点のフォーカス位置を、標本全体のフォーカスシフト量に換算する。これらのフォーカスシフト量はXY座標によらず一様な値であってもよいし、XY座標の2次関数で表現される値であってもよい。
そして、制御部400は、ステップS104で得られた近似曲面の係数にこれらを加え、新たな近似曲面を求める。フォーカスシフト量がXY座標によらず一様な値であればこれを近似曲面の定数項にのみ加えればよい。また、フォーカスシフト量がXY座標の2次関数で表現される値であれば、近似曲面(2次曲面)の対応する項の係数にそれぞれを加えればよい。
そして、制御部400は、新たに得られた近似曲面の式からミラー補正量とフォーカスオフセット量を計算する。具体的には、以下のように、ミラー補正量を近似曲面の式の定数項以外の項から求め、フォーカスオフセット量を定数項から求める。
ミラー補正量は、B1(i)x2+B2(i)xy+B3(i)y2+B4(i)x+B5(i)yの1/2である。実際のミラー3042の反射面の変形量(実ミラー変形量)としては、第1の結像光学系3041の倍率m1から得られる縦倍率m1 2を考慮した量となる。すなわち、分割標本領域i内の標本点j=1,…,njでの実ミラー変形量zmjは、近似2次曲面から次の式(2)ように求められる。
zmj={B1(i)xj 2+B2(i)xjyj+B3(i)yj 2+B4(i)xj+B5(i)yj}・m1 2/2 …(2)
次に、制御部400は、分割標本領域iに対するフォーカスオフセット量を求める。
zmj={B1(i)xj 2+B2(i)xjyj+B3(i)yj 2+B4(i)xj+B5(i)yj}・m1 2/2 …(2)
次に、制御部400は、分割標本領域iに対するフォーカスオフセット量を求める。
フォーカスオフセット量は式(1)により求められたB6(i)により求められる。撮像素子306のみを光軸方向に移動させる場合の該撮像素子306のフォーカスオフセット量fs(i)は、以下のように求められる。撮像面B上では、第1の結像光学系3041の倍率m1と第2の結像光学系3043の倍率m2から撮像光学系304全体の倍率は(m1m2)となる。被撮像面A上でのフォーカス位置の変化量は、撮像面B上においては光軸と直交する方向では撮像光学系304の横倍率を乗じた量さとなるが、光軸と平行な方向では撮像光学系304の縦倍率、すなわち倍率の2乗を乗じた量となる。したがって、光軸方向には、次式(3)に示すように、B6(i)に(m1m2)2を乗じた量が撮像素子306のフォーカスオフセット量fs(i)となる。
fs(i)=B6(i)・(m1m2)2 …(3)
一方、ミラー3042のみを光軸方向に移動させる場合の該ミラー3042のフォーカスオフセット量fm(i)は、
fm(i)=B6(i)・m1 2/2 …(4)
となる。
fs(i)=B6(i)・(m1m2)2 …(3)
一方、ミラー3042のみを光軸方向に移動させる場合の該ミラー3042のフォーカスオフセット量fm(i)は、
fm(i)=B6(i)・m1 2/2 …(4)
となる。
撮像素子306とミラー3042のフォーカスオフセット量を独立して制御できるようにして撮像素子306とミラー3042の双方を光軸方向に移動させる場合は、次式(5)を満足するようにこれらのフォーカスオフセット量fs(i),fm(i)を決めればよい。
B6(i)=fs(i)/(m1m2)2+2fm(i)/m1 2 …(5)
また、ミラー3042の移動に伴って、第2の結像光学系3043を、この第2の結像光学系3043の光軸に直交する方向に移動させる構成を備えてもよい。
B6(i)=fs(i)/(m1m2)2+2fm(i)/m1 2 …(5)
また、ミラー3042の移動に伴って、第2の結像光学系3043を、この第2の結像光学系3043の光軸に直交する方向に移動させる構成を備えてもよい。
ここで、標本の表面形状に図5(A)に示すようなうねりがある場合において、分割標本領域iに対する近似2次曲面を求めたときの係数を図6(A)に示す。係数B6は被撮像面A上でのフォーカスオフセット量(mm)を示している。
また、分割標本領域iに対して撮像素子306の撮像面Bでのフォーカスオフセット量fs(i)とミラー3042の中心位置(xo(i),yo(i))での実ミラー変形量zmを求めた結果を図6(B)に示す。実際には、実ミラー変形量はミラー3042の中心位置に対してのみではなく、ミラー3042を変形させるアクチュエータまたは電極が配置されたすべての位置に対して求める。図6(B)における諸量の単位はmmである。
さらに、各分割標本領域において、補正残差Zerrorの平均値Zerror_meanと標準偏差σとを求めた結果を図6(C)に示す。図6(C)における諸量の単位はμmである。
各分割マップ領域内のXY座標(xj,yj)においての補正残差Zerrorは、実ミラー変形量zmjとフォーカスオフセット量fs(i),fm(i)を用いて以下の式(6)により求められる。この補正残差は、標本(被撮像面A)上の量に換算されている。
Zerror=({zj−[2(zmj+fm(i))/m1 2+fs(i)/(m1m2)2]}2)1/2 …(6)
なお、図6(C)に示す結果を求める際の第1および第2の結像光学系3041,3043の倍率はそれぞれ、m1=5,m2=2とした。また、撮像光学系304のNA(開口数)を0.7とし、焦点深度を約±0.5μmとした。
各分割マップ領域内のXY座標(xj,yj)においての補正残差Zerrorは、実ミラー変形量zmjとフォーカスオフセット量fs(i),fm(i)を用いて以下の式(6)により求められる。この補正残差は、標本(被撮像面A)上の量に換算されている。
Zerror=({zj−[2(zmj+fm(i))/m1 2+fs(i)/(m1m2)2]}2)1/2 …(6)
なお、図6(C)に示す結果を求める際の第1および第2の結像光学系3041,3043の倍率はそれぞれ、m1=5,m2=2とした。また、撮像光学系304のNA(開口数)を0.7とし、焦点深度を約±0.5μmとした。
補正残差の平均値や標準偏差σの3σの値は非常に小さい量となっており、焦点深度内に抑えられている。
本実施例によれば、標本の表面形状(うねり形状)を近似した近似曲面に基づいて可変形状ミラー3042の反射面を変形させることにより、標本の表面上の全点が撮像光学系304の焦点深度内に入った状態で撮像を行うことができる。
次に、本発明の実施例2として、標本の表面形状を近似する近似面としての平面を用いる場合について説明する。実施例1で説明した式(1)において、B1=B2=B3=0とすれば、平面で近似したことになる。
平面で近似した場合、実ミラー変形量zmjは、式(2)により平面の傾きを調整する量となる。ミラー3042上での傾きは標本の傾きに(第1の結像光学系3041の縦倍率)/(横倍率)を乗じた量となるから、(m1)2/m1=m1倍となる。ミラー3042の実際の傾き量はその1/2になる。フォーカスオフセット量は、実施例1で説明した式(3)〜(5)を用いて求められる。
実施例1と同様な条件のもと、標本の表面形状に図5(A)に示すうねりがある場合において、分割標本領域iに対して近似平面を求め、該近似平面の係数を求めた結果を図7(A)に示す。傾きが小さいので、係数B4,B5はそれぞれ、X軸方向での傾き(rad)とY軸方向での傾き(rad)と考えてよい。係数B6は、被撮像面A上でのフォーカスオフセット量f(mm)を示している。
分割標本領域iに対して撮像素子306の撮像面Bでのフォーカスオフセット量fs(i)とミラー3042の中心位置(xo(i),yo(i))での実ミラー変形量zmを求めた結果を図7(B)に示す。実際には、実ミラー変形量はミラー3042の中心位置に対してのみではなく、ミラー3042を変形させるアクチュエータまたは電極が配置されたすべての位置に対して求める。図7(B)における諸量の単位はmmである。
さらに、補正残差Zerrorの平均値Zerror_meanと標準偏差σとを求めた結果を図7(C)に示す。図7(C)における諸量の単位はμmである。
なお、図7(C)に示す結果を求める際の第1および第2の結像光学系3041,3043の倍率はそれぞれ、m1=5,m2=2とし、撮像光学系304のNA(開口数)を0.7とし、焦点深度を約±0.5μmとした。
図7(C)に示した補正残差の平均値や標準偏差σの3σの値は、実施例1(図6(C))に示した2次曲面で近似を行った場合より大きな値となっているが、標本の表面上の全点が撮像光学系304の焦点深度内におおむね入っている。標本の表面のうねりが大きくない場合には、本実施例のように平面近似で十分な場合が多い。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
304 撮像光学系
3042 可変形状ミラー
C 中間結像面
3042 可変形状ミラー
C 中間結像面
Claims (8)
- 被写体をその表面側から撮像する撮像装置であって、
撮像光学系と、
該撮像光学系の中間結像領域に配置された可変形状ミラーと、
前記被写体を複数の被写体領域に分割し、前記被写体の表面形状を示す形状データを用いて各被写体領域の前記表面形状を近似する近似面を求め、前記可変形状ミラーを前記近似面に対応する形状に変形させて撮像を行う制御手段とを有することを特徴とする撮像装置。 - 前記近似面は2次曲面であることを特徴とする請求項1に記載の撮像装置。
- 前記近似面は平面であることを特徴とする請求項1に記載の撮像装置。
- 前記撮像光学系の最終結像面に撮像素子が配置され、
前記制御手段は、前記撮像素子を前記撮像光学系の光軸方向に移動させてフォーカスオフセットを補正することを特徴とする請求項1から3のいずれか一項に記載の撮像装置。 - 前記制御手段は、前記可変形状ミラーを、前記撮像光学系の光軸方向に移動させてフォーカスオフセットを補正することを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
- 前記制御手段は、前記撮像光学系のうち前記可変形状ミラーよりも撮像面の側に配置された第2の光学系部分を前記撮像光学系の光軸に直交する方向に移動させてフォーカスオフセットを補正することを特徴とする請求項1から3のいずれか一項に記載の撮像装置。
- 前記撮像光学系のうち前記可変形状ミラーよりも前記被写体の側に配置された第1の光学系部分の視野のうち非撮像領域において前記被写体のフォーカス位置の計測を行うフォーカス計測手段を有することを特徴とする請求項1から6のいずれか一項に記載の撮像装置。
- 被写体をその表面側から撮像光学系を通して撮像する撮像方法であって、
前記被写体の表面形状を示す形状データを用意し、
前記被写体を複数の被写体領域に分割し、前記形状データを用いて各被写体領域の前記表面形状を近似する近似面を求め、
前記撮像光学系の中間結像領域に配置した可変形状ミラーを前記近似面に対応する形状に変形させて撮像を行うことを特徴とする撮像方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014081928A JP2015203727A (ja) | 2014-04-11 | 2014-04-11 | 撮像装置および撮像方法 |
US14/682,521 US20150293342A1 (en) | 2014-04-11 | 2015-04-09 | Image capturing apparatus and image capturing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014081928A JP2015203727A (ja) | 2014-04-11 | 2014-04-11 | 撮像装置および撮像方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015203727A true JP2015203727A (ja) | 2015-11-16 |
Family
ID=54264966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014081928A Pending JP2015203727A (ja) | 2014-04-11 | 2014-04-11 | 撮像装置および撮像方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150293342A1 (ja) |
JP (1) | JP2015203727A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021032686A (ja) * | 2019-08-23 | 2021-03-01 | 横浜ゴム株式会社 | 表面凹凸度の評価方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017223014A1 (de) * | 2017-12-18 | 2019-06-19 | Carl Zeiss Microscopy Gmbh | Verfahren zur Bestimmung der Dicke einer Probenhalterung im Strahlengang eines Mikroskops |
JP7325308B2 (ja) * | 2019-11-19 | 2023-08-14 | ルネサスエレクトロニクス株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5684566A (en) * | 1995-05-24 | 1997-11-04 | Svg Lithography Systems, Inc. | Illumination system and method employing a deformable mirror and diffractive optical elements |
JP3408118B2 (ja) * | 1997-07-03 | 2003-05-19 | キヤノン株式会社 | 投影露光方法および装置 |
TW582549U (en) * | 1997-09-24 | 2004-04-01 | Matsushita Electric Ind Co Ltd | Calculating apparatus of diffraction efficiency of diffraction lens, lens with optical grating device and reading optical system |
EP0974560B2 (en) * | 1997-12-09 | 2015-12-30 | Nippon Sheet Glass Co., Ltd. | Antireflection glass plate, process for producing the same, and antireflection coating composition |
DE10159666A1 (de) * | 2000-12-05 | 2002-07-11 | Sankyo Seiki Seisakusho Kk | Vorrichtung und Verfahren zur Messung der Oberflächenform |
US6842255B2 (en) * | 2001-04-09 | 2005-01-11 | Canon Kabushiki Kaisha | Interferometer and interferance measurement method |
US7456377B2 (en) * | 2004-08-31 | 2008-11-25 | Carl Zeiss Microimaging Ais, Inc. | System and method for creating magnified images of a microscope slide |
US7326899B2 (en) * | 2005-07-11 | 2008-02-05 | Olympus Corporation | Laser scanning microscope and image acquiring method of laser scanning microscope |
US20110144505A1 (en) * | 2008-08-20 | 2011-06-16 | Masaki Yamamoto | Optical device and method for shape and gradient detection and/or measurement and associated device |
JP5497386B2 (ja) * | 2009-09-11 | 2014-05-21 | 浜松ホトニクス株式会社 | 画像取得装置 |
-
2014
- 2014-04-11 JP JP2014081928A patent/JP2015203727A/ja active Pending
-
2015
- 2015-04-09 US US14/682,521 patent/US20150293342A1/en not_active Abandoned
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021032686A (ja) * | 2019-08-23 | 2021-03-01 | 横浜ゴム株式会社 | 表面凹凸度の評価方法 |
JP7311765B2 (ja) | 2019-08-23 | 2023-07-20 | 横浜ゴム株式会社 | 表面凹凸度の評価方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150293342A1 (en) | 2015-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9282926B2 (en) | Camera for recording surface structures, such as for dental purposes | |
CN112987288A (zh) | 具有弯曲焦面或目标基准元件和场补偿器的共焦成像设备 | |
JP5854680B2 (ja) | 撮像装置 | |
US8810799B2 (en) | Height-measuring method and height-measuring device | |
JP7093915B2 (ja) | 表面形状測定方法 | |
JP2015203727A (ja) | 撮像装置および撮像方法 | |
JP2015108582A (ja) | 3次元計測方法と装置 | |
JP2016148569A (ja) | 画像測定方法、及び画像測定装置 | |
KR101991512B1 (ko) | 신개념 레이저 변위 측정장치를 이용한 단차 측정방법 | |
JP2007183181A (ja) | 3次元形状測定装置 | |
CN113513997B (zh) | 光源、光路***、单目采集***、传感器及应变检测*** | |
TW201721087A (zh) | 增加用於檢測和度量之高度感測器之動態範圍 | |
JP4930834B2 (ja) | 形状測定方法 | |
JP6880396B2 (ja) | 形状測定装置および形状測定方法 | |
JP4828737B2 (ja) | Mtf測定装置 | |
JP7198731B2 (ja) | 撮像装置、及びフォーカス調整方法 | |
JP2004286608A (ja) | 共焦点高さ測定装置 | |
JP2018146391A (ja) | 表面形状測定装置及び表面形状測定方法 | |
JP5979982B2 (ja) | 撮像方法、プログラム、および撮像装置 | |
JP2004198381A (ja) | 干渉装置 | |
KR102160025B1 (ko) | 하전 입자빔 장치 및 광학식 검사 장치 | |
KR101590814B1 (ko) | 미소렌즈 배열의 구성방법 및 이를 이용하여 성능이 향상된 파면측정기 | |
JP2023176100A (ja) | 撮像装置及びフォーカス調整方法 | |
TW202400965A (zh) | 表面形狀測定裝置及表面形狀測定方法 | |
JP2022109321A (ja) | 表面形状測定装置及び表面形状測定方法 |