JP2004191959A - 顕微鏡画像撮影装置 - Google Patents

Abstract

【課題】高さ方向の補正量を求める処理を自動的に行ってより短い時間で標本全体画像を形成する顕微鏡画像撮影装置を提供する。
【解決手段】本発明の顕微鏡画像撮影装置は、標本全体を撮影した画像から標本像の存在する領域を抽出し、抽出された標本像領域の中から高さ座標Ｚを取得する複数個の水平位置を設定し、設定された水平位置で焦点位置である高さ座標を読み込み、読込まれた高さ座標データを用いて標本像領域中の任意の位置における焦点の補正位置を算出し、標本を水平移動するときに上記算出された補正焦点位置に標本の高さを移動させる。また、標本全体を撮影した画像から標本像の存在する領域を抽出し、標本像の存在する位置に水平移動するときには標本像の水平移動に追従した自動的焦点位置の検出動作を開始し、標本像の存在しない位置に水平移動するときには自動焦点位置検出動作を停止する。
【選択図】 図１

Description

本発明は、顕微鏡画像情報を入力し、該画像情報を処理して高解像度および広視野な画像を形成する顕微鏡画像撮影装置に関する。

従来より、顕微鏡画像をディジタル画像として観察する方法がある。一般に、顕微鏡を用いて標本を観察する場合、一度に観察できる範囲は、主として対物レンズの倍率によって決定される。そして、対物レンズが高倍率になるほど観察範囲は狭くなり、画像は標本のごく一部分に限られてくるが、その代わり高精細な画像を取得できる。

ところで、顕微鏡を例えば細胞診、組織診等の病理診断に用いる場合には、診断箇所の見落としを防止するために、標本全体象を把握する必要がある。また、近年の情報処理技術の発達に伴い、病理診断に用いる顕微鏡観察像においても旧来の銀塩フィルムと同様な高解像度な画像への要望が強くなっている。

これまで顕微鏡画像の撮影において、高解像度若しくは広視野の画像を形成するためには、種々の技術が開発されている。その１つとして、例えば標本全体像を小区画に分割し、これら小区画について、それぞれ対物レンズの倍率に応じた高精細な顕微鏡画像を撮影して重複部分も考慮して位置制御しながら取り込んで、この取り込んだ画像を整列配置して順次貼り合せる画像合成によって、高解像度で広視野な標本全体像画像を再構成する顕微鏡システムが提案されている。（例えば、特許文献１参照。）
ところで、このような小区画毎の画像撮影においては、標本ステージの面精度や標本の厚さによる誤差のため、対物レンズの光軸が小区画を移動すると焦点にずれを生じるから、この焦点ずれを補正する必要がある。そのため、全小区画の画像を取り込んで、標本全体像を形成するには時間がかかるという問題を有していた。

この問題に対する解決方法としては、標本ステージの水平方向移動に対して焦点位置補正するために、予め試料上の複数の焦点位置を調べ試料の傾きを求めておき、それを元に水平移動と同時に高さ方向の補正を行うことによって時間の短縮を図る方法が提案されている。（例えば、特許文献２参照。）
また、焦点位置の精度を上げる場合には、高さ方向の補正後、さらにオートフォーカスを実行し直す必要がある。このオートフォーカスの実行し直しを行う場合、その実行し直し条件として、先にオートフォーカスを実行した位置から一定の距離だけ水平移動した場合に制限することにより、オートフォーカスを実行する回数を減らして、全体画像を取得する時間を短縮する手段が提案されている。（例えば、特許文献３参照。）
特開平０９−２８１４０５号公報（第５頁。図３、図４。） 特開平１１−２３１２２８号公報（段落［００４３］、［００４４］、［００４７］、図１） 特開２００１−９１８４６号公報（段落［００５１］、［００５２］、図１１）

しかしながら、予め試料上の複数の焦点位置を調べて試料の傾きを求めておいてから水平移動と同時に高さ方向の補正を行う方法は、標本の傾きを求めるための操作は手作業で行う必要があり、また試料上の合焦位置を取得する場合、オートフォーカスを用いると標本がない場所ではエラーとなるので予めオートフォーカスが可能な場所を選んでおく必要があり、それらの操作が繁雑であるという問題を有している。

また、オートフォーカスの実行を一定の距離だけ水平移動した場合に制限することにより、オートフォーカスを実行する回数を減らす方法は、オートフォーカスの実行回数を減らすことができたとしても、水平移動と高さ方向の補正移動が終了するまで、オートフォーカスを実行できないため、小区画の水平移動から画像撮影が可能となる状態になるまでの時間を短締することが出来ないという問題を有している。

本発明の課題は、上記従来の実情に鑑み、高さ方向の補正量を求める処理を自動的に行ってより短い時間で標本全体画像を形成する顕微鏡画像撮影装置を提供することである。

本発明の顕微鏡画像撮影装置は、例えば標本全体を撮影した画像から標本像の存在する領域を抽出する標本像領域抽出ユニットと、該標本像領域抽出ユニットにより抽出された標本像領域の中から高さ座標Ｚを取得する複数個のＸＹ方向位置を自動的に設定する高さ座標取得位置設定ユニットと、上記高さ座標取得位置設定ユニットで設定されたＸＹ方向位置において焦点位置である高さ座標を読み込む座標読込ユニットと、上記高さ座標取得位置設定ユニットで設定された位置で上記座標読込ユニットによって読込まれた高さ座標データを用いて、標本像領域中の任意の位置における焦点の補正位置を算出する焦点補正位置算出ユニットと、標本を水平移動するときに上記焦点補正位置算出ユニットによって算出される補正焦点位置に標本の高さを移動する標本移動ユニットと、を有して構成される。

上記座標読込ユニットは、例えば設定された位置に標本が水平移動した状態でＡＦ処理を実行し、ＡＦ完了後の上記標本移動ユニットの高さ位置を高さ座標として読み込むように構成される。
上記高さ座標取得位置設定ユニットは、例えば標本像領域を所定の間隔で格子状の区画に分割した区画の格子点のうち標本像がある格子点の位置を高さ座標を取得する位置として設定するように構成される。

また、本発明の顕微鏡画像撮影装置は、例えば標本全体を撮影した画像から標本像の存在する領域を抽出する標本像領域抽出ユニットと、標本の水平移動に追従して自動的に焦点位置を検出する自動合焦ユニットと、を備え、上記自動合焦ユニットは、上記標本像領域抽出ユニットによって抽出された標本像の存在する位置に水平移動するときには焦点位置の検出を開始し、標本像の存在しない位置に水平移動するときには焦点位置の検出を停止するように構成される。

また、本発明の顕微鏡画像撮影装置は、例えば低倍率で撮像して視野内に取得された全体像を小区画に分割し、これらの小区画をそれぞれ高倍率で撮影して貼り合せることにより高解像度の全体像を形成する顕微鏡画像撮影装置において、小区画を形成する格子の格子点における標本像がある格子点の中から高さ座標を取得すべき複数個の位置を設定する高さ座標取得位置設定ユニットと、高倍率において標本の水平座標での焦点位置である高さ座標を読み込む座標読込ユニットと、上記高さ座標取得位置設定ユニットで設定された格子点で上記座標読込ユニットによって読込まれた高さ座標データを用いて、小区画内の任意の位置における高さ位置を算出する焦点補正位置算出ユニットと、を備えて構成される。

また、本発明の顕微鏡画像撮影装置は、例えば低倍率で撮像して視野内に取得された全体像を小区画に分割し、これらの小区画をそれぞれ高倍率で撮影して貼り合せることにより高解像度の全体像を形成する顕微鏡画像撮影装置において、複数の小区画の中から標本像の存在する小区画を抽出する標本像区画抽出ユニットと、標本像の変化に追従して自動的に焦点位置を検出する自動合焦ユニットと、を備え、上記自動合焦ユニットは、上記標本像区画抽出ユニットによって抽出された標本像の存在する小区画に水平移動するときには焦点位置の検出を開始し、標本像の存在しない小区画に水平移動するときには焦点位置の検出を停止することにより高倍率での画像撮影を行うように構成される。

この場合、上記上記自動合焦ユニットは、例えば最初の小区画の中心に標本がなかった場合には、該小区画から最も近くかつ中心に標本がある小区画に移動してＡＦを実行するように構成してもよい。
また、本発明の顕微鏡画像撮影方法は、例えば低倍率の対物レンズで観察スライドガラス全体の広視野画像を撮影し、この広視野画像から標本像のある領域を抽出し、この標本像のある領域を抽出する処理によって得られる標本象の有無情報に基づいて標本の凹凸が大きい場合又は視野中に散在した標本である場合にリアルタイムＡＦを使用するように設定して焦点位置を補正しながら高倍率画像を撮影し、上記標本像のある領域を抽出する処理によって得られる標本象の有無情報に基づいて標本が平坦で視野全体に広く存在する場合にはリアルタイムＡＦを使用しないように設定して高倍率画像を撮影するように構成される。

また、本発明の顕微鏡画像撮影装置の焦点位置補正方法は、例えば標本全体を撮影した画像から標本像の存在する領域を抽出し、抽出された標本像領域の中から高さ座標Ｚを取得する複数個の水平位置を設定し、設定された水平位置において焦点位置である高さ座標を読み込む座標読込ユニットと、設定された水平位置の座標とその水平位置において読込まれた高さ座標データを用いて標本像領域中の任意の位置における焦点の補正位置を算出し、標本を水平移動するときに上記算出された補正焦点位置に標本の高さを移動するように構成される。

更に、本発明の顕微鏡画像撮影装置の焦点位置補正方法は、例えば標本全体を撮影した画像から標本像の存在する領域を抽出し、抽出された標本像の存在する位置に水平移動するときには標本の水平移動に追従した自動的焦点位置の検出動作を開始し、標本像の存在しない位置に水平移動するときには自動焦点位置検出動作を停止するように構成される。

本発明によれば、予め決めた標本のある領域での焦点補正用基準位置から撮像位置の高さ方向の補正量を求め又はリアルタイムオートフォーカスを起動したまま標本の状態によってその起動の停止と再開を行うようにしているので、高解像度全体画像取込み時の焦点位置合わせの精度が良くなるとともに高倍率による全体画像の取込み時間を短縮できて顕微鏡画像撮影装置の操作性が向上する。

以下、本発明の実施の形態を図面を参照しながら説明する。

図１は、第１の実施の形態としての顕微鏡画像撮影装置の全体構成を示す図である。同図に示す顕微鏡画像撮影装置は、大別して、顕微鏡部１と、カメラ部２と、コンピュータ３と、モニタ４とで構成される。
顕微鏡部１は、観察スライドガラスＳから所望の倍率で光学的に全体像若しくは小区画の観察スライドガラス像（顕微鏡画像）を取り出す。より詳しくは、上記の顕微鏡部１は、観察すべき観察スライドガラスＳを載置する標本ステージ５を有し、該標本ステージ５の下方には、透過用フィルタユニット６、透過視野絞り７、透過開口絞り８、コンデンサ光学素子ユニット９、コンデンサトップレンズユニット１１、及び、例えばハロゲンランプからなる透過照明用光源１２が配置され、これらの装置により上記標本ステージ５上の観察スライドガラスＳを下方から照明する。

また、この標本ステージ５の上方で観察光路内の光軸上には、複数個の対物レンズ１３（１３ａ〜１３ｆ）を交換可能に装着して配置されたレボルバ１４、オートフォーカス用ビームスプリッタ１５、ピント検出用受光素子１６、ズームレンズ１７、観察スライドガラス像を分岐する観察用ビームスプリッタ１８、接眼レンズ１９が配置される。また、この顕微鏡部１には、上記構成要素全体を制御する顕微鏡制御ユニット２０が備えられている。

このように構成された上記顕微鏡部１において、透過照明用光源１２で発生した照明光は、コレクタレンズで集光され、透過用フィルタユニット６に入射されて、この透過用フィルタユニット６で調整される。そして調整された照明光は、透過視野絞り７、透過開口絞り８、コンデンサ光学素子ユニット９、及びコンデンサトップレンズユニット１１を通して、標本ステージ５の照明用開口部の下方から観察スライドガラスＳに照明される。

標本ステージ５は、顕微鏡制御ユニット２０によって、観察スライドガラスＳの観察部位変更のために、光軸と直交する平面内での２次元水平移動、ピント合わせのための光軸方向移動制御が行われるとともに、座標を検出することができる。
そして観察スライドガラスＳを透過し、対物レンズ１３により集光された光（観察スライドガラス像）は、オートフォーカス用ビームスプリッタ１５、観察倍率を任意に調奉するズームレンズ１７、観察用ビームスプリッタ１８を通過して、この顕微鏡部１の接眼レンズ１９の上方に配置されているカメラ部２のカメラヘッド２１に導かれる。

上記オートフォーカス用ビームスプリッタ１５は、光路に対して着脱自在であり、オートフォーカス用ビームスプリッタ１５で分岐した一方の光は、結像レンズを介してピント検出用受光素子１６に導かれ、オートフォーカス制御用の測光演算に使用される。
また、観察用ビームスプリッタ１８も光路に対して着脱自在であり、観察スライドガラスＳを透過した光を接眼レンズ１９若しくは、カメラ部２に導く。

カメラ部２は、カメラヘッド２１及びカメラ制御ユニット２２からなり、カメラヘッド２１は、例えばＣＭＤ（Charge Modulation Device）からなる固体撮像素子と、観察スライドガラスＳを透過した光をＣＭＤに結像させる結像光学系とを有し、観察スライドガラス像を画像信号に変換する。

また、カメラ制御ユニット２２は、カメラヘッド２１の制御を行うものであり入射光量対出力電圧のゲインを自動調節するＡＧＣ（auto gain contrast）を備えている。カメラ制御ユニット２２は、カメラヘッド２１から入力されるアナログ画像データを、コンピュータ３のＡ／Ｄ変換器２３に転送する。

コンピュータ３は、種々のシステム動作や処理を行うためのプログラム及び制御情報を格納するメモリを備え、画像処理を行うＣＰＵ２６と、フレームメモリ２４からのデジタル画像データを複数枚格納したり、標本の高さ方向の傾きを求めるための座標データを記録することが可能なメモリ２７と、マウスやキーボードなどの入力装置２８と、顕微鏡に対してレボルバ回転の指示、ズーム変倍の指示、オートフォーカス制御指示、標本ステージ移動指示等を送出する通信装置２９、及びキャプチャーボード部を備えている。キャプチャーボード部にはＡ／Ｄ変換器２３、フレームメモリ２４、及びＤ／Ａ変換器２５が備えられている。

前述した顕微鏡制御ユニット２０は、コンピュータ３の通信装置２９から上記各種指示を受けて対応する顕微鏡内の各構成要素を制御している。
コンピュータ３の上記のＡ／Ｄ変換器２３は、カメラヘッド２１で取り込んだ画像データをデジタル化し、フレームメモリ２４に転送する。このフレームメモリ２４に格納されたデジタル画像データは、一方では、ＣＰＵ２６により読み出されて種々を加工を施され、他方では、Ｄ／Ａ変換器２５によりアナログデータ化されモニタ４に表示される。

なお、本システムにおけるオートフォーカス制御機能としては、一度オートフォーカスの実行が開始されると終了コマンドが送られるまで標本像の変化に追従して標本ステージを上下させ、常に合焦状態とする制御（以下、リアルタイムオートフォーカスという）と、一度オートフォーカスを実行して合焦状態になるとオートフォーカス動作が終了する制御（以下、ワンショットオートフォーカスという）と、２つのオートフォーカスモードを備えている。

図２は、モニタ４に表示される顕微鏡操作用の表示画面の例を示す図である。同図に示すように、顕微鏡操作用表示画面３０には、左方に対物レンズ切替部３１が表示されている。対物レンズ切替部３１には、レボルバ３２と、このレボルバ３２の周囲に取り付けられる対物レンズの６つのレンズ取付部３３がボタン形式で模式的に表示されている。

これら６つのレンズ取付部３３には、右上から反時計回り方向に、取り付けられている対物レンズの倍率が４０倍、２０倍、１０倍、４倍、１．２５倍と表示されている。同図に示す例では、倍率が異なる５種類の対物レンズが取り付けられており、６つ目のレンズ取付部３３（「ＮＯＮＥ」と表記されたボタン）には対物レンズは取り付けられておらず、空きとなっている。

対物レンズの切り替えを指示するときは、所望の倍率の対物レンズのあるレンズ取付部３３を、入力装置２８のマウスを用いてクリックすることによって、切り替え指示の入力操作をすることができる。入力操作されたレンズ取付部３３は、ボタンが押し込まれた形状にボタンの表示が変化して、現在使用中の対物レンズの倍率が一目で分かるようになっている。

また、顕微鏡操作用表示画面３０の右方には、撮影に係わる指示と設定を行う指示設定部３４が表示されている。指示設定部３４には、上から「マクロ画像撮影」ボタン３５、「高解像度画像取込み」ボタン３６、及びチェック入力窓３７が表示されている。チェック入力窓３７の右方にはリアルタイムＡＦ（オートフォーカス）と表示されている。

マクロ画像の撮影を指示するときは「マクロ画像撮影」ボタン３５をマウスを用いてクリックして入力操作する。高解像度画像の取り込みを指示するときは「高解像度画像取込み」ボタン３６を入力操作する。いずれの場合も、入力操作されたボタンは押し込まれた形状にボタンの表示が変化する。

このように本例では、標本全体を撮影する「マクロ画像撮影」の場合、撮影する「全体画像」は低倍対物レンズを使用して撮影してもよく、あるいは、マクロ装置を使用して撮影してもよく、いずれか任意の撮影方法を指定することができる。 また、同図のようにチェック入力窓３７にチェック（ｘ）が表示されているときはリアルタイムＡＦが指示されている。このリアルタイムＡＦの指示を解除するには、チェック入力窓３７をマウスを用いてクリックすると、チェック（ｘ）の表示が消えてリアルタイムＡＦの指示が解除される。また、リアルタイムＡＦの指示が解除されている状態からリアルタイムＡＦを指示するときは、同様にチェック入力窓３７をマウスを用いてクリックすると、再びチェック（ｘ）が表示されてリアルタイムＡＦが指示されていることを確認できるようになっている。

図３は、上記構成の顕微鏡画像撮影装置における処理動作を説明するフローチャートである。この第１の実施の形態では、標本上の焦点位置の起伏の状態をＺ位置データとして予め求めておき、それによって高倍率画像撮影における水平移動時の焦点位置補正を行うものである。

図３において、先ず、観察スライドガラスＳ全体の広視野画像の撮影が行われる（Ｓ０１）。
この処理では、図２の顕微鏡操作用表示画面３０において、対物レンズ切替部３１の所望の低倍率の対物レンズが取り付けられているレンズ取付部３３のボタンが押される（マウスでクリックされる、以下同様）ことに応じて、レボルバ１４が回転し、所望の低倍率の対物レンズに切り換えられる。続いて、マクロ画像撮影ボタン３５が押されることに応じて、観察スライドガラスＳ全体の広視野画像撮影が行われる。

続いて、上記撮影した広視野画像を用いて、観察スライドガラスＳ上で標本のある領域の抽出を行う（Ｓ０２）。
この標本のある領域の抽出処理は、例えば、特開２０００−２９５４６２号公報で提案されている方法などによって行うことができる。

本例では、これと並行して、上記撮影した広視野画像を小区画に分割する。これは、高精細の画像を撮影するためであり、高精細な画像を撮影するには高倍率の対物レンズで撮影する必要がある。そのために、高倍率の対物レンズで撮影できる最小単位の視野サイズを決める必要がある。

図４は、そのような撮影用最小単位の視野サイズと観察スライドガラスとの対応関係と本例における撮影制御方法の基本原理を説明する図である。
同図に示す観察スライドガラスＳのラベル３８の貼付領域以外の撮影画像領域を縦横に格子状に分割された小区画３９は、上述した高精細な画像を撮影するための最小単位の視野サイズである。この最小単位の視野サイズは、撮影時に設定される対物レンズ１３とズームレンズ１７とカメラヘッド２１のＣＣＤサイズによって決定される。

同図に示す例では右下隅の座標（１，１）で示される位置の小区画３９から左上隅の座標（ｍ、ｎ）で示される位置の小区画３９までｍ×ｎ個の小区画３９に分割されている。このように、標本スライドガラスＳ上で撮影すべき複数の位置、すなわち座標（１，１）〜座標（ｍ，ｎ）で示される位置の、ｍ×ｎ個の小区画３９の撮影位置が決定される。これらの小区画３９を、高倍率対物レンズで図の矢印で示すように順次撮影していく。

勿論この標本スライドガラスＳ上の撮影位置は、上記の小区画３９にオーバーラップ領域を設けて設定しても良い。小区画３９の設定およびオーバーラップ領域を設けたときの設定は、特開平９−２８１４０５号公報で提案されている。
また、撮影順序は図４の矢印のように縦方向に往復しながら線順次に左方に移動するのではなく横方向に往復しながら線順次に上方向に移動するようにしていも良い。

続いて、図３において、上記ステップＳ０２の処理で抽出した標本のある領域の中から、高さ方向（Ｚ方向）の補正用の焦点位置を求めるために、焦点補正用の基準点を決定する（ステップＳ０３）。
図５は、上記補正用の焦点位置を求めるための焦点補正用基準点の決定方法を説明する図である。一般に、標本の高さ方向の補正用に焦点位置を求める焦点補正用基準点としては、標本の傾き補正ができるように、基準点と基準点との位置が適切な距離だけ離れている必要がある。このことに対応すべく、本例では、図５に示すように、標本スライドガラスＳ上において抽出された標本４０に対し、先ず、その標本４０が存在する領域として、標本４０に外接する四角形の標本領域４１が設定され、次に、この標本領域４１が、所定の間隔Ｌからなる小区画４２に分割される。

なお、この小区画４２は焦点補正用基準点を決定するために設定される区画であり、図４の撮影最小単位と撮影順序とを決めるための小区画３９とは直接には関係がない。
このように小区画４２を設定した後、標本４０がある領域の中にある格子の交差点（図のａ、ｂ、ｃ、・・・、ｇ）が焦点補正用基準点とされ、この焦点補正用基準点の位置の座標（Ｘ、Ｙ）が求められる。この場合、分割間隔Ｌを小さくすれば、基準点の数が多くなり、後述する高さ方向の補正（焦点補正）の精度は良くなるが、基準点の数が多くなっただけ時間がかかることになる。したがって、分割間隔Ｌとしては適宜な値が設定される。

尚、上記の例では高さ座榛の取得位置の基準点として標本の存在する領域上にある小区画の格子点を取得位置として設定するようにしているが、格子点に限らず、たとえば小区画の中心点を設定するようにしてもよく、また小区画の位置とは関係なく設定してもよい。いずれにしても標本の存在する領域上に設定することが前提となることはもちろんである。

続いて図３において、対物レンズが高倍率の対物レンズに交換される（ステップＳ０４）。
この処理では、図２の顕微鏡操作用表示画面３０のボタン形式で表示されているレンズ取付部３３の中から、所望の高倍率の対物レンズが装着されているレンズ取付部３３が押されることによって、図１のレボルバ１４が回転駆動され、上記所望の高倍率の対物レンズが観察スライドガラスＳ上に設定される。

続いて図３において、高さ方向の補正用に、上記焦点補正用基準点の焦点位置が取得される（ステップＳ０５）。
この処理では、これから小区画３９ごとに撮影する画像の高さ位置を補正するために、上記ステップＳ０３の処理で格子の交差点に設定（決定）されている焦点補正用基準点の高さを求めるため、焦点補正用基準点が対物レンズ位置に来るように図１に示した標本ステージ５が移動され、焦点補正用基準点（Ｘ、Ｙ）の焦点位置としての高さの座標（Ｚ）が求められる。この座標（Ｚ）の取得はオートフォーカスオによって容易に行うことができる。

そして、図３において、最後の焦点補正用基準点であるか否かを判別し（ステップＳ０６）、未だ最後の焦点補正用基準点でなければ（Ｓ０６がＮｏ）、ステップＳ０５の処理に戻って、次の焦点補正用基準点の座標（Ｚ）を求める、ということを繰り返す。
これにより、各焦点補正用基準点（Ｘ、Ｙ）の高さ座標（Ｚ）が、順次求められてゆき、各焦点補正用基準点の高さを含む３次元の位置座標（Ｘ、Ｙ、Ｚ）が決定され、この決定された各焦点補正用基準点の位置座標（Ｘ、Ｙ、Ｚ）のデータが、メモリ２７に記録される。

図６は、上記メモリ２７に記録される焦点補正用基準点の位置座標（Ｘ、Ｙ、Ｚ）のデータ構成を示す図である。同図に示すように、図５に示したようにして間隔Ｌの格子の交差点上に設定された焦点補正用基準点が、1番目からｎ番目まで、順次メモリ２７に格納されている。

ここで、この焦点補正用基準点を用いて標本４０の撮影位置の高さ（焦点）を補正する方法を説明する。図５において、例えば位置４３の正しい高さ（焦点）を知る（補正する）ためには、位置４３を中心とする「Ｌ×２」の範囲にある焦点補正用基準点を探す。このとき、３つ以上の焦点補正用基準点が在る場合には最寄の３つの焦点補正用基準点を探す。

図５に示す例では、位置４３を中心とする「Ｌ×２」の範囲内には、７つの焦点補正用基準点ａ〜ｇが存在する。このような場合は、これら７つの焦点補正用基準点ａ〜ｇの中から、位置４３に最寄の３つの焦点補正用基準点ａ、ｂ及びｃを採用して、それらの位置座標（Ｘ、Ｙ、Ｚ）を含む平面式を得るようにする。そして、この平面式に、位置４３の水平位置座標（Ｘ，Ｙ）を代入することによって、位置４３の高さ座標（Ｚ）を求めるようにする。

また、図５に示す位置４４のように、位置４４を中心とする「Ｌ×２」の範囲内に、焦点補正用基準点ａ及びｂのように２つしかない場合、換言すれば２つ以下の場合、もっとも近接する焦点補正用基準点のＺ座標値をもって位置４４の高さ座標（Ｚ）とする。図５に示す例では、位置４４にもっとも近接して存在する焦点補正用基準点は焦点補正用基準点ａであるから、この焦点補正用基準点ａのＺ座標値が位置４４の高さ座標（Ｚ）とされる。

このように高さ方向補正用の焦点補正用基準点の焦点位置（Ｚ座標）を全て取得し終わったならば、図３において、先ず、最初に撮影する小区画３９へ標本ステージ５を水平移動する（ステップＳ０７）。
この最初に撮影する小区画３９は、図４に示した右下隅の座標（１，１）で示される位置の小区画３９である。また、この水平移動以降の処理は、図の２の顕微鏡操作用表示画面３０において、リアルタイムＡＦ（オートフォーカス）のチェック入力窓３７のチェック（ｘ）が外され、更に「高解像度画像取込み」ボタン３６が入力操作されることに応じて、図１のコンピュータ２によって、顕微鏡制御ユニット２０を介して自動的に行われる。

上記に続いて、Ｚ補正をしながら小区画３９の撮影が行われる（ステップＳ０８）。
この処理において、最初の座標（１，１）で示される位置の小区画３９には、図５に示す例では、標本４０が存在しない。このような場合は、Ｚ補正は実質的に「０」である。
続いて、座標（ｍ，ｎ）で示される位置の最後の小区画３９であるか否かが判別される（ステップＳ０９）。

そして、最後の小区画３９でないときは（Ｓ０９がＮｏ）、次に撮影する小区画３９があるので、その次の小区画３９に水平移動して（ステップＳ１０）、ステップＳ８の処理に戻り、その水平移動した小区画３９をＺ補正をしながら撮影し、再びステップＳ９の判別を行うということが、最後の小区画３９の撮影が終了するまで（Ｓ０９がＹｅｓ）、繰り返される。

これにより、最初の座標（１，１）で示される位置の小区画３９から座標（ｍ，ｎ）で示される位置の最後の小区画３９までの撮影が順次行われ、標本４０がある小区画３９では、標本ステージ５が水平移動するとともに高さ方向も焦点補正用基準点によって補正された位置に移動し、標本４０の焦点が補正されて正しく焦点の合った高精細の画像が撮影される。

以上、この第１の実施形態によれば、標本スライドガラス上の標本像領域を抽出し、標本像領域の中のいくつかの点を焦点補正用の基準点として選択し、その基準点での焦点位置を検出して標本の傾きを求める一連の処理を自動的に行うことができ、これにより顕微鏡画像撮影の際の顕微鏡装置の操作性が向上する。

ところで、標本４０に細かい凹凸があったり、あるいは標本が図５に示すように一箇所にまとまっていないでまばらに散在しているような場合、上記のように一定間隔を有する基準点のＺ座標を用いた高さ方向の補正だけでは精度良く焦点位置を求めることができないことがある。本発明では、そのような場合にも、小区画ごとの移動による撮像面の変化に追従してリアルタイムオートフォーカスによる合焦を行って現実に即した標本画像の再現を行うようにする。以下、これを第２の実施の形態として説明する。

図７は、第２の実施形態における顕微鏡画像撮影装置の処理動作を説明するフローチャートである。なお、本例における顕微鏡画像撮影装置のハード構成及びモニタの顕微鏡操作用表示画面の構成は、図１に示したハード構成及び図２に示した表示画面の構成とそれぞれ同一である。

図８は、上記の処理における動作を例を挙げて具体的に示す図である。
図７において、低倍率の対物レンズで観察スライドガラスＳ全体の広視野画像を撮影する処理（ステップＳ３１）、及び標本像のある領域を抽出する処理（ステップＳ３２）は、図３に示したステップＳ０１の処理及びステップＳ０２の処理と同一である。また、図７において、高倍率の対物レンズに変換する処理（ステップＳ３３）は、図３に示したステップＳ０４の処理と同一である。

続いて図７において、最初に撮影する小区画（例えば図４に示す最初の座標（１，１）で示される位置の小区画３９）の中心に標本があるか否かを判別する（ステップＳ３４）。
そして、標本がある場合には（Ｓ３４がＹｅｓ）、標本ステージ５を最初の小区画３９に水平移動し、リアルタイムオートフォーカスを起動する（ステップＳ３５）。

他方、標本がない場合には（Ｓ３４がＮｏ）、ステップＳ３２で抽出された標本のある領域をもとに、最初の小区画３９に最も近い小区画で且つその中心に標本がある小区画３９を求め、その求めた小区画３９に標本ステージ５を移動し、ワンショットオートフォーカスを実行して焦点位置を求めてから（ステップＳ３６、図８の矢印Ｓ３６参照）、最初の小区画３９に移動する（ステップＳ３７、図８の矢印Ｓ３７参照）。

これらステップＳ３６及びＳ３７の一連の処理は、オートフォーカスは撮影視野の中心点を対象にして行うものであるから、図８において、最初の小区画３９ａの中心に標本が無いと、リアルタイムオートフォーカスを起動した場合にエラーが発生して装置全体の動作が停止するという不具合が発生する。

したがって、この不具合を避けるために、最初の小区画３９ａに仮のＺ座標を設定する。そしてその仮のＺ座標を、最初の小区画３９ａに最も近い小区画で且つその中心に標本がある小区画３９ｂから求めるものである。これによって、標本がない最初の小区画３９ａを撮影しても、設定されている仮のＺ座標に基づいて撮影が行われるのでエラーが派生しない。

このように先ず最初の小区画３９ａの撮影では、標本がある場合はリアルタイムオートフォーカスを起動し、標本が無い場合は仮のＺ座標を設定される。
そして、小区画３９の高解像度撮影が行われる（ステップＳ３８）。
続いて、いま撮影した小区画３９が最後の小区画３９であるか否かが判別される（ステップＳ３９）。

これは、換言すれば、次に撮影する小区画３９があるかどうかを調べる処理である。そして、最後の小区画３９ではない、つまり次に撮影する小区画３９があるときは（Ｓ３９がＮｏ）、続いて、その小区画３９の中心に標本があるか否かを判別する（ステップＳ４０）。

そして、小区画３９の中心に標本があれば（Ｓ４０がＹｅｓ）、その場合はリアルタイムＡＦ（オートフォーカス）を起動してから（ステップＳ４１）、他方、小区画３９の中心に標本が無いときは（Ｓ４０がＮｏ）、その場合はリアルタイムＡＦの起動を停止してから（ステップＳ４２）、上記の次の小区画に移動する（ステップＳ４３）。そして、ステップＳ３８の処理に戻って、ステップＳ３８〜Ｓ４３の処理を繰り返す。このようにして、ステップＳ３９の処理で、いま撮影した小区画３９が最後の小区画３９であると判別されるまで、小区画３９の高解像度の撮影が続行される。

ここで、図８を用い、上記の小区画３９の中心に標本が有る無しと、リアルタイムＡＦ（オートフォーカス）の起動と停止との関係を説明する。図８において上記のように小区画３９の高解像度撮影が小区画３９ｐまで矢印Ａで示すように進行したとする。上方の小区画からこの小区画３９ｐまで、小区画の中心には標本が無いから、リアルタイムＡＦは停止している。

そして、小区画３９ｑに移動すると、この小区画３９ｑの中心には標本が有るからリアルタイムＡＦの起動が再開され、同様の状態が小区画３９ｒまで継続する。
そして、次の小区画３９ｓに移動したとき、この小区画３９ｓの中心に標本は無いからリアルタイムＡＦの起動が停止する。そして、この状態は、中心に標本がある小区画の位置に撮像面が移動するまで継続される。

このようにリアルタイムＡＦの起動の再開と停止が繰り返されながら小区画３９の高解像度撮影が最初の小区画３９ａから座標（ｍ，ｎ）で示される位置の最後の小区画３９まで繰り返される。
以上、この第２の実施形態によれば、凹凸の多い標本や標本が散在している場合においても、リアルタイムオートフォーカスを起動したままその停止と再開を標本の有り無しに応じて自在に切り替えるので、合焦状態までの時間が短くなり小区画移動から画像取込みができる状態になるまでの時間を短縮することができる。

また、最初の小区画でオートフォーカス又は仮焦点位置を設定して撮影を実行した後に、オートフォーカスの対象範囲を狭くして、このオートフォーカスで得られた小区画の中心位置を高さ方向の補正位置とするので、オートフォーカスの合焦が早くなるとともに、コントラスト不足などでオートフォーカスエラーとなった場合でも実際の焦点位置から大きくずれることがなくなり、ピンボケ画像となる不具合が防止される。

以上説明したように、本発明の顕微鏡画像撮影装置では、予め標本の水平移動位置とその高さ位置を求めて水平移動と同時に高さ方向の補正を行うので、従来のように標本の傾きを求めるための操作を手作業で行う必要がなく、標本撮影の作業能率が向上する。

ところで、標本の状態は、その時々によって異なるから、そのような標本の状態により、小区画への移動で、焦点補正用基準点によって補正するか、リアルタイムオートフォーカスを使用するかを選択できると便利である。これを、第３の実施の形態として、以下に説明する。

図９は、第３の実施形態における顕微鏡画像撮影装置の処理動作を説明するフローチャートである。なお、本例における顕微鏡画像撮影装置のハード構成及びモニタの顕微鏡操作用表示画面の構成は、図１に示したハード構成及び図２に示した表示画面の構成とそれぞれ同一である。

図９において、低倍率の対物レンズで観察スライドガラスＳ全体の広視野画像を撮影する処理（ステップＳ６０）、及び標本像のある領域を抽出する処理（ステップＳ６１）は、図３に示したステップＳ０１の処理及びステップＳ０２の処理と同一である。
次に、顕微鏡画像の観察者は、モニタ４に表示される観察スライドガラスＳ全体の広視野画像から標本の状態を判断し、リアルタイムオートフォーカスを行うか否かを選択する（ステップＳ６２）。

この選択では、例えば標本の凹凸が大きい場合や、視野中に散在した標本である場合には、リアルタイムＡＦを使用したほうがよい。また、標本が平坦で視野全体に広く存在する場合には、リアルタイムＡＦを使用しないほうを選択するようにする。
この場合、標本が散在するか視野全体に広がっているかは、標本領域抽出処理によって抽出きれた標本像の有無情報を使って判断できるので、上記Ｓ６２の処理は、梼本領域抽出処理の結果を利用して自動的に行わせるようにしてもよい。

ここで、リアルタイムオートフォーカスを使用しない場合は（Ｓ６２がＮｏ）、図２の顕微鏡操作用表示画面３０上で、「リアルタイムＡＦ」の表示の左に表示されているチェック入力窓３７のチェック（ｘ）を外した状態で、「高解像度画像取込み」ボタン３６を押す。

これにより、焦点位置補正により高倍率画像を撮影する処理が実行される（ステップＳ６３）。
このリアルタイムオートフォーカスを使用しないでの高倍率画像の撮影処理は、図３のステップＳ０４からＳ０９までの処理と同一である。

他方、リアルタイムオートフォーカスを使用する場合は（Ｓ６２がＹｅｓ）、図２の顕微鏡操作用表示画面３０上で、「リアルタイムＡＦ」の表示の左に表示されているチェック入力窓３７のチェック（ｘ）を付けたままの状態で、「高解像度画像取込み」ボタン３６を押す。

これにより、リアルタイムオートフォーカスを使用しながら高倍率画像を撮影する処理が実行される（ステップＳ６４）。
このリアルタイムオートフォーカスを使用しながら高倍率画像を撮影する処理は、図７のステップＳ３３からＳ４１までの処理と同一である。

以上、この第３の実施の形態によれば、高倍率画像を取り込む前に、低倍率の広視野画像を見て高倍率画像の取り込み方法を選択する余地が得られるので、これにより顕微鏡画像撮影の際の顕微鏡装置の操作性が向上する。
また、オートフォーカスを用いる場合と用いない場合を選択して又は自動的に設定できるので標本がない場所でオートフォーカスエラーが発生して操作が困難になるというような不具合が無くなる。

また、予め水平位置とその高さ位置を算出して水平移動と同時に高さ位置も焦点位置に移動させるので、従来見られたような水平移動と高さ方向の補正移動が終了するまでオートフォーカスを実行できないという時間的な無駄がなくなり、標本撮影の作業能率が向上する。
（付記１）
標本全体を撮影した画像から標本像の存在する領域を抽出する標本像領域抽出ユニットと、
該標本像領域抽出ユニットにより抽出された標本像領域の中から高さ座標Ｚを取得する複数個のＸＹ方向位置を自動的に設定する高さ座標取得位置設定ユニットと、
上記高さ座標取得位置設定ユニットで設定されたＸＹ方向位置において焦点位置である高さ座標を読み込む座標読込ユニットと、
上記高さ座標取得位置設定ユニットで設定された位置で上記座標読込ユニットによって読込まれた高さ座標データを用いて、標本像領域中の任意の位置における焦点の補正位置を算出する焦点補正位置算出ユニットと、
標本を水平移動するときに上記焦点補正位置算出ユニットによって算出される補正焦点位置に標本の高さを移動する標本移動ユニットと、
を有することを特徴とした顕微鏡画像撮影装置。
（付記２）
上記座標読込ユニットは、設定きれた位置に標本が水平移動した状態でＡＦ処理を実行し、ＡＦ完了後の上記標本移動ユニットの高さ位置を高さ座標として読み込むことを特徴とする付記１記載の顕微鏡画像撮影装置。
（付記３）
上記高さ座標取得位置設定ユニットは、標本像領域を所定の間隔で格子状の区画に分割した区画の格子点のうち標本像がある格子点の位置を高さ座標を取得する位置として設定する付記１記載の顕微鏡画像撮影装置。
（付記４）
標本全体を撮影した画像から標本像の存在する領域を抽出する標本像領域抽出ユニットと、
標本の水平移動に追従して自動的に焦点位置を検出する自動合焦ユニットと、
を備え、
上記自動合焦ユニットは、上記標本像領域抽出ユニットによって抽出された標本像の存在する位置に水平移動するときには焦点位置の検出を開始し、標本像の存在しない位置に水平移動するときには焦点位置の検出を停止することを特徴とした顕微鏡画像撮影装置。
（付記５）
低倍率で撮像して視野内に取得された全体像を小区画に分割し、これらの小区画をそれぞれ高倍率で撮影して貼り合せることにより高解像度の全体像を形成する顕微鏡画像撮影装置において、
複数の小区画の中から標本像の存在する小区画を抽出する標本像区画抽出ユニットと、 標本像の変化に追従して自動的に焦点位置を検出する自動合焦ユニットと、
を備え、
上記自動合焦ユニットは、上記標本像区画抽出ユニットによって抽出された標本像の存在する小区画に水平移動するときには焦点位置の検出を開始し、標本像の存在しない小区画に水平移動するときには焦点位置の検出を停止することにより高倍率での画像撮影を行い、最初の小区画の中心に標本がなかった場合には、該小区画から最も近くかつ中心に標本がある小区画に移動してＡＦを実行することを特徴とする顕微鏡画像撮影装置。

第１の実施の形態としての顕微鏡画像撮影装置の全体構成を示す図である。 モニタに表示される顕微鏡操作用の表示画面の例を示す図である。 第１の実施の形態の顕微鏡画像撮影装置における処理動作を説明するフローチャートである。 撮影用最小単位の視野サイズと観察スライドガラスとの対応関係と本例における撮影制御方法の基本原理を説明する図である。 補正用の焦点位置を求めるための焦点補正用基準点の決定方法を説明する図である。 メモリに記録される焦点補正用基準点の位置座標（Ｘ、Ｙ、Ｚ）のデータ構成を示す図である。 第２の実施形態における顕微鏡画像撮影装置の処理動作を説明するフローチャートである。 第２の実施形態の顕微鏡画像撮影装置の処理における動作を例を挙げて具体的に示す図である。 第３の実施形態における顕微鏡画像撮影装置の処理動作を説明するフローチャートである。

符号の説明

１ 顕微鏡部
２ カメラ部
３ コンピュータ
４ モニタ
Ｓ 観察スライド
５ 標本ステージ
６ 透過用フィルタユニット
７ 透過視野絞り
８ 透過開口絞り
９ コンデンサ光学素子ユニット
１１ コンデンサトップレンズユニット
１２ 透過照明用光源
１３（１３ａ〜１３ｆ） 対物レンズ
１４ レボルバ
１５ オートフォーカス用ビームスプリッタ
１６ ピント検出用受光素子
１７ ズームレンズ
１８ 観察用ビームスプリッタ
１９ 接眼レンズ
２０ 顕微鏡制御ユニット
２１ カメラヘッド
２２ カメラ制御ユニット
２３ Ａ／Ｄ変換器
２４ フレームメモリ
２５ Ｄ／Ａ変換器
２６ ＣＰＵ
２４ フレームメモリ
２７ メモリ
２８ 入力装置
２９ 通信装置
３０ 顕微鏡操作用表示画面
３１ 対物レンズ切替部
３２ レボルバ
３３ レンズ取付部
３４ 指示設定部
３５ マクロ画像撮影ボタン
３６ 高解像度画像取込みボタン
３７ チェック入力窓
３８ ラベル
３９、３９ａ、３９ｂ、３９ｐ、３９ｑ、３９ｒ、３９ｓ 小区画
４０、４０′ 標本
４１ 標本領域
４２ 小区画
４３、４４ 標本上の位置

Claims (5)

1. 低倍率で撮像して視野内に取得された全体像を小区画に分割し、これらの小区画をそれぞれ高倍率で撮影して貼り合せることにより高解像度の全体像を形成する顕微鏡画像撮影装置において、
   小区画を形成する格子の格子点における標本像がある格子点の中から高さ座標を取得すべき複数個の位置を設定する高さ座標取得位置設定ユニットと、
   高倍率において標本の水平座標での焦点位置である高さ座標を読み込む座標読込ユニットと、
   上記高さ座標取得位置設定ユニットで設定された格子点で上記座標読込ユニットによって読込まれた高さ座標データを用いて、小区画内の任意の位置における高さ位置を算出する焦点補正位置算出ユニットと、
   を備えたことを特徴とする顕微鏡画像撮影装置。
2. 低倍率で撮像して視野内に取得された全体像を小区画に分割し、これらの小区画をそれぞれ高倍率で撮影して貼り合せることにより高解像度の全体像を形成する顕微鏡画像撮影装置において、
   複数の小区画の中から標本像の存在する小区画を抽出する標本像区画抽出ユニットと、 標本像の変化に追従して自動的に焦点位置を検出する自動合焦ユニットと、
   を備え、
   上記自動合焦ユニットは、上記標本像区画抽出ユニットによって抽出された標本像の存在する小区画に水平移動するときには焦点位置の検出を開始し、標本像の存在しない小区画に水平移動するときには焦点位置の検出を停止することにより高倍率での画像撮影を行うことを特徴とする顕微鏡画像撮影装置。
3. 低倍率の対物レンズで観察スライドガラス全体の広視野画像を撮影し、
   この広視野画像から標本像のある領域を抽出し、
   この標本像のある領域を抽出する処理によって得られる標本象の有無情報に基づいて標本の凹凸が大きい場合又は視野中に散在した標本である場合にリアルタイムＡＦを使用するように設定して焦点位置を補正しながら高倍率画像を撮影し、
   上記標本像のある領域を抽出する処理によって得られる標本象の有無情報に基づいて標本が平坦で視野全体に広く存在する場合にはリアルタイムＡＦを使用しないように設定して高倍率画像を撮影する、
   ことを特徴とする顕微鏡画像撮影方法。
4. 標本全体を撮影した画像から標本像の存在する領域を抽出し、
   抽出された標本像領域の中から高さ座標Ｚを取得する複数個の水平位置を設定し、
   設定された水平位置において焦点位置である高さ座標を読み込む座標読込ユニットと、
   設定された水平位置の座標とその水平位置において読込まれた高さ座標データを用いて標本像領域中の任意の位置における焦点の補正位置を算出し、
   標本を水平移動するときに上記算出された補正焦点位置に標本の高さを移動する、
   ことを特徴とした顕微鏡画像撮影装置の焦点位置補正方法。
5. 標本全体を撮影した画像から標本像の存在する領域を抽出し、
   抽出された標本像の存在する位置に水平移動するときには標本の水平移動に追従した自動的焦点位置の検出動作を開始し、
   標本像の存在しない位置に水平移動するときには自動焦点位置検出動作を停止することを特徴とした顕微鏡画像撮影装置の焦点位置補正方法。
   
   

Images