JP2015156011A

JP2015156011A - 画像取得装置およびその制御方法

Info

Publication number: JP2015156011A
Application number: JP2014203059A
Authority: JP
Inventors: 齋藤　裕; Yutaka Saito; 裕齋藤; 直人布施; Naoto Fuse; 智朗川上; Tomoaki Kawakami
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-01-15
Filing date: 2014-10-01
Publication date: 2015-08-27
Also published as: WO2015107872A1

Abstract

【課題】試料から複数層の画像を取得する処理を効率的に実行することのできる技術を提供する。
【解決手段】画像取得装置が、試料からの光を集光する光学系と、前記光学系からの光路を複数の光路に分割する分割手段と、前記複数の光路上にそれぞれ受光面を有する複数の撮像手段と、前記複数の撮像手段を用いて第一の処理および第二の処理を行う制御手段と、前記複数の撮像手段の受光面と光学的に共役な試料側の面である複数の基準面の間隔を変更する変更手段と、を有する。前記変更手段は、前記複数の撮像手段が前記第一の処理のための撮像を行う場合と前記第二の処理のための撮像を行う場合とで、前記複数の基準面の間隔を変える。
【選択図】図１

Description

本発明は、画像取得装置に関し、特に、試料の多層の画像を高速で取得するための画像取得装置に関する。

病理学の分野等で、光学顕微鏡の代替として、試料を撮像することによりデジタル画像を取得する画像取得装置が注目されている。この装置においては、取得した画像データを用いて、医師による病状診断を可能とする。この種の装置は、デジタル顕微鏡システム、スライドスキャナ、バーチャルスライドシステムなどと呼ばれる。病理診断画像のデジタル化により、例えば細胞の形状把握や個数算出、細胞質と核の面積比を算出することで、病理診断に有用な種々の情報の提示も可能となる。

一方で、細胞には厚みがあるため、医師は、厚み方向（Ｚ方向）に細胞核等の構造物がどのように分布しているかも総合して病理診断を行う必要がある。このため、顕微鏡のような焦点深度の浅い光学系を有する画像取得装置においては、例えば、試料を載せたステージをＺ方向に移動させながら構造物を検出し、画像を取得すべきＺ範囲（高さ範囲）を決定する。そして、ステージの高さを微小移動させながら、そのＺ範囲内の複数層の画像を取得する。こうして撮像した複数の画像から、全ての領域で焦点が合った全焦点画像や、厚み方向の構造物の分布が把握できる三次元画像を構築することが行われる。各層の画像はレイヤー画像、複数層のレイヤー画像群はＺスタック画像とも呼ばれる。

ところが、観察すべき構造物は、試料内のどの高さに分布しているか未知であるため、試料内の広域を探索する必要があり、探索に時間を要することがあった。一方で、高さ方向に高分解能の画像を取得するためには、ステージ高さの移動を狭ピッチで制御する必要があり、対象層の画像取得に更に時間を要した。病理診断用のスライドスキャナ等の大量の試料の画像取得を行う装置で、このように時間を要すると、経時変化の影響で、最初の方に取得した画像と最後の方に取得した画像との相関が担保できず、正確な比較診断の妨げとなることがある。例えば、病理診断においては、同一の試料に対して、照射する光の波長等の条件を複数変えて画像取得し、それらを比較して診断を行うことがある。その際に、観察された差異が、照射条件の違いによって観察された症状なのか、経時変化（例えば光源の温度変動）によって違って現れた誤差なのかが判別困難となる。

特許文献１には、被写体からの光を複数の光に分割し、光軸に沿って配設位置が互いに異なるようにされた複数の撮像素子で受光することで、フォーカス位置が互いに異なる複数の画像信号を記録できる画像信号記録装置が開示されている。この構成によって、複数層の画像を取得する時間を、従来よりも削減できる。

また、特許文献２には、顕微鏡と対象物の距離を順次変化させ、コントラストが最大となる距離を求める粗調整手段と、粗調整手段で求めた距離付近を微移動し、コントラストが最大となる距離を更に求める微調整手段とを備える画像処理装置が開示されている。この方法を用いれば、コントラストが最大となる距離から遠い距離付近での微移動が割愛できるので、画像を取得すべきＺ範囲の探索時間を、従来よりも削減できる。

しかしながら、多層画像の取得と試料内の探索のように、異なる目的の複数の処理に対して、トータルの処理時間を削減するための方法に関しては、いずれの文献にも開示されていない。なお、多層画像の取得を行う撮像系と、試料内の探索を行う撮像系を分け、並列に処理を行うことでトータルの処理時間を削減することも考えられるが、この場合は装
置の大型化とコスト増を招くため、好ましくない。

また、別の課題として、カラー画像の取得に関する課題が挙げられる。病理診断の対象となる標本は染色されていることがほとんどのため、病理診断を行う上でカラー画像の取得は必須である。しかしながら、ベイヤー配列の撮像素子を用いる構成では、高精細化を実現することが難しい。一方、高精細化のために、光源の色をＲ，Ｇ，Ｂに切り替えながら撮像する方法もあるが、この構成は装置の大型化を招くとともに、３回の照明・撮像を行う必要があり撮像時間がかかるという難点がある。

特開平１０−２５７３６９号公報特開平８−０２１９５０号公報

本発明はこのような事情に鑑みてなされたもので、試料から複数層の画像を取得する処理を効率的に実行することのできる技術を提供することを目的とする。また、本発明の他の目的は、一つの撮像系で、目的の異なる複数の処理に応じた画像取得を効率的に実行することのできる技術を提供することにある。

本発明の第１態様は、試料からの光を集光する光学系と、前記光学系からの光路を複数の光路に分割する分割手段と、前記複数の光路上にそれぞれ受光面を有する複数の撮像手段と、前記複数の撮像手段を用いて第一の処理および第二の処理を行う制御手段と、前記複数の撮像手段の受光面と光学的に共役な試料側の面である複数の基準面の間隔を変更する変更手段と、を有し、前記変更手段は、前記複数の撮像手段が前記第一の処理のための撮像を行う場合と前記第二の処理のための撮像を行う場合とで、前記複数の基準面の間隔を変えることを特徴とする画像取得装である。

本発明の第２態様は、試料からの光を集光する光学系と、前記光学系からの光路を複数の光路に分割する分割手段と、前記複数の光路上にそれぞれ受光面を有する複数の撮像手段と、を有する画像取得装置の制御方法であって、前記複数の基準面の間隔を第一の間隔に設定する工程と、前記第一の間隔に設定された前記複数の撮像手段を用いて第一の処理を行う工程と、前記複数の基準面の間隔を前記第一の間隔よりも小さい第二の間隔に設定する工程と、前記第二の間隔に設定された前記複数の撮像手段を用いて第二の処理を行う工程と、を含むことを特徴とする画像取得装置の制御方法である。

本発明によれば、試料から複数層の画像を取得する処理を効率的に実行することができる。また、本発明によれば、一つの撮像系で、目的の異なる複数の処理に応じた画像取得を効率的に実行することができる。

第１実施形態に係る画像取得装置の概略図。画像取得装置のユニット配置図。制御ユニットの機能ブロック図。制御ユニットのハードウェア構成図。Ｚ範囲探索処理と多層画像取得処理との関係を説明するための図。評価指標のプロファイル例。画像取得装置の処理全体を表すフローチャート。Ｚ範囲探索処理を表すフローチャート。多層画像取得処理を表すフローチャート。第２実施形態に係る画像取得装置の概略図。画像取得装置のユニット配置図。Ｚ範囲探索処理とカラー画像取得処理との関係を説明するための図。評価指標のプロファイル例。画像取得装置の処理全体を表すフローチャート。カラー画像取得処理を表すフローチャート。第２実施形態に係る画像取得装置の変形例を示す概略図。

以下、図面を参照しながら本発明の実施の形態を説明する。本実施形態の説明においては、画像取得装置としてデジタル顕微鏡（スライドスキャナ）を、画像取得の対象となる試料としてスライド（プレパラートとも呼ばれる。）を好ましい例として提示するが、本発明の範囲は特にこれらに限定されない。また、説明を具体化するために例示する数値も、特に言及しない限りは、本発明の範囲を限定するものではない。
なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

＜第１実施形態＞
本発明の第１実施形態に係る画像取得装置について、図１を用いて説明する。

（画像取得装置の構成）
図１は、第１実施形態に係る画像取得装置１００の構成を示す図である。図１に基づいて、画像取得装置１００の構成について説明する。以下の説明においては、Ｚ方向を光学系である対物レンズ１０２の光軸方向、ＸＹ方向をその光軸に垂直な方向と定義する。Ｚ方向は、試料の高さ方向（厚み方向）とも一致する。

画像取得装置１００は、対物レンズ１０２、光路分割ユニット１０３、撮像ユニット１０４Ａ〜１０４Ｄ、撮像ユニット移動機構１０８Ａ〜１０８Ｄ、ステージ１０５、制御ユニット１０６、表示ユニット１０７を有する。対物レンズ１０２は、試料であるスライド１０１からの光（透過光または反射光）を集光する光学系である。光路分割ユニット１０３は、対物レンズ１０２からの光束を４つの光路に分割する分割手段である。撮像ユニット１０４Ａ〜１０４Ｄは、分割光路それぞれの光軸上に配置された複数の撮像手段である。撮像ユニット移動機構１０８Ａ〜１０８Ｄは、撮像ユニット１０４Ａ〜１０４Ｄをそれぞれ光軸方向に移動させる変更手段である。ステージ１０５は、スライド１０１を保持し移動させる第二の変更手段である。制御ユニット１０６は、画像取得装置１００を制御して表示用画像データを生成する制御手段である。表示ユニット１０７は、デジタル画像を表示する表示手段である。スライド１０１のＸＹＺ位置がステージ１０５によって移動制御され、スライド１０１内の高さの異なる４つの層が、対物レンズ１０２、光路分割ユニット１０３を介して、撮像ユニット１０４Ａ〜１０４Ｄによって同時に撮像される。

スライド１０１は、スライドグラス上に試料（組織切片等の生体サンプルなど）を配置し、封入剤およびカバーグラスで試料を固定した、プレパラート標本である。

対物レンズ１０２は、レンズ及びミラーの組み合わせで構成され、不図示の本体フレームおよび鏡筒によって保持される。対物レンズ１０２は、光路分割ユニット１０３とともに、スライド１０１の光像を撮像ユニット１０４Ａ〜１０４Ｄの受光面に結像させるための結像光学系を構成する。また、対物レンズ１０２は、スライド１０１の光像を所定の倍
率で拡大し、撮像ユニット１０４Ａ〜１０４Ｄのいずれの受光面においても同じ拡大率で投影する。対物レンズ１０２の被写界深度は、約１ｕｍ（マイクロメートル）から数ｕｍと非常に狭い。

光路分割ユニット１０３は、不図示の本体フレームあるいは対物レンズ１０２の鏡筒によって保持され、対物レンズ１０２からの光束を、撮像ユニット１０４Ａ〜１０４Ｄに向けて４分割するための光学系である。光路分割ユニット１０３は、対物レンズ１０２の視野全域が各撮像ユニット１０４Ａ〜１０４Ｄの受光面に投影されるように構成・配置される。

撮像ユニット１０４Ａ〜１０４Ｄは、不図示の本体フレームあるいは対物レンズ１０２の鏡筒によって保持され、ＣＣＤやＣＭＯＳセンサ等の（２次元）撮像素子により構成される。高画素センサを使用することで、広域かつ高空間分解能画像の一括取得が可能となる。本実施形態においては、６．４ｕｍ（マイクロメートル）ピッチのフルサイズＣＭＯＳを光学２５．６倍の対物レンズ１０２と組み合わせることによって、１．４ｍｍ×０．９ｍｍ領域からの０．２５ｕｍ／ｐｉｘｅｌの画像一括取得を実現する。本明細書では、対物レンズ１０２に対して、各撮像ユニット１０４Ａ〜１０４Ｄの受光面と光学的に共役な位置にある試料側（物体側）の面を「基準面」と呼ぶ。４つの撮像ユニット１０４Ａ〜１０４Ｄに対応する４つの基準面のＺ方向（光軸方向）の位置を異ならせることで、スライド１０１内の異なるＺ位置の層を同時に撮像できる。撮像ユニット１０４Ａ〜１０４Ｄからの出力データの取り込みは、制御ユニット１０６によって制御される。

撮像ユニット移動機構１０８Ａ〜１０８Ｄは、制御ユニット１０６から出力される制御目標値に応じて、撮像ユニット１０４Ａ〜１０４Ｄをそれぞれ光軸方向に移動させる。撮像ユニット移動機構１０８Ａ〜１０８Ｄは、後述するＺステージの位置決め精度に対し、対物レンズ１０２の光学倍率の２乗程度の位置決め精度で駆動可能であれば良い。該移動機構は、リニアモータ、直動ガイドを用いたステージ、直動ボールネジを用いたＤＣモータ、パルスモータ、ＶＣＭなどで駆動する直動システム、板バネなどの弾性変形を利用した案内機構とピエゾアクチュエータを用いた機構などで構成することができる。

撮像ユニット１０４Ａ〜１０４Ｄが移動することで、４つの基準面同士のＺ方向の間隔（ピッチ）が変更され、任意の高さにある複数（４つ）の層が同時に撮像可能となる。本実施形態においては、後述するＺ範囲探索処理（第一の処理）と多層画像取得処理（第二の処理）との間で、４つの基準面同士の間隔を変更させる。なお、本実施形態では４つの基準面を等間隔に配置するが、試料に合わせて、あるいは、画像取得の目的に合わせて、基準面同士の間隔を不等間隔に設定することもできる。

本実施形態では、すべての撮像ユニット１０４Ａ〜１０４Ｄが移動する構成としたが、１つの撮像ユニットを固定し（撮像ユニット移動機構を設置しない）、他の撮像ユニットの相対位置を移動させる構成としてもよい。これにより、撮像ユニット移動機構の数が減り、構成が簡易になる。

また、本実施形態では、一例として、撮像ユニット１０４Ａ〜１０４Ｄをそれぞれ光軸方向に移動させることで４つの基準面同士の間隔を変更する構成とした。この構成に限らず、分割光路上それぞれに複数のミラーやリレーレンズを配置し、それらを移動させることで分割光路の光路長を変更し、４つの基準面同士の間隔を変更する構成としても良い。

ステージ１０５は、スライド１０１を保持する保持部と、制御ユニット１０６から出力される制御目標値に応じて、保持部をＸＹ方向に移動させるＸＹステージと、保持部をＺ方向に移動させるＺステージを含む（いずれも不図示）。ＸＹステージは、特に、２５ｍ
ｍ以上の広範囲に駆動可能なものが好ましい。ＸＹステージは、リニアモータや、直動ガイドを用いたステージ、直動ボールネジを用いたＤＣモータ、パルスモータ、ＶＣＭなどで駆動する直動システムなどで構成することができる。一方、Ｚステージは、特に、０．１ｕｍ以下の位置決め精度で駆動可能なものが好ましい。Ｚステージは、リニアモータや、直動ガイドを用いたステージ、直動ボールネジを用いたＤＣモータ、パルスモータ、ＶＣＭなどで駆動する直動システムや、板バネ案内機構とピエゾアクチュエータを用いた機構などで構成することができる。

ＸＹステージが移動することで、スライド１０１と対物レンズ１０２とのＸＹ相対位置が変更され、スライド１０１の所望の領域の分割画像が取得可能となる。また、ＸＹ移動を連続して制御しながら分割画像の取得を繰り返すことで、スライド１０１の広域を撮像することができる。広域から画像取得するためのＸＹ移動順序は、ＸＹ取得対象範囲に基づいて決定する。ＸＹ取得対象範囲は、画像を取得すべき試料内のＸＹ範囲（領域の広がり）を定義する情報である。ＸＹ取得対象範囲は、不図示の予備計測系によって予め計測した、試料のＸＹ形状情報に基づいて決定しても良いし、必要に応じてユーザからの指示に基づいても良い。ＸＹ取得対象範囲の設定によって、病理診断などに必要な領域の画像データを選択的に生成することができ、例えば試料の存在しない領域等を削除して表示用画像データの容量を小さくし、データのハンドリングを容易にできる。なお、通常は、検出した試料の存在領域と等しくなるようにＸＹ取得対象領域を決定する。

一方、Ｚステージが移動することで、スライド１０１と４つの基準面とのＺ相対位置が変更され、スライド１０１内の異なる高さ（深さ）の４層分の画像が同時に取得可能となる。また、Ｚ移動を連続して制御しながら画像の取得を繰り返すことで、同じＸＹ領域に対し４層以上の画像の取得が可能となる。この処理を多層画像取得処理とよぶ。多層画像取得処理におけるＺ移動順序は、Ｚ取得対象範囲に基づいて決定する。Ｚ取得対象範囲は、多層の画像を取得すべき試料内のＺ範囲（高さ範囲）を定義する情報であり、後述するＺ範囲探索処理の結果に基づいて決定する。なお、本実施形態では、一例として、Ｚステージが移動することでスライド１０１と対物レンズ１０２の４つの基準面とのＺ相対位置を変更する構成としたが、対物レンズ１０２または撮像ユニット１０４Ａ〜１０４Ｄが移動する構成としても良い。

制御ユニット１０６は、ＣＰＵ、メモリ、ハードディスクなどを含む演算処理の高速な汎用のコンピュータやワークステーション、専用のグラフィックボード、あるいはこれらの組み合わせによって構成される。制御ユニット１０６は、ステージ１０５、撮像ユニット１０４Ａ〜１０４Ｄ、撮像ユニット移動機構１０８Ａ〜１０８Ｄ、表示ユニット１０７との間で、制御情報や画像データの入出力を行うためのインターフェースを備える。また、制御ユニット１０６は、画像取得装置１００の設定を変更するためのインターフェース、試料の位置情報や形状情報を入力するためのインターフェースを備えても良い。後述する制御ユニット１０６の機能は、ハードディスクなどの記憶媒体に格納されたプログラムをメモリにロードし、ＣＰＵが実行することにより実現されるものである。

表示ユニット１０７は、画像取得装置１００の生成した表示用画像データに基づいて、病理診断に適した観察用画像を表示する機能を有する。ＣＲＴや液晶等のモニタにより表示ユニット１０７を構成することができる。

（光路の分割）
図２は、４つの基準面を撮像するための、対物レンズ１０２、光路分割ユニット１０３、撮像ユニット１０４Ａ〜１０４Ｄの配置図である。光路分割ユニット１０３は、対物レンズ１０２の像側に配置した３つのビームスプリッタ３１〜３３から構成される。

図２に示すように、対物レンズ１０２の４つの基準面を、対物レンズ１０２に近い側からＯＳａ〜ＯＳｄとする。撮像ユニット１０４Ａ〜１０４Ｄの受光面の位置は、それぞれ基準面ＯＳａ〜ＯＳｄの位置と光学的共役となるように配置されている。すなわち、基準面ＯＳａからの光束ＬＦａは、ビームスプリッタ３１で反射され、ビームスプリッタ３３を透過して、撮像ユニット１０４Ａの受光面に結像する。基準面ＯＳｂからの光束ＬＦｂは、ビームスプリッタ３１とビームスプリッタ３３でそれぞれ反射され、撮像ユニット１０４Ｂの受光面に結像する。基準面ＯＳｃからの光束ＬＦｃは、ビームスプリッタ３１とビームスプリッタ３２を透過し、撮像ユニット１０４Ｃの受光面に結像する。基準面ＯＳｄからの光束ＬＦｄは、ビームスプリッタ３１を透過し、ビームスプリッタ３２で反射され、撮像ユニット１０４Ｄの受光面に結像する。各撮像ユニット１０４Ａ〜１０４Ｄは、制御ユニット１０６からの制御指令に応じて、それぞれ撮像データＤａ〜Ｄｄを出力する。

ステージ１０５によって、試料内の所望の層のＺ位置を最上位の基準面ＯＳａに一致させることで、その層に合焦した撮像データＤａを撮像ユニット１０４Ａから得られる。これと同時に、その層からそれぞれ所定距離（基準面ＯＳｂ〜ＯＳｄの基準面ＯＳａからの距離）離れた３層の撮像データＤｂ〜Ｄｄが、撮像ユニット１０４Ｂ〜１０４Ｄから得られる。

後述するように、本実施形態では、試料内を探索し画像を取得すべきＺ範囲を決定するＺ範囲探索処理（第一の処理）と、そのＺ範囲について多層の画像を取得する多層画像取得処理（第二の処理）とを実行する。Ｚ範囲探索処理では、基準面ＯＳａ〜ＯＳｄの間隔が対物レンズ１０２の被写界深度よりも大きく（例えば数倍）となるようにすることが好ましい。こうすることで、Ｚステージの移動回数を削減することが可能となる。一方、多層画像取得処理では、基準面ＯＳａ〜ＯＳｄの間隔が対物レンズ１０２の被写界深度以下となるようにすることが好ましい。こうすることで、試料内の構造物にピントの合った画像がいずれかの撮像ユニットで必ず得られることを保証でき、高さ方向に高分解能な多層の画像が取得可能となる。本実施形態では、Ｚ範囲探索処理時の基準面ＯＳａ〜ＯＳｄの間隔（第一の間隔）を対物レンズ１０２の被写界深度の４倍とし、多層画像取得処理時の基準面ＯＳａ〜ＯＳｄの間隔（第二の間隔）を対物レンズ１０２の被写界深度と等しくする。

また、本実施形態では、一例として、３個のビームスプリッタおよび４個の撮像ユニットによって４つの層を同時撮像できる構成としたが、これに限定するものではない。例えば、１個のビームスプリッタおよび２個の撮像ユニットによって２つの層を同時撮像する構成とできる。あるいは、１個のダイクロイックミラーおよび３個の撮像ユニットによって３つの層を同時撮像する構成とできる。５つ以上の層を同時撮像する構成を採ることもできる。このように、対物レンズ１０２の焦点深度や光路分割ユニット１０３の形状・構成などによって適宜決定できる。

（制御ユニットの機能）
図３は、制御ユニット１０６の機能ブロック図である。図３に示すように、制御ユニット１０６は、主制御部６０、ステージ位置制御部６１、撮像ユニット位置制御部６２、撮像制御部６３、データ処理部６４から構成される。

主制御部６０は、画像取得装置１００を構成する各部の動作を統括的に制御する。例えば、主制御部６０は、試料の多層の画像を取得し、全焦点画像データや三次元画像データもしくはそれらの合成画像データを生成し、表示用画像データとして出力するための同期制御を行う。また、主制御部６０は、不図示の光源の調光制御や各種光学素子の切り換え等、試料の画像取得に伴う画像取得装置１００の各部の調整を行うとともに、各部の状態
を適宜ユーザに通知可能とする。

ステージ位置制御部６１は、ステージ１０５のＸＹ移動およびＺ移動を、出力インターフェースを介して制御し、スライド１０１の所望の領域の所望の層を基準面ＯＳａ〜ＯＳｄのいずれかの位置に送り込ませる。また、ステージ位置制御部６１は、ステージ１０５のＸＹＺ位置座標を入力インターフェースを介して取得する。

ステージ位置制御部６１は更に、Ｚ範囲探索処理時および多層画像取得処理時のＺ移動順序（ステージ１０５をＺ移動させる制御目標値）を決定する。本実施形態では、最初に探索範囲又はＺ取得対象範囲の上端（又は下端）に基準面の上端（又は下端）が合うようにステージ１０５を移動させた後、１ステップずつ同じ方向（下方向又は上方向）にステージ１０５をシフト移動させていく。これによりステージ移動および位置合わせを効率化でき、時間短縮を図ることができる。ここで、１ステップの移動量（変更量）は、Ｚ範囲探索処理と多層画像取得処理とで変えるとよい。好ましくは、１ステップの移動量は基準面の間隔の４倍に設定するとよい。これにより探索範囲又はＺ取得対象範囲を等間隔で撮像でき、効率良い画像取得が可能となる。本実施形態の場合は、対物レンズ１０２の被写界深度をｄとして、１ステップの移動量が、Ｚ範囲探索処理時においては１６×ｄ、多層画像取得処理においては４×ｄに設定される。

撮像ユニット位置制御部６２は、撮像ユニット移動機構１０８Ａ〜１０８Ｄによる撮像ユニット１０４Ａ〜１０４Ｄの光軸方向の移動を出力インターフェースを介して制御し、基準面ＯＳａ〜ＯＳｄ同士の間隔（相対距離）を変更する。本実施形態では、Ｚ範囲探索処理時には基準面の間隔を４×ｄに設定し、多層画像取得処理時には基準面の間隔をｄに設定する。また、撮像ユニット位置制御部６２は、撮像ユニット１０４Ａ〜１０４Ｄの光軸方向の座標を、入力インターフェースを介して取得し、基準面ＯＳａ〜ＯＳｄのＺ位置を算出する。ここで、基準面ＯＳａ〜ＯＳｄのＺ位置は、撮像ユニット１０４Ａ〜１０４Ｄから対物レンズ１０２の像側焦点位置までの光路長、対物レンズ１０２の光学倍率に基づいて算出すれば良い。

撮像制御部６３は、ステージ１０５および撮像ユニット１０４Ａ〜１０４Ｄの移動完了に同期して、撮像ユニット１０４Ａ〜１０４Ｄによる撮像を、入出力インターフェースを介して制御し、撮像データ群Ｄａ〜Ｄｄを入力する。Ｚ範囲探索処理時には、高空間分解能な撮像データを必要としないため、撮像ユニット１０４Ａ〜１０４Ｄに対し、撮像データを間引くように制御してもよい。これによりＺ範囲探索処理を高速化できる。また、撮像制御部６３は、撮像データと関連付けて、位置情報を取得する。位置情報とは、各撮像素ユニットがスライド１０１のどの分割領域（ＸＹ位置）、およびどの層（Ｚ位置）を撮像したものかを表す情報である。例えば、ステージ１０５の、制御目標としたＸＹＺ位置座標や移動完了後のＸＹＺ位置座標および基準面のＺ位置より取得することができる。また、関連付ける方法としては、例えば、撮像データと位置情報データに同じヘッダ情報を付加すれば良い。ヘッダ情報は、タイムスタンプ等のユニークな情報であることが好ましい。あるいは、関連付けたい位置情報を、撮像データのヘッダ情報に含めても良い。この位置情報を参照することで、撮像データがスライド１０１のどの分割領域（ＸＹ位置）のどの層（Ｚ位置）の画像であるかを識別できる。以下の説明では、撮像データに関連付けられた位置情報で表されるスライド１０１上のＸＹ位置やＺ位置のことを、単に、撮像データのＸＹ位置やＺ位置と記す。

データ処理部６４は、Ｚ範囲探索処理において、撮像制御部６３を介して撮像データ群Ｄａ〜Ｄｄを受け取り、Ｚ取得対象範囲の算出を行う。例えば、データ処理部６４は、得られた撮像データ群を用いて、最大コントラストの画像が得られるＺ位置を推定（検出）し、そのＺ位置を基準に（Ｚ位置を含むように）Ｚ取得対象範囲を設定するとよい。高コ
ントラストな画像が得られるＺ位置を検出する方法には、カメラにおけるパッシブ方式のオートフォーカスの技術を利用することができる。

具体的に、本実施形態のデータ処理部６４は、撮像データごとに、各画素についてそれぞれ近傍の画素との輝度の微分値又は差分値を算出し、その値を全画素分合計して評価指標を算出する。この評価指標は画像のコントラストを表している。次にデータ処理部６４は、各撮像データの評価指標及びＺ位置から、評価指標のプロファイル（Ｚ位置に対する評価指標の変化（コントラスト分布））を作成し、評価指標がピークを示すピークＺ位置を求める。このピークＺ位置を基準にＺ取得対象範囲を決定する。Ｚ取得対象範囲の決定方法としては、例えば、ピークＺ位置を中心とする所定のＺ範囲をＺ取得対象範囲としてもよいし、評価指標プロファイルの半値幅に基づいてＺ取得対象範囲を設定してもよい。あるいは、評価指標を算出する単位領域を設定（例えば全領域の１／１６）して領域ごとにピークＺ位置を求め、ピークＺ位置の最小値から最大値までをＺ取得対象範囲とすると良い。

また、データ処理部６４は、Ｚ取得対象範囲内の画像取得完了に同期して、撮像データ群とそのＺ位置情報に基づいて、分割領域内の全ての箇所で焦点が合った全焦点画像データおよび／または厚み方向の形状分布が把握できる三次元画像データを生成する。全焦点画像データは、例えば、分割画像における各画素についてそれぞれ近傍の画素との輝度の微分値や差分値を算出し、この値を評価値とする。そして、Ｚ取得対象範囲内から取得した他の画像データの評価値と比較し、最も評価値の高い画素をその画素位置における焦点のデータとみなして構築する。三次元画像データは、焦点とみなした各画素のＺ座標をもとに構築することができる。あるいは、撮像データ群の各画素をボクセル空間にマッピングすることで三次元画像データを生成してもよい。あるいは、表示処理の際に、ユーザの指定したＸＹＺ位置の画像に切り替えて表示できるように、複数層の画像データとＸＹＺ位置と関連付けたもの（Ｚスタック画像）でも良い。

更に、データ処理部６４は、ＸＹ取得対象範囲内の画像取得完了に同期して、分割領域ごとの全焦点画像データおよび／または三次元画像データとそのＸＹ位置に基づいて、合成画像データを生成する。合成画像データは、スライド１０１のＸＹ取得対象範囲の全域を表す画像データであり、各分割領域の画像データを位置合わせし接続することで生成される。接続方法には、繋ぎ合わせ（タイリング）、重畳（隣接画像間の重なり部分をブレンド）、補間処理により滑らかに繋げるなど、どのような方法を用いてもよい。

こうして、データ処理部６４は、撮像データ群を用いて、全焦点画像データ、三次元画像データ、合成画像データなどの表示用画像データ（観察用画像データ）を生成する。データ処理部６４は、これらの表示用画像データを出力インターフェースを介して出力し、表示ユニット１０７において表示可能とする。なお、全焦点画像データまたは三次元画像データの生成、合成画像データの生成順序は逆でも良い。つまり、各分割領域の撮像データを接続して各層の合成画像データを生成した後、複数層の合成画像データから全焦点画像データや三次元画像データを生成することもできる。なお、上述した表示用画像データの生成方法は一例であり、他の画像処理法を用いてもよい。また、データ処理部６４が上記以外の表示用画像データ、例えば、観察や診断に有益な画像特徴を強調ないし抽出した画像データ、視線方向（観察方向）を変更した画像データなどを生成することもできる。

（制御ユニットのハードウェア構成）
図４は、制御ユニット１０６のハードウェア構成を示すブロック図である。

制御ユニット１０６としては、例えばパーソナルコンピュータ（ＰＣ）２００が用いられる。ＰＣ２００は、ＣＰＵ（Central Processing Unit）２０１、ＨＤＤ（Hard Disk D
rive）２０２、ＲＡＭ（Random Access Memory）２０３、入出力Ｉ／Ｆ２０４、及びこれらを互いに接続するバス２０５を備える。

ＣＰＵ２０１は、必要に応じてＲＡＭ２０３等にアクセスし、各種演算処理を行いながらＰＣ２００全体を統括的に制御する。ＨＤＤ２０２は、ＣＰＵ２０１に実行させるプログラムや各種パラメータなどが記憶されている補助記憶装置である。撮像ユニットから取得した撮像データや生成した全焦点画像データ、三次元画像データ、合成画像データ、表示用データなどをＨＤＤ２０２に記憶させることもできる。ＲＡＭ２０３は、ＣＰＵ２０１の作業用領域等として用いられ、実行中の各種プログラム、制御ユニット１０６において処理の対象となる各種データを一時的に保持する。

入出力Ｉ／Ｆ２０４は、光通信、Gigabit Ethernet（登録商標）、ＵＳＢ（Universal Serial Bus）、ＰＣＩｅ（Peripheral Component Interconnect Express）（登録商標）
、ＤＶＩ（Digital Visual Interface）等を使用した汎用インターフェースで構成できる。入出力Ｉ／Ｆ２０４には、ステージ１０５、撮像ユニット１０４Ａ〜１０４Ｄ、撮像ユニット移動機構１０８Ａ〜１０８Ｄ、表示ユニット１０７、および不図示の入力装置等が接続される。生成した表示用データや各種データを記憶させる画像サーバを入出力Ｉ／Ｆ２０４に接続することもできる。図１では、表示ユニット１０７が外部装置として接続される形態を想定しているが、表示装置と一体化したＰＣを用いて制御ユニット１０６と表示ユニット１０７を一つの装置で構成しても良い。入力装置は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作入力装置である。タッチパネルディスプレイのように表示ユニット１０７と入力装置を兼ねるデバイスを用いることもできる。

（Ｚ範囲探索処理と多層画像取得処理との関係）
（１）Ｚ範囲探索処理
図５は、Ｚ範囲探索処理および多層画像取得処理における、４つの基準面の間隔の違いについて示した図である。横軸は時間ｔを示している。

Ｔ０は、取得対象とした分割領域が、ＸＹステージによって対物レンズ１０２の視野内に送り込まれ、Ｚ範囲探索処理を開始した時の状態を表す。この時、基準面ＯＳａ〜ＯＳｄの間隔は広く設定される（例えば、対物レンズ１０２の被写界深度の４倍）。この設定により、粗い間隔で４つの層が同時撮像される。１回目の探索では、試料の上端（これより上には画像取得したい層は存在しない位置：例えばカバーグラス上面）が、基準面ＯＳａのＺ位置に一致するようにステージ１０５が制御される。この状態で、出力された撮像データ群Ｄａ〜Ｄｄに基づいて、Ｚ取得対象範囲の最上位層ＬＴおよび最下位層ＬＢが決定される。

図６を参照してＺ取得対象範囲の決定方法を説明する。図６は、上述したデータ処理部６４で算出された評価指標プロファイルであり、横軸がＺ位置、縦軸が評価指標を表す。撮像データ群Ｄａ〜Ｄｄから算出された評価指標がそれぞれＤＣａ〜ＤＣｄである。このプロファイルから、評価指標がピークとなるピークＺ位置ＺＰを推定する。ピークの推定方法としては、図６のように所定のプロファイル形状モデルをＤＣａ〜ＤＣｄにマッピングすることでピークを推定する方法でも良いし、単純にＤＣａ〜ＤＣｄのうちの最大のものをピークに選ぶ方法でも良い。そして、推定されたピークＺ位置ＺＰを中心とする所定のＺ範囲をＺ取得対象範囲とし、最上位層ＬＴのＺ位置ＺＴと最下位層ＬＢのＺ位置ＺＢとを決定する。ピークＺ位置ＺＰ、Ｚ位置ＺＴ、ＺＢはＺステージの上面からの相対値として求めるとよい。

評価指標プロファイルからピークが推定できない場合には、基準面ＯＳａ〜ＯＳｄの範
囲内に観察すべき構造物が含まれていない、もしくは基準面ＯＳａ〜ＯＳｄの範囲以上に観察すべき構造物が広がっていると判断し、ステージ１０５のＺ位置を１ステップ移動させた後に、上記と同様の処理を実行するとよい。この時、ステージ１０５のＺ位置を１ステップ移動させる前のＤＣａ〜ＤＣｄも使用してピークを推定することが望ましい。

ここで、試料の上端から下端までＺ範囲探索処理を行ってもピークが推定できない場合がある。試料の上端とは、これより上には画像取得したい層は存在しない位置であり、例えばカバーグラス上面である。また、試料の下端とは、これより下には画像取得したい層は存在しない位置であり、例えばスライドグラス上面である。ピークが推定できないケースとしては、評価指標がいずれも小さい値である場合、評価指標がいずれも大きい値である場合、評価指標が不連続に変化する場合などがある。例えば、ある閾値（ピークとみなす下限値）を超える評価指標が一つもない場合には、評価指標がいずれも小さいと判定でき、逆に全部又はほとんどの評価指標がその閾値を超えていた場合は、評価指標がいずれも大きいと判定できる。評価指標が不連続に変化する場合とは、一つの評価指標のみが突出して大きい場合や、二つ以上のピークが現れている場合などである。これらは、例えば、隣の評価指標との差分（評価指標の傾き）の大きさや符号の変化を評価することで判定できる。

上記のような試料の上端から下端までＺ範囲探索処理を行ってもピークが推定できない場合には、基準面ＯＳａ〜ＯＳｄの間隔を、ピーク位置が推定できなかった初回の探索（第一の処理）時とは変更して再探索（第二の処理）すると良い。例えば、評価指標の変化が連続的でない場合、試料に対して探索が粗すぎ、ピーク位置が推定しにくくなっている可能性がある。この場合、基準面ＯＳａ〜ＯＳｄの間隔を狭くし、初回の評価指標プロファイルで最大値を示したＺ位置のあたりに基準面ＯＳａ〜ＯＳｄが配置されるようにステージ１０５を制御する。そして、再び撮像ユニット１０４Ａ〜１０４Ｄで撮像を行い、評価指標プロファイルからピーク推定を実行する。この方法によれば、初回の探索結果を元に、ピーク位置の可能性が高い付近を再探索するので、ピーク位置（観察すべき構造物が存在するＺ位置）を正確に検出することが可能になる。

あるいは、対物レンズ１０２のＮＡ（開口数）を異なる値に設定して再探索処理を行うと良い。例えば、評価指標がいずれも小さい値である場合、いずれのステージ位置においても基準面ＯＳａ〜ＯＳｄとピーク位置とが離れており、いずれの撮像ユニット１０４Ａ〜１０４Ｄにもボケた像が入射され、ピーク位置が推定しにくくなっている可能性がある。この場合、低ＮＡ（広焦点深度）に設定することによって、相対的に基準面ＯＳａ〜ＯＳｄの間隔を狭くしたのと同様の状態とすることができる。こうして、比較的ピーク位置に近い基準面に相当する撮像ユニットに入射される像のボケを小さくし、算出される評価指標の値を大きくすることができる。一方で、評価指標がいずれも大きい値である場合、いずれの基準面ＯＳａ〜ＯＳｄもピーク位置に十分近く、いずれの撮像ユニット１０４Ａ〜１０４Ｄにもボケの大きな像は入射されず、ピーク位置が推定しにくくなっている可能性がある。この場合、高ＮＡ（狭焦点深度）に設定することによって、相対的に基準面ＯＳａ〜ＯＳｄの間隔を広くしたのと同様の状態とすることができる。こうして、比較的ピーク位置に遠い基準面に相当する撮像ユニットに入射される像のボケを大きくし、算出される評価指標の値を小さくすることができる。対物レンズ１０２のＮＡを調整する構成としては、複数の異なる開口の視野遮蔽板を用途に応じて配置するＮＡ絞りや、複数の視野遮蔽羽根からなる虹彩絞りなどを用いることができる。

（２）多層画像取得処理
Ｔ１は、Ｚ範囲探索処理で決定したＺ取得対象範囲の多層画像取得処理を開始した時の状態を表す。この時、基準面ＯＳａ〜ＯＳｄの間隔は、対物レンズ１０２の被写界深度と同じ（又はそれ以下）に設定される。また、Ｚ取得対象範囲の最上位層ＬＴが、基準面Ｏ
ＳａのＺ位置に一致するようにステージ１０５が制御される。この状態で、Ｚ取得対象範囲内の最上位層ＬＴから基準面ＯＳｄのＺ位置に相当する層までの範囲が、撮像ユニット１０４Ａ〜１０４Ｄにより撮像される。この状態で、Ｚ取得対象範囲内の最下位層ＬＢが、基準面ＯＳａ〜ＯＳｄのいずれの被写界深度からも外れていた場合には、ステージ１０５のＺ位置を１ステップ移動させ、画像取得を繰り返す。

（画像取得の方法）
本実施形態における画像取得装置１００の画像取得方法について、図７に示すフローチャートを用いて説明する。

まずステップＳ６０１では、主制御部６０が、画像取得装置１００の処理条件（ＸＹ取得対象範囲等）を取得する。更に、主制御部６０は、ＸＹ取得対象範囲に基づいてステージのＸＹ移動順序（ＸＹステージ制御目標値テーブル）を算出する。このテーブルには、スライド１０１上の複数の分割領域を順に撮像するために、各分割領域を対物レンズ１０２の視野内に移動させるためのＸＹステージの制御目標値が記述されている。なお、各分割領域の大きさは、撮像ユニットの有効撮像領域を対物レンズ１０２の物体側に投影した大きさに対応する。

次のステップＳ６０２では、主制御部６０が、ＸＹ移動順序に基づいて（例えば、ＸＹステージ制御目標値テーブルから、１番上の行に記載の目標値を読み出して）、ステージ位置制御部６１を介してステージ１０５を制御する。また、移動後のステージ１０５のＸＹ位置座標を取得する。更に、主制御部６０が、撮像ユニット位置制御部６２を介して撮像ユニット移動機構１０８Ａ〜１０８Ｄを制御し、撮像ユニット１０４Ａ〜１０４Ｄを光軸方向に移動させる。そして、基準面ＯＳａ〜ＯＳｄ同士の間隔をＺ範囲探索処理時の第一の間隔（例えば、対物レンズ１０２の被写界深度の４倍）に設定する。

次のステップＳ６０３では、主制御部６０が、ステージ位置制御部６１、撮像制御部６３、データ処理部６４を介してＺ範囲探索処理を実行し、Ｚ取得対象範囲を決定する。このステップの詳細は、図８で後述する。

次のステップＳ６０４では、主制御部６０が、撮像ユニット位置制御部６２を介して撮像ユニット移動機構１０８Ａ〜１０８Ｄを制御し、撮像ユニット１０４Ａ〜１０４Ｄを光軸方向に移動させる。そして、基準面ＯＳａ〜ＯＳｄ同士の間隔を多層画像取得処理時の第二の間隔（例えば、対物レンズ１０２の被写界深度以下）に設定する。

次のステップＳ６０５では、主制御部６０が、ステージ位置制御部６１、撮像制御部６３、データ処理部６４を介して多層画像取得処理を実行し、Ｚ取得対象範囲内の複数の観察対象層の画像を取得する。このステップの詳細は、図９で後述する。

次のステップＳ６０６では、主制御部６０が、ＸＹ取得対象範囲内の画像取得が完了したか（ＸＹステージ制御目標値テーブルの最後の行まで実行したか）否かを判断する。完了したと判断した場合、ステップＳ６０７へ移行する。一方、未完であると判断した場合、ステップＳ６０２へ移行し、ＸＹステージ制御目標値テーブルから読み出す行を１つ進め、ステージ位置制御部６１を介したステージ１０５の制御を続ける。

次のステップＳ６０７では、主制御部６０が、データ処理部６４を介して表示用画像データを生成制御し、画像取得を完了する。

（Ｚ範囲探索処理）
Ｚ範囲探索処理の詳細について、図８に示すフローチャートを用いて説明する。

まずステップＳ６１１では、ステージ位置制御部６１が、ステージ１０５のＺ移動の目標位置を決定し、ステージ１０５を制御する。また、ステージ位置制御部６１が、移動後のステージ１０５のＺ位置座標を取得する。

ステージ移動と撮像を複数回繰り返す場合、ステップＳ６１１におけるＺ移動の目標位置の決定処理の内容は、１回目の場合と、２回目以降の場合とで異なる。１回目には、探索範囲の上端又は下端のうちの近い方に基準面が合うようにＺステージの移動を行う。例えば、ステージ位置制御部６１は、試料の上端と基準面ＯＳａのＺ位置の差と、試料の下端と基準面ＯＳｄのＺ位置の差を比較する。試料の上端とは、これより上には画像取得したい層は存在しない位置であり、例えばカバーグラス上面である。また、試料の下端とは、これより下には画像取得したい層は存在しない位置であり、例えばスライドグラス上面である。カバーグラス上面およびスライドグラス上面の位置は、予めメモリに記憶しておいた所定値（例えば、観察対象として想定されるサンプルのカバーグラス上面の最高値およびスライドグラス上面の最低値）や、別途用意した計測手段による計測値、ユーザによる指定値等をステップＳ６０１において処理条件と同時に取得しておけば良い。前者が小さかった場合、試料の上端と基準面ＯＳａのＺ位置が一致するようにＺステージを移動させ、２回目以降のＺステージの移動方向を「上」に設定する。後者が小さかった場合、試料の下端と基準面ＯＳｄのＺ位置が一致するようにＺステージを移動させ、２回目以降のＺステージの移動方向を「下」に設定する。２回目以降のステップＳ６１１では、設定された移動方向にＺステージを１ステップ（基準面ＯＳａ〜ＯＳｄ同士の間隔の４倍）シフト移動させる。

本実施形態では、上記のような判定を行い、１回目のＺ位置と２回目以降のステージ移動方向を決定することで、ステージの移動量を最小にでき、Ｚ範囲探索処理の時間短縮を図ることができる。ただし、ステージ移動の時間が問題とならない場合には、こうした判定を行わず、予め決められた移動方向あるいはユーザから指示された移動方向で制御してもよい。

次のステップＳ６１２では、撮像制御部６３が、撮像ユニット１０４Ａ〜１０４Ｄによる撮像を制御し、撮像データ群Ｄａ〜Ｄｄを取得する。また、撮像制御部６３は、撮像データと関連付けて、取得した画像の位置情報を取得する。ここで、Ｚ範囲探索処理時には、高空間分解能な撮像データを必要としないため、撮像ユニット１０４Ａ〜１０４Ｄに対し、撮像データを間引くように制御することで、高速化できる。

次のステップＳ６１３では、データ処理部６４が、撮像データ群Ｄａ〜Ｄｄから、評価指標ＤＣａ〜ＤＣｄを算出する。また、データ処理部６４が、この評価指標と撮像データに関連付けられたスライド１０１上のＺ位置情報とから、評価指標のプロファイルを作成し、評価指標がピークを示す（Ｚステージ上面基準の）ピークＺ位置を推定する。このピークＺ位置に基づいてＺ取得対象範囲を決定する。

次のステップＳ６１４では、主制御部６０が、Ｚ範囲探索が完了したか否かを判断する。判断方法としては、評価指標がピークとなる（Ｚステージ上面基準の）ピークＺ位置を推定できたか否かとする。完了したと判断した場合、Ｚ範囲探索処理を終了する。一方、未完であると判断した場合、ステップＳ６１１へ移行し、ステージ位置制御部６１を介してステージ１０５を制御する。ここで、ピークＺ位置を推定できないまま、試料の上端もしくは下端に到達してしまった場合に、前述した再探索処理を行うと良い。

（多層画像取得処理）
多層画像取得処理の詳細について、図９に示すフローチャートを用いて説明する。

まずステップＳ６２１では、ステージ位置制御部６１が、ステージ１０５のＺ移動の目標位置を決定し、ステージ１０５を制御する。また、ステージ位置制御部６１が、移動後のステージ１０５のＺ位置座標を取得する。

ステージ移動と撮像を複数回繰り返す場合、ステップＳ６２１におけるＺ移動の目標位置の決定処理の内容は、１回目の場合と、２回目以降の場合とで異なる。１回目には、Ｚ取得対象範囲の上端（最上位層ＬＴ）又は下端（最下位層ＬＢ）のうちの近い方に基準面が合うようにＺステージの移動を行う。例えば、ステージ位置制御部６１は、Ｚ取得対象範囲の最上位層ＬＴと基準面ＯＳａのＺ位置の差と、Ｚ取得対象範囲の最下位層ＬＢと基準面ＯＳｄのＺ位置の差を比較する。前者が小さかった場合、最上位層ＬＴと基準面ＯＳａのＺ位置が一致するようにＺステージを移動させ、２回目以降のＺステージの移動方向を「上」に設定する。後者が小さかった場合、最下位層ＬＢと基準面ＯＳｄのＺ位置が一致するようにＺステージを移動させ、２回目以降のＺステージの移動方向を「下」に設定する。２回目以降のステップＳ６２１では、設定された移動方向にＺステージを１ステップ（基準面ＯＳａ〜ＯＳｄ同士の間隔の４倍）シフト移動させる。

本実施形態では、上記のような判定を行い、１回目のＺ位置と２回目以降のステージ移動方向を決定することで、ステージの移動量を最小にでき、多層画像取得処理の時間短縮を図ることができる。ただし、ステージ移動の時間が問題とならない場合には、こうした判定を行わず、予め決められた移動方向あるいはユーザから指示された移動方向で制御してもよい。

次のステップＳ６２２では、撮像制御部６３が、撮像ユニット１０４Ａ〜１０４Ｄによる撮像を制御し、撮像データ群Ｄａ〜Ｄｄを入力する。また、撮像制御部６３は、撮像データと関連付けて、取得した画像の位置情報を取得する。

次のステップＳ６２３では、主制御部６０が、Ｚ取得対象範囲内の画像取得が完了したか否かを判断する。判断方法としては、Ｚ取得対象範囲の最下位層ＬＢのＺ位置（２回目以降のＺステージの移動方向が「上」の場合）もしくはＺ取得対象範囲の最上位層ＬＢのＺ位置（２回目以降のＺステージの移動方向が「下」の場合）が基準面ＯＳａ〜ＯＳｄのいずれかの被写界深度内に入っているかどうかで判断する。完了したと判断した場合、ステップＳ６２４へ移行する。一方、未完であると判断した場合、ステップＳ６２１へ移行し、ステージ位置制御部６１を介してステージ１０５を制御する。

次のステップＳ６２４では、主制御部６０が、データ処理部６４を介して、撮像データ群とそのＺ位置情報に基づいて、分割領域内の全ての箇所で焦点が合った全焦点画像データおよび／または厚み方向の形状分布が把握できる三次元画像データを生成する。そして、Ｚ取得対象範囲内の多層画像取得処理を完了する。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、複数の撮像ユニットそれぞれの基準面が試料内の異なる高さ（Ｚ位置）にあり、かつ、目的とする処理に応じて基準面同士の間隔を変えることができる。これにより、例えばＺ範囲探索処理のように試料内の広いＺ範囲を観察（分析）する必要があるときは、基準面の間隔を広めにとるなど、効率（処理時間の短縮）を重視した設定にできる。また、多層画像取得処理のように試料内の限られたＺ範囲を高い分解能で観察（分析）する必要があるときは、基準面の間隔を狭くし、画像品質を重視した設定にできる。このように、目的とする処理に応じて適応的に基準面の間隔を制御することで、全体としての処理の効率化及び処理時間の短縮を図ることが可能となる。加えて、一つの撮像系でＺ範囲探索処理と多層画像取得処理のような目的の異なる処理に柔
軟に対応できるため、装置全体の小型化と低コストを図ることもできる。

＜第２実施形態＞
次に、本発明の第２実施形態の画像取得装置について説明する。第１実施形態では、Ｚ範囲探索処理と多層画像取得処理とで基準面の間隔を変更したのに対し、第２実施形態では、Ｚ範囲探索処理とカラー画像取得処理とで基準面の間隔を変更する。

（画像取得装置の構成）
図１０は、第２実施形態に係る画像取得装置３００の構成を示す図である。図１０に基づいて、画像取得装置３００の構成について説明する。以下の説明においては、Ｚ方向を結像光学系３０２の光軸方向、ＸＹ方向をその光軸に垂直な方向と定義する。Ｚ方向は、試料の高さ方向（厚み方向）とも一致する。

画像取得装置３００は、結像光学系３０２、光源３０９、光路色分割ユニット３０３、撮像ユニット３０４Ａ〜３０４Ｃ、撮像ユニット移動機構３０８Ａ〜３０８Ｃ、ステージ３０５、制御ユニット３０６、表示ユニット３０７を有する。結像光学系３０２は、試料であるスライド３０１から入射される光を集光する光学系である。光源３０９は、スライド３０１に光を当てる照明である。光路色分割ユニット３０３は、光路分割と色分割の機能をもつ光学部材であり、結像光学系３０２からの光束を３つの光路および色に分割する分割手段である。撮像ユニット３０４Ａ〜３０４Ｃは、分割光路それぞれの光軸上に配置された複数の撮像手段である。撮像ユニット移動機構３０８Ａ〜３０８Ｃは、撮像ユニット３０４Ａ〜３０４Ｃをそれぞれ光軸方向に移動させる変更手段である。ステージ３０５は、スライド３０１を保持し移動させる第二の変更手段である。制御ユニット３０６は、画像取得装置３００を制御して表示用画像データを生成する制御手段である。表示ユニット３０７は、デジタル画像を表示する表示手段である。

スライド３０１の位置がステージ３０５によって移動制御され、スライド３０１の同一又は異なる層が、結像光学系３０２、光路色分割ユニット３０３を介して、撮像ユニット３０４Ａ〜３０４Ｃによって同時に撮像される。光路色分割ユニット３０３によって、撮像ユニット３０４Ａ、３０４Ｂ、３０４Ｃは夫々異なる色の画像を撮像する。本実施形態においては一例として、撮像ユニット３０４ＡはＲを、撮像ユニット３０４ＢはＧを、撮像ユニット３０４ＣはＢを撮像するように設定されている。すなわち、本実施形態の画像取得装置３００は、１ショット（１回の露光・撮像）で３つの層の単色画像を取得することもできるし、１つの層のＲＧＢの高精細カラー画像を取得することもできる。

スライド３０１は、本実施形態の画像取得装置３００の画像取得対象物であり、カバーグラスと試料とスライドグラスを含んで構成される。具体的には、スライドグラス上に配置された試料（組織切片等の生体サンプルなど）が、カバーグラス及び封入剤で密封されている。

結像光学系３０２は、対物レンズ、結像レンズ、ミラーなどの光学部品の組み合わせで構成される光学系であり、不図示の本体フレームおよび鏡筒によって保持される。結像光学系３０２は、光路色分割ユニット３０３との組み合わせで、スライド３０１の像を撮像ユニット３０４Ａ〜３０４Ｃの受光面に結像させる。また、結像光学系３０２は、スライド３０１の光像を所定の倍率で拡大し、撮像ユニット３０４Ａ〜３０４Ｃのいずれの受光面においても同じ拡大率で投影する。更に、結像光学系３０２は、その光軸に垂直な３つの基準面と撮像ユニット３０４Ａ〜３０４Ｃの受光面それぞれとが互いに光学的共役となるように配置されており、物体側が基準面に相当し、像側が受光面（撮像面）に相当する。

光路色分割ユニット３０３は、不図示の本体フレームあるいは結像光学系３０２の鏡筒によって保持され、結像光学系３０２から入射された光路を、撮像ユニット３０４Ａ〜３０４Ｃに向けて３分割するための光学系である。光路色分割ユニット３０３には、例えば、ダイクロイックプリズムなどを適用することができる。光路色分割ユニット３０３は、結像光学系３０２の視野全域が各撮像ユニット３０４Ａ〜３０４Ｃの受光面に投影されるように構成・配置される。

ここでは、共役関係となる基準面（物体面）と受光面（撮像面）のペアが色別にかつ離散的に（空間的に離れて）複数組存在することが重要である。本実施形態の画像取得装置３００では、結像光学系３０２と光路色分割ユニット３０３の組み合わせからなる光学系によってそれが実現されているが、この光学系に限定するものではない。例えば、図１６に示すように、光路色分割ユニット３０３後段の各光路上にそれぞれ結像レンズ３１０Ａ〜３１０Ｃを配置してもよい。ここで、光路色分割ユニット３０３上で分割される光は、色分岐する面において所望の入射角の範囲に収まっており、撮像ユニット３０４Ａ〜３０４Ｃの各々で、色別の像を取得する。

撮像ユニット３０４Ａ〜３０４Ｃは、不図示の本体フレームあるいは結像光学系３０２の鏡筒によって保持され、ＣＣＤやＣＭＯＳセンサ等の（２次元）撮像素子により構成される。高画素センサを使用することで、広域からの高空間分解能画像の一括取得を可能とする。また、結像光学系３０２の視野全域が投影されるように、撮像ユニット３０４Ａ〜３０４Ｃが構成・配置される。各撮像ユニット３０４Ａ〜３０４Ｃの受光面と光学的に共役な位置にある試料側（物体側）の面を「基準面」と呼ぶ。３つの撮像ユニット３０４Ａ〜３０４Ｃに対応する３つの基準面のＺ方向（光軸方向）の位置を一致させれば、スライド３０１内のある層のＲ画像、Ｇ画像、Ｂ画像を同時に撮像できる。一方、３つの基準面のＺ方向の位置を異ならせることで、スライド３０１内の異なるＺ位置の３つの層の画像を同時に撮像できる。撮像ユニット３０４Ａ〜３０４Ｃからの出力データの取り込みは、制御ユニット３０６によって制御される。

撮像ユニット移動機構３０８Ａ〜３０８Ｃは、制御ユニット３０６から出力される制御目標値に応じて、撮像ユニット３０４Ａ〜３０４Ｃをそれぞれ光軸方向に移動させる。撮像ユニット移動機構３０８Ａ〜３０８Ｃは、後述するＺステージの位置決め精度に対し、結像光学系３０２の光学倍率の２乗程度の位置決め精度で駆動可能であれば良い。該移動機構は、リニアモータ、直動ガイドを用いたステージ、直動ボールネジを用いたＤＣモータ、パルスモータ、ＶＣＭなどで駆動する直動システムや、板バネなどの弾性変形を利用した案内機構とピエゾアクチュエータを用いた機構などで構成できる。

撮像ユニット３０４Ａ〜３０４Ｃが移動することで、３つの基準面同士のＺ方向の間隔（ピッチ）が変更され、任意の高さにある複数（３つ）の層が同時に撮像可能となる。本実施形態においては、後述するＺ範囲探索処理（第一の処理）と探索したＺ範囲のカラー画像取得処理（第二の処理）との間で、３つの基準面同士のＺ相対位置を変更させる。この構成によって、各撮像ユニットは、Ｚ範囲探索処理時の位置とカラー画像取得処理時の位置との、２ポジションの移動で済むため、比較的簡易な機構によって構成可能となる。

本実施形態では、すべての撮像ユニット３０４Ａ〜３０４Ｃが移動する構成としたが、１つの撮像ユニットを固定し（撮像ユニット移動機構を設置しない）、他の撮像ユニットの相対位置を移動させる構成としてもよい。これにより、撮像ユニット移動機構の数が減り、構成が簡易になる。

また、本実施形態では、一例として、撮像ユニット３０４Ａ〜３０４Ｃをそれぞれ光軸方向に移動させることで３つの基準面間のＺ相対位置を変更する構成とした。この構成に
限らず、分割光路上それぞれに複数のミラーやリレーレンズを配置し、それらを移動させることで分割光路の光路長を変更し、３つ以上の基準面間のＺ相対位置を変更する構成としても良い。

ステージ３０５は、スライド３０１を保持する保持部と、制御ユニット３０６から出力される制御目標値に応じて、保持部をＸＹ方向に移動させるＸＹステージと、保持部をＺ方向に移動させるＺステージを含む（いずれも不図示）。ＸＹステージは、特に、一般的なスライドサイズの７６ｍｍ×２６ｍｍ以上の広範囲に駆動可能なものが好ましい。ＸＹステージは、リニアモータ、直動ガイドを用いたステージ、直動ボールネジを用いたＤＣモータ、パルスモータ、ＶＣＭなどで駆動する直動システムなどで構成することができる。一方、Ｚステージは、特に、０．１ｕｍ以下の位置決め精度で駆動可能なものが好ましい。Ｚステージは、リニアモータや、直動ガイドを用いたステージ、直動ボールネジを用いたＤＣモータ、パルスモータ、ＶＣＭなどで駆動する直動システムや、板バネ案内機構とピエゾアクチュエータを用いた機構などで構成することができる。

ＸＹステージが移動することで、スライド３０１と結像光学系３０２とのＸＹ相対位置が変更され、スライド３０１の所望の領域の分割画像が取得可能となる。また、ＸＹ移動を連続して制御することで、スライド３０１の広域からの分割画像の取得が可能となる。広域から画像取得するためのＸＹ移動順序は、ＸＹ取得対象範囲に基づいて決定する。ＸＹ取得対象範囲は、不図示の予備計測系によって予め計測した、試料のＸＹ形状情報に基づいて決定しても良いし、必要に応じてユーザからの指示に基づいても良い。ＸＹ取得対象範囲の設定によって、病理診断などに必要な領域の画像データを選択的に生成することができ、例えば試料の存在しない領域等を排除して表示用画像データの容量を小さくし、データのハンドリングを容易にできる。なお、通常は、検出した試料の存在領域と等しくなるようにＸＹ取得対象領域を決定する。

一方、Ｚステージが移動することで、スライド３０１と結像光学系３０２の３つの基準面とのＺ相対位置が変更され、スライド３０１内の所望の観察対象層を被写界深度内とした複数層の画像が同時に取得可能となる。また、Ｚ移動を連続して制御しながら画像の取得を繰り返すことで、スライド３０１の同じＸＹ領域に対し多層の画像の取得が可能となる。この処理を多層画像取得処理とよぶ。多層画像取得処理におけるＺ移動順序は、Ｚ取得対象範囲に基づいて決定する。なお、本実施形態では、一例として、Ｚステージが移動することでスライド３０１と結像光学系３０２の３つの基準面とのＺ相対位置を変更する構成としたが、結像光学系３０２または撮像ユニット３０４Ａ〜３０４Ｃが移動する構成としても良い。

制御ユニット３０６は、ＣＰＵ、メモリ、ハードディスクなどを含む演算処理の高速な汎用のコンピュータやワークステーション、専用のグラフィックボード、あるいはこれらの組み合わせによって構成される。制御ユニット３０６は、ステージ３０５、撮像ユニット３０４Ａ〜３０４Ｃ、撮像ユニット移動機構３０８Ａ〜３０８Ｃの制御情報を入出力するためのインターフェースを備える。また制御ユニット３０６は、表示ユニット３０７に表示用画像データを出力するため、画像取得装置３００の設定を変更するためのインターフェースを備える。更に、試料の位置情報や形状情報を入力するためのインターフェースを備えても良い。制御ユニット３０６の機能は、ハードディスクなどの記憶媒体に格納されたプログラムをメモリにロードし、ＣＰＵが実行することにより実現されるものである。

制御ユニット３０６によって、ステージ３０５、撮像ユニット３０４Ａ〜３０４Ｃ、撮像ユニット移動機構３０８Ａ〜３０８Ｃが順次制御される。そして、撮像ユニット３０４Ａ〜３０４Ｃから出力される撮像データからＺ取得対象範囲が算出され、その結果に基づ
いて、スライド３０１の複数観察対象層を被写界深度内とした分割画像が取得される。

その後、画像合成処理によって分割画像ごとに全焦点画像データや三次元画像データが生成される。更に、全焦点画像データや三次元画像データ、もしくはそれらを広域に表示するための合成画像データが、表示用画像データとして出力される。

表示ユニット３０７は、画像取得装置３００の生成した表示用画像データに基づいて、病理診断に適した観察用画像を表示する機能を有する。ＣＲＴや液晶等のモニタにより表示ユニット３０７を構成することができる。

（光路の分割）
図１１は、画像取得装置３００における、３つの基準面を撮像するための、結像光学系３０２、光路色分割ユニット３０３、撮像ユニット３０４Ａ〜３０４Ｃの配置図である。

結像光学系３０２から入射する光束は、光路色分割ユニット３０３によって３つの光束に分割される。本実施形態では、入射光束のうちＲの波長帯域の光は撮像ユニット３０４Ａ側へ反射され、Ｇの波長帯域の光は光路色分割ユニット３０３を透過して撮像ユニット３０４Ｂへ導かれ、Ｂの波長帯域の光は撮像ユニット３０４Ｃ側へ反射される。このように、光路色分割ユニット３０３は、スライド３０１からの光束の光路分割と色分割を行う。

図１１に示すように、結像光学系３０２の３つの基準面を、結像光学系３０２に近い側からＯＳａ〜ＯＳｃとする。撮像ユニット３０４Ａ〜３０４Ｃの受光面（撮像面）の位置は、それぞれ基準面ＯＳａ〜ＯＳｃの位置と光学的共役となるように配置されている。したがって、基準面ＯＳａからの光束のうちのＲの波長帯域の光ＬＦａが、撮像ユニット３０４Ａの受光面に結像する。また、基準面ＯＳｂからの光束のうちのＧの波長帯域の光ＬＦｂが撮像ユニット３０４Ｂの受光面に結像し、基準面ＯＳｃからの光束のうちのＢの波長帯域の光ＬＦｃが撮像ユニット３０４Ｃの受光面に結像する。

撮像ユニット３０４Ａは、制御ユニット３０６からの制御指令に応じて、受光面に結像した光像を取り込み、撮像データＤａを出力する。同様に、撮像ユニット３０４Ｂ、３０４Ｃは、制御ユニット３０６からの制御指令に応じて、それぞれ撮像データＤｂ、Ｄｃを出力する。本実施形態において、撮像データＤａはＲ単色の画像データ、撮像データＤｂはＧ単色の画像データ、撮像データＤｃはＢ単色の画像データとなっている。

後述するＺ範囲探索処理時の撮像ユニット３０４Ａ〜３０４Ｃの光軸方向の配置は、基準面ＯＳａ〜ＯＳｃの間隔が結像光学系３０２の被写界深度よりも大きく（例えば数倍）となるようにすることが好ましい。こうすることで、Ｚ範囲を探索する際のＺステージの移動回数を削減することが可能となる。

また、本実施形態では、一例として、１個のダイクロイックプリズムおよび３個の撮像ユニットによって３つの層を異なる色で同時撮像できる構成としたが、これに限定するものではない。例えば、２個の平板型のダイクロイックミラーを光軸上に配置し、入射した光束をＲの光束、Ｇの光束、Ｂの光束に分割し、それぞれを３個の撮像ユニットに導いてもよい。あるいは、２枚のハーフミラーを光軸上に配置し、入射した光束を３方向に分割し、ハーフミラーと撮像ユニットの間にＲ，Ｇ，Ｂのカラーフィルタを配置してもよい。また、図１６に示したように、結像レンズを分割されたＲ，Ｇ，Ｂそれぞれの光路上に配置してもよい。このように、結像光学系３０２の焦点深度や光路色分割ユニット３０３の形状・構成などによって適宜決定できる。

（制御ユニットの機能）
次に、制御ユニット３０６の機能について説明する。制御ユニット３０６は、図３に示した第１実施形態の制御ユニット１０６と基本的に同じ構成のため、以下、図３と同じ符号を参照して説明を行う。制御ユニット３０６は、主制御部６０、ステージステージ位置制御部６１、撮像ユニット位置制御部６２、撮像制御部６３、データ処理部６４から構成される。

主制御部６０は、画像取得装置３００を構成する各部の動作を統括的に制御する。具体的には、主制御部６０は、試料の多層において、各層の単色の画像を取得し、それらを合成してカラー画像を取得する。そして、多層から取得したカラー画像もしくは単色の画像から、全焦点画像データや三次元画像データもしくはそれらの合成画像データを、表示用画像データとして出力するための同期制御を行う。また、主制御部６０は、光源３０９の調光制御や各種光学素子の切り換え等、試料の画像取得に伴う画像取得装置３００の各部の調整を行うとともに、各部の状態を適宜ユーザに通知可能とする。

ステージ位置制御部６１は、ステージ３０５のＸＹ移動およびＺ移動を、出力インターフェースを介して制御する。そして、スライド３０１の所望の分割領域の層を基準面位置に送り込ませる。また、ステージ３０５のＸＹＺ位置座標を、入力インターフェースを介して取得する。

ステージ位置制御部６１は更に、試料のＺ取得対象範囲と、Ｚステージの現在のＺ位置に基づいて、Ｚ範囲探索処理時およびカラー画像取得処理時のＺ移動順序（ステージ３０５をＺ移動させる制御目標値）を決定する。本実施形態では、最初にＺ取得対象範囲の上端（又は下端）に基準面の上端（又は下端）が合うようにステージ３０５を移動させた後、１ステップずつ同じ方向（下方向又は上方向）にステージ３０５をシフト移動させていく。これによりステージ移動および位置合わせを効率化でき、時間短縮を図ることができる。

撮像ユニット位置制御部６２は、撮像ユニット移動機構３０８Ａ〜３０８Ｃによる撮像ユニット３０４Ａ〜３０４Ｃの光軸方向の移動を、出力インターフェースを介して制御し、処理に応じて、基準面ＯＳａ〜ＯＳｃ同士の間隔（相対距離）を適宜変更する。これにより、試料内の粗い間隔の層を同時撮像してＺ取得対象範囲を決定する「Ｚ範囲探索処理」と、Ｚ取得対象範囲内の複数層のカラー画像を取得する「カラー画像取得処理」を可能とする。それぞれの処理での基準面の設定は図１２（ａ）を参照して後述する。また、撮像ユニット位置制御部６２は、撮像ユニット３０４Ａ〜３０４Ｃの光軸方向の座標を、入力インターフェースを介して取得し、基準面ＯＳａ〜ＯＳｃのＺ位置を算出する。ここで、基準面ＯＳａ〜ＯＳｃのＺ位置は、撮像ユニット３０４Ａ〜３０４Ｃから結像光学系３０２の像側焦点位置までの光路長、結像光学系３０２の光学倍率に基づいて算出すれば良い。もしくは、撮像ユニット３０４Ａ〜３０４Ｃと光学的に共役となる基準面ＯＳａ〜ＯＳｃのＺ位置を、計測によってあらかじめ取得しておいてもよい。

撮像制御部６３及びデータ処理部６４の機能については、第１実施形態のものと同様のため、ここでは説明を割愛する。

制御ユニット３０６のハードウェア構成については、第１実施形態の制御ユニット１０６（図４参照）と同様のため、ここでは説明を割愛する。

（Ｚ範囲探索処理とカラー画像取得処理との関係）
（１）Ｚ範囲探索処理
図１２（ａ）は、Ｚ範囲探索処理およびカラー画像取得処理における、スライド３０１
内の試料と３つの基準面との関係について示した図である。

Ｔ０は、取得対象とした分割領域が、ＸＹステージによって結像光学系３０２の視野内に送り込まれ、Ｚ範囲探索処理を開始した時の状態を表す。この時、基準面ＯＳａ〜ＯＳｃの間隔（相対距離）ｄ０は広い間隔（例えば、結像光学系３０２の被写界深度の数倍程度）に設定される。この設定により、粗い間隔で試料内の３つの層が同時に撮像され、撮像データＤａ〜Ｄｃが得られる。最初の探索では、試料の上端（これより上には画像取得したい層は存在しない位置：例えばカバーグラス上面）が、基準面ＯＳａのＺ位置に一致するようにステージ３０５が制御される。必要に応じて複数回の探索を行う場合、２回目以降の探索では、基準面ＯＳａ〜ＯＳｃの間隔を維持したまま、Ｚステージを１ステップ分移動する。１ステップの移動量は例えば３×ｄ０に設定される。

このようにして１回ないし複数回の探索で得られた撮像データ群Ｄａ〜Ｄｃに基づいて、Ｚ取得対象範囲の最上位層ＬＴおよび最下位層ＬＢが決定される。

図１３は、上述したデータ処理部６４で算出された評価指標プロファイルであり、横軸がＺ位置、縦軸が評価指標を表す。撮像データ群Ｄａ〜Ｄｃから算出された評価指標がそれぞれＤＣａ〜ＤＣｃである。図１３は、２回の探索で得られた６枚の撮像データからそれぞれ６個の評価指標が得られた例である。

評価指数は、撮像データごとに、各画素についてそれぞれ近傍の画素との輝度の微分値もしくは差分値を算出して得る。評価指標としては、例えば、近傍の画素との差を二乗して画像全体で加算するブレナー微分がある。ブレナー微分Ｂは以下の式で表すことができる。

ここで、Ｉ（ｉ，ｊ）は撮像データであり、（ｉ，ｊ）に位置する画素の画素値を表す。ｍは対象とする近傍画素との間隔であり、例えば２が使われる。Ｎ，Ｍは撮像データのＸ方向、Ｙ方向の画素数である。

撮像データＤａ〜Ｄｃは、光路色分割ユニット３０３により色分割された光を撮像したデータであるため、互いに色の異なる単色の画像データとなっている。データ処理部６４は、これらの色の異なる単色のデータから、評価指標プロファイルを算出する。評価指標プロファイルを算出する際に、色間補正などを行うことが望ましい。例えば、軸上色収差が発生している（例えばＢの共役位置がＲ・Ｇに対してずれている）場合では、それによる色別の像（光学倍率）の変化をあらかじめ計測等で取得しておき、その分だけ図１３に示す横軸Ｚを補正する。

データ処理部６４は、この算出したプロファイルから、評価指標がピークとなるピークＺ位置ＺＰを推定し、最上位ＬＴおよび最下位ＬＢそれぞれのＺ位置ＺＴ，ＺＢを決定する。ＺＰ、ＺＴ、ＺＢのＺ位置は、Ｚステージの上面を基準（例えば上面のＺ＝０）として求める。ピークＺ位置ＺＰの推定では、例えば、各Ｚ位置における評価指標を次式のローレンツ関数Ｂ（Ｚ）で近似し、近似式のピーク値を位置ＺＰとしてもよい。

また、最上位ＬＴおよび最下位ＬＢは、近似式のピーク値に対して特定割合となる閾値で決定してもよい（例えば、ピーク値の３０％を閾値と定め、上記近似式の値が閾値以上となるＺ範囲の上端と下端をそれぞれＬＴ，ＬＢとする）。

一回の探索で得られた３枚の撮像データ群Ｄａ〜Ｄｃからピーク位置が推定できなかった場合、図１２（ａ）に示すように、ステージ３０５のＺ位置を１ステップ移動させて、ピーク位置の推定を繰り返す。この時、前回までの探索で得られた撮像データ群Ｄａ〜Ｄｃも使用してピークを推定することが望ましい。試料の上端から下端までＺ範囲探索処理を行ってもピークが推定できない場合には、第１実施形態で述べたのと同様、結像光学系のＮＡを変更したり、基準面の間隔（相対距離）を変更して、Ｚ範囲探索処理を行うとよい。

（２）カラー画像取得処理
Ｔ１は、Ｔ０でのＺ範囲探索処理で決定した、Ｚ取得対象範囲のカラー画像取得処理時の状態を表す。本実施形態においては、カラー画像取得処理時は、基準面ＯＳａ〜ＯＳｃの間隔（相対距離）をゼロに設定し、３つの撮像ユニット３０４Ａ〜３０４Ｃで試料内の同じＺ位置を撮像する。基準面のＺ位置を一致させて撮像された撮像データＤａ、Ｄｂ、Ｄｃは、試料内の同じＺ位置（深さ）の層のＲ、Ｇ、Ｂそれぞれの単色の画像データとなっている。それらの単色画像データを合成することで、そのＺ位置でのカラー画像データを取得することができる。

例えば、初回のカラー画像取得処理時には、Ｚ取得対象範囲の最上位ＬＴが、基準面ＯＳａ〜ＯＳｃのＺ位置に一致するようにステージ３０５が制御される。その後、ステージ３０５のＺ位置をステップ量ｄ１で順に移動しながら、カラー画像取得処理を繰り返す。Ｚ取得対象範囲の最下位ＬＢのＺ位置またはそれより下の層まで撮像したら、カラー画像取得処理を終了する。これにより、Ｚ取得対象範囲の複数層のカラー画像が取得される。この時、ステップ量ｄ１は、結像光学系１０２の被写界深度と同等か若しくは小さいことが望ましく、前述のＴ０時における基準面ＯＳａ〜ＯＳｃの間隔ｄ０よりも小さいことが望ましい。

図１２（ｂ）は、カラー画像取得処理の別の実施形態を示している。Ｔ１１〜Ｔ１８は、図１２（ａ）におけるＴ０でのＺ範囲探索処理で決定した、Ｚ取得対象範囲のカラー画像取得処理時の状態を表す。図１２（ｂ）に示す方法では、基準面ＯＳａ〜ＯＳｃの間隔（相対距離）をｄ２に設定し、３つの撮像ユニット３０４Ａ〜３０４Ｃで試料内の異なるＺ位置を撮像する。この時の間隔（相対距離）ｄ２は、結像光学系１０２の被写界深度と同等か若しくは小さいことが望ましく、前述のＴ０時における間隔（相対距離）ｄ０よりも小さいことが望ましい。

撮像手順としては、まず、時刻Ｔ１１において、基準面ＯＳｃがＺ取得対象範囲の最上位ＬＴに位置するように、ステージ３０５のＺ位置を調整し、撮像を行う。これにより、ＬＴ層のＢ色画像が撮像される。次に時刻Ｔ１２において、基準面の相対距離ｄ２と同じ量だけステージ３０５を移動し、基準面ＯＳｃのＺ位置をＬ１層に一致させ撮像を行う。このとき、基準面ＯＳｂはＬＴ層に一致しており、これにより、Ｌ１層のＢ色画像およびＬＴ層のＧ色画像が撮像される。次に時刻Ｔ１３において、基準面の相対距離ｄ２と同じ量だけステージ３０５を移動し、基準面ＯＳｃのＺ位置をＬ２層に一致させ撮像を行う。
このとき、基準面ＯＳｂはＬ１層に一致しており、基準面ＯＳａはＬＴ層に一致している。これにより、Ｌ２層のＢ色画像、Ｌ１層のＧ色画像、およびＬＴ層のＲ色画像が撮像される。この時点で、ＬＴ層はＲＧＢの３色の画像が揃ったことになり、この３色の画像を合成することで、ＬＴ層のカラー画像を取得することができる。このようにして、順次ステージ３０５を移動していき、Ｌ５層までのカラー画像を取得していく。この時、Ｌ５層はＺ取得対象範囲の最下位ＬＢと同じもしくはそれよりも下の層となっている。

（画像取得の方法）
本実施形態における画像取得装置３００の画像取得方法について、図１４に示すフローチャートを用いて説明する。

まずステップＳ１６０１では、主制御部６０が、画像取得装置３００の処理条件（ＸＹ取得対象範囲等）を取得する。更に、主制御部６０は、ＸＹ取得対象範囲に基づいてステージのＸＹ移動順序（ＸＹステージ制御目標値テーブル）を算出する。このテーブルには、スライド３０１上の複数の分割領域を順に撮像するために、各分割領域を結像光学系３０２の視野内に移動させるためのＸＹステージの制御目標値が記述されている。なお、各分割領域の大きさは、撮像ユニットの有効撮像領域を結像光学系３０２の物体側に投影した大きさに対応する。

次のステップＳ１６０２では、主制御部６０が、ＸＹ移動順序に基づいて（例えば、ＸＹステージ制御目標値テーブルから、１番上の行に記載の目標値を読み出して）、ステージ位置制御部６１を介してステージ３０５を制御する。また、移動後のステージ３０５のＸＹ位置座標を取得する。更に、主制御部６０が、撮像ユニット位置制御部６２を介して撮像ユニット移動機構３０８Ａ〜３０８Ｃを制御し、撮像ユニット３０４Ａ〜３０４Ｃを光軸方向に移動させる。そして、基準面ＯＳａ〜ＯＳｃ同士の間隔をＺ範囲探索処理時の第一の間隔（例えば、結像光学系３０２の被写界深度の４倍）に設定する。

次のステップＳ１６０３では、主制御部６０が、ステージ位置制御部６１、撮像制御部６３、データ処理部６４を介してＺ範囲探索処理を実行し、Ｚ取得対象範囲を決定する。Ｚ範囲探索処理の詳細は、第１実施形態の図８に示したものと基本的に同じである。（ただし、基準面の数および１回の探索で取得できる撮像データの数が３つである点、２回目以降の探索を行う場合のステップ量がｄ０×３である点などが、第１実施形態と異なる。）
次のステップＳ１６０４では、主制御部６０が、撮像ユニット位置制御部６２を介して撮像ユニット移動機構３０８Ａ〜３０８Ｃを制御し、撮像ユニット３０４Ａ〜３０４Ｃを光軸方向に移動させる。そして、図１２（ａ）および図１２（ｂ）で示したように、基準面ＯＳａ〜ＯＳｃ同士の間隔をカラー画像取得処理時の第二の間隔（間隔＝ゼロ、又は、間隔≦結像光学系３０２の被写界深度）に設定する。

次のステップＳ１６０５では、主制御部６０が、ステージ位置制御部６１、撮像制御部６３、データ処理部６４を介してカラー画像取得処理を実行し、Ｚ取得対象範囲内の複数の観察対象層のカラー画像を取得する。このステップの詳細は、図１５で後述する。

次のステップＳ１６０６では、主制御部６０が、ＸＹ取得対象範囲内の画像取得が完了したか（ＸＹステージ制御目標値テーブルの最後の行まで実行したか）否かを判断する。完了したと判断した場合、ステップＳ１６０７へ移行する。一方、未完であると判断した場合、ステップＳ１６０２へ移行し、ＸＹステージ制御目標値テーブルから読み出す行を１つ進め、ステージ位置制御部６１を介したステージ３０５の制御を続ける。

次のステップＳ１６０７では、主制御部６０が、データ処理部６４を介して表示用画像
データを生成制御し、画像取得を完了する。

（カラー画像取得処理）
カラー画像取得処理の詳細について、図１５に示すフローチャートを用いて説明する。

まずステップＳ１６２１では、ステージ位置制御部６１が、ステージ３０５のＺ移動の目標位置を決定し、ステージ３０５を制御する。また、ステージ位置制御部６１が、移動後のステージ３０５のＺ位置座標を取得する。

ステージ移動と撮像を複数回繰り返す場合、ステップＳ１６２１におけるＺ移動の目標位置の決定処理の内容は、１回目の場合と、２回目以降の場合とで異なる。図１２（ａ）に示した実施形態の場合、１回目では、Ｚ取得対象範囲の上端（最上位層ＬＴ）又は下端（最下位層ＬＢ）のうちの近い方に基準面ＯＳａ〜ＯＳｃ（全て同じＺ位置）が合うようにＺステージの移動を行う。例えば、ステージ位置制御部６１は、Ｚ取得対象範囲の最上位層ＬＴと基準面ＯＳａ〜ＯＳｃのＺ位置の差と、Ｚ取得対象範囲の最下位層ＬＢと基準面ＯＳａ〜ＯＳｃのＺ位置の差を比較する。前者が小さかった場合、最上位層ＬＴと基準面ＯＳａ〜ＯＳｃ（全て同じＺ位置）のＺ位置が一致するようにＺステージを移動させ、２回目以降のＺステージの移動方向を「上（＋Ｚ方向）」に設定する。後者が小さかった場合、最下位層ＬＢと基準面ＯＳａ〜ＯＳｃ（全て同じＺ位置）のＺ位置が一致するようにＺステージを移動させ、２回目以降のＺステージの移動方向を「下（−Ｚ方向）」に設定する。２回目以降のステップＳ１６２１では、設定された移動方向にＺステージを１ステップ（図１２（ａ）におけるｄ１）シフト移動させる。

また、図１２（ｂ）に示した実施形態の場合、１回目では、ステージ位置制御部６１は、Ｚ取得対象範囲の最上位層ＬＴと基準面ＯＳａのＺ位置の差と、Ｚ取得対象範囲の最下位層ＬＢと基準面ＯＳｃのＺ位置の差を比較する。前者が小さかった場合、最上位層ＬＴと基準面ＯＳｃのＺ位置が一致するようにＺステージを移動させ、２回目以降のＺステージの移動方向を「上（＋Ｚ方向）」に設定する。後者が小さかった場合、最下位層ＬＢと基準面ＯＳａのＺ位置が一致するようにＺステージを移動させ、２回目以降のＺステージの移動方向を「下（−Ｚ方向）」に設定する。２回目以降のステップＳ１６２１では、設定された移動方向にＺステージを１ステップ（図１２（ｂ）におけるｄ２）シフト移動させる。

本実施形態では、上記のような判定を行い、１回目のＺ位置と２回目以降のステージ移動方向を決定することで、ステージの移動量を最小にでき、カラー画像取得処理の時間短縮を図ることができる。ただし、ステージ移動の時間が問題とならない場合には、こうした判定を行わず、予め決められた移動方向あるいはユーザから指示された移動方向で制御してもよい。

次のステップＳ１６２２では、撮像制御部６３が、撮像ユニット３０４Ａ〜３０４Ｃによる撮像を制御し、撮像データ群Ｄａ〜Ｄｃを入力する。また、撮像制御部６３は、撮像データと関連付けて、取得した画像の位置情報を取得する。

次のステップＳ１６２３では、主制御部６０が、Ｚ取得対象範囲内の画像取得が完了したか否かを判断する。完了したと判断した場合、ステップＳ１６２４へ移行する。一方、未完であると判断した場合、ステップＳ１６２１へ移行し、ステージ位置制御部６１を介してステージ３０５を制御する。

次のステップＳ１６２４では、主制御部６０が、データ処理部６４を介して、撮像データ群とそのＺ位置情報に基づいて、試料内の各Ｚ位置に対応するＲＧＢカラー画像を生成
する。このとき、同じＺ位置で撮像されたＲ色画像データである撮像データＤａ、Ｇ色画像データである撮像データＤｂ、Ｂ色画像データである撮像データＤｃを合成することで、ＲＧＢカラー画像が生成される。

次のステップＳ１６２５では、主制御部６０が、データ処理部６４を介して、ＲＧＢカラー画像データ群とそのＺ位置情報に基づいて、全焦点画像データおよび／または厚み方向の形状分布が把握できる三次元画像データを生成する。そして、Ｚ取得対象範囲内の観察対象層のカラー画像取得を完了する。

（本実施形態の利点）
以上述べた本実施形態の構成によれば、互いに異なる色（波長帯域）の画像データを撮像可能な複数の撮像ユニットを有し、目的とする処理に応じて各撮像ユニットの基準面同士の間隔（相対距離）を変えることができる。これにより、例えばＺ範囲探索処理のように試料内の広いＺ範囲を観察（分析）する必要があるときは、基準面の間隔を広めにとるなど、効率（処理時間の短縮）を重視した設定にできる。一方、カラー画像取得処理のように高解像度のカラー画像を取得する必要があるときは、図１２（ａ）のように基準面の間隔をゼロにして１ショットでカラー画像を取得するか、図１２（ｂ）のように１ステップずつ基準面をずらしてカラー画像を取得する。このように、目的とする処理に応じて適応的に基準面の間隔を制御することで、全体としての処理の効率化及び処理時間の短縮を図ることが可能となる。また、試料の多層から高速に高解像度のカラー画像を取得できるため、病理診断等で正確に比較診断できるようになる。加えて、一つの撮像系でＺ範囲探索処理とカラー画像取得処理のような目的の異なる処理に柔軟に対応できるため、装置全体の小型化と低コストを図ることもできる。

＜第３実施形態＞
本発明の画像取得方法は、前述した実施形態の機能の全部または一部を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）の形態で、システムあるいは装置に供給することができる。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することで達成可能である。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが、読み出したプログラムコードを実行することにより、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。

更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれる。

なお、本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。また、第１から第３
の実施形態で説明してきた構成は、お互いに組み合わせて使用できる。従って、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に想到し得るものであり、そのような様々な組み合わせによるシステムも本発明の範疇に属する。

例えば、病理診断における細胞診のように、比較的厚い試料の多層の画像を取得したい場合等、Ｚ取得対象範囲がスライドの高さ方向のほぼ全域であるような場合、取得画像のデータが膨大となってしまう。このような場合、Ｚ範囲探索処理で取得した撮像データをそのまま分割領域の画像データとして記録し、全焦点画像データや三次元画像データや合成画像データの生成に利用してもよい。Ｚ範囲探索処理で得られる画像データだけでは高さ方向（Ｚ方向）の分解能が低いので、多層画像取得処理では、Ｚ範囲探索処理で得られた画像データの間を補完するための画像取得を行う。言い換えると、粗い間隔で試料内の複数層の画像を取得する第一の処理を行った後、第一の処理で取得した画像の間を補完するために、第一の処理よりも狭い間隔で試料内の複数層の画像を取得する第二の処理を行うのである。このとき、Ｚ取得対象範囲の全域について補完してもよいが、特に高さ方向の分解能が必要な層の周辺だけに多層画像取得処理を実施してもよい。高さ方向の分解能が必要な層は、ユーザが指定してもよいし、Ｚ範囲探索処理で計算した評価指標に基づいて決定してもよい（例えば、高コントラストな画像が得られる層の周辺を補完するなど）。

１００：画像取得装置、１０１：スライド、１０２：対物レンズ、１０３：光路分割ユニット、１０４Ａ〜１０４Ｄ：撮像ユニット、１０５：ステージ、１０６：制御ユニット、１０８Ａ〜１０８Ｄ：撮像ユニット移動機構

Claims

試料からの光を集光する光学系と、
前記光学系からの光路を複数の光路に分割する分割手段と、
前記複数の光路上にそれぞれ受光面を有する複数の撮像手段と、
前記複数の撮像手段を用いて第一の処理および第二の処理を行う制御手段と、
前記複数の撮像手段の受光面と光学的に共役な試料側の面である複数の基準面の間隔を変更する変更手段と、を有し、
前記変更手段は、前記複数の撮像手段が前記第一の処理のための撮像を行う場合と前記第二の処理のための撮像を行う場合とで、前記複数の基準面の間隔を変える
ことを特徴とする画像取得装置。
前記第一の処理は、前記複数の基準面を前記試料内の異なる高さに配置して前記複数の撮像手段により得られた画像データに基づき、前記試料内で画像を取得すべき層の高さを決定する処理であり、
前記第二の処理は、前記第一の処理のときよりも前記複数の基準面の間隔を小さくし、前記第一の処理で決定された高さを基準とする範囲から、前記複数の撮像手段により前記試料の複数層の撮像を行う処理である
ことを特徴とする請求項１に記載の画像取得装置。
前記第二の処理では、前記複数の基準面の間隔をゼロにする
ことを特徴とする請求項２に記載の画像取得装置。
前記複数の撮像手段は、互いに異なる色の単色画像データを撮像するものであり、
前記第二の処理では、前記複数層のそれぞれについて、前記複数の撮像手段により得られた複数の色の単色画像データを合成してカラー画像データが生成される
ことを特徴とする請求項２又は３に記載の画像取得装置。
前記第一の処理では、前記複数の基準面を前記試料内の異なる高さに配置して前記複数の撮像手段により得られた画像データに基づき、最大コントラストの画像が得られる高さを推定し、前記推定された高さを含むように前記画像を取得すべき層の高さを選ぶ
ことを特徴とする請求項２〜４のうちいずれか１項に記載の画像取得装置。
前記第一の処理は、前記複数の基準面を前記試料内の異なる高さに配置して前記複数の撮像手段により前記試料の複数層の撮像を行う処理であり、
前記第二の処理は、前記第一の処理とは前記複数の基準面の間隔を変更した前記複数の撮像手段により、前記第一の処理で撮像した前記複数層のあいだを補完する層を撮像する処理である
ことを特徴とする請求項１に記載の画像取得装置。
前記第一の処理は、前記複数の基準面を前記試料内の異なる高さに配置して前記複数の撮像手段により得られた画像データに基づき、前記試料内で画像を取得すべき層の高さを決定する処理であり、
前記第二の処理は、前記第一の処理において前記画像を取得すべき層の高さを決定できなかった場合に、前記第一の処理のときよりも前記複数の基準面の間隔を小さくして前記複数の撮像手段により得られた画像データに基づき、前記試料内で画像を取得すべき層の高さを決定する処理である
ことを特徴とする請求項１に記載の画像取得装置。
前記試料と前記複数の基準面との高さ方向の相対位置を変更する第二の変更手段をさら
に備え、
前記第二の変更手段による前記試料と前記複数の基準面の高さ方向の相対位置の変更と、前記複数の撮像手段による撮像とを複数回繰り返すことにより、前記基準面の数よりも多くの層の画像データを取得可能である
ことを特徴とする請求項１〜７のうちいずれか１項に記載の画像取得装置。
前記第二の変更手段は、前記複数の撮像手段が前記第一の処理のための撮像を行う場合と前記第二の処理のための撮像を行う場合とで、前記試料と前記複数の基準面の高さ方向の相対位置の変更量を変える
ことを特徴とする請求項８に記載の画像取得装置。
前記第二の変更手段は、前記試料と前記複数の基準面の高さ方向の相対位置の変更量を、前記複数の基準面の間隔に前記基準面の数を掛けた値に設定する
ことを特徴とする請求項９に記載の画像取得装置。
前記第二の変更手段は、１回目に、前記試料のうち画像データを取得すべき範囲の上端又は下端に前記複数の基準面のいずれかが合うように、前記試料と前記複数の基準面の高さ方向の相対位置を変更し、２回目以降、前記試料と前記複数の基準面の相対位置を同じ方向に変更する
ことを特徴とする請求項８〜１０のうちいずれか１項に記載の画像取得装置。
前記第二の変更手段は、前記試料を保持し光軸方向に移動するステージである
ことを特徴とする請求項８〜１１のうちいずれか１項に記載の画像取得装置。
前記変更手段は、前記第二の処理のための撮像を行う場合の前記複数の基準面の間隔を、前記光学系の被写界深度以下に設定する
ことを特徴とする請求項１〜１２のうちいずれか１項に記載の画像取得装置。
前記変更手段は、前記複数の撮像手段の受光面の光軸方向の位置を変更することにより、前記複数の基準面の間隔を変更する
ことを特徴とする請求項１〜１３のうちいずれか１項に記載の画像取得装置。
前記複数の撮像手段のうち１つの撮像手段の受光面が固定されており、
前記変更手段は、他の撮像手段の受光面の位置を変更する
ことを特徴とする請求項１４に記載の画像取得装置。
前記制御手段は、前記撮像手段の画像データと、対応する基準面の高さの情報との関連付けを行う
ことを特徴とする請求項１〜１５のうちいずれか１項に記載の画像取得装置。
前記制御手段は、前記第二の処理で得られた前記複数層の画像データを用いて、前記試料の観察に用いるための画像データを生成する
ことを特徴とする請求項２〜５のうちいずれか１項に記載の画像取得装置。
試料からの光を集光する光学系と、
前記光学系からの光路を複数の光路に分割する分割手段と、
前記複数の光路上にそれぞれ受光面を有する複数の撮像手段と、を有する画像取得装置の制御方法であって、
前記複数の基準面の間隔を第一の間隔に設定する工程と、
前記第一の間隔に設定された前記複数の撮像手段を用いて第一の処理を行う工程と、
前記複数の基準面の間隔を前記第一の間隔よりも小さい第二の間隔に設定する工程と、
前記第二の間隔に設定された前記複数の撮像手段を用いて第二の処理を行う工程と、を含む
ことを特徴とする画像取得装置の制御方法。
前記第一の処理は、前記複数の基準面を前記試料内の異なる高さに配置して前記複数の撮像手段により得られた画像データに基づき、前記試料内で画像を取得すべき層の高さを決定する処理であり、
前記第二の処理は、前記第一の処理で決定された高さを基準とする範囲から、前記複数の撮像手段により前記試料の複数層の撮像を行う処理である
ことを特徴とする請求項１８に記載の画像取得装置の制御方法。
前記第二の処理では、前記複数の基準面の間隔をゼロにする
ことを特徴とする請求項１９に記載の画像取得装置の制御方法。
前記第一の処理では、前記複数の基準面を前記試料内の異なる高さに配置して前記複数の撮像手段により得られた画像データに基づき、最大コントラストの画像が得られる高さを推定し、前記推定された高さを含むように前記画像を取得すべき層の高さを選ぶことを特徴とする請求項１９又は２０に記載の画像取得装置の制御方法。
前記複数の撮像手段の受光面の光軸方向の位置を変更することにより、前記基準面同士の間隔を変更する
ことを特徴とする請求項１８〜２１のうちいずれか１項に記載の画像取得装置の制御方法。
前記第二の間隔が、前記光学系の被写界深度以下に設定される
ことを特徴とする請求項１８〜２２のうちいずれか１項に記載の画像取得装置の制御方法。