JP2015220625A - 画像取得装置および画像取得方法 - Google Patents

画像取得装置および画像取得方法 Download PDF

Info

Publication number
JP2015220625A
JP2015220625A JP2014103143A JP2014103143A JP2015220625A JP 2015220625 A JP2015220625 A JP 2015220625A JP 2014103143 A JP2014103143 A JP 2014103143A JP 2014103143 A JP2014103143 A JP 2014103143A JP 2015220625 A JP2015220625 A JP 2015220625A
Authority
JP
Japan
Prior art keywords
imaging
image
image acquisition
optical system
optical path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014103143A
Other languages
English (en)
Inventor
直人 布施
Naoto Fuse
直人 布施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014103143A priority Critical patent/JP2015220625A/ja
Publication of JP2015220625A publication Critical patent/JP2015220625A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】被写体の多層の画像を取得する画像取得装置の省スペース化を実現する方法を提供する。【解決手段】被写体101からの光束を集光する撮像光学系102と、撮像光学系からの光束を複数の光束に分割する光路分割手段103と、複数の光束のそれぞれを受光する複数の撮像素子104A、104B、104Cと、光路分割手段を移動する移動手段108と、を有する。移動手段は、光路分割手段を移動することにより、複数の撮像素子と光学的に共役な複数の基準面間の撮像光学系の光軸方向における距離を変更する。【選択図】図1

Description

本発明は、画像取得装置に関し、特に、試料の多層の画像を取得するための画像取得装置に関する。
病理学の分野等で、被写体(プレパラート)を撮像することによりデジタル画像を取得する画像取得装置が注目されている。該装置においては、取得した画像データを用いて、医師による病理診断を可能とする。病理診断画像のデジタル化により、例えば細胞の形状把握や個数算出、細胞質と核の面積比を算出することで、病理診断に有用な種々の情報の提示も可能となる。
一方で、細胞には厚みがあるため、医師は、厚み方向に細胞核等の構造物がどのように分布しているかも総合して病理診断を行う必要がある。このため、顕微鏡のような焦点深度の浅い光学系を有する画像取得装置においては、例えば、被写体を載せたステージの高さを順次上下移動させながら画像取得する対象層の高さを探索する。そして、探索結果に基づいてステージの高さを移動させて画像を取得する。こうして撮像した複数の画像から、全ての領域で焦点が合った全焦点画像や、厚み方向の構造物の分布が把握できる三次元画像を構築することが行われてきた。
画像取得装置では、画像を取得する対象層の被写体内における高さが未知である場合、被写体内の広域を探索する必要があり、探索に時間を要することがあった。こうした問題を鑑みて特許文献1には、フォーカス位置が互いに異なる複数の画像信号を一つの撮像素子で記録できる顕微鏡装置が開示されている。詳細には、被写体からレンズ系を通った光を複数の光に分割し、複数の光は光軸に沿って配設位置が互いに異なるように設置された複数の反射ミラーを経由して、それぞれ撮像素子に入射する。この構成によって、複数の焦点位置の異なる画像を同時に取得でき、多層の画像を取得する時間を、従来よりも削減できる。
また、特許文献2には、被写体からレンズ系を通った光を複数の光に分割し、複数の光それぞれが、光軸に沿って互いに異なる位置に設置された複数の撮像素子に入射する構成の画像取得装置が開示されている。このような構成にすることで、フォーカス位置が互いに異なる複数の画像信号を複数の撮像素子で記録できる。この構成によって、複数の焦点の異なる画像を同時取得でき、多層の画像を取得する時間を、従来よりも削減できる。
特開2007−295326号公報 特開平8−021950号公報
しかし、いずれの文献も、複数のフォーカス位置を同時に変更するためには、分割された光路毎に設けられた撮像素子あるいは光学系の一部をそれぞれ個別に駆動する必要がある。その場合、複数の駆動手段が必要となり、装置規模の増大を招くことがあった。
本発明はこのような事情に鑑みてなされたもので、被写体の多層の画像を取得する画像取得装置の省スペース化を実現することを目的とする。
本発明の一側面としての画像取得装置は、被写体からの光束を集光する撮像光学系と、前記撮像光学系からの光束を複数の光束に分割する光路分割手段と、前記複数の光束のそれぞれを受光する複数の撮像素子と、前記光路分割手段を移動する移動手段と、を有し、前記移動手段は、前記光路分割手段を移動することにより、前記複数の撮像素子と光学的に共役な複数の基準面間の前記撮像光学系の光軸方向における距離を変更することを特徴とする。
本発明の一側面としての画像取得装置および画像取得方法によれば、被写体の多層の画像を取得する画像取得装置の省スペース化を実現できる。
第1の実施形態の画像取得装置の概略図 第1の実施形態の撮像光学系と光路分割手段と撮像素子の配置図 第1の実施形態の試料の多層の画像を取得する際の概略図 第1の実施形態の制御手段の機能ブロック図 第1の実施形態の制御手段のハードウェア構成図 第1の実施形態のZ範囲探索処理と画像取得処理を説明する図 第1の実施形態の評価指標のプロファイルの一例 第1の実施形態の画像取得装置の処理全体のフローチャート 第1の実施形態のZ範囲探索処理のフローチャート 第1の実施形態の画像取得処理のフローチャート 第1の実施形態の第1の変形例の画像取得装置の構成図 第1の実施形態の第2の変形例の画像取得装置1001の構成 第2の実施形態の画像取得装置の概略図 第2の実施形態の撮像光学系と光路分割手段と撮像素子の配置図 第2の実施形態の制御手段の機能ブロック図 (a)第2の実施形態のZ範囲探索処理と画像取得処理を説明する図、(b)第2の実施形態の画像取得処理の別の例を説明する図
以下、図面を参照しながら実施形態を説明する。本明細書の各実施形態の説明においては、画像取得装置としてデジタル顕微鏡、画像取得の対象となる被写体としてプレパラートをより好ましい例として提示するが、特にこれに限定するものではない。また、説明を具体化するために例示する数値も、特に言及しない限りは、これに限定するものではない。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
(第1の実施形態)
まず、本実施形態の画像取得装置100(以降、単に「装置100」と呼ぶ)の構成について図1を用いて説明する。図1は、装置100の構成を示す概略図である。なお、本明細書では、撮像光学系102の光軸方向をZ方向、光軸方向に垂直な方向をXY方向と定義する。
(画像取得装置の構成)
装置100は、照明光学系109、撮像光学系102、光路分割手段103、撮像素子104A〜104C、移動手段108、位置変更手段105、制御手段106、表示手段107を有する。被写体であるプレパラート101の位置が位置変更手段105によって移動制御され、プレパラート101は、撮像光学系102、光路分割手段103を介して、撮像素子104A〜104Cで撮像される。
プレパラート101は、装置100における画像取得対象物(被写体)で、カバーグラスと試料とスライドグラスとを含む。スライドグラス上に配置された試料(組織切片等の生体サンプルなど)を、カバーグラス及び封入剤で密封している。
撮像光学系102は、プレパラート101からの光束を集光する部分で、本実施形態では、光路分割手段103との組み合わせで、プレパラート101の像を撮像素子104A〜104Cそれぞれの受光面に結像させる。また、プレパラート101の像を所定の倍率で拡大し、撮像素子104A〜104Cのいずれの受光面においても同じ拡大率で投影する撮像光学系であり、レンズ及びミラーの組み合わせで構成される。撮像光学系102は、不図示の本体フレームおよび鏡筒によって保持されている。なお、本実施形態では、撮像光学系102によってプレパラート101の像を撮像素子104A〜104Cそれぞれの受光面に結像しているが、他のレンズ等の光学素子と組み合わせて結像させてもよい。
光路分割手段103は、不図示の本体フレームあるいは撮像光学系102の鏡筒によって、移動手段108を介して保持されている。光路分割手段103は、撮像光学系102からの光束を、撮像素子104A〜104Cに向けて3つの光束に分割するための光学系である。例えば、プリズムやハーフミラーを複数重ねたものや、ダイクロイックプリズムなどを適用できる。また、撮像光学系102の視野全域が投影されるように構成、配置される。配置位置としては、撮像光学系102の瞳面と撮像素子104A〜104Cの撮像面(受光面)との間に配置されることが望ましい。
撮像素子104A〜104Cは、光路分割手段103によって分割された複数の光束それぞれの光軸上に配置された撮像手段で、複数の光束をそれぞれ個別に受光して撮像する。不図示の本体フレームあるいは撮像光学系102の鏡筒によって保持され、CCDやCMOSセンサ等の(2次元)撮像素子を用いて構成される。高画素センサを使用することで、広域からの高空間分解能画像の一括取得を可能とする。
撮像素子104A〜104Cは、撮像光学系102の視野全域が投影されるように構成、配置される。これらの撮像素子104A〜104Cは、制御手段106からの制御指令に応じて、プレパラート101の像を撮像し、それらの撮像データを同時に生成する。撮像素子104A〜104Cの受光面は、それぞれ、撮像光学系102の光軸に垂直な複数の基準面のそれぞれと光学的に共役となるように配置されている。すなわち、撮像素子104A〜104Cは、それぞれの受光面と光学的に共役な基準面を撮像する。本実施形態では、3つの撮像素子を用いるため、3つの基準面OSa〜OScを有する。
移動手段108は、制御手段106から出力される制御目標値に応じて、光路分割手段103を少なくとも1つの方向に移動する。本実施形態においては、光路分割手段103を光軸方向に垂直な方向へ移動させる。移動手段108は、後述するZステージの位置決め精度に対し、撮像光学系102の光学倍率の2乗程度の位置決め精度で駆動可能であれば良い。そのため、リニアモータや、直動ガイドを用いたステージ、直動ボールネジを用いたDCモータ、パルスモータ、VCMなどで駆動する直動システムや、板バネなどの部材弾性変形を利用した案内機構とピエゾアクチュエータを用いた機構等で構成できる。
移動手段108によって光路分割手段103を光軸と垂直な方向に移動することで、3つの基準面同士のZ方向の相対位置が変更され、3つの基準面間の撮像光学系102の光軸方向における距離(間隔)を任意の間隔に調整した多層を同時に撮像可能となる。このような構成にすることにより、第1の処理のための撮像を行う場合と第2の処理のための撮像を行う場合とで、複数の基準面間の光軸方向における距離が異なるようにする。なお、本実施形態においては、後述する第1の処理としてのZ範囲探索処理と、第2の処理としての画像取得処理との間で、光路分割手段103を移動させ、3つの基準面間の光軸方向における距離(基準面同士のZ相対位置)を変更させる場合について説明する。なお、以降の説明では、「複数の基準面間の撮像光学系の光軸方向における距離」のことを、単に「複数の基準面間の距離」、「基準面間の距離」等と呼ぶことがある。
位置変更手段105は、被写体であるプレパラート101を保持する保持部と、制御手段106から出力される制御目標値に応じて、保持部をXY方向に移動させるXYステージと、保持部をZ方向に移動させるZステージと、を含む(いずれも不図示)。すなわち、位置変更手段105は、プレパラート101を保持し移動させることにより、基準面OSa〜OScと被写体101との相対位置を変更する。XYステージは、一般的なプレパラートサイズの76mm×26mm以上の広範囲に駆動可能なものが好ましい。そのため、リニアモータや、直動ガイドを用いたステージ、直動ボールネジを用いたDCモータ、パルスモータ、VCMなどで駆動する直動システム等で構成できる。
Zステージは、0.1μm以下の位置決め精度で駆動可能なものが好ましい。そのため、リニアモータ、直動ガイドを用いたステージ、直動ボールネジを用いたDCモータ、パルスモータ、VCM等で駆動する直動システム、板バネ案内機構とピエゾアクチュエータを用いた機構等で構成することができる。
XYステージが移動することで、プレパラート101と撮像光学系102とのXY方向の相対位置が変更され、プレパラート101の所望の領域の分割画像が取得可能となる。また、XYステージの移動(XY移動)を連続して制御することで、プレパラート101の広域からの分割画像の取得が可能となる。広域の画像を取得するためのXY移動順序は、被写体101の撮像対象範囲のXY方向の情報であるXY取得対象範囲に基づいて決定する。
XY取得対象範囲は、不図示の予備計測系によって予め計測した、被写体101内の試料のXY形状情報に基づいて決定しても良いし、必要に応じてユーザからの指示に基づいて決定しても良い。XY取得対象範囲の設定によって、病理診断などに必要な領域の画像データを選択的に生成することができ、例えば試料の存在しない領域等を除いて表示用画像データの容量を小さくし、データのハンドリングを容易にできる。なお、通常は、検出した試料の存在領域と等しくなるようにXY取得対象範囲を決定する。
一方、Zステージが移動することで、プレパラート101と3つの基準面とのZ方向の相対位置が変更され、プレパラート101の所望の観察対象層を、撮像光学系102の被写界深度内とした画像が同時に取得可能となる。また、Zステージの移動(Z移動)を連続して制御することで、プレパラート101の多層からの画像の取得が可能となる。多層の画像を取得するためのZ移動順序は、Z取得対象範囲に基づいて決定する。Z取得対象範囲は、被写体101内の撮像対象範囲のZ方向の情報で、Z移動順序は、Zステージを移動させる制御目標値である。Z取得対象範囲は、後述するZ範囲探索処理で決定する。
ここで、本明細書における「被写界深度(Depth of field:D.O.F)」は、±D.O.F=±λ/{2(NA)}という式で表されるものと定義する。ここで、λは光の波長、NAは撮像光学系102の開口数である。
なお、本実施形態では、一例として、Zステージが移動することでプレパラート101と撮像光学系102の3つの基準面とのZ方向における相対位置を変更する構成とした。これに限らず、撮像光学系102及び光路分割手段103、移動手段108、撮像素子104A〜104C、を一体として移動してプレパラート101と3つの基準面とのZ方向の相対位置を変更可能な構成としても良い。
制御手段106は、装置100の各構成を制御して表示用画像データを生成する。制御手段106は、CPU、メモリ、ハードディスクなどを含む演算処理の高速な汎用のコンピュータやワークステーション、専用のグラフィックボード、あるいはこれらの組み合わせによって構成される。また、制御手段106は、位置変更手段105、撮像素子104A〜104C、および、移動手段108の制御情報の入出力、表示手段107への表示用画像データの出力、装置100の設定変更等をするためのインターフェースを備える。更に、試料の位置情報や形状情報を入力するためのインターフェースを備えても良い。
制御手段106によって、位置変更手段105、撮像素子104A〜104C、移動手段108が順次制御される。そして、撮像素子104A〜104Cで撮像した撮像結果である撮像データからZ取得対象範囲が算出され、その結果に基づいて、プレパラート101の観察対象層を被写界深度内とした分割画像が取得される。その後、画像合成処理によって分割画像ごとに全焦点画像データや三次元画像データが生成される。更に、全焦点画像データや三次元画像データ、もしくはそれらを広域に表示するための合成画像データが、表示用画像データとして出力される。
表示手段107は、装置100が生成した表示用画像データに基づいて、病理診断に適した観察用画像を表示する機能を有する。表示手段107は、CRTや液晶等のモニタにより構成することができる。
照明光学系109は、光源手段(不図示)からの光をプレパラート101に導き、プレパラート101を均一に照明する。この時、照明光学系109の光としては、例えば、波長400nm〜波長700nmの可視光を用いることができるが、その限りではない。また、カラー撮像を行う場合などは、色分解可能なカラーフィルターを適用することもできる。また、例えばR色を発行するLED、G色を発行するLED、B色を発光するLEDなど、色の異なる照明手段を備え、夫々を切り替えて使用する構成としても良い。
(光束の分割および基準面の移動)
図2は、装置100を用いて3つの基準面を撮像するための、撮像光学系102、光路分割手段103、撮像素子104A〜104Cの配置図である。図2で、光路分割手段103が点線で示した位置にある場合は、撮像素子104A〜104Cは全て基準面OSbと同じ高さを撮像しているとする。図2においてはこの状態から、移動手段108を駆動し、光路分割手段103を撮像光学系102の光軸に垂直な方向であるY軸正方向へ移動する。なお、本明細書では、撮像光学系102の光軸と垂直で且つ紙面と平行なY軸において、撮像素子104Cから撮像素子104Aに向かう方向(右方向)をY軸正方向、それと反対方向をY軸負方向とする。
光路分割手段103の一つの反射面は、移動方向と同じY軸正方向へ光束を分割する。光路分割手段103は、Y軸正方向に移動すると撮像素子104Aに近づくため、Y軸正方向に分割された光束は、光路分割手段103から撮像素子104Aに到達するまでの光路長が短くなる。それに伴い、撮像素子104Aが撮像する位置は、基準面OSbから基準面OSaへ移動する。
一方、光路分割手段103の一つの反射面は、移動方向と逆のY軸負方向へ光束を分割する。光路分割手段103は、Y軸正方向に移動すると撮像素子104Cから遠ざかるため、Y軸負方向に分割された光束は、光路分割手段103から撮像素子104Cに到達するまでの光路長が長くなる。それに伴い、撮像素子104Cが撮像する位置は、基準面OSbから基準面OScへ移動する。このようにして、光路分割手段103を光軸に垂直な方向へ移動させることにより、撮像素子104A〜104Cそれぞれが撮像する三つの撮像位置(基準面)間の距離を、光路分割手段103の移動により変更することができる。
一般に、複数の撮像素子それぞれが撮像する複数の基準面間の距離を変更する場合、各撮像素子の位置を変更することが考えられるため、駆動手段の数としては撮像素子の数だけ必要となる。しかし、本実施形態の構成によれば、撮像素子の数よりも少ない駆動手段で、基準面間の距離を変更できる。そのため、試料の多層の画像を取得する画像取得装置の省スペース化を実現できる。
図2に示すように、光路分割手段103を光軸と垂直な方向へ移動することにより、撮像素子104Aおよび撮像素子104Cの光軸方向(Z軸方向)における基準面の位置(撮像位置)が変化するが、それに付随してXY平面方向の撮像位置も変化する。そのような場合において、撮像素子104A〜104Cとして、例えばレンズ画角よりも撮像面が大きいものを用いる。もしくは、各分割画像の面積(撮像範囲)を撮像素子104A〜104Cの撮像面よりも小さく設定すればよい。
本実施形態において想定している撮像素子104A〜104Cの撮像面は、32.8mm×24.6mmである。また使用する撮像光学系102の倍率は30倍であり、被写体側の撮像エリアは1.0mm×0.8mmを想定していることから、撮像面に対して撮像範囲は、それを30倍した30mm×24mmとなる。つまり、撮像範囲に対して撮像面は、長辺方向に片側1.4mm、短辺方向に片側0.3mmほど余裕がある。
ここで、前述した基準面間の距離を、想定している試料の厚さ4μmを撮像できる範囲まで設定可能であるとする。撮像光学系102の被写界深度が±0.5μmであることから、前述した基準面OSbからの基準面OSa及び基準面OScへの移動量はそれぞれ1.5μmとなる。このとき、光学倍率が30倍であることから、光路分割手段103は、1.5μm×30×30=1350μm、つまり1.35mmの移動が必要となる。
この光路分割手段103の移動に伴い、撮像素子104Aおよび104Cの撮像面はその面内方向に同じく1.35mm移動することになる。本実施例においては、その移動方向を撮像面の長辺方向としているため、撮像面の移動量1.35mmは、長辺方向の余裕代1.4mmよりも小さく、撮像範囲が撮像面内に納まる。
撮像素子104Aは、制御手段106からの制御指令に応じて、受光面で結像した基準面OSaの像を撮像し、撮像データDaを出力する。同様に、基準面OSb、OScからの光束LFb、LFcは、それぞれ、撮像素子104B、104Cの受光面で結像し、制御手段106からの制御指令に応じて、撮像データDb、Dcが出力される。
図3は、試料の多層を画像取得する際の概略図を示している。前述したように光路分割手段103を移動させ、撮像素子104A〜104C間の距離を変化させることにより、試料の厚さに合わせた画像取得が可能になる。
Z範囲探索処理のための撮像を行う場合の撮像素子104A〜104Cの光軸方向の配置は、基準面OSa〜OScの間隔が、互いに撮像光学系102の被写界深度の数倍となるようにすることが好ましい。こうすることで、Z範囲を探索する際のZステージの移動回数を削減することが可能となる。
本実施形態では、一例として、1個のダイクロイックプリズムおよび3個の撮像素子によって3つの層を同時撮像できる構成としたが、これに限定するものではない。例えば、2個のビームスプリッタおよび3個の撮像素子という構成にすることによって3つの層を同時撮像する構成にすることができる。また、ビームスプリッタの代わりにハーフミラーを用いることもできる。このように、撮像光学系102の焦点深度や光路分割手段103の形状、構成などによって適宜決定できる。
(制御手段106の機能)
図4は、制御手段106の機能ブロック図である。図4に示すように、制御手段106は、主制御部60、位置変更手段制御部61(以降、「制御部61」と呼ぶ)、光路分割手段制御部62(以降、「制御部62」と呼ぶ)、撮像制御部63、データ処理部64を有する。
主制御部60は、装置100を構成する各部の動作を統括的に制御する。具体的には、被写体の多層を撮像して取得したカラー画像から、全焦点画像データや三次元画像データもしくはそれらの合成画像データを、表示用画像データとして出力するための同期制御を行う。また、照明光学系109の調光制御や各種光学素子の切り換え等、被写体101及び被写体101内の試料の画像取得に伴う装置100の各部の調整を行うとともに、各部の状態を適宜ユーザに通知可能とする。
制御部61は、位置変更手段105のXY移動およびZ移動を、出力インターフェースを介して順次制御する。そして、プレパラート101の所望の分割領域の層を撮像できるようにプレパラート101を移動する。また、位置変更手段105のXYZ位置座標を、入力インターフェースを介して取得する。
制御部61は、更に、プレパラート101中の試料のZ取得対象範囲と、Zステージの現在のZ位置に基づいて、後述するZ範囲探索処理のための撮像時および画像取得処理のための撮像時のZ移動順序を決定する。Z移動順序は、初めに撮像するZ位置、すなわち1回目のZステージの移動の目標位置を、以降の移動が一定方向となるように決定する。また、2回目以降のZステージの移動の目標位置を、1ステップだけシフトするように決定する。
制御部62は、後述するZ範囲探索処理および画像取得処理の完了に同期して、移動手段108による光路分割手段103の移動を、出力インターフェースを介して制御する。そして、光路分割手段103を移動することにより、撮像素子104A〜104Cの基準面OSa〜OScの光軸方向の移動を制御して、基準面OSa〜OSc間の距離を所望の距離に変更する。そうすることで、試料のZ方向を広い間隔で同時撮像してZ取得対象範囲を決定するZ範囲探索処理、および、試料のZ方向を狭い間隔で逐次撮像して高さ方向に高分解能なZ取得対象範囲の画像を取得する画像取得処理を可能とする。各処理の詳細については、後述する。
また、光路分割手段103の位置を、入力インターフェースを介して取得し、基準面OSa〜OScのZ位置を取得する。ここで、基準面OSa〜OScのZ位置は、予め記憶されている撮像素子104A〜104Cの位置と光路分割手段103の位置の変化から光路長の変化を算出し、撮像光学系102の光学倍率に基づいて算出することができる。
撮像制御部63は、位置変更手段105および光路分割手段103の移動完了に同期して、撮像素子104A〜104Cによる撮像を入出力インターフェースを介して制御し、撮像データ群Da〜Dcを入力する。ここで、Z範囲探索処理時には、高空間分解能な撮像データを必要としないため、撮像素子104A〜104Cに対し、撮像データを間引くように制御することで、高速化できる。
また、撮像制御部63は、撮像データDa〜Dcと関連付けて、基準面OSa〜OScの位置情報を取得する。位置情報とは、各撮像素素子104A〜104Cが撮像した基準面が、プレパラート101上のどの分割領域(XY位置)のどの層(Z位置)であるかを表す。例えば、位置変更手段105を移動する目標位置のXYZ位置座標、移動完了後のXYZ位置座標、基準面のZ位置等より取得できる。また、撮像データDa〜Dcと関連付ける方法としては、例えば、両データに同じヘッダ情報を付加すれば良い。ヘッダ情報は、タイムスタンプ等のユニークな情報であることが好ましい。あるいは、関連付けたい位置情報を、撮像データのヘッダ情報としても良い。
データ処理部64は、Z範囲探索処理において、撮像制御部63を介して撮像データ群Da〜Dcを受け取り、Z取得対象範囲の算出を行う。例えば、撮像データごとに、撮像素子104A〜104Cの各画素について、それぞれ近傍の画素との輝度の微分値や差分値を算出し、この値を合算して評価指標とする。この評価指標と撮像データに関連付けられたプレパラート101上のZ位置情報とから、評価指標のプロファイルを作成し、評価指標がピークを示すZ位置(以下、「ピークZ位置」と呼ぶ)を求める。このピークZ位置に基づいて、Z取得対象範囲を決定する。
Z取得対象範囲の決定方法としては、ピークZ位置を基準に、ユーザが指定する所定範囲とすれば良い。あるいは、作成したプロファイルの半値幅に基づいて決定しても良い。あるいは、評価指標を算出する単位領域を設定(例えば全領域の1/16)して領域ごとにピークZ位置を求め、ピークZ位置の最小値から最大値までをZ取得対象範囲としても良い。
データ処理部64は、Z取得対象範囲内の画像取得完了に同期して、撮像データ群Da〜DcとそのZ位置情報とに基づいて、分割領域内の全ての箇所で焦点が合った全焦点画像データ、又は、厚み方向の形状分布が把握できる三次元画像データを生成する。また、全焦点画像データと三次元画像データの両方を生成しても良い。
全焦点画像データは、例えば、分割画像における各画素についてそれぞれ近傍の画素との輝度の微分値を算出し、この微分値を評価値とする。そして、Z取得対象範囲内から取得した他の画像データの評価値と比較し、最も評価値の高い画素をその画素位置における焦点のデータとみなして構築する。
三次元画像データは、焦点とみなした各画素のZ座標をもとに構築することができる。あるいは、表示処理の際に、順次取得した複数層の撮像データ群から、ユーザの指定したZ位置の撮像データが切り替えて表示できるように、XYZ位置と関連付けたものとしても良い。
さらに、データ処理部64は、XY取得対象範囲内の画像取得完了に同期して、分割領域ごとの全焦点画像データの生成、三次元画像データとそのXY位置とに基づいた合成画像データの生成を行う。合成画像データは、複数の分割画像データ同士の位置合わせを行い、それらを接続することにより生成され、プレパラート101のXYZ取得対象範囲を広域に表示可能とする。接続方法は、繋ぎ合わせる、重畳する、補間処理を行う等により滑らかに繋げるものを広く含む。
こうして、データ処理部64は、全焦点画像データ、三次元画像データ、それらの合成画像データを、表示用画像データとして出力インターフェースを介して出力し、表示手段107において表示可能とする。なお、全焦点画像データ及び三次元画像データの生成、合成画像データの生成順序は逆でも良い。
なお、本実施形態では、データ処理部64における各画像処理方法は、上述の方法に限定されない。
(制御手段106のハードウェア構成)
図5は、制御手段106のハードウェア構成を示すブロック図である。制御手段106としては、例えばPC(Personal Computer)200が用いられる。PC200は、CPU(Central Processing Unit)201、HDD(Hard Disk Drive)202、RAM(Random Access Memory)203、入出力I/F204、これらを互いに接続するバス205を備える。
CPU201は、必要に応じてRAM203等にアクセスし、各種演算処理を行いながらPC200全体を統括的に制御する。
HDD(Hard Disk Drive)202は、CPU201に実行させるプログラムや各種パラメータなどが記憶されている補助記憶装置である。生成して出力した表示用データを記憶させることもできる。HDD202には、図8〜図10に示したフローチャートに示した画像取得方法のステップS601〜S607、S611〜S614、S621〜S624に対応するプログラムが記憶されている。CPU201がそれらのプログラムを読み込んで実行することで各処理が行われる。なお、プログラムは、他の記憶装置に記憶されていてもよい。
RAM203は、CPU201の作業用領域等として用いられ、実行中の各種プログラム、本発明の制御手段106において処理の対象となる各種データを一時的に保持する。
入出力I/F204は、光通信、Gigabit Ethernet(登録商標)、USB(Universal Serial Bus)、PCIe(Peripheral Component Interconnect Express)(登録商標)、DVI(Digital Visual Interface)等を使用した汎用インターフェースで構成できる。
入出力I/F204は、位置変更手段105、撮像素子104A〜104C、移動手段108、表示手段107、および不図示の入力装置等が接続される。生成した表示用データや各種データを記憶させる画像サーバも接続できる。表示手段107は、外部装置として接続される形態を想定しているが、表示手段107と一体化したPC200としても良い。入力装置は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の操作入力装置である。入力装置がタッチパネルを含む場合、そのタッチパネルは表示手段107と一体としても良い。
(Z範囲探索処理と画像取得処理との関係)
図6は、Z範囲探索処理および画像取得処理における、プレパラート101内の試料と3つの基準面OSa〜OScとの関係について示した図である。
T0は、取得対象とした分割領域が、XYステージによって撮像光学系102の視野内に送り込まれ、Z範囲探索処理のための撮像を行う場合の基準面の状態を表す。この時、基準面OSa〜OSc間の距離dは広く設定されており、被写体101又の粗い間隔の層が同時撮像される。距離dは、例えば、撮像光学系102の被写界深度の数倍程度に設定される。また、被写体101の探索範囲の最上位(これより上には画像取得したい層は存在しない位置、例えばカバーグラス上面)が、基準面OsaのZ位置に一致するように位置変更手段105が制御されている。
この状態で、撮像素子104A〜104Cそれぞれが基準面OSa〜OScを撮像し、撮像結果として撮像データ群Da〜Dcを出力する。データ処理部64は、出力された撮像データ群Da〜Dcに基づいて、Z取得対象範囲の最上位LTおよび最下位LBを決定する。ここで、図7は、データ処理部64で取得した評価指標のプロファイルである。撮像データ群Da〜Dcから取得した評価指標がそれぞれDCa〜DCcである。データ処理部64は、これらの撮像データから、評価指標のプロファイルを算出する。
評価指標は、撮像データごとに、各画素についてそれぞれ近傍の画素との輝度や画素値の微分値や差分値を算出することによって得られる。例えば、隣接する画素との画素値等の差を二乗して画像全体で加算するブレナー微分があり、以下の(1)式で表すことができる。ここで、I(i,j)は撮像データで(i,j)に位置する画素の画素値、mは対象とする近接画素の間隔であり、例えば2が使われる。
この算出した評価指標のプロファイルから、評価指標がピークとなるZステージ上のピークZ位置ZPを推定し、最上位LTおよび最下位LBそれぞれのZ位置ZT,ZBを決定する。ピークZ位置ZPの推定では、例えば、各Z位置における評価関数を(2)式のローレンツ関数で近似し、近似式のピーク値を位置ZPとしてもよい。最上位LTおよび最下位LBは、近似式のピーク値に対して特定割合となる閾値で決定してもよい。
撮像素子104A〜104Cで一回撮像した撮像結果だけではピークZ位置ZPが推定できなかった場合、図6に示すように、位置変更手段105のZ位置を1ステップ移動させ、ピーク位置の推定を繰り返す。この際、1ステップの移動量は、(基準面OSa〜OSc間の距離)×(撮像素子104A〜104Cの数)となる。すなわち、本実施形態のZ範囲探索処理における1ステップの移動量は、d×3となる。
あるいは、撮像光学系102のNA(開口数)を異なる値に設定しても良い。例えば、評価指標DCa〜DCcがいずれも小さい値であった場合、基準面OSa〜OScとピークZ位置ZPとの距離が離れているため、撮像素子104A〜104Cにボケた像が入射され、ピークZ位置ZPが推定しにくくなっている可能性が高い。この場合、低NAに設定することによって、比較的ピークZ位置ZPに近い基準面と共役な受光面を有する撮像素子に入射される像のボケを小さくして、評価指標DCa〜DCcの値を大きくする。
一方、評価指標DCa〜DCcがいずれも大きい値であった場合、いずれの基準面OSa〜OScもピークZ位置ZPに近いため、いずれの撮像素子104A〜104Cにもボケの大きな像は入射されず、ピーク位置が推定しにくくなっている可能性が高い。この場合、高NAに設定することによって、比較的ピークZ位置ZPに遠い基準面と共役な受光面を有する撮像素子に入射される像のボケを大きくし、算出される評価指標の値を小さくする。
撮像光学系102のNAを調整する構成としては、複数の異なる開口の視野遮蔽板を用途に応じて配置するNA絞りや、複数の視野遮蔽羽根からなる虹彩絞りなどを用いることができる。
また、基準面OSa〜OScの相対距離dを再設定して、ピークZ位置ZPを再探索しても良い。例えば、評価指標DCa〜DCcが滑らかなプロファイルを示さず、一点だけ大きな値を示した場合、試料に対して探索が粗すぎ、ピークZ位置が推定しにくくなっている可能性が高い。この場合、基準面OSa〜OScの相対距離dを最初に設定した値よりも狭く設定し、基準面OSa〜OSc付近にピークZ位置と推定した位置が近づくように位置変更手段105を制御する。そして、評価指標が大きな値を示した付近を再探索し、プロファイルを補完する。
T1は、Z範囲探索処理で決定したZ取得対象範囲の画像取得処理のための撮像を行う場合の基準面の状態を表す。本実施形態においては、基準面OSa〜OScの相対距離はdずつ空けられており、dは被写界深度以下に設定されている。また、Z取得対象範囲の最上位LTと基準面OsaのZ位置とが一致するように位置変更手段105が制御されている。この状態で、撮像素子104A〜104Cが被写体の像を撮像することにより、Z取得対象範囲の最上位LTから基準面OScのZ位置に相当する層までの範囲のうち、いずれかの基準面の被写界深度内となる画像が取得される。
この状態で、Z取得対象範囲の最下位LBが、撮像素子104A〜104Cの被写界深度内とならなかった場合、位置変更手段105のZ位置を1ステップ移動させ、画像取得を繰り返す。この際、1ステップの移動量は、(基準面OSa〜OSc間の距離)×(撮像素子の数)となる。すなわち、本実施形態の画像取得処理における1ステップの移動量は、d×3となる。
(画像取得の方法)
装置100の画像取得方法について、図8に示すフローチャートを用いて説明する。
まずステップS601では、主制御部60が、XY取得対象範囲等の装置100の処理条件を取得する。さらに、主制御部60は、XY取得対象範囲に基づいてXYステージのXY移動順序(XYステージ制御目標値テーブル)を取得する。このテーブルは、例えば、XY取得対象範囲を撮像素子104A〜104Cが一度に撮像できる領域毎に分割して、各領域を順次撮像するための順序が記載されている。具体的には、XYステージを移動する位置の目標値が記載される。XY取得対象範囲の分割は、撮像素子104A〜104Cの有効撮像領域を撮像光学系102の物体側に投影した大きさの矩形単位でXY取得対象範囲を分割することにより行われる。
ステップS602では、主制御部60が、XY移動順序に基づいて制御部61を介して位置変更手段105を制御する。例えば、XYステージ制御目標値テーブルから、1番上の行に記載の目標値を読み出して、位置変更手段105を移動する。また、移動後の位置変更手段105のXY位置座標を取得する。さらに、制御部62を介して移動手段108を制御し、撮像素子104A〜104Cの撮像位置を光軸方向に移動する。そして、基準面OSa〜OSc間の距離をZ範囲探索処理時の相対距離dにする。
ステップS603では、主制御部60が、制御部61、制御部62、撮像制御部63、データ処理部64を介してZ範囲探索処理を制御し、Z取得対象範囲を決定する。このステップの詳細は後述する。
続くステップS604では、主制御部60が、制御部62を介して移動手段108を制御し、撮像素子104A〜104Cの撮像位置を光軸方向に移動させる。そして、基準面OSa〜OSc間の距離を画像取得処理のための撮像を行う場合の距離dに設定する。
次のステップS605では、主制御部60が、制御部61、撮像制御部62、データ処理部64を介して画像取得処理を制御し、Z取得対象範囲内の複数の異なるZ位置の画像を取得する。このステップの詳細は後述する。
次のステップS606では、主制御部60が、XY取得対象範囲内の画像の取得が完了したか否かを判断する。具体的には、主制御部60が、XYステージ制御目標値テーブルの次の行に目標値が記載されているか否かを判断する。完了したと判断した場合、ステップS607へ移行する。一方、完了していないと判断した場合、ステップS602へ移行し、XYステージ制御目標値テーブルから読み出す行を1つ進め、制御部61を介して位置変更手段105の制御を続ける。
ステップS607では、主制御部60が、データ処理部64を介して表示用画像データの生成を行い、画像取得を完了する。
(Z範囲探索処理)
前述のステップS603のZ範囲探索処理の詳細について、図9に示すフローチャートを用いて説明する。まず、ステップS611では、制御部61が、Zステージの移動の目標位置を決定し、位置変更手段105を制御する。また、移動後の位置変更手段105のZ位置座標を取得する。
Zステージの目標位置の決定方法としては、初めに、図6のT0の例において、現在の試料の最上位(これより上には画像取得したい層は存在しない位置:例えばカバーグラス上面)のZ位置と基準面OSaのZ位置との差を求める。また、現在の試料の最下位(これより下には画像取得したい層は存在しない位置:例えばスライドグラス上面)のZ位置と基準面OScのZ位置との差を求める。そして、この2つの差を比較し、前者が小さかった場合、試料の最上位に基準面OSaのZ位置が一致するように決定する。
後者が小さかった場合、試料の最下位に基準面OScのZ位置が一致するように決定する。こうした判定を行わず、ユーザからの指示に基づいて所望の一定方向としても良い。以下、現在の試料の最上位と基準面OSaとの差のほうが小さかったものとして説明する。
ピークZ位置ZPが取得できず、再度Zステージの移動を行う場合は、前述したように、前回より位置変更手段105のZ位置を1ステップ(図6参照)移動するように決定する。
次のステップS612では、撮像制御部63が、Zステージの移動に同期して撮像素子104A〜104Cによる撮像を制御し、撮像データ群Da〜Dcを入力する。また、撮像データと関連付けて、取得した画像の位置情報を取得する。ここで、Z範囲探索処理時には、高空間分解能な撮像データを必要としないため、撮像素子104A〜104Cに対し、撮像データを間引くように制御することで、処理を高速化できる。
次のステップS613では、データ処理部64が、撮像データ群Da〜Dcから、評価指標DCa〜DCcを算出する。また、この評価指標と撮像データに関連付けられたプレパラート101上のZ位置情報とから、評価指標のプロファイルを作成し、評価指標がピークを示すZステージ上のピークZ位置を推定する。このピークZ位置に基づいてZ取得対象範囲を決定する。
次のステップS614では、主制御部60が、観察対象とするZ取得対象範囲が確定したか、すなわち、Z範囲探索が完了したか否かを判断する。判断方法としては、ピークZ位置を推定できたか否かとする。
完了したと判断した場合、Z範囲探索処理を終了する。一方、未完であると判断した場合、ステップS611へ移行し、制御部61を介して位置変更手段105を制御する。
(画像取得処理)
前述のステップS605の画像取得処理の詳細について、図10に示すフローチャートを用いて説明する。まずステップS621では、制御部61が、位置変更手段105のZステージの移動の目標位置を決定し、位置変更手段105を制御する。また、移動後のZステージのZ位置座標を取得する。
Zステージの移動の目標位置の決定方法としては、まず、図6のT1の例において、現在のZ取得対象範囲の最上位LTのZ位置と基準面OSaのZ位置との差と、現在のZ取得対象範囲の最下位LBのZ位置と基準面OSdのZ位置との差と、を比較する。前者が小さかった場合、最上位LTと基準面OSaのZ位置が一致するように決定する。後者が小さかった場合、Zステージの移動方向を−Z方向とし、最下位LBと基準面OSdのZ位置が一致するように決定する。こうした判定を行わず、ユーザからの指示に基づいて所望の一定方向としても良い。以下、移動方向が+Z方向であったものとして説明する。
一方、1度の撮像でZ取得対象範囲内の画像の取得が終了せず、Zステージの移動を再度行う必要がある場合は、前述したように前回より位置変更手段105のZ位置を1ステップ(図6参照)移動するように決定する。なお、この時の基準面OSa〜OSc同士の相対距離dは、Z範囲探索処理のための撮像を行う場合より狭く、撮像光学系102の被写界深度以下である。
次のステップS622では、撮像制御部63が、Zステージの移動に同期して撮像素子104A〜104Cによる撮像を制御し、撮像データ群Da〜Ddを入力する。また、撮像データと関連付けて、取得した画像の位置情報を取得する。
次のステップS623では、主制御部60が、Z取得対象範囲内の画像の取得が完了したか否かを判断する。判断方法としては、Zステージの移動後のZ取得対象範囲の最下位LBのZ位置と、基準面OSa〜OScそれぞれのZ位置とを比較する。そして、Zステージの移動後に、Z取得対象範囲の最下位LBが、基準面OSa〜OScのいずれかに対する被写界深度内となるか否かを判断する。
完了したと判断した場合、ステップS624へ移行する。一方、未完であると判断した場合、ステップS621へ移行し、制御部61を介して位置変更手段105を制御する。
次のステップS624では、主制御部60が、データ処理部64を介して、撮像データ群とそのZ位置情報に基づいて、分割領域内の全ての箇所で焦点が合った全焦点画像データおよび/または厚み方向の形状分布が把握できる三次元画像データを生成制御する。そして、Z取得対象範囲内の観察対象層の画像取得を完了する。
以上、装置100を用いた画像取得方法について説明した。画像取得する対象層を探索するZ範囲探索処理と、探索したZ取得対象範囲の画像を取得する画像取得処理との間で、光路分割手段を移動させることにより、3つの基準面間の光軸方向(Z方向)における距離を同時に変更できる。
本実施形態の装置100によれば、複数の撮像素子それぞれに移動機構を設けて撮像素子それぞれを移動する構成に比べて、被写体の多層の画像を取得する装置100の省スペース化を実現できる。また、移動機構の数を削減できるため、装置の低コスト化に貢献できる。さらに、被写体の光軸方向に異なる複数の位置の画像を、高速に、且つ、高分解能に取得できる。これらに基づいた大量の画像取得によって、病理診断等で正確に比較診断できるようになる。
(本実施形態における変形例1)
図11は、本実施形態第1の変形例の画像取得装置1001の構成を示している。本変形例においては、前述の装置100に対して、光路分割手段の構成が異なっている。
本変形例における光路分割手段1031は、二つのハーフミラー10312、10313を備えており、それらはミラー保持部品10311に夫々接続されている。ハーフミラー10312は、撮像光学系102からの光束の一部をY軸負方向へ分割し、撮像素子104Cへ光束を導いている。一方、ハーフミラー10313は、X軸正方向へ光束を分割し、撮像素子104Aへ導いている。ミラー保持部品10311に対して、移動手段108が接続されており、これにより、光路分割手段1031はその位置が変更される。
(本実施形態における変形例2)
図12は、本実施形態の第2の変形例の画像取得装置1002の構成を示している。本変形例においては、前述の装置100に対して、撮像光学系および照明光学系の構成が異なっており、いわゆる撮像光学系側から被写体を照明する落射照明の構成となっている。
撮像光学系10220は、対物レンズ10223と、ハーフミラー10222と、結像レンズ10221と、を有する。照明光学系10902は、図12に示すようにハーフミラー10222に照明光を当て、反射させることで被写体に対して照明する構成となっている。照明光学系10902としては、例えば蛍光励起光を発することが可能なものを適用することで、蛍光観察が可能な装置を実現できる。
(第2の実施形態)
本実施形態の画像取得装置120(以下、「装置120」と呼ぶ)の構成について、図13を参照して説明する。
(画像取得装置120の構成)
図13は、装置120の構成図である。以下の説明においては、撮像光学系である撮像光学系102の光軸方向をZ方向、その光軸に垂直な方向をXY方向と定義する。なお、図13において、第1の実施形態の装置100と同じ構成には、同じ番号を付している。
装置120は、撮像光学系102、照明光学系1092、光路色分割手段1032、撮像素子104A〜104C、移動手段1082、位置変更手段105、制御手段1062、表示手段107を有する。被写体としてのプレパラート101の位置が位置変更手段105によって変更され、プレパラート101のZ軸方向に異なる複数の層が、撮像光学系102、光路色分割手段1032を介して、撮像素子104A〜104Cによって撮像される。
光路色分割手段1032は、光束および色を分割する。すなわち、本実施形態の光路色分割手段1032は、複数の異なる色の光束に分解する色分割手段を備えた光路分割手段である。不図示の本体フレームあるいは撮像光学系の鏡筒によって移動手段1082を介して保持され、撮像光学系102から入射された光束を、撮像素子104A〜104Cに向けて3分割する光学系である。例えば、RGBに光束を波長分解するダイクロイックプリズムなどを適用することができる。また、撮像光学系102の視野全域が投影されるように構成・配置される。配置する位置としては、撮像光学系102の瞳面と撮像面の間に配置されることが望ましい。
光路色分割手段1032によって、撮像素子104A、104B、104Cには夫々異なる色の画像が撮像される。また、基準面OSa〜OScの位置の設定によっては、撮像素子104A、104B、104Cは、夫々異なる色で、且つ、プレパラート101の異なる複数の層の画像を撮像できる。本実施形態では一例として、撮像素子104AはR(Red)を、撮像素子104BはG(Green)を、撮像素子104CはB(Blue)を撮像するように設定されている。
移動手段1082は、制御手段1062から出力される制御目標値に応じて、光路色分割手段1032を、光軸方向と垂直な方向へ移動させる。移動手段1082は、後述するZステージの位置決め精度に対し、撮像光学系102の光学倍率の2乗程度の位置決め精度で駆動可能であれば良い。そのため、リニアモータや、直動ガイドを用いたステージ、直動ボールネジを用いたDCモータ、パルスモータ、VCMなどで駆動する直動システムや、板バネなどの部材弾性変形を利用した案内機構とピエゾアクチュエータを用いた機構などで構成できる。
光路色分割手段1032が光軸と垂直な方向へ移動することで、3つの基準面間の光軸方向における距離が変更され、任意の間隔にある多層が同時に撮像可能となる。
制御手段1062は、CPU、メモリ、ハードディスクなどを含む演算処理の高速な汎用のコンピュータやワークステーション、専用のグラフィックボード、あるいはこれらの組み合わせによって構成される。また、制御手段1062は、ステージ105、撮像素子104A〜104C、移動手段1082の制御情報の入出力、表示手段107への表示用画像データの出力、画像取得装置120の設定の変更等を行うためのインターフェースを備える。さらに、被写体101や被写体101中の試料の位置情報や形状情報を入力するためのインターフェースを備えても良い。
制御手段1062によって、ステージ105、撮像素子104A〜104C、移動手段1082が順次制御される。そして、撮像素子104A〜104Cの撮像結果である単色の撮像データから、Z取得対象範囲が取得される。その結果に基づいて、プレパラート101の撮像対象範囲内の撮像対象層を被写界深度内とした分割画像が取得される。その後、単色のRGB画像を合成してカラー画像を作成し、画像合成処理によって分割画像ごとに全焦点画像データや三次元画像データを生成する。さらに、全焦点画像データや三次元画像データ、もしくはそれらを広域に表示するための合成画像データが、表示用画像データとして出力される。
照明光学系1092は、光源手段(不図示)からの光を被写体101に導き、被写体101を均一に照明するものである。この時、光源手段の光としては、例えば、波長400nm以上波長700nm以下の可視光を用いることができるが、その限りではない。また、図12に示したように、落射照明の構成を適用することも可能である。
(光束の分割)
図14は、装置120における、3つの基準面を撮像するための、撮像光学系102、光路色分割手段1032、撮像素子104A〜104Cの配置図である。
まず、光路色分割手段1032が図2の点線に示した位置にある場合、撮像素子104A〜104Cは全て基準面OSbと同じ高さを撮像しているとする。このとき、一度の撮像で、Z位置が同じ3つの単色画像が取得できる。
この状態から、移動手段1082を駆動し、光路色分割手段1032を撮像光学系102の光軸に垂直な方向であるY軸正方向へ移動させる。光路色分割手段1032の一つの反射面は、移動方向と同じY軸正方向へ光束を分割している。そのため、この移動により光路色分割手段1032は、撮像素子104Aに近づき、光路色分割手段1032から撮像素子104Aに到達するまでの光路長が短くなる。それに伴い、撮像素子104Aが撮像する位置は、基準面OSbから基準面OSaへ移動する。
一方、光路色分割手段1032の別の反射面は、光路色分割手段1032の移動方向とは逆のY軸負方向へ光束を分割している。この移動により、光路色分割手段1032は、撮像素子104Cから遠ざかるため、光路色分割手段1032から撮像素子104Cに到達するまでの光路長が短くなる。それに伴い、撮像素子104Cが撮像する位置は、基準面OSbから基準面OScへ移動する。このとき、撮像素子104AS〜104Cで被写体101を撮像すると、Z位置が異なり、且つ、色も異なる3つの単色画像が取得できる。
このようにして、光路色分割手段1032を光軸に垂直な方向へ移動させることにより、撮像素子104A〜104Cの三つの基準面間の距離を変更することができる。
撮像素子104Aは、制御手段106からの制御指令に応じて、撮像素子104Aの受光面に結像した被写体101の像を撮像し、撮像データDaを出力する。同様に、基準面OSb、OScからの光束LFb、LFcは、撮像素子104B、104Cの受光面で結像し、制御手段106からの制御指令に応じて、撮像データDb、Dcが出力される。本実施形態において、撮像データDaはRの波長帯域のデータ、撮像データDbはGの波長帯域のデータ、撮像データDcはBの波長帯域のデータとなっている。
一般に、複数の撮像素子が撮像する基準面間の距離を変更する場合、駆動手段の数としては撮像素子の数だけ必要となる事が考えられる。しかし、装置120によれば、撮像素子の数よりも少ない駆動手段を用いて、基準面間の距離を所望の距離に変更できる。
図14に示すように、光路色分割手段1032を光軸と垂直な方向へ移動することにより、撮像素子104Aおよび撮像素子104Cの光軸方向における撮像位置が変化するが、それに付随してXY方向の撮像位置も変化する。そのような場合において、例えばレンズ画角よりも撮像面が大きい撮像素子を用いる、もしくは使用する撮像範囲を撮像素子の撮像面よりも小さく設定すればよい。これについては、前述の第1の実施形態と同様なので、詳細は省略する。
本実施形態では、1例として、RGBに光の波長を分割可能な1個のダイクロイックプリズムおよび3個の撮像素子によって3つの層を異なる色で同時撮像できる構成としたが、これに限定するものではない。例えば、2個の平板型のダイクロイックミラーと3個の撮像素子とを有する構成にすることによって、3つの層を異なる色で同時撮像することができる。また、ビームスプリッタの代わりにハーフミラーを用い、個々の撮像素子の前面にカラーフィルターを設置することによって3つの層を異なる色で同時撮像する構成にもできる。このように、撮像光学系102の焦点深度や光路色分割部1032の形状、構成などは適宜変更できる。
(制御手段1062の機能)
図15は、制御手段1062の機能ブロック図である。図15に示すように、制御手段1062は、主制御部602、位置変更手段制御部612(以降、「制御部612」と呼ぶ)、光路色分割手段制御部622(以降、「制御部622」と呼ぶ)、撮像制御部632、データ処理部642を有する。
主制御部602は、装置120を構成する各構成の動作を統括的に制御する。具体的には、装置120の各構成を制御して、被写体101のZ位置が異なる複数の単色のRGB画像を取得し、それらを合成して多色のカラー画像を取得する。そして、取得したカラー画像もしくは単色のRGB画像から、全焦点画像データや三次元画像データもしくはそれらの合成画像データを、表示用画像データとして出力するための同期制御を行う。また、照明光学系109の調光制御や各種光学素子の切り換え等、試料の画像取得に伴う画像取得装置120の各部の調整を行うとともに、各部の状態を適宜ユーザに通知可能とする。
制御部612は、位置変更手段105のXYステージのXY移動およびZステージの移動を、出力インターフェースを介して順次制御する。また、制御部612は、被写体101のZ取得対象範囲と、Zステージの現在のZ位置に基づいて、Z範囲探索処理のための撮像を行う場合および画像取得処理のための撮像を行う場合のZ移動順序を決定する。制御部612の各処置については、第1の実施形態の制御部61と同様であるため、詳細を省略する。
制御部622は、Z範囲探索処理および画像取得処理の完了に同期して、移動手段1082による光路色分割手段622の移動を制御する。すなわち、撮像素子104A〜104Cの撮像位置間の光軸方向における距離を、出力インターフェースを介して制御する。そして、基準面OSa〜OSc間の距離を変更し、Z範囲探索処理と画像取得処理とを可能とする。また、光路色分割手段1032の位置を、入力インターフェースを介して取得し、基準面OSa〜OScのZ位置を取得する。ここで、基準面OSa〜OScのZ位置は、予め記憶されている撮像素子104A〜104Cの位置と光路色分割手段1032の位置の変化から光路長の変化を算出し、撮像光学系102の光学倍率に基づいて取得できる。
撮像制御部632は、位置変更手段105および撮像素子104A〜104Cの移動完了に同期して、撮像素子104A〜104Cによる撮像を、入出力インターフェースを介して制御し、撮像データ群Da〜Dcを入力する。ここで、Z範囲探索処理時には、高空間分解能な撮像データを必要としないため、撮像素子104A〜104Cに対し撮像データを間引くように制御することで、処理を高速化できる。
また、撮像制御部632は、撮像データと関連付けて、基準面の位置情報を取得する。位置情報とは、各撮像素子104A〜104Cがプレパラート101上のどの分割領域(XY位置)のどの層(Z位置)を撮像したものかを表す。例えば、位置変更手段105を移動する際の制御目標値としたXYZ位置座標や移動完了後のXYZ位置座標、基準面のZ位置より取得することができる。また、撮像データと関連付ける方法としては、例えば、両データに同じヘッダ情報を付加すれば良い。ヘッダ情報は、タイムスタンプ等のユニークな情報であることが好ましい。あるいは、関連付けたい位置情報を、撮像データのヘッダ情報としても良い。
データ処理部642は、Z範囲探索処理において、撮像制御部632を介して撮像データ群Da〜Dcを受け取り、Z取得対象範囲を取得する。Z取得対象範囲の取得方法は、第1の実施形態と同様のため、説明を省略する。
また、データ処理部642は、Z取得対象範囲内の画像取得完了に同期して、撮像データ群Da〜DcとそのZ位置情報とに基づき、分割領域内の全ての箇所で焦点が合った全焦点画像データまたは厚み方向の形状分布が把握できる三次元画像データを生成する。また、全焦点画像データと三次元画像データの両方を生成しても良い。
全焦点画像データは、例えば、分割画像における各画素についてそれぞれ近傍の画素との輝度の微分値を算出し、この微分値を評価値とする。そして、Z取得対象範囲内から取得した他の画像データの評価値と比較し、最も評価値の高い画素をその画素位置における焦点のデータとみなして構築する。
三次元画像データは、焦点とみなした各画素のZ座標をもとに構築することができる。あるいは、表示処理の際に、順次取得した複数層の撮像データ群から、ユーザの指定したZ位置の撮像データが切り替えて表示できるように、XYZ位置と関連付けたものとしても良い。
さらに、データ処理部642は、XY取得対象範囲内の画像取得完了に同期して、分割領域ごとの全焦点画像データ、三次元画像データとそのXY位置とに基づいて、合成画像データを生成する。
合成画像データは、複数の分割画像データ同士の位置合わせを行い、それらを接続することにより生成され、プレパラート101の撮像対象範囲を広域に表示可能とする。接続方法は、繋ぎ合わせる、重畳する、補間処理により滑らかに繋げるものを広く含む。
こうして、データ処理部642は、全焦点画像データ、三次元画像データ、それらの合成画像データを、表示用画像データとして出力インターフェースを介して出力し、表示手段107において表示可能とする。なお、全焦点画像データ及び三次元画像データの生成、合成画像データの生成順序は逆でも良い。
なお、本実施形態では、データ処理部64における各画像処理方法は、上述の方法に限定されない。
(Z範囲探索処理と画像取得処理との関係)
図16(a)は、Z範囲探索処理および画像取得処理における、プレパラート101内の試料と3つの基準面との関係について示した図である。
T0は、取得対象とした分割領域が、XYステージによって撮像光学系102の視野内に送り込まれ、Z範囲探索処理のための撮像を行う場合の基準面の状態を表す。この時、基準面OSa〜OScの相対距離dは広く設定されており、試料の粗い間隔の層が同時撮像される。このとき、基準面OSa〜OScの相対距離dは、例えば、撮像光学系102の被写界深度の数倍程度である。また、試料の最上位(これより上には画像取得したい層は存在しない位置:例えばカバーグラス上面)が、基準面OsaのZ位置に一致するように位置変更手段105が制御されている。
この状態で、撮像素子104A〜104Cを用いて試料を撮像すると、撮像結果として撮像データ群Da〜Dcが出力される。この撮像データ群Da〜Dcに基づいて、Z取得対象範囲の最上位LTおよび最下位LBが決定される。図6に示したような評価指標のプロファイルにおいて、撮像データ群Da〜Dcから算出された評価指標はそれぞれDCa〜DCcである。DCa〜DCcは、光路色分割手段1032により夫々導かれた光束を撮像しているため、夫々色の異なる単色のデータとなっている。データ処理部642は、これらの色の異なる単色の撮像データから、評価指標プロファイルを取得する。
この評価指標のプロファイルを取得する際に、色間補正などを行うことが望ましい。例えば、軸上色収差が発生している(例えばBの共役位置がR・Gに対してずれている)場合では、それによる色別の像(光学倍率)の変化をあらかじめ計測等で取得しておき、その分だけ図7に示す横軸Zを補正する。
取得したプロファイルから、評価指標がピークとなるZステージ上の位置(ピークZ位置)ZPを推定し、最上位LTおよび最下位LBそれぞれのZ位置ZT、ZBを決定する。
一回の撮像処理でピーク位置が推定できなかった場合、図16(a)に示すように、ステージ105のZ位置を1ステップ移動させ、ピーク位置の推定を繰り返す。この際、1ステップの移動量は、(撮像素子104A〜104C間の距離)×(撮像素子104A〜104Cの数)となる。すなわち、本実施形態のZ範囲探索処理における1ステップの移動量は、d×3となる。
あるいは、撮像光学系102のNAを異なる値に設定したり、基準面OSa〜OSc間の距離dを再設定したりして、Zピーク位置を再探索しても良い。NAの再設定や、距離のdの再設定の方法については、第1の実施形態で説明した方法と同様の方法を用いることができるため、詳細な説明は省略する。
続いて、画像取得処理のための撮像を行う場合の基準面OSa〜OScの配置について説明する。図16(a)のT1は、T0でのZ範囲探索処理で決定したZ取得対象範囲に基づいて、画像取得処理のための撮像を行う場合の基準面OSa〜OScの状態を表す。本実施形態においては、基準面OSa〜OSc間の距離を空けておらず、同じZ位置を撮像するように設定されている。同じZ位置で撮像された撮像データDa〜Dcは、それぞれのZ位置においてそれぞれRGB単色の画像データとなっている。それらの画像データを合成することで、各Z位置でのカラー画像を取得できる。
詳細には、まず、Z取得対象範囲の最上位LTが、基準面OSa〜OScのZ位置に一致するように位置変更手段105が制御されている。この状態で、位置変更手段105を移動量dで順にステップ移動していき、Z取得対象範囲の最上位LTから最下位LBのZ位置よりも下の層までの範囲の画像を取得しる。この時、移動量dは、撮像光学系102の被写界深度と同等か若しくは小さいことが望ましく、前述のT0時における相対距離dよりも小さいことが望ましい。
図16(b)は、画像取得処理時の別の処理方法を示している。T11〜T18は、図16(a)におけるT0でのZ範囲探索処理で決定した、Z取得対象範囲の画像取得処理のための撮像を行う場合の基準面OSa〜OScの状態を表す。なお、図16(b)は、基準面OSa〜OScのZ位置を説明するための図であり、本実施形態の画像取得処理のための撮像では、Z取得対象範囲の撮像が終了するまではXY方向の位置は変化しないものをする。
図16(b)で示した画像取得処理方法では、基準面OSa〜OScのZ位置が距離dずつ異なっている。この時、基準面OSa〜OSc間の距離dは、撮像光学系102の被写界深度と同等か若しくは撮像光学系102の被写界深度より小さいことが望ましく、さらに、前述のT0時における相対距離dより小さいことが望ましい。
撮像手順としては、まず、時刻T11において、基準面OScがZ取得対象範囲の最上位LTに位置するように、位置変更手段105のZ位置を調整して、その位置で撮像を行う。これにより、LT層のB色画像が撮像される。次に時刻T12において、基準面間の距離dと同じ量だけ位置変更手段105をステップ移動し、基準面OScのZ位置をL1層に一致させて撮像を行う。このとき、基準面OSbはLT層に一致しており、これにより、L1層のB色画像とLT層のG色画像とが撮像される。
次に時刻T13において、基準面間の距離dと同じ量だけ位置変更手段105をステップ移動し、基準面OScのZ位置をL2層に一致させて撮像を行う。このとき、基準面OSbはL1層に一致しており、基準面OSaはLT層に一致している。これにより、L2層のB色画像、L1層のG色画像、LT層のR色画像が撮像される。この時点で、LT層はRGBの3色の画像が揃ったことになり、この3色の画像をデータ処理部642において合成することで、LT層のカラー画像を取得できる。
このようにして、順次位置変更手段105をステップ移動していき、L5層までのカラー画像を取得していく。この時、L5層のZ位置は、Z取得対象範囲の最下位LBと同じ、もしくは最下位LBより下の層となっている。
なお、装置120の画像取得方法に関しては、第1の実施形態にて示した図7の方法を適用できる。装置120も、HDD等の記憶装置を有しており、記憶装置には、図8〜図10に示したフローチャートに示した画像取得方法のステップS601〜S607、S611〜S614、S621〜S624に対応するプログラムが記憶されている。CPUがこのプログラムを読み込んで実行することで各処理が行われる。
以上のような方法で、画像取得する対象層を探索するZ範囲探索処理と、探索したZ取得対象範囲の画像を取得する画像取得処理との間で、光路色分割手段を移動させ、3つの基準面同士のZ相対位置を同時に変更させることができる。
そのため、本実施形態の装置120によれば、複数の撮像素子それぞれに移動手段を設ける構成に比べて、被写体の多層の画像を取得する装置120の省スペース化を実現できる。また、移動手段の数を削減できるため、装置の低コスト化に貢献できる。さらに、被写体の光軸方向に異なる複数の位置の画像を、高速に、且つ、高分解能に取得でき、これらに基づいた大量の画像取得によって、病理診断等でより正確に比較診断できるようになる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、第1の実施形態の変形例1及び変形例2は、第2の実施形態に適用できる。
100 画像取得装置
101 被写体(プレパラート)
102 撮像光学系
103 光路分割手段
104A〜104C 撮像素子
108 移動手段

Claims (17)

  1. 被写体からの光束を集光する撮像光学系と、
    前記撮像光学系からの光束を複数の光束に分割する光路分割手段と、
    前記複数の光束のそれぞれを受光する複数の撮像素子と、
    前記光路分割手段を移動する移動手段と、を有し、
    前記移動手段は、前記光路分割手段を移動することにより、前記複数の撮像素子と光学的に共役な複数の基準面間の前記撮像光学系の光軸方向における距離を変更する
    ことを特徴とする画像取得装置。
  2. 前記複数の基準面のそれぞれと前記被写体との相対位置を変更する位置変更手段を有する
    ことを特徴とする請求項1に記載の画像取得装置。
  3. 前記複数の撮像素子は、第1の撮像素子と第2の撮像素子とを含み、
    前記移動手段は、前記光路分割手段と前記第1の撮像素子との距離が短くなり、且つ、前記光路分割手段と前記第2の撮像素子との距離が長くなるように、前記光路分割手段を移動する
    ことを特徴とする請求項2に記載の画像取得装置。
  4. 前記光路分割手段は、前記第1の撮像素子と前記第2の撮像素子との間に配置されている
    ことを特徴とする請求項3に記載の画像取得装置。
  5. 第1の処理および第2の処理を行う制御手段を有し、
    前記移動手段は、前記複数の撮像素子が前記第1の処理のための撮像を行う場合と、前記第2の処理のための撮像を行う場合とで、前記複数の基準面間の前記光軸方向における距離を変更する
    ことを特徴とする請求項2乃至4のいずれか一項に記載の画像取得装置。
  6. 前記第1の処理は、前記複数の撮像素子で前記被写体の前記光軸方向に異なる複数の位置を撮像した撮像結果に基づいて前記被写体の撮像対象範囲を決定する処理であり、
    前記第2の処理は、前記第1の処理で決定した前記撮像対象範囲内の前記被写体の多層の画像を取得する処理である
    ことを特徴とする請求項5に記載の画像取得装置。
  7. 前記移動手段は、前記第2の処理を行う場合の前記光軸方向における前記複数の基準面間の前記光軸方向における距離が、前記第1の処理を行う場合の前記複数の基準面間の前記光軸方向における距離より短くなるように、前記光路分割手段を移動する
    ことを特徴とする請求項5又は6に記載の画像取得装置。
  8. 前記第2の処理を行う場合の前記複数の基準面間の前記光軸方向における距離は、前記撮像光学系の被写界深度以下である
    ことを特徴とする請求項5乃至7のいずれか一項に記載の画像取得装置。
  9. 前記制御手段は、前記第1の処理のための撮像結果を用いて、前記第1の処理のための撮像結果と、前記複数の基準面と前記被写体との前記光軸方向における相対位置と、の関係を表すデータを取得し、前記データに基づいて前記被写体の撮像対象範囲を決定する
    ことを特徴とする請求項6に記載の画像取得装置。
  10. 前記位置変更手段で前記相対位置を所定の移動量ずつ変更しながら、前記複数の撮像素子で前記被写体を撮像することにより複数の撮像結果を取得する
    ことを特徴とする請求項5乃至9のいずれか一項に記載の画像取得装置。
  11. 前記第1の処理を行う場合の前記移動量は、(前記第1の処理を行う場合の前記複数の基準面間の前記光軸方向における距離)×(前記複数の基準面の数)である
    ことを特徴とする請求項10に記載の画像取得装置。
  12. 前記第2の処理を行う場合の前記移動量は、(前記第2の処理を行う場合の前記複数の基準面間の前記光軸方向における距離)×(前記複数の基準面の数)である
    ことを特徴とする請求項10又は11に記載の画像取得装置。
  13. 前記光路分割手段は、前記撮像光学系からの光束を色分解する色分解手段を備える
    ことを特徴とする請求項10又は11に記載の画像取得装置。
  14. 前記第2の処理を行う場合の前記複数の基準面は、前記光軸方向の同じ位置に配置されている
    ことを特徴とする請求項13に記載の画像取得装置。
  15. 前記第2の処理を行う場合の前記移動量は、前記撮像光学系の被写界深度以下である
    ことを特徴とする請求項14に記載の画像取得装置。
  16. 前記制御手段は、前記複数の撮像結果を用いて、前記被写体の多層のカラー画像を生成する
    ことを特徴とする請求項13乃至15のいずれか一項に記載の画像取得装置。
  17. 被写体からの光束を集光する撮像光学系と、前記撮像光学系からの光束を複数の光束に分割する光路分割手段と、前記複数の光束のそれぞれを受光する複数の撮像素子と、を有する画像取得装置を用いて前記被写体の画像を取得する画像取得方法であって、
    前記光路分割手段を移動することにより、前記複数の撮像素子のそれぞれと共役な複数の基準面間の前記撮像光学系の光軸方向における距離を変更する変更ステップを有する
    ことを特徴とする画像取得装置。
JP2014103143A 2014-05-19 2014-05-19 画像取得装置および画像取得方法 Pending JP2015220625A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014103143A JP2015220625A (ja) 2014-05-19 2014-05-19 画像取得装置および画像取得方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014103143A JP2015220625A (ja) 2014-05-19 2014-05-19 画像取得装置および画像取得方法

Publications (1)

Publication Number Publication Date
JP2015220625A true JP2015220625A (ja) 2015-12-07

Family

ID=54779681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014103143A Pending JP2015220625A (ja) 2014-05-19 2014-05-19 画像取得装置および画像取得方法

Country Status (1)

Country Link
JP (1) JP2015220625A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019525243A (ja) * 2016-07-25 2019-09-05 ウニヴェルジテート ドゥイスブルク・エッセン 複数の画像の同時的なビデオグラフィック的な捕捉又はフォトグラフィック的捕捉のためのシステム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019525243A (ja) * 2016-07-25 2019-09-05 ウニヴェルジテート ドゥイスブルク・エッセン 複数の画像の同時的なビデオグラフィック的な捕捉又はフォトグラフィック的捕捉のためのシステム
JP7033796B2 (ja) 2016-07-25 2022-03-11 ウニヴェルジテート ドゥイスブルク・エッセン 複数の画像の同時的なビデオグラフィック的な捕捉又はフォトグラフィック的捕捉のためのシステム

Similar Documents

Publication Publication Date Title
US10330906B2 (en) Imaging assemblies with rapid sample auto-focusing
JP4565115B2 (ja) 多焦点撮像装置
KR102419163B1 (ko) 실시간 오토포커스 포커싱 알고리즘
JP7150867B2 (ja) 顕微鏡システム
JP2012506060A (ja) 多面画像取得に色収差を使用する自動化された走査型サイトメトリー
KR20200041982A (ko) 실시간 오토포커스 스캐닝
JP2015230393A (ja) 撮像装置の制御方法および撮像システム
WO2015107872A1 (en) Image acquisition apparatus and control method thereof
JP2024019639A (ja) 顕微鏡システム、プログラム、及び、投影画像生成方法
US11243386B2 (en) Microscope apparatus, observation method, and microscope apparatus-control program
JP2020536271A (ja) 二次元および三次元の固定式z走査
US11163145B2 (en) Observation device, observation method, and observation device control program
US11402607B2 (en) Observation device, observation method, and observation device control program
JP2015187705A (ja) 画像取得装置およびその制御方法
US10627598B2 (en) Observation device, observation method, and observation device control program
JP2009223164A (ja) 顕微鏡画像撮影装置
JP2015220625A (ja) 画像取得装置および画像取得方法
CN111527438A (zh) 冲击重新扫描***
US11480780B2 (en) Observation device, observation method, and observation device control program
CN111279242B (zh) 双处理器图像处理
JPWO2019044080A1 (ja) 観察装置および方法並びに観察装置制御プログラム
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy