JP5537281B2

JP5537281B2 - 顕微鏡装置および画像取得方法

Info

Publication number: JP5537281B2
Application number: JP2010140790A
Authority: JP
Inventors: 貴米山; 千賀中島
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2010-06-21
Filing date: 2010-06-21
Publication date: 2014-07-02
Anticipated expiration: 2030-06-21
Also published as: US20110316999A1; JP2012003197A; US8890947B2

Description

本発明は、顕微鏡装置および画像取得方法に関するものである。

従来、スライドガラス上の試料のマクロ画像を取得して、該マクロ画像内の試料の領域を抽出し、この領域を複数の小領域に分割して、各小領域に対応する高解像度のミクロ画像を取得する顕微鏡が知られている（例えば、特許文献１参照。）。取得された複数のミクロ画像をつなぎ合わせることにより、試料全体を高解像度で観察可能ないわゆるバーチャルスライドを構築することができる。

特開２００７−２３３０９３号公報

しかしながら、スライドガラス上の試料にオートフォーカスによって合焦位置を追従させながらミクロ画像を取得する場合には、オートフォーカスの失敗を回避するために、オートフォーカス範囲を一定の範囲に限定し、この範囲を超える場合には、オートフォーカス動作を停止することが行われる。

すなわち、試料がスライドガラス上に連続的に存在している場合には、オートフォーカス範囲内において合焦位置が小刻みに変化するので、常に合焦状態を維持することができる。しかしながら、スライドガラスに搭載される試料は、スライドガラス上に点在して複数の島を構成して配置される場合があり、スライドガラスの厚さの変動等により、各島の試料にオートフォーカス範囲を超える高低差が発生している場合には、ミクロ画像の取得領域が一の島からの他の島へ移行する際に、オートフォーカスに失敗して、合焦が得られず、不鮮明なミクロ画像が取得されてしまうという不都合がある。

本発明は上述した事情に鑑みてなされたものであって、スライドガラス上に試料が点在する場合においても、すべての試料において鮮明なミクロ画像を取得して、空間分解能の高いバーチャルスライドを構築することができる顕微鏡装置および画像取得方法を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、試料を搭載したスライドガラスのマクロ画像を取得するマクロ撮像部と、該マクロ撮像部により取得されたスライドガラスのマクロ画像において、前記試料を抽出する抽出部と、該抽出部により抽出された試料が複数点在している場合に、試料の塊毎に複数のブロックを設定するブロック設定部と、該ブロック設定部により設定されたブロック内において、試料を含む領域を複数の小領域に分割する領域分割部と、前記ブロック設定部により設定されたブロック毎にオートフォーカスの合焦位置を探索し、該合焦位置が発見されたブロックの前記小領域について、該小領域内の試料に対してオートフォーカス動作を行い、前記マクロ画像よりも解像度の高いミクロ画像を取得するミクロ撮像部と、を備える顕微鏡装置を提供する。

本発明によれば、マクロ撮像部により取得されたスライドガラスのマクロ画像から、抽出部により試料が抽出され、試料が複数点在している場合には、ブロック設定部により複数のブロックが定義される。そして、各ブロックにおいて領域分割部により試料を含む領域が複数の小領域に分割され、ミクロ撮像部において各小領域のミクロ画像が取得される。この場合において、ミクロ撮像部によるミクロ画像の取得に先立って、ブロック毎にオートフォーカスの合焦位置の探索が行われ、その後、各小領域内の試料に対しオートフォーカス動作を行いながらミクロ画像が取得される。これにより、異なるブロックの試料間に大きな高低差が発生していたとしても、オートフォーカスを失敗することなく、試料の鮮明なミクロ画像を取得することができる。

上記発明においては、前記ミクロ撮像部は、前記ブロック毎の合焦位置の探索において合焦位置が発見できなかったブロックにおけるミクロ画像の取得を行わないこととしてもよい。
合焦位置の探索によっても合焦位置が発見できない場合は、例えば、スライドガラスの表面に油性インクでかかれた文字のようにコントラスト差のないものである場合があり、そのような場合にまで、ミクロ画像が取得されてしまう不都合の発生を防止することができる。

また、上記発明においては、前記ミクロ撮像部による前記ブロック毎の合焦位置の探索の結果、合焦位置が発見できなかったブロックに、前記マクロ画像上において標識を付与する画像処理部を備えていてもよい。
このようにすることで、合焦位置が発見できず、ミクロ画像の取得が行われなかったブロックは、マクロ画像上において付与される標識により、事後的にその旨を確認することができる。

上記発明においては、前記画像処理部は、合焦位置が発見できなかったブロックに着色することにより標識を付与してもよい。
このようにすることで、合焦位置が発見できず、ミクロ画像の取得が行われなかったブロックを、視覚的により容易に確認することができる。
上記発明においては、前記ミクロ撮像部が、前記ブロック毎に前記合焦位置を探索し、探索した該合焦位置を基準として、各前記ブロックの前記ミクロ画像の取得を開始することとしてもよい。
上記発明においては、前記ミクロ撮像部が前記ブロック毎に前記合焦位置を探索する際のオートフォーカス範囲は、前記小領域の前記ミクロ画像を取得する際のオートフォーカス範囲よりも広げることとしてもよい。
このようにすることで、複数のブロック間に試料の高低差が存在していても、各ブロックにおけるミクロ画像取得時に、オートフォーカス動作に失敗することを防止することができる。

また、本発明は、試料を搭載したスライドガラスのマクロ画像を取得するマクロ画像取得ステップと、該マクロ画像取得ステップにより取得されたスライドガラスのマクロ画像において、前記試料を抽出する試料抽出ステップと、該試料抽出ステップにより抽出された試料が複数点在している場合に、試料の塊毎に複数のブロックを定義するブロック設定ステップと、該ブロック設定ステップにより設定されたブロック内において、試料を含む領域を複数の小領域に分割する小領域生成ステップと、前記ブロック設定ステップにより設定されたブロック毎に、オートフォーカスの合焦位置を探索する合焦探索ステップと、該合焦探索ステップにより前記合焦位置が発見されたブロックの前記小領域について、該小領域内の試料に対してオートフォーカス動作を行い、前記マクロ画像よりも解像度の高いミクロ画像を取得するミクロ画像取得ステップと、を含む画像取得方法を提供する。
上記発明において、前記合焦探索ステップは、前記ブロック毎に前記合焦位置を探索し、前記ミクロ画像取得ステップは、前記合焦探索ステップにより発見した前記ブロック毎の前記合焦位置を基準として、各ブロックの前記ミクロ画像の取得を開始することとしてもよい。
上記発明において、前記合焦探索ステップにより前記ブロック毎に前記合焦位置を探索する際のオートフォーカス範囲は、前記ミクロ画像取得ステップにより前記小領域の前記ミクロ画像を取得する際のオートフォーカス範囲よりも広げることとしてもよい。

本発明によれば、スライドガラス上に試料が点在する場合においても、すべての試料において鮮明なミクロ画像を取得して、空間分解能の高いバーチャルスライドを構築することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡装置を示す全体構成図である。図１の顕微鏡装置により取得された（ａ）マクロ画像の一例、（ｂ）グリッドにより生成された小領域の一例、（ｃ）ミクロ画像取得順序の一例をそれぞれ示す図である。図１の顕微鏡装置を用いた画像取得方法を示すフローチャートである。図３の画像取得方法の変形例を示すフローチャートである。

本発明の一実施形態に係る顕微鏡装置１および画像取得方法について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡装置１は、図１に示されるように、顕微鏡本体２と、制御部３と、後述するマクロ画像およびミクロ画像等を表示する表示部としてのモニタ４と、画像記憶部５とを備えている。

顕微鏡本体２は、試料Ａを搭載したスライドガラスＢを載置して水平でかつ互いに直交する２方向にマクロ撮像部としての移動させるステージ６と、該ステージ６上に搭載された試料Ａ全体を含むマクロ画像を取得するマクロカメラ７と、マクロ画像より高い解像度を有する試料Ａの部分的なミクロ画像を取得するミクロ撮像部としてのミクロカメラ８と、試料Ａに対して自動的に焦点位置合わせを行うオートフォーカス装置９とを備えている。

オートフォーカス装置９は、ステージ６を水平方向に移動させながら、試料Ａに対して合焦位置を連続的に検出する（オートフォーカス動作を連続的に行う）いわゆるリアルタイムオートフォーカス装置である。
このオートフォーカス装置９は、ミクロカメラ８の光軸上に配置されている小領域に対する合焦位置が、直前の小領域における合焦位置に対して一定の移動範囲内に収まる場合にオートフォーカス動作を行い、一定の移動範囲内に収まらない場合には、直前のオートフォーカス動作を行った小領域における合焦位置を維持するようになっている。

制御部３は、ＣＰＵ（中央演算処理装置）であり、マクロカメラ７により取得されたマクロ画像を処理して、スライドガラスＢ上の試料Ａの輪郭形状を抽出する抽出部１０と、該抽出部１０により抽出された輪郭形状を含むようにグリッドを当てはめて、試料Ａを複数の小領域に分割する領域分割部１１とを備えている。ここで、小領域の大きさは、ミクロカメラ８の視野と同一に設定している。
また、制御部３は、生成された複数の小領域に対して、ミクロカメラ８によるミクロ画像の取得順序を定める撮像順序設定部１２を備えている。例えば、格子状に正方配列された複数の小領域について、図２（ｃ）に矢印Ｃで示されるように、配列の左上から順に、左右に蛇行しながら一筆書きで最下段まで走査する順序でミクロ画像を取得していくようになっている。

さらに、制御部３は、抽出部１０により抽出された試料Ａが、スライドガラスＢ上に複数点在するか否かを判定し、点在する場合には、各試料Ａの塊を含む複数のブロックＢ１，Ｂ２，Ｂ３を定義するブロック設定部１３を備えている。試料Ａが点在するか否かについては、抽出部１０により抽出された試料Ａが分離独立した複数の塊を形成しているか否かによって判定するようになっている。図２に示される例では、３つのブロックＢ１，Ｂ２，Ｂ３が定義されるようになっている。

また、制御部３は、ブロック設定部１３により定義されたブロックＢ１．Ｂ２，Ｂ３の情報（例えば、試料の塊の重心位置情報）を得るとともに、撮像順序設定部１２により設定されたミクロ画像の取得順序の情報を得て、顕微鏡本体２を制御する顕微鏡制御部１４を備えている。
顕微鏡制御部１４は、上述のように複数点在する試料Ａの塊にそれぞれブロックＢ１，Ｂ２，Ｂ３を定義した場合には、ミクロ画像の取得に先立って、各ブロックＢ１，Ｂ２，Ｂ３毎に、試料Ａの塊の重心位置において、オートフォーカスの合焦位置の探索を行うようオートフォーカス装置９に指令するようになっている。

そして、合焦位置が発見されたブロックＢ１，Ｂ２，Ｂ３については、その合焦位置を基準としてオートフォーカス動作を行いつつミクロ画像を取得させるようになっている。一方、合焦位置が発見されなかったブロックについては、ミクロ画像を取得することなく、次のブロックにおけるオートフォーカスの合焦位置の探索を行わせるようになっている。
また、ミクロカメラ８によって取得されたミクロ画像は画像処理部１５によって処理された後、画像記憶部５に記憶されるとともに、必要に応じて複数つなぎ合わせてモニタ４に表示されるようになっている。

このように構成された本実施形態に係る顕微鏡装置１を用いた画像取得方法について、以下に説明する。
本実施形態に係る画像取得方法は、図３に示されるように、スライドガラスＢのマクロ画像Ｇ_１を取得するマクロ画像取得ステップＳ１と、取得されたスライドガラスＢのマクロ画像Ｇ_１において試料Ａを抽出する試料抽出ステップＳ２と、抽出された試料ＡがスライドガラスＢ上に複数点在している場合には、各試料Ａの塊にそれぞれブロックＢ１，Ｂ２，Ｂ３を定義するブロック設定ステップＳ３と、各ブロックＢ１，Ｂ２，Ｂ３内において、試料Ａを含む領域に格子状のグリッドＧを当てはめて、複数の小領域Ｒに分割する小領域生成ステップＳ４とを含んでいる。

マクロ画像取得ステップＳ１においては、図２（ａ）に示されるように、マクロカメラ７により試料Ａ全体のマクロ画像Ｇ_１が取得される。
試料抽出ステップＳ２においては、制御部３に備えられた抽出部１０により、マクロ画像Ｇ_１から試料Ａの輪郭形状が抽出される。
そして、小領域生成ステップＳ３においては、制御部３に備えられた領域分割部１１により、図２（ｂ）に示されるように、抽出部１０によって抽出された輪郭形状を含むようにグリッドＧが当てはめられ、試料Ａが複数の小領域Ｒに分割される。

この時点で、制御部３は、生成された複数の小領域Ｒについてミクロ画像を取得する順序を決定する（順序決定ステップＳ５）。制御部３は、図２（ｃ）に矢印Ｃで示されるように、正方配列された複数の小領域Ｒのうちの左上の小領域Ｒ_０から順に、左右に蛇行しながら最下段まで走査するようにミクロ画像の取得順序を決定する。したがって、ミクロ画像の取得は、小領域Ｒ内に部分的に試料Ａが存在するような、試料Ａの輪郭を含む小領域（取得開始小領域）Ｒ_０から開始されるようになっている。

また、本実施形態に係る画像取得方法は、まず、設定されたブロックＢ１について、オートフォーカスの合焦位置を探索する合焦探索ステップＳ６と、合焦位置が発見された場合に（ステップＳ７）、そのブロックＢ１におけるオートフォーカス動作を行って合焦位置を設定する合焦位置設定ステップＳ９と、いずれかの小領域Ｒから、該小領域Ｒ内の試料Ａに対しオートフォーカス動作を行いながらマクロ画像よりも解像度の高いミクロ画像を取得するミクロ画像取得ステップＳ１０とを含んでいる。

合焦探索ステップＳ６は、各ブロックＢ１，Ｂ２，Ｂ３毎に、当該ブロックＢ１，Ｂ２，Ｂ３のミクロ画像取得に際してのオートフォーカス動作の基準となる合焦位置を探索するステップであり、ブロックＢ１，Ｂ２，Ｂ３内でのミクロ画像取得時にオートフォーカス動作によって合焦位置を試料Ａの起伏に追従させる場合のオートフォーカス範囲よりも広い範囲にわたって合焦位置の探索を行うようになっている。この合焦探索ステップＳ６は、試料Ａが多く存在する小領域、例えば、ブロックＢ１，Ｂ２，Ｂ３の重心近傍に位置する小領域Ｒにミクロカメラ８の光軸を一致させて行われる。なお、この合焦探索ステップＳ６は、ブロックＢ１，Ｂ２，Ｂ３の重心を含む小領域Ｒの中心部にミクロカメラ８の光軸を一致させて行ってもよい。

ミクロ画像取得ステップＳ１０においては、制御部３に備えられた顕微鏡制御部１４がステージ６を作動させて、順序決定ステップＳ５において決定された取得開始小領域Ｒ_０の中央部をミクロカメラ８の光軸上に配置し、合焦位置設定ステップＳ９において設定された合焦位置から、オートフォーカス装置９によるオートフォーカス動作が行われ、ミクロカメラ８によるミクロ画像の取得が行われる。ミクロ画像取得ステップＳ１０においては、これらの動作が、順序決定ステップＳ５によって決定された順序に従って全ての小領域Ｒに対して繰り返される。

ここで、合焦探索ステップＳ６で探索した小領域Ｒの中央部がミクロカメラ８の光軸上に配置されている状態から取得開始小領域Ｒ_０の中央部がミクロカメラ８の光軸上に配置される状態に移動するときも、オートフォーカス装置９によるオードフォーカス動作は行われている。

したがって、顕微鏡制御部１４は、取得開始小領域Ｒ_０の中央部がミクロカメラ８の光軸上に配置されるまでの間に、ミクロカメラ８の光軸上に試料Ａが存在しなくなった場合、試料Ａに対して合焦位置が検出できなくなる直前の合焦位置すなわちミクロカメラ８の光軸上に試料Ａが存在しなくなる直前の合焦位置を維持するように制御する。
そして、ミクロカメラ８は、取得開始小領域Ｒ_０の中央部がミクロカメラ８の光軸上に配置された時点で、最初のミクロ画像の取得が行われる。

その後、取得開始小領域Ｒ_０の中央部がミクロカメラ８の光軸上に配置されている状態から取得開始小領域Ｒ_０に隣接する小領域Ｒの中央部がミクロカメラ８の光軸上に配置される状態に移動するときも、オートフォーカス装置９によるオードフォーカス動作は行われる。
そして、ミクロカメラ８は、取得開始小領域Ｒ_０に隣接する小領域Ｒの中央部がミクロカメラ８の光軸上に配置された時点で、次のミクロ画像の取得が行われる。

一方、合焦探索ステップＳ６において合焦位置が発見されなかった場合には（ステップＳ７）、当該ブロックＢ１におけるミクロ画像の取得を行うことなく、対象とするブロックを次のブロックＢ２に変更し（ステップＳ８）、合焦探索ステップＳ６から行わせる。
そして、全てのブロックＢ１，Ｂ２，Ｂ３について処理が終了するまでステップＳ６〜Ｓ１０を繰り返す（ステップＳ１１）。

このように構成された本実施形態に係る顕微鏡装置１および画像取得方法によれば、取得開始領域Ｒ_０におけるミクロ画像の取得に先立って、スライドガラスＢ上に試料Ａが点在している場合には、ブロック設定ステップＳ３によって試料Ａの塊毎にブロックＢ１，Ｂ２，Ｂが定義されるとともに、ブロックＢ１，Ｂ２，Ｂ３毎に合焦探索ステップＳ７が行われて合焦位置が探索されるので、ブロックＢ１，Ｂ２，Ｂ３間に試料Ａの高低差が発生している場合においても、オートフォーカス動作を失敗することなく、より確実に試料Ａの各小領域Ｒの鮮明なミクロ画像を取得することができるという利点がある。

すなわち、合焦探索ステップＳ７においては、ミクロ画像取得時におけるオートフォーカス範囲よりも範囲を広げて合焦位置の探索が行われるので、ブロックＢ１，Ｂ２，Ｂ間で試料Ａの高低差が発生していても、より確実に合焦位置を発見することができる。そして、各小領域Ｒのミクロ画像の取得時には、オートフォーカス範囲を通常の狭い範囲に戻した後に、上記のようにして発見された合焦位置を基準としてオートフォーカス動作を行わせる。これにより、ブロックＢ１，Ｂ２，Ｂ３間に試料Ａの高低差が存在していても、各ブロックＢ１，Ｂ２，Ｂ３におけるミクロ画像取得時に、オートフォーカス動作に失敗することを防止することができる。

なお、本実施形態においては、合焦探索ステップＳ６において合焦位置が発見されなかったブロックについては、単に、ミクロ画像の取得を行うことなく次のブロックの処理を進めることとしたが、これに代えて、図４に示されるように、合焦位置が発見されなかったブロックには、画像処理部１５によって標識を付して（ステップＳ１２）、次のブロックの処理へ進行させることとしてもよい。

標識としては、モニタ４に表示されているマクロ画像中において該当するブロックを線で囲んだり、該当するブロックの存在する領域に周囲から判別しやすい色を付したりすることが挙げられる。
このようにすることで、ミクロ画像取得の終了後に、モニタ４に表示されている標識が付された領域については、合焦探索の結果、合焦位置が発見されなかったためにミクロ画像が取得されなかったことを一目で確認することができるという利点がある。

また、上記実施形態においては、マクロ画像を取得するマクロカメラ７とミクロ画像を取得するミクロカメラ８とを別個に設けたが、単一のカメラによってマクロ画像およびミクロ画像の両方を取得することにしてもよい。

１顕微鏡装置
７マクロカメラ（マクロ撮像部）
８ミクロカメラ（ミクロ撮像部）
９オートフォーカス装置（ミクロ撮像部）
１０抽出部
１１領域分割部
１３ブロック設定部
１５画像処理部
Ａ試料
Ｂスライドガラス
Ｂ１，Ｂ２，Ｂ３ブロック
Ｇ_１マクロ画像
Ｒ小領域
Ｓ１マクロ画像取得ステップ
Ｓ２試料抽出ステップ
Ｓ３ブロック設定ステップ
Ｓ４小領域生成ステップ
Ｓ６合焦探索ステップ
Ｓ１０ミクロ画像取得ステップ

Claims

試料を搭載したスライドガラスのマクロ画像を取得するマクロ撮像部と、
該マクロ撮像部により取得されたスライドガラスのマクロ画像において、前記試料を抽出する抽出部と、
該抽出部により抽出された試料が複数点在している場合に、試料の塊毎に複数のブロックを設定するブロック設定部と、
該ブロック設定部により設定されたブロック内において、試料を含む領域を複数の小領域に分割する領域分割部と、
前記ブロック設定部により設定されたブロック毎にオートフォーカスの合焦位置を探索し、該合焦位置が発見されたブロックの前記小領域について、該小領域内の試料に対してオートフォーカス動作を行い、前記マクロ画像よりも解像度の高いミクロ画像を取得するミクロ撮像部とを備える顕微鏡装置。
前記ミクロ撮像部は、前記ブロック毎の合焦位置の探索において合焦位置が発見できなかったブロックにおけるミクロ画像の取得を行わない請求項１に記載の顕微鏡装置。
前記ミクロ撮像部による前記ブロック毎の合焦位置の探索の結果、合焦位置が発見できなかったブロックに、前記マクロ画像上において標識を付与する画像処理部を備える請求項２に記載の顕微鏡装置。
前記画像処理部は、合焦位置が発見できなかったブロックに着色することにより標識を付与する請求項３に記載の顕微鏡装置。
前記ミクロ撮像部が、前記ブロック毎に前記合焦位置を探索し、探索した該合焦位置を基準として、各前記ブロックの前記ミクロ画像の取得を開始する請求項１に記載の顕微鏡装置。
前記ミクロ撮像部が前記ブロック毎に前記合焦位置を探索する際のオートフォーカス範囲は、前記小領域の前記ミクロ画像を取得する際のオートフォーカス範囲よりも広げる請求項１に記載の顕微鏡装置。
試料を搭載したスライドガラスのマクロ画像を取得するマクロ画像取得ステップと、
該マクロ画像取得ステップにより取得されたスライドガラスのマクロ画像において、前記試料を抽出する試料抽出ステップと、
該試料抽出ステップにより抽出された試料が複数点在している場合に、試料の塊毎に複数のブロックを定義するブロック設定ステップと、
該ブロック設定ステップにより設定されたブロック内において、試料を含む領域を複数の小領域に分割する小領域生成ステップと、
前記ブロック設定ステップにより設定されたブロック毎に、オートフォーカスの合焦位置を探索する合焦探索ステップと、
該合焦探索ステップにより前記合焦位置が発見されたブロックの前記小領域について、該小領域内の試料に対してオートフォーカス動作を行い、前記マクロ画像よりも解像度の高いミクロ画像を取得するミクロ画像取得ステップとを含む画像取得方法。
前記合焦探索ステップは、前記ブロック毎に前記合焦位置を探索し、
前記ミクロ画像取得ステップは、前記合焦探索ステップにより発見した前記ブロック毎の前記合焦位置を基準として、各ブロックの前記ミクロ画像の取得を開始する請求項７に記載の画像取得方法。
前記合焦探索ステップにより前記ブロック毎に前記合焦位置を探索する際のオートフォーカス範囲は、前記ミクロ画像取得ステップにより前記小領域の前記ミクロ画像を取得する際のオートフォーカス範囲よりも広げる請求項７に記載の画像取得方法。