JP6865010B2 - 顕微鏡システムおよび標本観察方法 - Google Patents

Description

本発明は、顕微鏡システムに関するものである。

顕微鏡を用いて標本を観察する場合に、一度に観察できる視野は、主として対物レンズの倍率によって決定される。対物レンズが高倍率になるに従って、標本のより微細な構造を観察できるようになる反面、観察範囲が狭くなってしまう。

一方、標本の観察場所の見落としを防ぐ等の目的から、標本の全体像と現在観察している視野範囲とを同時に把握したいという要請がある。そこで、電動ステージやエンコーダ付きステージを装備し、標本上の視野を移動しながら撮影することにより取得された複数の静止画像を貼り合わせ、広画角の貼り合わせ画像を生成する顕微鏡システム、いわゆるバーチャルスライドシステムが知られている（例えば、特許文献１参照。）。

さらに、取得された画像間の相対位置関係をパターンマッチング等の画像処理によって算出し、貼り合わせ画像を生成する撮像システムが知られている（例えば、特許文献２参照。）。
このような撮像システムでは、貼り合わせ中に相対位置関係、すなわち、ステージ位置を見失うと、既に生成されている貼り合わせ画像と、新たに取得された画像との相対位置関係を算出することでステージ位置を探索し、探索に成功すると再び貼り合わせ処理を再開するようになっている。

特開２０１０−１３４３７４号公報 特開２０１１−２５９５０３号公報

しかしながら、貼り合わせ中に失敗しその後復帰する際に、画像情報からステージ位置を探索するため、間違った位置に復帰してしまい、貼り合わせ画像を崩してしまう可能性がある。特に、新たに取得された画像に類似する構図が貼り合わせ画像中に複数存在する場合には、間違った位置に復帰する可能性が高くなるという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、貼り合わせ処理中にステージ位置を見失った状態から復帰した後に、間違った位置に復帰することを防止して、適正な貼り合わせ画像を生成することができる顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、標本を搭載し観察光軸に直交する方向に移動可能なステージと、該ステージ上の前記標本を撮影する撮像部と、該撮像部により取得されたライブ画像の複数画像間の移動量から前記ステージの位置を検出する位置検出部と、前記撮像部により取得された前記ライブ画像を前記位置検出部により検出された前記ステージの位置に基づいて貼り合わせて貼り合わせ画像を生成する画像生成部と、該画像生成部により生成された前記貼り合わせ画像を記憶する記憶部と、前記画像生成部により生成された前記貼り合わせ画像上における前記撮像部より取得された前記ライブ画像の位置を探索する位置探索部と、前記位置検出部による検出が失敗したときに、前記画像生成部における貼り合わせ処理を停止するとともに、前記記憶部に記憶されている前記貼り合わせ画像全体から、前記撮像部により前記貼り合わせ処理の停止後に新たに取得される前記ライブ画像の位置を前記位置探索部により探索させ、前記位置探索部による探索に成功したときには、前記位置探索部の探索位置を起点として前記画像生成部による前記貼り合わせ処理を再開するように制御する制御部とを備える顕微鏡システムを提供する。

本態様によれば、ステージ上に標本を搭載し、ステージによって標本を観察光軸に直交する方向に移動させながら、撮像部により標本を撮影することによって、標本の画像が取得される。そして、標本の画像が取得される毎に、画像生成部によって、位置検出部により検出されたステージの位置に基づいて、取得された画像が貼り合わせられて貼り合わせ画像が生成される。

位置検出部による検出毎に、制御部により検出が失敗したか否かが判定され、失敗したと判定されたときには、画像生成部による貼り合わせ処理が停止されて位置探索部による位置探索が実施される。そして、位置探索部による探索が成功したか否かが制御部により判定され、成功したと判定されたときには、発見された探索位置を起点として画像生成部による貼り合わせ処理が再開される。
これにより、画像の位置検出に失敗したまま、間違った位置に画像が貼り合わせられることがなく、探索に成功した場合にのみ貼り合わせ処理を再開させることで、適正な貼り合わせ画像を生成することができる。

上記態様においては、前記撮像部が、所定のフレームレートで複数のライブ画像を取得し、前記位置検出部が、前記撮像部により連続して取得された前記ライブ画像間の相対位置を累積した累積値により前記ステージの位置を検出してもよい。
このようにすることで、電動ステージやエンコーダ付きステージを用いることなく、撮像部により取得された画像に基づいて、ステージの現在位置を算出することができる。

また、上記態様においては、前記位置検出部が、前記ステージの位置の検出結果の信頼性を算出し、前記制御部が、前記位置検出部により算出された前記信頼性が所定の閾値を下回った場合に、位置検出に失敗したと判定してもよい。
このようにすることで、位置検出部により算出された検出結果の信頼性に基づいて、制御部が位置検出が失敗したか否かを簡易に判定することができる。

また、上記態様においては、前記位置探索部が、探索結果の信頼性を算出し、前記制御部が、前記位置探索部により算出された前記信頼性が所定の閾値を上回った場合に、位置探索に成功したと判定してもよい。
このようにすることで、位置探索部により算出された探索結果の信頼性に基づいて、制御部が位置探索が成功したか否かを簡易に判定することができる。

また、上記態様においては、前記位置探索部が、位置探索時の類似度マップの分布から前記ステージの位置の誤検出の可能性を算出し、前記制御部は、前記位置探索部により算出された前記信頼性が所定の第１閾値を上回り、かつ、前記位置探索部により算出された前記誤検出の可能性が所定の第２閾値を下回る場合にのみ、位置探索が成功したと判定してもよい。
このようにすることで、類似する領域が多数存在する場合に、探索位置を誤検出する可能性が高くなるため、位置探索部により算出された信頼性が高い場合であっても、位置探索部により算出された誤検出の可能性が高い場合には、位置探索が失敗したと判定して、間違った位置から貼り合わせ処理が開始されるのを防止することができる。

また、上記態様においては、前記位置探索部が、位置探索時の類似度マップで所定の閾値を超える画素数を算出し、該画素数または該画素数の全画素数に対する割合を前記誤検出の可能性として算出してもよい。
このようにすることで、類似する領域を示す画素数が全画素数に比較して多い場合に、誤検出の可能性が高いとして、簡易に位置探索が失敗したと判定することができる。

また、上記態様においては、前記位置探索部が、位置探索時の類似度マップのヒストグラムの分布から位置の前記誤検出の可能性を算出してもよい。
このようにすることで、ヒストグラムの分布により、類似する領域を示す画素数が全画素数に比較して多いか否かを簡易に判定でき、誤検出の可能性が高い状態で貼り合わせ処理が再開されてしまうのをより確実に防止することができる。

本発明によれば、電動ステージやエンコーダ付きステージを用いることなく、広画角の貼り合わせ画像と現在観察している視野範囲とを同時に把握することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡撮像システムを示すブロック図である。 図１の顕微鏡撮像システムによる処理を説明するフローチャートである。 図１の顕微鏡撮像システムにより生成された貼り合わせ画像と現在位置を示す枠とを合成した画像例を示す図である。 （ａ）貼り合わせ画像内における矩形枠で示されるライブ画像の一例、（ｂ）（ａ）のライブ画像に類似する箇所が少ない場合の相関値マップをそれぞれ示す図である。 （ａ）貼り合わせ画像内における矩形枠で示されるライブ画像の一例、（ｂ）（ａ）のライブ画像に類似する箇所が多数存在する場合の相関値マップをそれぞ示す図である。

本発明の一実施形態に係る顕微鏡システム１について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１は、図１に示されるように、顕微鏡２と、該顕微鏡２により取得された画像を処理する画像処理部３と、該画像処理部３により生成された合成画像および顕微鏡２により取得されたライブ画像を表示する表示部（例えば、液晶ディスプレイ）４とを備えている。

顕微鏡２は、搭載した標本Ｘを３次元方向に移動可能なステージ５と、ステージ５上に搭載された標本Ｘを撮影する撮像部６と、鉛直方向に観察光軸を配置した対物レンズ７とを備えている。また、顕微鏡２は、ユーザがステージ５を手動で観察光軸に対して直交する２方向（水平方向）に移動させるために操作する操作部２０を備えている。
撮像部６は、対物レンズ７により集光された標本Ｘからの光を撮影するカメラ８を備えている。

カメラ８は、所定のフレームレートで標本Ｘを撮影することによりライブ画像を取得し、ライブ画像を構成する各フレームの画像を画像処理部３に送るようになっている。ここで、ライブ画像とは、連続する複数の表示用フレーム画像によって構成される動画像である。カメラ８は、静止画を連続して取得した複数の静止画像を画像処理部３に送ることにしてもよい。

画像処理部３は、例えば、汎用のパーソナルコンピュータやワークステーション、組み込みプロセッサやＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ Ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いた計算機である。

画像処理部３は、カメラ８から送られてきた画像の内、新たに取得された時間軸方向に隣接するフレームの２枚の画像間の移動量からステージ位置を検出する位置検出部９と、カメラ８から送られてきた画像を順次貼り合わせて貼り合わせ画像Ｍを生成する画像生成部１０と、該画像生成部１０により生成された貼り合わせ画像Ｍを記憶する記憶部１１と、貼り合わせ画像Ｍ上においてカメラ８から新たに送られてきた画像の位置を探索する位置探索部１２と、表示部４、位置検出部９、画像生成部１０および位置探索部１２を制御する制御部１３とを備えている。

また、画像処理部３は、カメラ８から送られて来たライブ画像と、記憶部１１に記憶された貼り合わせ画像Ｍと、ステージ位置情報とを表示部４へ送るようになっている。表示部４ではライブ画像と貼り合わせ画像Ｍとを表示するとともに、貼り合わせ画像Ｍ上にステージ位置を表す矩形枠Ｆを表示するようになっている。

位置検出部９は、カメラ８から送られてくるライブ画像の前後２フレーム間の画像上での移動量、すなわち動きベクトルを算出し、算出された動きベクトルを累積加算することで貼り合わせ画像Ｍ上におけるステージ位置を算出するとともに、算出されたステージ位置の信頼性を算出するようになっている。

動きベクトルの算出には、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）を評価関数としたテンプレートマッチング／ブロックマッチングや、ＰＯＣ（Ｐｈａｓｅ Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ：位相限定相関法）などの公知の技術を用いることができる。また、テンプレートマッチングやＰＯＣを行う際に算出した類似度（ＳＡＤ等は相違度の逆数、ＮＣＣ等は相関度）を、算出されたステージ位置の信頼性として利用することができる。

画像生成部１０は、制御部１３からの指令により、カメラ８から新たに送られてきたフレームの画像と、記憶部１１に記憶されている貼り合わせ画像Ｍとを、位置検出部９で検出されたステージ位置に基づいて貼り合わせて新たな貼り合わせ画像Ｍを生成するようになっている。
記憶部１１はメモリ、ＨＤＤまたはＳＤＤ等の任意の記憶装置であって、画像生成部１０により生成された新たな貼り合わせ画像Ｍが送られてくると、記憶している貼り合わせ画像Ｍを更新するようになっている。

位置探索部１２は、制御部１３からの指令により位置探索を実行するようになっている。画像の位置探索には、カメラ８から得られる画像をテンプレートとして、記憶部１１に記憶されている貼り合わせ画像Ｍ上から、位置検出部９の動きベクトル算出と同様にＳＡＤやＮＣＣを用いたテンプレートマッチング／ブロックマッチング、ＰＯＣなどの公知の技術を用いることができる。このとき、探索時の類似度の最大値を信頼性として算出することができる。

このように構成された本実施形態に係る顕微鏡システム１の作用について以下に説明する。
本実施形態を用いて貼り合わせ画像Ｍを生成するには、図２に示されるように、貼り合わせ処理を開始させた後に、カメラ８から最初に送られて来た標本Ｘの観察像が画像生成部１０に送られ、最初の貼り合わせ画像Ｍが生成される（ステップＳ１）。生成された貼り合わせ画像Ｍは記憶部１１に送られて記憶されるとともに、画像生成部１０において生成された貼り合わせ画像Ｍに、ステージ５の現在位置を表す枠が合成された合成画像が生成され、表示部４に出力されて、図３に示されるように表示される（ステップＳ２）。

次に、位置検出部９においてステージ位置の検出が行われ（ステップＳ３）、位置検出部９の算出結果の信頼性が所定の閾値を越えるか否かにより、位置検出が成功したか否かが判定される（ステップＳ４）。位置検出部９の算出結果の信頼性が所定の閾値を超える場合には、制御部１３はステージ位置の検出に成功したと判定し、検出したステージ位置にカメラ８から送られて来る画像を画像生成部１０により貼り合わせさせる（ステップＳ１）。

これにより、ユーザが操作部２０を操作してステージ５を動かすと、フレームレートでステージ５の位置が位置検出部９により検出され、検出されたステージ位置に、カメラ８から得られた画像が画像生成部１０によって貼り合わせられる処理が繰り返されて、広画角な貼り合わせ画像Ｍが生成されることになる。

位置検出部９の算出結果の信頼性が所定の閾値以下となった場合には、制御部１３は、位置検出に失敗したと判定し、画像生成部１０の貼り合わせ処理を停止するとともに、位置探索部１２による位置探索を開始させる（ステップＳ５）。このとき、表示部４に表示する矩形枠Ｆを非表示にすることにより、ユーザに対して位置検出に失敗したことが報知される。なお、矩形枠Ｆの非表示に代えて、メッセージを表示する等、他の任意の表示態様を採用してもよい。

制御部１３は、位置探索部１２の探索結果の信頼性が所定の閾値を超えるまで、ステップＳ５の位置探索部１２による位置の探索を繰り返させる（ステップＳ６）。
位置探索部１２による探索結果の信頼性が所定の閾値を越えると、位置探索が成功したと判定されて（ステップＳ６）、処理が終了したか否かが判定される（ステップＳ７）。

ステップＳ７において処理が継続される場合には、位置探索部１２により探索されたステージ位置を起点に画像生成部１０での貼り合わせ処理を再開する（ステップＳ１）とともに、表示部４に観察視野を表す矩形枠Ｆが表示される。なお、貼り合わせ処理の終了判定は、位置探索が成功した場合に行うこととしているが、ユーザが貼り合わせ処理を終了したい任意のタイミングで終了できるようにしてもよい。
このようにすることで、電動ステージやエンコーダ付きステージを用いることなく、広画角の貼り合わせ画像Ｍと現在観察している視野範囲とを同時に把握することができるという利点がある。

なお、本実施形態においては、位置探索部１２が、位置検出の信頼性に加え、位置の誤検出の可能性を算出し、制御部１３が、図２のステップＳ６における位置探索の成功を判定する際に、位置探索部１２の信頼性が所定の閾値（第１閾値）を上回り、かつ、位置の誤検出の可能性が所定の閾値（第２閾値）を下回った場合にのみ、位置探索が成功したと判定するように構成してもよい。

ここで、位置探索部１２での位置の誤検出の検出方法について、位置探索部１２がＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）を評価関数としてテンプレートマッチングを行う場合を例に挙げて、以下に説明する。

図４（ａ）の矩形枠で示すライブ画像に含まれる構図に類似する箇所が貼り合わせ画像上で１箇所しか存在しない場合には、テンプレートマッチングを行う際のＺＮＣＣ相関値マップは、図４（ｂ）に示されるように、画像の位置が一致する部分で鋭いピークを伴って最大値をとり、最大値は大きな値（相関値の場合には１に近くなる。）をとる。したがって、所定の閾値による判定で探索成功と判定でき、探索結果の位置を起点に貼り合わせを再開しても、カメラ８から得られる画像を貼り合わせ画像に対し、ズレなく貼り合わせることができる。

位置探索部１２は、位置探索時の類似度の最大値を探索結果の信頼性とするので、ライブ画像の構図が貼り合わせ画像に含まれない場合、すなわち、ライブ観察視野が貼り合わせ画像範囲外にある場合には、テンプレートマッチングの類似度の最大値が小さくなり（相関値の場合には０に近くなる。）、所定の閾値による判定で探索失敗と判定することができる。その結果、貼り合わせ処理が再開されないので、貼り合わせ画像が崩れることはない。

これに対し、図５（ａ）の矩形枠で示すライブ画像に含まれる構図の場合には、類似する箇所が貼り合わせ画像上で複数存在するため、図５（ｂ）に示されるように、テンプレートマッチングを行う際のＺＮＣＣ相関値マップ上に類似度（相関度）が高い領域が広く表れ、類似度の最大値を取る位置が間違った位置となる可能性が高くなる。類似度の最大値（信頼性）が所定の閾値を越えると、間違った位置に対し探索成功と判定し、間違った位置を起点に貼り合わせ処理を再開して貼り合わせ画像が崩れる可能性が高くなる。

つまり、ＺＮＣＣ相関値マップの分布から、間違った位置を探索結果と判定する可能性（誤検出の可能性）を算出することができる。例えば、ＺＮＣＣ相関値は−１から１の範囲をとるので、相関値マップに対し所定の閾値（例えば、０．８）を設け、閾値を超える相関値マップの画素数をＳｕ、相関値マップの全画素数をＳｔとして、
１）Ｓｕを誤検出の可能性の指標とする、あるいは、
２）割合
Ｓｕ／Ｓｔを誤検出の可能性の指標とする
のいずれかで誤検出の可能性を算出することができる。

また、相関値マップのヒストグラムを作成し、ヒストグラムの分布から誤検出の可能性を算出してもよい。
例えば、下式で相関値を正規化・整数化を行った後にヒストグラムを作成する。
ｅｖ′＝Ｍａｘ（０，Ｍｉｎ（２５５，Ｒｏｕｎｄ（２５５．０×ｅｖ／ｅｖ_ｍａｘ）））
ここで、
ｅｖは、ＺＮＣＣ相関値、
ｅｖ_ｍａｘは、ＺＮＣＣ相関値マップ内での相関値の最大値、
ｅｖ′は、符号なし８ｂｉｔ整数に正規化・整数化された相関値である。

Ｒｏｕｎｄ（ｘ）は、小数値ｘを四捨五入して整数化する関数である。
これにより、ビン数２５６のヒストグラムを作成することができる（ここでは、例としてビン数を２５６としたが、任意のビン数で計算することができる。）。

算出したヒストグラムについて、
１）ヒストグラムの上位Ｎビン分のカウント数Ｓｕを誤検出可能性の指標とする、あるいは、
２）ヒストグラムの上位Ｎビン分のカウント数Ｓｕと総ピクセル数Ｓｔとの比Ｒを誤検出可能性の指標とする
などの方法で誤検出の可能性を算出することができる。
なお、本実施形態では、類似度の計算としてＺＮＣＣ利用する例を例示したが、ＳＡＤやＰＯＣなどを用いてもよい。

また、制御部１３は、矩形枠で示すライブ画像に含まれる構図が貼り合わせ画像上に複数存在し、位置探索部１２による探索に失敗したときに、ユーザに対してライブ画像の構図を変更する旨を表示部４に表示することで、ユーザにステージ５の移動を促してもよい。これにより、位置探索部１２は、新たなライブ画像の構図で、貼り合わせ画像Ｍに対して探索を行うことができる。

１ 顕微鏡システム
５ ステージ
６ 撮像部
９ 位置検出部
１０ 画像生成部
１２ 位置探索部
１３ 制御部
Ｍ 貼り合わせ画像
Ｘ 標本

Claims (8)

1. 標本を搭載し観察光軸に直交する方向に移動可能なステージと、
   該ステージ上の前記標本を撮影する撮像部と、
   該撮像部により取得されたライブ画像の複数画像間の移動量から前記ステージの位置を検出する位置検出部と、
   前記撮像部により取得された前記ライブ画像を前記位置検出部により検出された前記ステージの位置に基づいて貼り合わせて貼り合わせ画像を生成する画像生成部と、
   該画像生成部により生成された前記貼り合わせ画像を記憶する記憶部と、
   前記画像生成部により生成された前記貼り合わせ画像上における前記撮像部より取得された前記ライブ画像の位置を探索する位置探索部と、
   前記位置検出部による検出が失敗したときに、前記画像生成部における貼り合わせ処理を停止するとともに、前記記憶部に記憶されている前記貼り合わせ画像全体から、前記撮像部により前記貼り合わせ処理の停止後に新たに取得される前記ライブ画像の位置を前記位置探索部により探索させ、前記位置探索部による探索に成功したときには、前記位置探索部の探索位置を起点として前記画像生成部による前記貼り合わせ処理を再開するように制御する制御部とを備える顕微鏡システム。
2. 前記撮像部が、所定のフレームレートで複数のライブ画像を取得し、
   前記位置検出部が、前記撮像部により連続して取得された前記ライブ画像間の相対位置を累積した累積値により前記ステージの位置を検出する請求項１に記載の顕微鏡システム。
3. 前記位置検出部が、前記ステージの位置の検出結果の信頼性を算出し、
   前記制御部が、前記位置検出部により算出された前記信頼性が所定の閾値を下回った場合に、位置検出に失敗したと判定する請求項１または請求項２に記載の顕微鏡システム。
4. 前記位置探索部が、探索結果の信頼性を算出し、
   前記制御部が、前記位置探索部により算出された前記信頼性が所定の閾値を上回った場合に、位置探索に成功したと判定する請求項１から請求項３のいずれかに記載の顕微鏡システム。
5. 前記位置探索部が、位置探索時の類似度マップの分布から前記ステージの位置の誤検出の可能性を算出し、
   前記制御部は、前記位置探索部により算出された前記信頼性が所定の第１閾値を上回り、かつ、前記位置探索部により算出された前記誤検出の可能性が所定の第２閾値を下回る場合にのみ、位置探索が成功したと判定する請求項４に記載の顕微鏡システム。
6. 前記位置探索部が、位置探索時の類似度マップで所定の閾値を超える画素数を算出し、該画素数または該画素数の全画素数に対する割合を前記誤検出の可能性として算出する請求項５に記載の顕微鏡システム。
7. 前記位置探索部が、位置探索時の類似度マップのヒストグラムの分布から位置の前記誤検出の可能性を算出する請求項５に記載の顕微鏡システム。
8. 観察光軸に直交する方向に移動可能なステージ上の標本を撮影し、
   取得した前記標本のライブ画像の複数画像間の移動量から前記ステージの位置を検出し、
   検出した前記ステージの位置に基づいて前記ライブ画像を貼り合わせて貼り合わせ画像を生成し、
   生成した前記貼り合わせ画像を記憶し、
   前記ステージの位置検出が失敗したときに、貼り合わせ処理を停止するとともに、記憶している前記貼り合わせ画像全体から、前記貼り合わせ処理の停止後に新たに取得した前記ライブ画像の位置を探索し、探索に成功したときには、成功した探索位置を起点として前記貼り合わせ処理を再開する標本観察方法。

Images