JP6633917B2 - 顕微鏡システムおよび顕微鏡の倍率推定方法 - Google Patents

Description

本発明は、顕微鏡システムおよび顕微鏡の倍率推定方法に関するものである。

従来、顕微鏡において撮影した観察像から対象物の大きさを視覚的に把握するために、取得された画像を表示する表示画面上にスケールをオーバーレイ表示する機能や、表示画面上の２点間の距離を計測する機能を備えるものがある。
また、顕微鏡に備えられたレボルバによって対物レンズを切り替える場合に、観察像の倍率が変化するので、倍率情報を変更するために、取得される画像から対物レンズの切替を検知して通知する顕微鏡が知られている（例えば、特許文献１参照。）。

特開２００９−８６３１４号公報

しかしながら、特許文献１の顕微鏡では、対物レンズが切り替えられたという情報がユーザに通知されるのみであり、切替後の対物レンズの倍率については、ユーザが再設定する必要があり、操作が煩雑である。光路上に配置されている対物レンズの種別を識別するコードレボルバのような特殊な装置も知られているが、コストが高くつくという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、コードレボルバのような特殊な装置を装備することなく、対物レンズ等の光学部材の切替後の倍率を推定することができる顕微鏡システムおよび顕微鏡の倍率推定方法を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、光路上に切替可能に配置される光学部材を備え、標本を撮影して画像を取得する顕微鏡と、該顕微鏡における前記光学部材の切替前の光学倍率に基づいて、切替後の光学倍率を推定する倍率推定部とを備え、該倍率推定部が、サーチ倍率を順次設定するとともに、設定された前記サーチ倍率が前記切替前の光学倍率以上の場合には、前記光学部材の切替後に取得された切替後画像を前記サーチ倍率に対する前記切替前の光学倍率の比によってスケーリングしたサーチ画像と前記光学部材の切替前に取得された切替前画像との類似度を算出し、設定された前記サーチ倍率が前記切替前の光学倍率より小さい場合には、前記切替前画像を前記切替前の光学倍率に対する前記サーチ倍率の比によってスケーリングしたサーチ画像と前記切替後画像との類似度を算出し、算出された類似度が最大となるときの前記サーチ倍率から切替後の光学倍率を推定する顕微鏡システムを提供する。

本態様によれば、顕微鏡の光路上に所定の光学部材を配置して、所定の光学倍率で標本を撮影することにより、標本の切替前画像が取得される。このときの顕微鏡の光学倍率は既知であるとする。次に、光学部材を切り替えると、切替後の光学部材に応じて顕微鏡の光学倍率が変化し、標本を撮影して得られる切替後画像の倍率が変化する。取得された切替前画像および切替後画像は倍率推定部に送られ、いずれか一方の画像を複数のサーチ倍率にそれぞれ対応する複数のサーチ画像にスケーリングさせながら他方の画像との類似度が算出される。

切替前画像と切替後画像とは、一方の画像を縮小したものが他方の画像の一部となる関係を有しているので、一方の画像の倍率を変化させながら比較すると、いずれかの倍率となったときに類似度が急激に増大する。したがって、類似度が最大となるときのサーチ倍率から、コードレボルバのような特殊な装置を設けることなく切替後の倍率を簡易にかつ精度よく推定することができる。

上記態様においては、前記倍率推定部が、サーチ倍率を順次設定するとともに、設定された前記サーチ倍率が前記切替前の光学倍率以上の場合には、前記サーチ倍率に対する前記切替前の光学倍率の比によって前記切替後画像をスケーリングし、該サーチ倍率が前記切替前の光学倍率より小さい場合には、前記切替前の光学倍率に対するサーチ倍率の比によって前記切替前画像をスケーリングして、類似度を算出する。

本態様によれば、設定されたサーチ倍率が切替前の既知の光学倍率以上の場合には切替後画像を倍率の比で縮小するようにスケーリングして、切替前画像とスケーリングされた切替後画像との間で類似度が算出され、サーチ倍率が切替前の既知の光学倍率より小さい場合には切替前画像を上記倍率で縮小するようにスケーリングして、切替後画像とスケーリングされた切替前画像との間で類似度が算出される。

また、上記態様においては、前記光学部材の切替を検知する切替検知部を備え、前記倍率推定部が、前記切替検知部により前記光学部材の切替が検知されたタイミングで切替後の光学倍率を推定してもよい。
このようにすることで、切替検知部により光学部材の切替が検知されると、倍率推定部が光学倍率の推定を行うので、倍率の変更の可能性があるタイミングで適時に切替後の光学倍率を推定することができる。

また、上記態様においては、前記顕微鏡に備えられる前記光学部材の取り得る倍率情報を保持する倍率情報保持部を備え、前記倍率推定部が、前記倍率情報保持部に保持されている倍率情報に基づいて、切替後の光学倍率を推定する際に変化させる前記サーチ倍率を決定してもよい。
このようにすることで、倍率情報保持部に保持されている倍率情報のみについて倍率を変化させることができ、効率よく切替後の光学倍率を推定することができる。

また、本発明の他の態様は、顕微鏡の光路上に切替可能に配置された光学部材の切替前に取得された切替前画像および前記光学部材の切替後に取得された切替後画像の内、一方の画像を複数のサーチ倍率にそれぞれ対応する複数のサーチ画像にスケーリングさせながら、他方の画像との類似度を算出する類似度算出ステップと、該類似度算出ステップにより算出された類似度が最大となるときの前記サーチ倍率から切替後の光学倍率を算出する切替後倍率推定ステップとを含み、前記類似度算出ステップが、サーチ倍率を順次設定するとともに、設定した前記サーチ倍率が前記切替前の光学倍率以上の場合には、前記サーチ倍率に対する前記切替前の光学倍率の比によって前記切替後画像をスケーリングし、設定した前記サーチ倍率が前記切替前の光学倍率より小さい場合には、前記切替前の光学倍率に対する前記サーチ倍率の比によって前記切替前画像をスケーリングして、前記類似度を算出する顕微鏡の倍率推定方法を提供する。

本発明によれば、コードレボルバのような特殊な装置を装備することなく、対物レンズ等の光学部材の切替後の倍率を推定することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムの全体構成図である。 図１の顕微鏡システムの倍率推定部による切替後倍率の推定手順を説明するフローチャートである。 図２のフローチャートにおけるサーチ画像の生成と類似度算出とを説明する図である。 図１の顕微鏡システムにおいて推定された切替後倍率をスケールで表示した画像例を示す図である。 図２の推定手順によって算出された類似度とサーチ倍率との関係を示す図である。

本発明の一実施形態に係る顕微鏡システム１００について図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１００は、図１に示されるように、顕微鏡１と、演算部３と、操作部９と、表示部８とを備えている。

顕微鏡１は、標本を搭載して３次元方向に移動可能なステージ１１と、標本からの光を集光する対物レンズ１２と、２以上の対物レンズ１２を交換可能に保持するレボルバ１３と、標本の観察像を肉眼で観察するための接眼レンズ１４と、標本の観察像を撮影する撮像部（顕微鏡用カメラ）２とを備えている。本実施形態においては、顕微鏡１の光学倍率を決定する光学部材が対物レンズ１２のみである場合を例示しており、レボルバ１３に保持された対物レンズ１２は４倍、１０倍、２０倍、４０倍の４種類である。

演算部３は、例えば、汎用のパーソナルコンピュータやワークステーション、組み込みプロセッサやＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いた計算機である。
演算部３は、撮像部２により取得された各フレームの画像を記憶する画像記憶部４と、レボルバ１３による対物レンズ（光学部材）１２の切替を検出する対物切替検出部（切替検知部）５と、該対物切替検出部５により対物レンズ１２の切替が検出されたタイミングで、切替後の光学倍率を推定する倍率推定部６と、該倍率推定部６により推定された光学倍率に基づいてスケールを算出するスケール算出部７と、該スケール算出部７により算出されたスケールを画像記憶部４に記憶されている最新の画像に重畳した合成画像を生成する画像合成部１０とを備えている。

また、演算部３は、顕微鏡１に備えられた全ての対物レンズ１２の倍率情報を記憶する対物情報記憶部（倍率情報保持部）１５を備えている。
表示部８は、画像合成部１０により合成された画像を表示するようになっている。

対物切替検出部５は、例えば、特許文献１と同様にして、撮像部２により取得された一連のフレームの画像の時間変化から対物レンズ１２が切り替わったことを検出するようになっている。
倍率推定部６は、対物切替検出部５により対物の切替が検出された時点で、画像記憶部４に記憶されている検出前の画像と検出後の画像とを１枚ずつ取得するようになっている。

具体的には、対物切替検出部５が、対物レンズ１２の切替開始と切替終了におけるフレーム番号を出力し、倍率推定部６が、それら２つのフレーム番号に対応する２枚の画像を画像記憶部４から取得するようになっている。

次に、本実施形態に係る顕微鏡システム１００の倍率推定方法について説明する。
倍率推定部６は、図２に示されるフローチャートに従って切替後の倍率を推定するようになっている。

例えば、レボルバ１３を操作して対物レンズ１２の倍率が１０倍から２０倍に切り替えられた場合について説明する。
すなわち、切替前倍率Ｍ１＝１０（既知）、切替後倍率Ｍ２＝２０（未知）であるとする。

倍率推定部６は、対物情報記憶部１５に記憶された対物レンズ１２の倍率情報に基づいて、顕微鏡１に備えられた全ての対物レンズ１２によってとり得る光学倍率の組み合わせについて処理を行うようになっている。
すなわち、まずサーチ倍率Ｍｓを決定する（ステップＳ１）。本実施形態では、高倍から低倍に向かってサーチするものとし、とり得る光学倍率のなかで最も高倍である４０倍をサーチ倍率Ｍｓとして採用する。

そして、サーチ倍率Ｍｓと切替前倍率Ｍ１とが比較される（ステップＳ２）。サーチ倍率Ｍｓが切替前倍率Ｍ１以上である場合には、切替後画像Ｇ２にＭ１／Ｍｓを乗算する。上の例ではＭ１＝１０＜Ｍｓ＝４０なので、図３に示されるように、切替後画像Ｇ２にＭ１／Ｍｓ＝１／４が乗算され、切替後画像Ｇ２が１／４倍にスケーリングされたサーチ画像Ｇｓが生成される（サーチ画像生成ステップＳ３）。

スケーリングには、ニアレストネイバー、バイリニアあるいはバイキュービック等の公知の補間方法が用いられる。
次に、スケーリングされた切替後画像Ｇ２であるサーチ画像Ｇｓと切替前画像Ｇ１との類似度Ｐが算出される（類似度算出ステップＳ４）。

類似度Ｐは、切替後画像Ｇ２をスケーリングしたサーチ画像Ｇｓをテンプレートとし、切替前画像Ｇ１上でテンプレートマッチングを行うことで算出される。テンプレートマッチングには、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）に代表される相違度を計算するもの、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｐｒｒｅｌａｔｉｏｎ）、あるいは、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）に代表される相関度を算出するものを公知技術として利用すればよい。相違度を類似度として扱う場合は、相違度が小さい方を類似度が高いとして扱えばよい。また、空間周波数の相関に基づく位相限定相関法という公知技術も利用可能である。

新たに算出された類似度Ｐと、既に算出されて記憶されているものがある場合にはその記憶されている類似度Ｐｍａｘとの大小関係が比較され（ステップＳ５）、新たに算出された類似度Ｐの方が大きい場合には、記憶されている類似度Ｐｍａｘが更新されるとともに、対応するサーチ倍率Ｍｓが類似度Ｐｍａｘに対応づけられて記憶される（ステップＳ６）。

そして、全てのサーチ倍率Ｍｓについて類似度Ｐが算出されたか否かが判定され（ステップＳ７）、終了していない場合には、ステップＳ１に戻って次のとり得るサーチ倍率Ｍｓが決定され、次のステップＳ２が実行される。
次のとり得るサーチ倍率Ｍｓ＝２０，１０については、ステップＳ２においてサーチ倍率Ｍｓ＝４０と同様の判定がなされるので、ステップＳ３からステップＳ６の工程が繰り返される。

一方、ステップＳ２における比較の結果、サーチ倍率Ｍｓが切替前倍率Ｍ１より小さい場合、すなわち、サーチ倍率Ｍｓ＝４の場合には、図３に示されるように、切替前画像Ｇ１がＭｓ／Ｍ１＝４／１０＝１／２．５倍にスケーリングされたサーチ画像Ｇｓが生成される（サーチ画像生成ステップＳ８）。
そして、切替前画像Ｇ１をスケーリングしたサーチ画像Ｇｓと切替後画像Ｇ２との類似度Ｐが算出される（類似度算出ステップＳ９）。

すなわち、切替前画像Ｇ１をスケーリングしたサーチ画像Ｇｓをテンプレートとし、切替後画像Ｇ２上でテンプレートマッチングを行うことで類似度Ｐが算出され、その後、ステップＳ５が実行される。
このようにして、全てのとり得るサーチ倍率Ｍｓについて類似度Ｐが算出されると、図５に示されるような結果が得られる。今回の例では、サーチ倍率Ｍｓ＝２０のときに類似度Ｐが最大となっている。なお、図５に示す類似度Ｐは、ＺＮＣＣを用いたテンプレートマッチングの結果であり、０．０〜１．０の値をとり、１．０が最も類似度の高いすなわち完全一致していることを示す。

そして、ステップＳ７において、全てのサーチ倍率Ｍｓについて類似度Ｐが算出されたと判定された場合には、記憶されている類似度Ｐｍａｘに対応するサーチ倍率Ｍｓ＝２０が、切替後倍率Ｍ２として出力される（切替後倍率推定ステップＳ１０）。これにより、切替後倍率Ｍ２が精度よく推定されたことになる。

倍率推定部６から切替後倍率Ｍ２の推定値が出力されると、スケール算出部７においてスケールが算出され、算出されたスケールが画像合成部１０において最新の画像に重畳され、図４に示されるように、表示部８に表示される。そして、重畳された画像が表示部８に表示されることにより、ユーザが倍率を改めて入力する必要がなく、ユーザの操作負担を軽減することができるという利点がある。

図４においては、表示部８に切替後倍率が分かるように表示される。図４の例では、各対物レンズ１２の倍率情報がボタンのような形態で表示されており、推定された切替後倍率はボタンが押されたような形態で他の倍率と区別されて表示される。
操作部９は、ユーザが光学倍率を設定するためのもので、倍率推定部６が光学倍率の推定に失敗した際に、ユーザが正しい光学倍率を設定するために使用されるようになっている。例えば、ユーザが図４のボタンを押下することによって、正しい倍率を設定できることにしてもよい。

このように、本実施形態に係る顕微鏡システム１００および顕微鏡１の倍率推定方法によれば、コードレボルバ等の特殊な装置を追加することなく、顕微鏡１の撮像部２によって取得される画像を処理して対物レンズ１２の切替後倍率を精度よく推定できるという利点がある。

なお、本実施形態においては、対物レンズ１２のとり得る倍率を対物情報記憶部１５に記憶しておき、倍率推定部６が、対物情報記憶部１５に記憶されている倍率のみに切り替えて切替後倍率の推定を行うこととしたので、類似度の計算量を最小限に抑えることができる。これに代えて、サーチ倍率を所定の範囲にわたって所定のステップ幅で切り替えて類似度を算出することにしてもよい。

また、本実施形態においては、レボルバ１３によって切替可能に設けられた対物レンズ１２のみによって顕微鏡１の光学倍率が変更される場合について例示したが、これに代えて、変倍機構等の他の光学部材によって倍率が切り替えられる場合にも容易に適用することができる。

１ 顕微鏡
５ 対物切替検出部（切替検知部）
６ 倍率推定部
１００ 顕微鏡システム
Ｓ４，Ｓ９ 類似度算出ステップ
Ｓ１０ 切替後倍率推定ステップ

Claims (4)

1. 光路上に切替可能に配置される光学部材を備え、標本を撮影して画像を取得する顕微鏡と、
   該顕微鏡における前記光学部材の切替前の光学倍率に基づいて、切替後の光学倍率を推定する倍率推定部とを備え、
   該倍率推定部が、サーチ倍率を順次設定するとともに、設定された前記サーチ倍率が前記切替前の光学倍率以上の場合には、前記光学部材の切替後に取得された切替後画像を前記サーチ倍率に対する前記切替前の光学倍率の比によってスケーリングしたサーチ画像と前記光学部材の切替前に取得された切替前画像との類似度を算出し、設定された前記サーチ倍率が前記切替前の光学倍率より小さい場合には、前記切替前画像を前記切替前の光学倍率に対する前記サーチ倍率の比によってスケーリングしたサーチ画像と前記切替後画像との類似度を算出し、算出された類似度が最大となるときの前記サーチ倍率から切替後の光学倍率を推定する顕微鏡システム。
2. 前記光学部材の切替を検知する切替検知部を備え、
   前記倍率推定部が、前記切替検知部により前記光学部材の切替が検知されたタイミングで切替後の光学倍率を推定する請求項１に記載の顕微鏡システム。
3. 前記顕微鏡に備えられる前記光学部材の取り得る倍率情報を保持する倍率情報保持部を備え、
   前記倍率推定部が、前記倍率情報保持部に保持されている倍率情報に基づいて、切替後の光学倍率を推定する際に変化させる前記サーチ倍率を決定する請求項１または請求項２に記載の顕微鏡システム。
4. 顕微鏡の光路上に切替可能に配置された光学部材の切替前に取得された切替前画像および前記光学部材の切替後に取得された切替後画像の内、一方の画像を複数のサーチ倍率にそれぞれ対応する複数のサーチ画像にスケーリングさせながら、他方の画像との類似度を算出する類似度算出ステップと、
   該類似度算出ステップにより算出された類似度が最大となるときの前記サーチ倍率から切替後の光学倍率を算出する切替後倍率推定ステップとを含み、
   前記類似度算出ステップが、サーチ倍率を順次設定するとともに、設定した前記サーチ倍率が前記切替前の光学倍率以上の場合には、前記サーチ倍率に対する前記切替前の光学倍率の比によって前記切替後画像をスケーリングし、設定した前記サーチ倍率が前記切替前の光学倍率より小さい場合には、前記切替前の光学倍率に対する前記サーチ倍率の比によって前記切替前画像をスケーリングして、前記類似度を算出する顕微鏡の倍率推定方法。

Images