JP2018116197A - 顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法 - Google Patents
顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法 Download PDFInfo
- Publication number
- JP2018116197A JP2018116197A JP2017007840A JP2017007840A JP2018116197A JP 2018116197 A JP2018116197 A JP 2018116197A JP 2017007840 A JP2017007840 A JP 2017007840A JP 2017007840 A JP2017007840 A JP 2017007840A JP 2018116197 A JP2018116197 A JP 2018116197A
- Authority
- JP
- Japan
- Prior art keywords
- image
- observation
- stage
- coordinates
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Abstract
【課題】広画角画像(貼り合わせ画像)の生成や更新の際に観察条件が切り替えられる場合であっても画像を適切に貼り合わせて広画角画像の生成や更新を適切に行うことができるようにする。【解決手段】顕微鏡システムは、観察条件が切り替えられた時に、当該観察条件の切り替えに伴う観察中心位置のずれを補正するための補正情報に基づいて、標本が載置されたステージを移動させる。また、標本の画像を取得し、当該画像取得時の画角情報及びステージの座標を取得し、当該座標を補正情報に基づいて補正し、当該補正後の座標を貼り合わせ画像座標系の座標に変換し、取得した画像を取得した画角情報に基づいてリサイズすると共に変換後の座標に基づいて貼り合わせ画像座標系に配置して貼り合わせ画像を生成する。【選択図】図3
Description
本発明は、標本の画像を貼り合わせて貼り合わせ画像を生成する顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法に関する。
従来、顕微鏡システムが備える機能として、例えばマップ機能がある。
マップ機能は、標本の観察領域(ミクロ領域)と共に標本のマクロ領域を表示し、表示されたマクロ領域上の対応する位置に観察領域を示す枠(例えば矩形枠)を表示することで、観察者が標本の何れの位置を観察しているのかを確認できるようにした機能である。
マップ機能は、標本の観察領域(ミクロ領域)と共に標本のマクロ領域を表示し、表示されたマクロ領域上の対応する位置に観察領域を示す枠(例えば矩形枠)を表示することで、観察者が標本の何れの位置を観察しているのかを確認できるようにした機能である。
このようなマップ機能では、ステージに載置された標本を低倍率で撮影して得た広画角画像、又は、その標本の異なる位置を複数回撮影して得た複数の画像を貼り合わせて生成した広画角画像を表示することにより標本のマクロ領域を表示すると共に、ステージの座標及び観察領域の画角情報に基づいて、その広画角画像上の対応する位置に観察領域を示す対応するサイズの枠を表示するようにしている。また、ステージの移動により観察領域を示す枠が広画角画像上から外れてしまう場合には、その時の観察領域の画像を取得し、その画像を広画角画像に貼り合わせて、広画角画像を更新するようにしている。なお、このようにして生成、更新される広画角画像をマップ画像ともいう。
ところで、観察者は、標本の観察中に観察条件を切り替える場合がある。例えば、対物レンズの倍率、光学ズーム機構のズーム倍率、2次元走査機構の走査幅、使用する光学系等といった観察条件を切り替える場合がある。ここで、対物レンズの倍率の切り替えは、倍率が異なる複数の対物レンズを備えたレボルバを回転させて光路上に配置される対物レンズを切り替えることにより行われる。2次元走査機構は、標本に対してレーザ光源から発せられたレーザ光を2次元方向に走査させるものである。光学系の切り替えは、例えば、カラー観察光学系及び共焦点レーザスキャニング光学系の一方から他方への切り替えである。光学系が切り替えられた場合には、それに伴って使用される光源や撮像部(観察画像を取得する撮像部)等も切り替えられる。
このような観察条件の切り替えが行われた場合は、ステージが移動していないにも関わらず、観察中心位置(観察領域の中心位置)がずれる場合がある。例えば、対物レンズの倍率や光学ズーム機構のズーム倍率が切り替えられた場合には、対物レンズ、レボルバ、光学ズーム機構の夫々の製造誤差等の影響により光学系の芯ずれが発生し、これにより観察中心位置がずれる場合がある。また、2次元走査機構の走査幅が切り替えられた場合には、2次元走査機構の製造誤差等の影響により、観察中心位置がずれる場合がある。また、光学系が切り替えられた場合には、切り替え前に使用されていた撮像部(例えばCCDカメラ)と切り替え後に使用される撮像部(例えば光検出器)の夫々の取付誤差等の影響により、観察中心位置がずれる場合がある。このときの取付誤差は、例えば、撮像面(受光面)に垂直な軸を回転軸とした回転方向の取付誤差等である。
そのため、マップ機能では、観察条件の切り替えが行われると、それに伴う観察中心位置のずれにより、実際の観察領域の位置と広画角画像上に表示されている観察領域を示す枠の位置とが一致しなくなる虞がある。また、広画角画像の生成や更新の際に観察条件の切り替えが行われてしまうと、画像がずれて貼り合わされてしまうために広画角画像の生成や更新を適切に行うことができない虞もある。
なお、マップ機能を備えた顕微鏡システムとして、例えば、次のような顕微鏡装置が知られている。その顕微鏡装置は、表示装置に表示された低倍観察像の所定領域が指定されると、該所定領域の高倍観察像を表示するものであって、予め低倍対物レンズ及び所定ズーム倍率の条件で取得された第1の座標誤差及び第1の倍率誤差と、各高倍対物レンズ及び各ズーム倍率の組み合わせに基づく第2の座標誤差及び第2の倍率誤差とを格納しておき、ユーザが低倍観察像の所定領域を指定すると、その指定領域の中心座標を取得して第1の座標誤差で補正すると共に、拡大する倍率を算出し倍率の誤差を第1の倍率誤差で補正した後、対物レンズの倍率及びズーム倍率の組み合わせにより得られる実倍率のうち前記補正した倍率に最も近い実倍率となる組み合わせを特定し、前記補正した中心座標を第2の座標誤差により補正し、この補正内容に基づいて、対物レンズ、ズーム倍率、ステージ位置を調整する(特許文献1参照)。
上述のように、観察条件が切り替えられたときのマップ機能の課題として、実際の観察領域の位置と広画角画像上に表示されている観察領域を示す枠の位置とが一致しなくなるという課題、及び、画像がずれて貼り合わされてしまうために広画角画像の生成や更新を適切に行うことができないという課題がある。前者の課題については、特許文献1に記載の技術を適用することにより解決が可能である。しかしながら、後者の課題については、特許文献1では考慮されておらず、依然として未解決のままである。
本発明は、上記実状に鑑み、広画角画像(貼り合わせ画像)の生成や更新の際に観察条件が切り替えられる場合であっても画像を適切に貼り合わせて広画角画像の生成や更新を適切に行うことができる顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法を提供することを目的とする。
本発明の第1の態様は、標本の画像を貼り合わせて貼り合わせ画像を生成する顕微鏡システムであって、前記標本が載置されるステージと、前記ステージを移動させるステージ駆動部と、前記ステージの座標を取得するステージ座標取得部と、前記標本の画像を取得する第1の撮像部と、観察条件の切り替えに伴う観察中心位置のずれを補正するための補正情報を記憶する記憶部と、前記観察条件が切り替えられた時に前記補正情報に基づいて前記ステージ駆動部に前記ステージを移動させるステージ位置補正部と、前記第1の撮像部により前記標本の画像が取得された時の画角情報を取得する画角情報取得部と、前記第1の撮像部により前記標本の画像が取得された時に前記ステージ座標取得部により取得された前記ステージの座標を、前記補正情報に基づいて補正するステージ座標補正部と、前記ステージ座標補正部により補正された前記ステージの座標を、貼り合わせ画像座標系の座標に変換する座標変換部と、前記第1の撮像部により取得された画像を前記画角情報取得部により取得された画角情報に基づいてリサイズすると共に前記座標変換部により変換された座標に基づいて前記貼り合わせ画像座標系に配置して貼り合わせ画像を生成する貼り合わせ画像生成部と、を備える顕微鏡システムを提供する。
本発明の第2の態様は、第1の態様において、前記観察条件の切り替えは、観察倍率の切り替えであり、前記補正情報は、前記観察倍率の切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報を含む、顕微鏡システムを提供する。
本発明の第3の態様は、第2の態様において、前記補正情報は、複数の異なる観察倍率において、基準とする観察倍率から各観察倍率への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報を含む、顕微鏡システムを提供する。
本発明の第4の態様は、第2又は第3の態様において、前記観察倍率は、対物レンズの倍率である、顕微鏡システムを提供する。
本発明の第5の態様は、第2又は第3の態様において、前記観察倍率は、光学ズーム機構のズーム倍率である、顕微鏡システムを提供する。
本発明の第5の態様は、第2又は第3の態様において、前記観察倍率は、光学ズーム機構のズーム倍率である、顕微鏡システムを提供する。
本発明の第6の態様は、第2又は第3の態様において、前記観察倍率は、前記標本に対して光源から発せられた光を2次元方向に走査させる2次元走査機構の走査幅である、顕微鏡システムを提供する。
本発明の第7の態様は、第1の態様において、前記標本の画像を取得する第2の撮像部を更に備え、前記観察条件の切り替えは、観察に使用する撮像部を、前記第1の撮像部及び前記第2の撮像部の一方から他方へ切り替えることであり、前記補正情報は、前記第1の撮像部及び第2の撮像部の一方から他方への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報を含む、顕微鏡システムを提供する。
本発明の第8の態様は、第1の態様において、前記貼り合わせ画像生成部は、前記撮像部により取得された画像をリサイズして前記貼り合わせ画像座標系に配置するか否かを、前記撮像部により取得された画像のコントラスト値に基づいて決定する、又は、前記撮像部により取得された画像と前記貼り合わせ画像座標系に既に配置されている画像との間でのコントラスト値の比較結果に基づいて決定する、顕微鏡システムを提供する。
本発明の第9の態様は、第1の態様において、前記貼り合わせ画像生成部は、前記ステージ位置補正部が前記ステージ駆動部に前記ステージを移動させている間に前記撮像部により取得された画像に対する前記リサイズ及び前記貼り合わせ画像座標系への配置を行わない、顕微鏡システムを提供する。
本発明の第10の態様は、顕微鏡システムのコンピュータに、観察条件が切り替えられた時に、前記観察条件の切り替えに伴う観察中心位置のずれを補正するための補正情報に基づいて、標本が載置されたステージを移動させ、前記標本の画像を取得し、当該画像取得時の画角情報及び前記ステージの座標を取得し、当該座標を前記補正情報に基づいて補正し、当該補正後の座標を貼り合わせ画像座標系の座標に変換し、前記画像を前記画角情報に基づいてリサイズすると共に前記変換後の座標に基づいて前記貼り合わせ画像座標系に配置して貼り合わせ画像を生成する、という処理を実行させる貼り合わせ画像生成プログラムを提供する。
本発明の第11の態様は、顕微鏡システムの貼り合わせ画像生成方法であって、観察条件が切り替えられた時に、前記観察条件の切り替えに伴う観察中心位置のずれを補正するための補正情報に基づいて、標本が載置されたステージを移動させ、前記標本の画像を取得し、当該画像取得時の画角情報及び前記ステージの座標を取得し、当該座標を前記補正情報に基づいて補正し、当該補正後の座標を貼り合わせ画像座標系の座標に変換し、前記画像を前記画角情報に基づいてリサイズすると共に前記変換後の座標に基づいて前記貼り合わせ画像座標系に配置して貼り合わせ画像を生成する、貼り合わせ画像生成方法を提供する。
本発明によれば、広画角画像(貼り合わせ画像)の生成や更新の際に観察条件が切り替えられる場合であっても画像を適切に貼り合わせて広画角画像の生成や更新を適切に行うことができる、という効果を奏する。
以下、図面を参照しながら、本発明の実施の形態について説明する。
図1は、本発明の一実施の形態に係る顕微鏡システムの構成例を示す図である。
図1に示したように、顕微鏡システム1は、カラー観察光学系10、共焦点レーザスキャニング光学系20、レボルバ30、ステージ40、駆動モータ50、駆動モータ60、ステージ位置検知機構70、及び制御装置80を備える。
図1は、本発明の一実施の形態に係る顕微鏡システムの構成例を示す図である。
図1に示したように、顕微鏡システム1は、カラー観察光学系10、共焦点レーザスキャニング光学系20、レボルバ30、ステージ40、駆動モータ50、駆動モータ60、ステージ位置検知機構70、及び制御装置80を備える。
カラー観察光学系10は、白色光源11、カラーカメラ12、光学ズーム機構13、駆動モータ14、及びハーフミラー15を備える。光学ズーム機構13は、ズームレンズ131を備えると共に、駆動モータ14に接続されている。駆動モータ14は、制御装置80の制御によって作動し、光学ズーム機構13が備えるズームレンズ131を、光路上に配置される対物レンズ31の光軸方向(Z方向)に移動させる。これにより、光学ズーム機構13のズーム倍率が切り替えられる。
カラー観察光学系10を用いて観察を行う場合には、白色光源11から射出される照明光を、ハーフミラー15で反射させ、光路上に配置される対物レンズ31を介して標本Sに照射する。標本Sでの反射光が照明光と同じ光路を辿り、光学ズーム機構13を介してカラーカメラ12で検出されることで、カラーの明視野観察画像が取得される。
カラーカメラ12は、標本Sからの反射光を検出し、標本Sの観察画像を取得する。カラーカメラ12としては、CCDイメージセンサを備えたカメラ(所謂CCDカメラ)やCMOSイメージセンサを備えたカメラ等が用いられる。
共焦点レーザスキャニング光学系20は、レーザ光源21、ハーフミラー22、2次元スキャナ23、ダイクロイックミラー24、ピンホール25、及び光検出器26を備える。ダイクロイックミラー24は、レーザ光源21からの照明光を反射し、白色光源11からの照明光を透過する。ピンホール25は、光路上に配置される対物レンズ31の焦点面と略共役な面に配置され、その対物レンズ31の焦点面上から生じる光のみを通過させる。2次元スキャナ23は、共焦点レーザスキャニング光学系20の光路上で照明光の光線の角度を変更することで、標本SのXY平面上で照明光を走査する。2次元スキャナ23は、2次元走査機構の一例であり、例えばガルバノスキャナ等が用いられる。なお、XY平面は、光路上に配置される対物レンズ31の光軸に垂直は平面でもある。
共焦点レーザスキャニング光学系20を用いて観察を行う場合には、レーザ光源21から射出される照明光をハーフミラー22、ダイクロイックミラー24で反射させ、2次元スキャナ23及び光路上に配置される対物レンズ31を介して標本Sに照射する。2次元スキャナ23によりその照明光を走査しつつ、照明光と同じ光路を辿ってハーフミラー22を透過してピンホール25へ到達する標本Sからの反射光のうち、ピンホール25を通過した光のみが光検出器26で検出される。従って、共焦点レーザスキャニング光学系20を用いて観察を行う場合には、白黒の共焦点画像が得られる。
光検出器26は、標本Sからの反射光を検出し、標本Sの観察画像を取得する。光検出器26としては、PMT等が用いられる。
なお、カラーカメラ12及び光検出器26の一方は第1の撮像部の一例であり、他方は第2の撮像部の一例である。
なお、カラーカメラ12及び光検出器26の一方は第1の撮像部の一例であり、他方は第2の撮像部の一例である。
レボルバ30は、倍率が異なる複数の対物レンズ31を備えると共に、駆動モータ50に接続されている。駆動モータ50は、制御装置80の制御によって作動し、レボルバ30を回転させることで光路上に配置される対物レンズ31を切り替える(即ち、対物レンズ31の倍率を切り替える)。また、駆動モータ50は、光路上に配置される対物レンズ31の光軸方向(Z方向)へレボルバ30を移動させる。
ステージ40は、標本Sを載置する。ステージ40は、駆動モータ60とステージ位置検知機構70とに接続されている。駆動モータ60は、ステージ40をX、Y方向に移動させることで、照明光の照射位置をX、Y方向に変更する。X、Y方向は、光路上に配置される対物レンズ31の光軸に垂直な方向でもある。ステージ位置検知機構70は、ステージ40の位置を検知する。ステージ位置検知機構70は例えばステージ40に付属するスケールの値を読み取り、制御装置80へその値を位置情報として出力する。この位置情報は、ステージ座標系(XY座標系)における、ステージ40の座標を表す情報でもある。なお、駆動モータ60は、ステージ駆動部の一例であり、ステージ位置検知機構70は、ステージ座標取得部の一例である。
制御装置80は、顕微鏡システム1の各構成を制御するコンピュータである。
図2は、制御装置80の構成例を示す図である。
図2に示したように、制御装置80は、入力インタフェース(入力IF)81、出力インタフェース(出力IF)82、記憶装置83、メモリ84、CPU85、及び可搬記録媒体駆動装置86を備えていて、それらはバス87により互いに接続されている。
図2は、制御装置80の構成例を示す図である。
図2に示したように、制御装置80は、入力インタフェース(入力IF)81、出力インタフェース(出力IF)82、記憶装置83、メモリ84、CPU85、及び可搬記録媒体駆動装置86を備えていて、それらはバス87により互いに接続されている。
CPU85は、メモリ84を利用してプログラムを読み込み、そのプログラムに従って各種処理を実行する。これにより、制御装置80は、顕微鏡システム1の各構成を制御する。CPU85が実行する各種処理は、貼り合わせ画像生成処理を含む。この貼り合わせ画像生成処理は、観察条件が切り替えられた時に、補正情報に基づいて、標本Sが載置されたステージ40を移動させる処理や、標本Sの画像を取得し、当該画像取得時の画角情報及びステージ40の座標を取得し、当該座標を補正情報に基づいて補正し、当該補正後の座標を貼り合わせ画像座標系(UV座標系)の座標に変換し、取得した画像を取得した画角情報に基づいてリサイズすると共に変換後の座標に基づいて貼り合わせ画像座標系に配置して貼り合わせ画像を生成する処理を含む。貼りあわせ画像生成処理の具体例については図9及び図11を用いて後述する。補正情報は、観察条件の切り替えに伴う観察中心位置のずれを補正するための情報である。補正情報の具体例については図4乃至図7を用いて後述する。観察条件の切り替えは、例えば、対物レンズ31の倍率、光学ズーム機構13のズーム倍率、2次元スキャナの走査幅といった観察倍率の切り替えや、使用する光学系の切り替え(カラー観察光学系10及び共焦点レーザスキャニング光学系20の一方から他方への切り替え)等である。
メモリ84は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)などの半導体メモリである。記憶装置83は、例えば磁気ディスク装置であり、ハードディスクドライブであってもよい。なお、記憶装置83は、テープ装置であってもよく、フラッシュメモリなどの半導体メモリであってもよい。記憶装置83は、プログラム、補正情報、観察画像データ、貼り合わせ画像データ等を格納する。記憶装置83に格納されたプログラム、補正情報、観察画像データ、貼り合わせ画像データは、メモリ84にロードして使用される。
可搬記録媒体駆動装置86は、可搬記録媒体88を駆動する装置であり、可搬記録媒体88の記録内容にアクセスする。可搬記録媒体88は、例えば、半導体デバイス(USBメモリ等)、磁気的作用により情報が入出力される媒体(磁気ディスク等)、光学的作用により情報が入出力される媒体(CD−ROM、DVD等)などである。可搬記録媒体88は、プログラム、補正情報、観察画像データ、貼り合わせ画像データ等を格納してもよい。可搬記録媒体88に格納されたプログラム、補正情報、観察画像データ、貼り合わせ画像データが、メモリ84にロードされ、使用されてもよい。
なお、記憶装置83、可搬記録媒体88は、記憶部の一例である。
出力IF82は、観察画像データ、貼り合わせ画像データ等を不図示のモニタ等の表示媒体へ画像信号として出力するインタフェースである。入力IF81は、例えば、不図示の入力装置(キーボードやマウスなど)からデータを受信するインタフェースであり、観察者からの入力を受け付ける。
出力IF82は、観察画像データ、貼り合わせ画像データ等を不図示のモニタ等の表示媒体へ画像信号として出力するインタフェースである。入力IF81は、例えば、不図示の入力装置(キーボードやマウスなど)からデータを受信するインタフェースであり、観察者からの入力を受け付ける。
図3は、制御装置80の機能構成例を示す図である。
図3に示したように、制御装置80は、光源制御部801、露光制御部802、画像入出力部803、走査制御部804、変倍制御部805、レボルバ制御部806、ステージ制御部807、画角情報取得部808、ステージ座標補正部809、座標変換部810、及び貼り合わせ画像生成部811を備える。なお、これらの各部は、CPU85がプログラムを実行することにより実現されるものである。
図3に示したように、制御装置80は、光源制御部801、露光制御部802、画像入出力部803、走査制御部804、変倍制御部805、レボルバ制御部806、ステージ制御部807、画角情報取得部808、ステージ座標補正部809、座標変換部810、及び貼り合わせ画像生成部811を備える。なお、これらの各部は、CPU85がプログラムを実行することにより実現されるものである。
光源制御部801は、白色光源11、レーザ光源21のON、OFFを制御する。また、白色光源11、レーザ光源21に使用する光源の波長の切り替え等を制御してもよい。
露光制御部802は、カラーカメラ12、光検出器26の露光を制御する。
露光制御部802は、カラーカメラ12、光検出器26の露光を制御する。
光源制御部801と露光制御部802の制御により、カラー観察光学系10と共焦点レーザスキャニング光学系20のいずれかを用いて標本Sの撮像を行うかを選択する。用いる光学系の選択は、観察者からの光学系指示入力を検知することで実行される。これにより、使用する光学系の切り替えが行われる。
画像入出力部803は、カラーカメラ12、光検出器26からの画像信号(標本Sの観察画像データ)を受信する。また、画像入出力部803は、表示媒体に画像データを出力する。画像入出力部803が出力する画像データは、観察画像や貼り合わせ画像生成部811により生成された貼り合わせ画像等の画像データである。
走査制御部804は、2次元スキャナ23が標本Sを走査する際の走査幅を制御する。なお、この走査幅は、観察倍率に対応することからスキャナ倍率ともいう。走査制御部804は、例えば、観察者からのスキャナ倍率指示入力が検知されると、その指示に応じたスキャナ倍率へ切り替わるように2次元スキャナ23の走査幅を制御する。
変倍制御部805は、駆動モータ14を制御して光学ズーム機構13のズームレンズ131をZ方向に移動させることにより、光学ズーム機構13のズーム倍率を制御する。例えば、変倍制御部805は、観察者からのズーム倍率指示入力が検知されると、その指示に応じたズーム倍率へ切り替わるように駆動モータ14を制御する。
レボルバ制御部806は、駆動モータ50の制御によりレボルバ30を制御して、光路上に配置される対物レンズ31の切り替えや、レボルバ30(光路上に配置されている対物レンズ31)のZ方向への移動を制御する。例えば、レボルバ制御部806は、観察者からの対物レンズ倍率指示入力が検知されると、その指示に応じた倍率の対物レンズ31が光路上に配置されるように駆動モータ50を制御する。
ステージ制御部807は、駆動モータ60を制御してステージ40の移動を制御する。
例えば、ステージ制御部807は、観察者からのステージ移動指示入力が検知されると、その指示に応じたステージ移動が行われるように駆動モータ50を制御する。また、ステージ制御部807は、観察条件が切り替えられた時に、補正情報に基づいて駆動モータ60を制御してステージ40を移動させる。なお、ステージ制御部807は、ステージ位置補正部の一例である。
例えば、ステージ制御部807は、観察者からのステージ移動指示入力が検知されると、その指示に応じたステージ移動が行われるように駆動モータ50を制御する。また、ステージ制御部807は、観察条件が切り替えられた時に、補正情報に基づいて駆動モータ60を制御してステージ40を移動させる。なお、ステージ制御部807は、ステージ位置補正部の一例である。
画角情報取得部808は、カラーカメラ12又は光検出器26により観察画像が取得された時(その観察画像の画像信号を画像入出力部803が受信した時)に、当該観察画像の画角情報を取得する。画角情報は、使用される光学系がカラー観察光学系10である場合には、光路上に配置される対物レンズ31の倍率及び光学ズーム機構13のズーム倍率に基づいて取得され、使用される光学系が共焦点レーザスキャニング光学系20である場合には、光路上に配置される対物レンズ31の倍率及びスキャナ倍率に基づいて取得される。
ステージ座標補正部809は、カラーカメラ12又は光検出器26により観察画像が取得された時にステージ位置検知機構により取得された位置情報が示す座標(ステージ40の座標)を、補正情報に基づいて補正する。
座標変換部810は、ステージ座標補正部809により補正された座標を、貼り合わせ画像座標系の座標に変換する。なお、貼り合わせ画像座標系は、貼り合わせ画像生成部811が貼り合わせ画像を生成する際に使用される仮想的な座標系である。
貼り合わせ画像生成部811は、カラーカメラ12又は光検出器26により取得された観察画像(画像入出力部803が受信した観察画像)を、画角情報取得部により取得された画角情報に基づいてリサイズすると共に座標変換部810により変換された座標に基づいて貼り合わせ画像座標系に配置して貼り合わせ画像を生成する。
図4乃至図7は、補正情報の一例を示す図である。
図4は、対物レンズ31の倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報の一例を示す図である。図5は、光学ズーム機構13のズーム倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報の一例を示す図である。図6は、スキャナ倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報の一例を示す図である。図7は、使用される光学系の切り替えに伴う観察中心位置のずれを補正するための補正情報の一例を示す図である。
図4は、対物レンズ31の倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報の一例を示す図である。図5は、光学ズーム機構13のズーム倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報の一例を示す図である。図6は、スキャナ倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報の一例を示す図である。図7は、使用される光学系の切り替えに伴う観察中心位置のずれを補正するための補正情報の一例を示す図である。
図4に示した補正情報は、レボルバ30が備える複数の異なる対物レンズ31の倍率(5x、10x、20x、50x、100x)において、基準とする対物レンズ31の倍率(10x)から各対物レンズ31の倍率への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報である。各補正量は、X方向及びY方向の補正量(Δx、Δy)として表される。なお、この補正量は、対物レンズ31の倍率が切り替えられた場合に切り替え前後の各対物レンズ31の製造誤差等の影響により生じる光学系の芯ずれによる観察中心位置のずれを補正するものである。
図4に示した補正情報によれば、例えば、光路上に配置される対物レンズ31の倍率が、10xから20xへ切り替えられた場合の補正量は、X方向の補正量が8μm、Y方向の補正量が7μmになることを示している。また、この補正量は、対物レンズ31の倍率が10xから20xに切り替えられた場合に、観察中心位置がX方向に−8μmずれ、Y方向に−7μmずれることを示すものでもある。
なお、対物レンズ31の倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報は、図4に示した補正情報の他、基準とする対物レンズ31の倍率を10x以外の各倍率としたときの、当該倍率から各対物レンズ31の倍率への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報も有する。
図5に示した補正情報は、光学ズーム機構13における複数の異なるズーム倍率(1.0x、1.1x、1.2x・・・8.0x)において、基準とするズーム倍率(1.0x)から各ズーム倍率への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報である。各補正量は、X方向及びY方向の補正量(Δx、Δy)として表される。なお、この補正量は、光学ズーム機構13におけるズーム倍率が切り替えられた場合に光学ズーム機構13の製造誤差等の影響により生じる光学系の芯ずれによる観察中心位置のずれを補正するものである。
図5に示した補正情報によれば、例えば、ズーム倍率が1.0xから2.0xへ切り替えられた場合の補正量は、X方向の補正量が5μm、Y方向の補正量が9μmになることを示している。また、この補正量は、ズーム倍率が1.0xから2.0xへ切り替えられた場合に、観察中心位置がX方向に−5μmずれ、Y方向に−9μmずれることを示すものでもある。
なお、光学ズーム機構13のズーム倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報は、図5に示した補正情報の他、基準とするズーム倍率を1.0x以外の各ズーム倍率としたときの、当該ズーム倍率から各ズーム倍率への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報も有する。
図6に示した補正情報は、2次元スキャナ23における複数の異なるスキャナ倍率(1.0x、1.1x、1.2x・・・8.0x)において、基準とするスキャナ倍率(1.0x)から各スキャナ倍率への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報である。各補正量は、X方向及びY方向の補正量(Δx、Δy)として表される。なお、この補正量は、スキャナ倍率が切り替えられた場合に、2次元スキャナ23の製造誤差等の影響による観察中心位置のずれを補正するものである。
図6に示した補正情報によれば、例えば、スキャナ倍率が、1.0xから3.0xへ切り替えられた場合の補正量は、X方向の補正量が4μm、Y方向の補正量が−6μmになることを示している。また、この補正量は、スキャナ倍率が、1.0xから3.0xへ切り替えられた場合に、観察中心位置がX方向に−4μmずれ、Y方向に6μmずれることを示すものでもある。
なお、スキャナ倍率の切り替えに伴う観察中心位置のずれを補正するための補正情報は、図6に示した補正情報の他、基準とするスキャナ倍率を1.0x以外の各スキャナ倍率としたときの、当該スキャナ倍率から各スキャナ倍率への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報も有する。
図7に示した補正情報は、カラー観察光学系10及び共焦点レーザスキャニング光学系20において、基準とする光学系(カラー観察光学系10)から各光学系への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報である。各補正量は、X方向及びY方向の補正量(Δx、Δy)として表される。なお、この補正量は、光学系が切り替えられた場合に、切り替え前に使用されていたカラーカメラ12と切り替え後に使用される光検出器26の取付誤差(撮像面(受光面)に垂直な軸を回転軸とした回転方向の取付誤差等)等の影響による観察中心位置のずれを補正するものである。
図7に示した補正情報によれば、カラー観察光学系10から共焦点レーザスキャニング光学系20へ切り替えられた場合の補正量は、X方向の補正量が8μm、Y方向の補正量が7μmになることを示している。また、この補正量は、カラー観察光学系10から共焦点レーザスキャニング光学系20へ切り替えられた場合に、観察中心位置がX方向に−8μmずれ、Y方向に−7μmずれることを示すものでもある。
なお、使用される光学系の切り替えに伴う観察中心位置のずれを補正するための補正情報は、図7に示した補正情報の他、基準とする光学系を共焦点レーザスキャニング光学系20としたときの、当該共焦点レーザスキャニング光学系20から各光学系への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報も有する。
以上のように構成された顕微鏡システム1は、マップ機能を備えており、表示媒体に標本Sの観察領域(ミクロ領域)と共に標本Sのマクロ領域を表示し、表示されたマクロ領域上の対応する位置に観察領域を示す矩形枠を表示することより、観察者が標本Sの何れの位置を観察しているのかを確認できるようにしている。ここで、標本Sの観察領域の表示は、標本Sの観察画像(ライブ画像)を取得し、その観察画像の表示により行われる。標本Sのマクロ領域の表示は、標本Sの画像を複数取得し、その複数の画像を貼り合わせて生成した貼り合わせ画像の表示により行われる。あるいは、標本Sの低倍率画像を取得し、その低倍率画像の表示により行われてもよい。表示されたマクロ領域上の矩形枠の表示は、観察領域の画角情報等に基づいて、表示された貼り合わせ画像上の対応する位置に対応するサイズの矩形枠を表示することにより行われる。
図8は、このときの表示媒体の表示画面例を示す図である。
図8に示したように、表示画面90には、標本Sの観察領域(観察画像91)が表示されると共に標本Sのマクロ領域(貼り合わせ画像92)が表示され、表示されたマクロ領域上の対応する位置に対応するサイズで観察領域を示す矩形枠93が表示される。
図8に示したように、表示画面90には、標本Sの観察領域(観察画像91)が表示されると共に標本Sのマクロ領域(貼り合わせ画像92)が表示され、表示されたマクロ領域上の対応する位置に対応するサイズで観察領域を示す矩形枠93が表示される。
また、顕微鏡システム1は、観察領域の移動により、表示されているマクロ領域上から矩形枠が外れてしまう場合には、その時の観察領域の画像を取得して、その画像を更に貼り合わせて貼り合わせ画像の更新を行う。
また、顕微鏡システム1は、貼り合わせ画像の生成や更新の際に観察条件の切り替えが行われた場合であっても画像を適切に貼り合わせて貼り合わせ画像の生成や更新が適切に行われるように、観察条件の切り替えが行われた場合には次のような貼り合わせ画像生成処理を実行する。
図9は、対物レンズ31の倍率が切り替えられた場合に実行される貼り合わせ画像生成処理の一例を示すフローチャートである。
図9において、S11では、観察者からの対物レンズ倍率指示入力に応じて、レボルバ制御部806が、駆動モータ50を制御してレボルバ30を回転させ、その指示に応じた倍率の対物レンズ31を光路上に配置させる。ここでは、これにより光路上に配置される対物レンズ31の倍率が10xから20xへ切り替えられたとする。また、このときは、光学系としてカラー観察光学系10が使用されていて、光学ズーム機構13のズーム倍率が1.0xであったとする。
図9において、S11では、観察者からの対物レンズ倍率指示入力に応じて、レボルバ制御部806が、駆動モータ50を制御してレボルバ30を回転させ、その指示に応じた倍率の対物レンズ31を光路上に配置させる。ここでは、これにより光路上に配置される対物レンズ31の倍率が10xから20xへ切り替えられたとする。また、このときは、光学系としてカラー観察光学系10が使用されていて、光学ズーム機構13のズーム倍率が1.0xであったとする。
S12では、ステージ制御部807が、補正情報に基づいて駆動モータ60を制御し、ステージ40を移動させる。より詳しくは、S11での対物レンズ31の倍率の切り替えに伴う観察中心位置のずれを補正するように、補正情報に基づいて駆動モータ60を制御してステージ40を移動させる。この場合は、対物レンズ31の倍率が10xから20xへ切り替えられた場合であるので、図4に示した補正情報に基づいて、ステージ40をX方向へ−8μm、Y方向へ−7μm移動させる。すなわち、対物レンズ31の倍率の切り替えに伴う観察中心位置のずれに追従するように、ステージ40を移動させる。
S13では、S12でのステージ40の移動が終了した後にカラーカメラ12により取得された観察画像を画像入出力部803が受信する。また、画角情報取得部808は、この時の画角情報を取得する。ステージ座標補正部809は、この時にステージ位置検知機構70により検知されたステージ40の位置情報が示す座標(x,y)を、図4に示した補正情報に基づいて補正する。この補正では、次式(1)、(2)を用いて、補正後の座標(x´,y´)を算出する。
x´=x+Δx 式(1)
y´=y+Δy 式(2)
x´=x+Δx 式(1)
y´=y+Δy 式(2)
この場合は、対物レンズ31の倍率が10xから20xへ切り替えられた場合であるので、図4に示した補正情報に基づいて、Δxが8μm、Δyが7μmとして、補正後の座標(x´,y´)が算出される。
S14では、座標変換部810が、S13で算出された補正後の座標(x´,y´)を、貼り合わせ画像座標系の座標(u,v)に変換する。この変換では、次式(3)、(4)を用いて、変換後の座標(u,v)を算出する。
u=Map_u×(x´/マップ表示画角_x) (3)
v=Map_v×(y´/マップ表示画角_y) (4)
u=Map_u×(x´/マップ表示画角_x) (3)
v=Map_v×(y´/マップ表示画角_y) (4)
ここで、Map_uは、表示媒体の表示画面における貼り合わせ画像が表示され得る表示領域に対応する貼り合わせ画像座標系の領域(以下、「マップ領域」という)のU方向の範囲を示し、Map_vは、そのマップ領域のV方向の範囲を示す。また、マップ表示画角_xは、表示媒体の表示画面における貼り合わせ画像が表示され得る表示領域に対応する範囲の画角のX方向範囲を示し、マップ表示画角_yは、その表示領域に対応する範囲の画角のY方向範囲を示す。
また、貼り合わせ画像生成部811は、S13で画像入出力部803が受信した観察画像を、S13で画角情報取得部808が取得した画角情報に基づいてリサイズする。このリサイズでは、次式(5)、(6)を用いて、リサイズ後の観察画像のU方向範囲(観察範囲_u)及びV方向範囲(観察範囲_v)を算出し、その両方の範囲で規定されるサイズにリサイズする。
観察範囲_u=Map_u×(観察画像画角_x/マップ表示画角_x) (5)
観察範囲_v=Map_v×(観察画像画角_y/マップ表示画角_y) (6)
ここで、観察画像画角_xは、観察画像の画角のX方向範囲を示し、観察画像画角_yは、観察画像の画角のY方向範囲を示す。
観察範囲_v=Map_v×(観察画像画角_y/マップ表示画角_y) (6)
ここで、観察画像画角_xは、観察画像の画角のX方向範囲を示し、観察画像画角_yは、観察画像の画角のY方向範囲を示す。
そして、貼り合わせ画像生成部811は、リサイズした観察画像を、貼り合わせ画像座標系における上記の変換後の座標(u,v)に配置し、このときにマップ領域に配置されている画像を貼り合わせて貼り合わせ画像を生成(更新)する。なお、生成された貼り合わせ画像は、画像入出力部803により表示媒体へ出力され、表示媒体により表示される。また、このときには、表示された貼り合わせ画像上において、リサイズ後の観察画像が配置された領域に対応する画像領域が矩形枠として表示される。
その後、例えば、観察者からのステージ40の移動指示が入力された場合には、ステージ制御部807が、その移動指示に応じて駆動モータ60を制御してステージ40を移動させると共に、上述のS13及びS14の処理が行われる。
このような処理により、貼り合わせ画像の生成や更新の際に対物レンズ31の倍率が切り替えられた場合であっても、その切り替えに伴う観察中心位置のずれにより画像がずれて貼り合わされることは無く、貼り合わせ画像の生成や更新を適切に行うことができる。
図10は、このようにして生成された貼り合わせ画像の一例を示す図である。
図10に示した貼り合わせ画像は、対物レンズ31の切り替え前(即ち対物レンズの倍率が10xのとき)に取得、リサイズされた標本Sの複数の観察画像911と、対物レンズ31の切り替え後(即ち対物レンズの倍率が20xのとき)に取得、リサイズされた標本Sの複数の観察画像912と、を貼り合わせて生成された貼り合わせ画像である。
図10に示した貼り合わせ画像は、対物レンズ31の切り替え前(即ち対物レンズの倍率が10xのとき)に取得、リサイズされた標本Sの複数の観察画像911と、対物レンズ31の切り替え後(即ち対物レンズの倍率が20xのとき)に取得、リサイズされた標本Sの複数の観察画像912と、を貼り合わせて生成された貼り合わせ画像である。
図11は、光学系が切り替えられた場合に実行される貼り合わせ画像生成処理の一例を示すフローチャートである。
図11において、S21では、観察者からの光学系指示入力に応じて、光源制御部801は制御対象を白色光源11又はレーザ光源21へ切り替え、露光制御部802は制御対象をカラーカメラ12又は光検出器26へ切り替える。ここでは、カラー観察光学系10が使用されているときに共焦点レーザスキャニング光学系20が指示され、光源制御部801が制御対象を白色光源11からレーザ光源21へ切り替え、露光制御部802が制御対象をカラーカメラ12から光検出器26へ切り替えたとする。また、このときは、対物レンズ31の倍率が10x、スキャナ倍率が1.0xであったとする。
図11において、S21では、観察者からの光学系指示入力に応じて、光源制御部801は制御対象を白色光源11又はレーザ光源21へ切り替え、露光制御部802は制御対象をカラーカメラ12又は光検出器26へ切り替える。ここでは、カラー観察光学系10が使用されているときに共焦点レーザスキャニング光学系20が指示され、光源制御部801が制御対象を白色光源11からレーザ光源21へ切り替え、露光制御部802が制御対象をカラーカメラ12から光検出器26へ切り替えたとする。また、このときは、対物レンズ31の倍率が10x、スキャナ倍率が1.0xであったとする。
S22では、ステージ制御部807が、補正情報に基づいて駆動モータ60を制御し、ステージ40を移動させる。より詳しくは、S21での光学系の切り替えに伴う観察中心位置のずれを補正するように、補正情報に基づいて駆動モータ60を制御してステージ40を移動させる。この場合は、カラー観察光学系10から共焦点レーザスキャニング光学系20への切り替え(カラーカメラ12から光検出器26への切り替え)であるので、図7に示した補正情報に基づいて、ステージ40をX方向へ−8μm、Y方向へ−7μm移動させる。すなわち、光学系の切り替えに伴う観察中心位置のずれに追従するように、ステージ40を移動させる。
S23では、S22でのステージ40の移動が終了した後に光検出器26により取得された観察画像を画像入出力部803が受信する。また、画角情報取得部808は、この時の画角情報を取得する。ステージ座標補正部809は、この時にステージ位置検知機構70により検知されたステージ40の位置情報が示す座標(x,y)を、図7に示した補正情報に基づいて補正する。この補正では、上述の式(1)、(2)を用いて、補正後の座標(x´,y´)を算出する。この場合は、カラー観察光学系10から共焦点レーザスキャニング光学系20への切り替えであるので、図7に示した補正情報に基づいて、Δxが8μm、Δyが7μmとして、補正後の座標(x´,y´)が算出される。
S24では、座標変換部810が、S23で算出された補正後の座標(x´,y´)を、貼り合わせ画像座標系の座標(u,v)に変換する。この変換では、上述の式(3)、(4)を用いて、変換後の座標(u,v)を算出する。
また、貼り合わせ画像生成部811は、S23で画像入出力部803が受信した観察画像を、S23で画角情報取得部808が取得した画角情報に基づいてリサイズする。このリサイズでは、上述の式(5)、(6)を用いて、リサイズ後の観察画像のU方向範囲及びV方向範囲を算出し、その両方の範囲で規定されるサイズにリサイズする。
そして、貼り合わせ画像生成部811は、リサイズした観察画像を、貼り合わせ画像座標系における上記の変換後の座標(u,v)に配置し、このときにマップ領域に配置されている画像を貼り合わせて貼り合わせ画像を生成(更新)する。生成された貼り合わせ画像は、画像入出力部803により表示媒体へ出力され、表示媒体により表示される。また、このときには、表示された貼り合わせ画像上において、リサイズ後の観察画像が配置された領域に対応する画像領域が矩形枠として表示される。
その後、例えば、観察者からのステージ40の移動指示が入力された場合には、ステージ制御部807が、その移動指示に応じて駆動モータ60を制御してステージ40を移動させると共に、上述のS23及びS24の処理が行われる。
このような処理により、貼り合わせ画像の生成や更新の際に光学系が切り替えられた場合であっても、その切り替えに伴う観察中心位置のずれにより画像がずれて貼り合わされることは無く、貼り合わせ画像の生成や更新を適切に行うことができる。
なお、図示はしないが、光学ズーム機構13のズーム倍率が切り替えられた場合には、例えば図5に示した補正情報に基づいて同様にして貼り合わせ画像生成処理が実行される。また、2次元スキャナ23のスキャナ倍率が切り替えられた場合には、例えば図6に示した補正情報に基づいて同様にして貼り合わせ画像生成処理が実行される。
また、このような貼り合わせ画像生成処理では、観察条件が切り替えられた時に行われるステージ40の移動中(例えば図9のS12や図11のS22でのステージの移動中)において取得された観察画像のリサイズ及び貼り合わせ画像座標系への配置は行われない。これは、ステージ40の位置が補正されていない状態で取得された観察画像並びにその時の画角情報及びステージ40の座標に基づいてリサイズ及び貼り合わせ画像座標系への配置が行われてしまうと、貼り合わせ画像の生成が適切に行われないからである。
図12は、図9のS13及びS14(又は図11のS23及びS24)の処理過程の一部を模式的に示す図である。
図12に示したように、S13及びS14(又はS23及びS24)の処理では、現在の観察中心位置であるステージ40の座標(x,y)が、補正情報(Δx,Δy)に基づいて補正されて補正後の座標(x´,y´)が得られ、更に貼り合わせ画像座標系の座標に変換されて変換後の座標(u,v)が得られる。また、リサイズ後の観察画像のサイズを規定する観察範囲_u、観察範囲_vが求められ、その両方で規定されるサイズにリサイズされた観察画像が、貼り合わせ画像座標系における変換後の座標(u,v)に配置される。
図12に示したように、S13及びS14(又はS23及びS24)の処理では、現在の観察中心位置であるステージ40の座標(x,y)が、補正情報(Δx,Δy)に基づいて補正されて補正後の座標(x´,y´)が得られ、更に貼り合わせ画像座標系の座標に変換されて変換後の座標(u,v)が得られる。また、リサイズ後の観察画像のサイズを規定する観察範囲_u、観察範囲_vが求められ、その両方で規定されるサイズにリサイズされた観察画像が、貼り合わせ画像座標系における変換後の座標(u,v)に配置される。
以上のように、本実施形態に係る顕微鏡システム1によれば、貼り合わせ画像の生成や更新の際に観察条件が切り替えられた場合であっても、画像を適切に貼り合わせて貼り合わせ画像の生成や更新を適切に行うことができる。
なお、本実施形態に係る顕微鏡システム1では、次のような変形が可能である。
例えば、貼り合わせ画像生成部811は、カラーカメラ12又は光検出器26により取得された観察画像をリサイズして貼り合わせ画像座標系に配置するか否かを、その観察画像のコントラスト値に基づいて決定するようにしてもよい。この場合は、例えば、そのコントラスト値が所定値未満である場合には、リサイズ及び貼り合わせ画像座標系への配置を行わないようにしてもよい。このようにする理由は、例えば、観察倍率が高倍率へ切り替えられた場合(高倍率の対物レンズ31へ切り替えられた場合等)に、取得される観察画像においてボケが生じたり焦点位置がずれたりしてコントラストが低下する虞があり、このような画像が貼り合わされてしまうと、貼り合わせ画像の画質が劣化するからである。
例えば、貼り合わせ画像生成部811は、カラーカメラ12又は光検出器26により取得された観察画像をリサイズして貼り合わせ画像座標系に配置するか否かを、その観察画像のコントラスト値に基づいて決定するようにしてもよい。この場合は、例えば、そのコントラスト値が所定値未満である場合には、リサイズ及び貼り合わせ画像座標系への配置を行わないようにしてもよい。このようにする理由は、例えば、観察倍率が高倍率へ切り替えられた場合(高倍率の対物レンズ31へ切り替えられた場合等)に、取得される観察画像においてボケが生じたり焦点位置がずれたりしてコントラストが低下する虞があり、このような画像が貼り合わされてしまうと、貼り合わせ画像の画質が劣化するからである。
あるいは、貼り合わせ画像生成部811は、カラーカメラ12又は光検出器26により取得された観察画像をリサイズして貼り合わせ画像座標系に配置するか否かを、その観察画像と貼り合わせ画像座標系に既に配置されている画像との間でのコントラスト値の比較結果に基づいて決定するようにしてもよい。この場合は、例えば、観察画像のコントラスト値が貼り合わせ画像座標系に既に配置されている画像のコントラスト値よりも低く且つ所定値以上の差がある場合には、リサイズ及び貼り合わせ画像座標系への配置を行わないようにしてもよい。これも、生成される貼り合わせ画像の画質劣化を防止するために行われる。
また、例えば、顕微鏡システム1は、光学ズーム機構13及び駆動モータ14を備えない構成としてもよいし、カラー観察光学系10を備えない構成としてもよいし、共焦点レーザスキャニング光学系20を備えない構成としてもよい。
以上、上述した実施形態は、発明の理解を容易にするために本発明の具体例を示したものであり、本発明は上述の実施形態に限定されるものではない。本発明は、特許請求の範囲に規定された本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。
1 顕微鏡システム
10 カラー観察光学系
11 白色光源
12 カラーカメラ
13 光学ズーム機構
14 駆動モータ
15 ハーフミラー
20 共焦点レーザスキャニング光学系
21 レーザ光源
22 ハーフミラー
23 2次元スキャナ
24 ダイクロイックミラー
25 ピンホール
26 光検出器
30 レボルバ
31 対物レンズ
40 ステージ
50、60 駆動モータ
70 ステージ位置検知機構
80 制御装置
81 入力インタフェース(入力IF)
82 出力インタフェース(出力IF)
83 記憶装置
84 メモリ
85 CPU
86 可搬記録媒体駆動装置
87 バス
88 可搬記録媒体
90 表示画面
91 観察画像
92 貼り合わせ画像
93 矩形枠
131 ズームレンズ
801 光源制御部
802 露光制御部
803 画像入出力部
804 走査制御部
805 変倍制御部
806 レボルバ制御部
807 ステージ制御部
808 画角情報取得部
809 ステージ座標補正部
810 座標変換部
811 貼り合わせ画像生成部
911、912 観察画像
S 標本
10 カラー観察光学系
11 白色光源
12 カラーカメラ
13 光学ズーム機構
14 駆動モータ
15 ハーフミラー
20 共焦点レーザスキャニング光学系
21 レーザ光源
22 ハーフミラー
23 2次元スキャナ
24 ダイクロイックミラー
25 ピンホール
26 光検出器
30 レボルバ
31 対物レンズ
40 ステージ
50、60 駆動モータ
70 ステージ位置検知機構
80 制御装置
81 入力インタフェース(入力IF)
82 出力インタフェース(出力IF)
83 記憶装置
84 メモリ
85 CPU
86 可搬記録媒体駆動装置
87 バス
88 可搬記録媒体
90 表示画面
91 観察画像
92 貼り合わせ画像
93 矩形枠
131 ズームレンズ
801 光源制御部
802 露光制御部
803 画像入出力部
804 走査制御部
805 変倍制御部
806 レボルバ制御部
807 ステージ制御部
808 画角情報取得部
809 ステージ座標補正部
810 座標変換部
811 貼り合わせ画像生成部
911、912 観察画像
S 標本
Claims (11)
- 標本の画像を貼り合わせて貼り合わせ画像を生成する顕微鏡システムであって、
前記標本が載置されるステージと、
前記ステージを移動させるステージ駆動部と、
前記ステージの座標を取得するステージ座標取得部と、
前記標本の画像を取得する第1の撮像部と、
観察条件の切り替えに伴う観察中心位置のずれを補正するための補正情報を記憶する記憶部と、
前記観察条件が切り替えられた時に前記補正情報に基づいて前記ステージ駆動部に前記ステージを移動させるステージ位置補正部と、
前記第1の撮像部により前記標本の画像が取得された時の画角情報を取得する画角情報取得部と、
前記第1の撮像部により前記標本の画像が取得された時に前記ステージ座標取得部により取得された前記ステージの座標を、前記補正情報に基づいて補正するステージ座標補正部と、
前記ステージ座標補正部により補正された前記ステージの座標を、貼り合わせ画像座標系の座標に変換する座標変換部と、
前記第1の撮像部により取得された画像を前記画角情報取得部により取得された画角情報に基づいてリサイズすると共に前記座標変換部により変換された座標に基づいて前記貼り合わせ画像座標系に配置して貼り合わせ画像を生成する貼り合わせ画像生成部と、
を備えることを特徴とする顕微鏡システム。 - 前記観察条件の切り替えは、観察倍率の切り替えであり、
前記補正情報は、前記観察倍率の切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報を含む、
ことを特徴とする請求項1記載の顕微鏡システム。 - 前記補正情報は、複数の異なる観察倍率において、基準とする観察倍率から各観察倍率への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報を含む、
ことを特徴とする請求項2記載の顕微鏡システム。 - 前記観察倍率は、対物レンズの倍率である、
ことを特徴とする請求項2又は3記載の顕微鏡システム。 - 前記観察倍率は、光学ズーム機構のズーム倍率である、
ことを特徴とする請求項2又は3記載の顕微鏡システム。 - 前記観察倍率は、前記標本に対して光源から発せられた光を2次元方向に走査させる2次元走査機構の走査幅である、
ことを特徴とする請求項2又は3記載の顕微鏡システム。 - 前記標本の画像を取得する第2の撮像部を更に備え、
前記観察条件の切り替えは、観察に使用する撮像部を、前記第1の撮像部及び前記第2の撮像部の一方から他方へ切り替えることであり、
前記補正情報は、前記第1の撮像部及び第2の撮像部の一方から他方への切り替えに伴う観察中心位置のずれを補正するための補正量に関する情報を含む、
ことを特徴とする請求項1記載の顕微鏡システム。 - 前記貼り合わせ画像生成部は、前記撮像部により取得された画像をリサイズして前記貼り合わせ画像座標系に配置するか否かを、前記撮像部により取得された画像のコントラスト値に基づいて決定する、又は、前記撮像部により取得された画像と前記貼り合わせ画像座標系に既に配置されている画像との間でのコントラスト値の比較結果に基づいて決定する、
ことを特徴とする請求項1記載の顕微鏡システム。 - 前記貼り合わせ画像生成部は、前記ステージ位置補正部が前記ステージ駆動部に前記ステージを移動させている間に前記撮像部により取得された画像に対する前記リサイズ及び前記貼り合わせ画像座標系への配置を行わない、
ことを特徴とする請求項1記載の顕微鏡システム。 - 顕微鏡システムのコンピュータに、
観察条件が切り替えられた時に、前記観察条件の切り替えに伴う観察中心位置のずれを補正するための補正情報に基づいて、標本が載置されたステージを移動させ、
前記標本の画像を取得し、当該画像取得時の画角情報及び前記ステージの座標を取得し、当該座標を前記補正情報に基づいて補正し、当該補正後の座標を貼り合わせ画像座標系の座標に変換し、前記画像を前記画角情報に基づいてリサイズすると共に前記変換後の座標に基づいて前記貼り合わせ画像座標系に配置して貼り合わせ画像を生成する、
という処理を実行させることを特徴とする貼り合わせ画像生成プログラム。 - 顕微鏡システムの貼り合わせ画像生成方法であって、
観察条件が切り替えられた時に、前記観察条件の切り替えに伴う観察中心位置のずれを補正するための補正情報に基づいて、標本が載置されたステージを移動させ、
前記標本の画像を取得し、当該画像取得時の画角情報及び前記ステージの座標を取得し、当該座標を前記補正情報に基づいて補正し、当該補正後の座標を貼り合わせ画像座標系の座標に変換し、前記画像を前記画角情報に基づいてリサイズすると共に前記変換後の座標に基づいて前記貼り合わせ画像座標系に配置して貼り合わせ画像を生成する、
ことを特徴とする貼り合わせ画像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007840A JP2018116197A (ja) | 2017-01-19 | 2017-01-19 | 顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007840A JP2018116197A (ja) | 2017-01-19 | 2017-01-19 | 顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018116197A true JP2018116197A (ja) | 2018-07-26 |
Family
ID=62985430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017007840A Pending JP2018116197A (ja) | 2017-01-19 | 2017-01-19 | 顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018116197A (ja) |
-
2017
- 2017-01-19 JP JP2017007840A patent/JP2018116197A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5497386B2 (ja) | 画像取得装置 | |
JP5006062B2 (ja) | バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム | |
JP2007102190A (ja) | 観察装置および観察方法 | |
JP5532459B2 (ja) | 顕微鏡システム | |
CN111788508B (zh) | 数码显微镜和用于改变数码显微镜的放大率的方法 | |
JP2012013996A (ja) | 情報処理装置、ステージうねり補正方法、プログラム | |
JP2007024927A (ja) | 顕微鏡画像撮影装置 | |
US9667853B2 (en) | Image-capturing apparatus | |
JP4878815B2 (ja) | 顕微鏡装置 | |
JP2014163976A (ja) | 画像取得装置および画像取得システム | |
JP2010256530A (ja) | 顕微鏡装置 | |
JP2006284965A (ja) | 顕微鏡装置及び拡大画像生成方法 | |
JP2002131646A (ja) | 走査型顕微鏡法における位置信号および検出信号の位相補正のための方法ならびに装置および走査型顕微鏡 | |
JP6253509B2 (ja) | 画像表示方法、制御装置、顕微鏡システム | |
JP2007108223A (ja) | 顕微鏡システム | |
WO2018061756A1 (ja) | 観察装置および方法並びに観察装置制御プログラム | |
JP5019279B2 (ja) | 共焦点顕微鏡及び合焦カラー画像の生成方法 | |
WO2019202979A1 (ja) | 観察装置、観察装置の作動方法、及び観察制御プログラム | |
JP5996462B2 (ja) | 画像処理装置、顕微鏡システム及び画像処理方法 | |
JP5730696B2 (ja) | 画像処理装置および画像表示システム | |
JP2018116197A (ja) | 顕微鏡システム、貼り合わせ画像生成プログラム、及び貼り合わせ画像生成方法 | |
JP2012083621A (ja) | 走査型レーザ顕微鏡 | |
JP6797659B2 (ja) | 顕微鏡装置、プログラム、観察方法 | |
JP5197246B2 (ja) | 顕微鏡システム | |
US11531194B2 (en) | Microscope having an imaging optical unit for recording |