JP6173032B2 - 顕微鏡システム - Google Patents

Description

本発明は、試料の異なる領域を撮像した複数の画像から貼り合わせ画像を生成する顕微鏡システムに関する。

顕微鏡の分野では、試料の異なる領域を撮像した複数の画像を貼り合わせることにより、顕微鏡の視野よりも広い領域を撮像した広視野画像（以降、貼り合わせ画像と記す）を生成する技術が知られている。

ところで、画像を取得する度に取得した画像を貼り合わせて貼り合わせ画像を更新する場合、貼り合わせ画像の撮影中に、貼り合わせ画像の表示サイズが表示装置の表示領域のサイズよりも大きくなってしまうことがある。この場合、貼り合わせ画像全体が表示装置に表示されずその一部のみが表示されることになるため、貼り合わせ画像とともにライブ画像が表示領域に表示される顕微鏡システムでは、貼り合わせ画像に対するライブ画像の相対位置を正しく認識することができない。

このような技術的な課題に関連する技術は、例えば、特許文献１に開示されている。特許文献１に開示される撮像装置は、モザイク画像（貼り合わせ画像）が更新される毎に、モザイク画像全体とフレーム画像（ライブ画像）全体が同時に表示されるように縮小処理を行う。

特開２０１３−０２１７０７号公報

特許文献１に開示される撮像装置によれば、貼り合わせ画像に対するライブ画像の相対位置を利用者に正しく認識させることができる。

しかしながら、特許文献１に開示される撮像装置では、縮小処理での縮小率が高くなるほどライブ画像の表示サイズが小さくなる。このため、貼り合わせ画像の撮影が進んで縮小率が高くなると、ライブ画像の内容を詳細に把握することが困難になり、その結果、ライブ画像を見ながら貼り合わせ領域を適切に指定することが困難になってしまう。また、ライブ画像の代わりに現在の視野位置を示すライブ位置枠が表示される顕微鏡システムの場合には、ライブ位置枠が非常に小さく表示されることで、貼り合わせ領域の適切な指定が困難となる。
以上のような実情を踏まえ、所望の貼り合わせ画像を容易に生成することができる顕微鏡システムを提供することを目的とする。

本発明の第１の態様は、試料を撮像して前記試料の画像を取得する画像取得部と、前記画像取得部の視野を前記試料に対して相対的に移動させる視野移動部と、前記画像取得部で取得した複数の画像を前記複数の画像の各々を取得したときの前記画像取得部の視野の位置に従って貼り合わせて貼り合わせ画像を生成する貼り合わせ画像生成部と、前記貼り合わせ画像と前記画像取得部で取得した前記画像取得部の現在の視野の画像であるライブ画像とを表示するための表示部と、利用者によって入力される情報に基づいて前記貼り合わせ画像を表示すべきサイズである表示サイズを特定する表示サイズ特定部と、利用者による指示により、前記貼り合せ画像生成部における前記貼り合せ画像を生成する処理の開始及び終了の指示を行う貼り合せ画像生成開始終了指示部と、前記貼り合せ画像生成開始終了指示部による、前記開始の指示が行われてから前記終了の指示が行われるまでの間、前記貼り合わせ画像が前記表示サイズ特定部で特定した表示サイズになるように、前記貼り合わせ画像と前記ライブ画像とを同じ倍率で拡大または縮小する拡大縮小部と、前記貼り合わせ画像と前記ライブ画像の各々で画像化された前記試料の領域の位置関係に従って、前記拡大縮小部で拡大または縮小された貼り合わせ画像とライブ画像とを前記表示部に表示させる表示制御部と、を備え、前記拡大縮小部は、前記貼り合せ画像生成開始終了指示部で前記終了の指示が行われると、前記貼り合せ画像生成開始終了指示部による、前記開始の指示が行われてから前記終了の指示が行われるまでの間に前記貼り合わせ画像生成部で生成された貼り合せ画像である貼り合わせ完了画像全体が前記表示部の表示領域に収まるように、前記貼り合わせ完了画像を自動で拡大または縮小し、前記表示制御部は、前記拡大縮小部で拡大又は縮小された貼り合わせ完了画像を前記表示部に表示させる顕微鏡システムを提供する。

本発明の第２の態様は、第１の態様に記載の顕微鏡システムにおいて、さらに、前記利用者が操作する操作部を備え、前記表示制御部は、それぞれ異なる表示サイズに対応する複数の情報を前記表示部に一覧表示させ、前記表示サイズ特定部は、前記利用者が前記操作部を操作することにより前記複数の情報から選択した情報に基づいて、前記貼り合わせ画像を表示すべき表示サイズを特定する顕微鏡システムを提供する。

本発明の第３の態様は、第１の態様に記載の顕微鏡システムにおいて、さらに、前記利用者が操作する操作部を備え、前記表示サイズ特定部は、前記利用者の前記操作部に対する操作量に基づいて、前記貼り合わせ画像を表示すべき表示サイズを特定する微鏡システムを提供する。

本発明の第４の態様は、第３の態様に記載の顕微鏡システムにおいて、前記操作部は、ホイールを有するマウスであり、前記表示サイズ特定部は、前記ホイールの回転量に基づいて、前記貼り合わせ画像を表示すべき表示サイズを特定する顕微鏡システムを提供する。
本発明の第５の態様は、第１の態様に記載の顕微鏡システムにおいて、前記表示部は、前記画像取得部の現在の視野の画像であるライブ画像を表示する代わりに、現在の視野位置を示すライブ位置枠を表示する顕微鏡システムを提供する。

本発明の第６の態様は、第１の態様に記載の顕微鏡システムにおいて、前記利用者によって入力される情報は、前記表示部の表示領域のサイズに対する前記貼り合わせ画像を表示すべき表示サイズの割合である顕微鏡システムを提供する。

本発明の第７の態様は、第１の態様に記載の顕微鏡システムにおいて、前記利用者によって入力される情報は、前記貼り合わせ画像生成部で生成された貼り合わせ画像のサイズに対する前記貼り合わせ画像を表示すべき表示サイズの割合である顕微鏡システムを提供する。

本発明の第８の態様は、第１の態様に記載の顕微鏡システムにおいて、前記利用者によって入力される情報は、前記画像取得部で取得されたライブ画像のサイズに対する前記貼り合わせ画像を表示すべき表示サイズの割合である顕微鏡システムを提供する。

本発明の第９の態様は、第１の態様に記載の顕微鏡システムにおいて、前記拡大縮小部は、前記拡大縮小部で拡大または縮小された貼り合わせ完了画像のサイズが前記表示部の表示領域に収まる最も大きなサイズになるように、前記貼り合わせ完了画像を拡大または縮小する顕微鏡システムを提供する。

本発明の第１０の態様は、第１の態様に記載の顕微鏡システムにおいて、前記拡大縮小部は、前記拡大縮小部で拡大または縮小された貼り合わせ完了画像の周囲に所定幅の余白を設けた画像のサイズが前記表示部の表示領域に収まる最も大きなサイズになるように、前記貼り合わせ完了画像を拡大または縮小する顕微鏡システムを提供する。

本発明の第１１の態様は、第１の態様に記載の顕微鏡システムにおいて、前記拡大縮小部は、前記拡大縮小部で拡大または縮小された貼り合わせ完了画像全体が前記表示部の表示領域に収まる場合には、前記表示サイズ特定部で特定した表示サイズに従って前記貼り合わせ完了画像を拡大または縮小する顕微鏡システムを提供する。

本発明によれば、所望の貼り合わせ画像を容易に生成することができる顕微鏡システムを提供することができる。

本発明の一実施形態に係る顕微鏡システムの構成を示す図である。 図１に示す顕微鏡システムで行われる貼り合わせ画像撮影処理の手順を示すフローチャートである。 図１に示す顕微鏡システムの表示装置に表示される画面の構成を例示した図である。 図１に示す顕微鏡システムで行われる貼り合わせ画像撮影処理について説明するための図である。 図１に示す顕微鏡システムで行われる貼り合わせ画像撮影処理について説明するための別の図である。 図１に示す顕微鏡システムで行われる貼り合わせ画像撮影処理について説明するための更に別の図である。 図１に示す顕微鏡システムで行われる表示サイズ変更処理の手順を示すフローチャートである。 図１に示す顕微鏡システムで行われる表示サイズ変更処理について説明するための図である。 図１に示す顕微鏡システムで行われる表示サイズ変更処理について説明するための別の図である。 図１に示す入力装置の一例を示した図である。

図１は、本発明の一実施形態に係る顕微鏡システム１００の構成を示す図である。顕微鏡システム１００は、試料の異なる複数の領域を撮像して複数の画像を取得し、撮像した領域の位置関係に従ってそれら複数の画像を貼り合わせることで、貼り合わせ画像を生成する顕微鏡システムである。

顕微鏡システム１００は、図１に示すように、顕微鏡本体１１０、撮像素子１２１を有する撮像装置１２０、光源１３１を有する光源ユニット１３０、制御装置１４０、表示装置１５０、入力装置１６０、撮像装置１２０を制御する撮像制御装置１７０、及び、顕微鏡本体１１０を制御する顕微鏡制御装置１８０を備えている。

顕微鏡本体１１０は、ハーフミラー１１１、レボルバ１１２、レボルバ１１２に装着された対物レンズ１１３、試料Ｓを配置するステージ１１４、結像レンズ１１５を備えている。

ハーフミラー１１１は、光源１３１から出射される照明光の光路と試料Ｓからの観察光の光路とを分岐させる光路分岐手段である。なお、顕微鏡本体１１０は、観察方法に応じて、光路分岐手段として、ハーフミラー１１１の代わりにダイクロイックミラーなどを備えても良い。

レボルバ１１２は、複数の対物レンズを保持する対物レンズ保持手段であるとともに、これら複数の対物レンズの間で光路上に配置される対物レンズを切り替える対物レンズ切り替え手段である。レボルバ１１２は、顕微鏡制御装置１８０の制御の下で、回転またはスライドすることにより、対物レンズを切り替える。
対物レンズ１１３は、任意の倍率の対物レンズであり、レボルバ１１２に交換可能に保持されている。

ステージ１１４は、光路上に配置された対物レンズ１１３に対して試料Ｓを相対的に移動させる観察位置変更手段である。ステージ１１４は、顕微鏡制御装置１８０の制御の下で、対物レンズ１１３の光軸と直交するＸＹ方向、及び、光軸と平行なＺ方向に、試料Ｓを移動させる。
結像レンズ１１５は、対物レンズ１１３を介して入射する試料Ｓからの観察光を、撮像素子１２１の受光面上に集光させるレンズである。

撮像装置１２０は、試料Ｓを撮像する装置であり、撮像素子１２１を備えている。撮像装置１２０は、撮像制御装置１７０の制御の下で、試料Ｓを撮像する。撮像素子１２１は特に限定されないが、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などである。

なお、顕微鏡システム１００では、顕微鏡本体１１０及び撮像装置１２０が、試料Ｓの画像を取得する画像取得部として機能する。画像取得部には、後述するライブ画像生成部１４１及び撮影画像生成部１４３が含まれるものと解釈してもよい。顕微鏡本体１１０及び撮像装置１２０により取得された試料Ｓの画像は、撮像装置１２０から制御装置１４０へ送信される。また、顕微鏡システム１００では、顕微鏡本体１１０のステージ１１４が、画像取得部の視野を試料Ｓに対して相対的に移動させる視野移動部として機能する。

光源ユニット１３０は、照明光を出射する照明装置であり、光源１３１を備えている。光源１３１は特に限定されないが、例えば、水銀ランプ、ハロゲンランプ、キセノンランプ、または、ＬＥＤ（Light Emitting Diode）などである。光源ユニット１３０と顕微鏡本体１１０は光ファイバーで接続されていてもよい。光源１３１の発光制御は、顕微鏡制御装置１８０により行われても良い。

制御装置１４０は、顕微鏡システム１００全体を制御する装置であり、ライブ画像生成部１４１、相対移動量算出部１４２、撮影画像生成部１４３、貼り合わせ画像生成部１４４、表示サイズ特定部１４５、拡大縮小部１４６、表示制御部１４７、及び、記憶部１４８を備えている。なお、制御装置１４０は、例えば、パーソナルコンピュータなどであり、少なくとも、制御プログラムを実行するＣＰＵ、制御プログラムをロードするメモリ、及び、制御プログラムを不揮発的に記憶する記憶装置または可搬記録媒体等のハードウェアを備えている。

ライブ画像生成部１４１は、撮像装置１２０から随時出力される試料Ｓの画像を受信する。そして、受信した画像に所定の画像処理を行って現在の視野の画像であるライブ画像を生成する。その後、ライブ画像を記憶部１４８に揮発的に記憶させるとともに相対移動量算出部１４２と拡大縮小部１４６へ送信する。なお、ライブ画像生成部１４１で行われる画像処理は、例えば、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理などである。

相対移動量算出部１４２は、試料Ｓに対する画像取得部の視野の相対的な移動量を算出する。具体的には、相対移動量算出部１４２は、ライブ画像生成部１４１から送信されたライブ画像を受信し、直前に受信したライブ画像と比較して、ＸＹ方向の相対的な移動量を算出する。なお、相対移動量算出部１４２は、ライブ画像からＸＹ方向の相対的な移動量を算出する代わりに、ステージ１１４を駆動させる駆動信号などからＸＹ方向の相対的な移動量を算出してもよい。算出された相対的な移動量は、貼り合わせ画像生成部１４４に送信される。

撮影画像生成部１４３は、利用者による撮影指示に応じて撮像装置１２０から出力される試料Ｓの画像を受信して、受信した画像に所定の画像処理を行って撮影画像を生成する。その後、撮影画像を記憶部１４８に不揮発的に記憶させるとともに貼り合わせ画像生成部１４４へ送信する。撮影画像生成部１４３は、撮影画像をＪＰＥＧ方式などの所定の方式で圧縮し、圧縮した撮影画像を記憶部１４８に不揮発的に記憶させても良い。なお、撮影画像生成部１４３で行われる画像処理は、例えば、オプティカルブラック減算処理、ホワイトバランス調整処理、同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理などである。

貼り合わせ画像生成部１４４は、撮影画像生成部１４３から随時受信する複数の撮影画像をこれらが撮像された領域の並びどおりに貼り合わせて貼り合わせ画像を生成する。換言すると、貼り合わせ画像生成部１４４は、画像取得部で取得した複数の撮影画像を複数の撮影画像の各々を取得したときの画像取得部の視野の位置に従って貼り合わせて貼り合わせ画像を生成する。

より詳細には、貼り合わせ画像生成部１４４は、相対移動量算出部１４２から送信された相対移動量を受信し、既に受信した相対移動量の合計に足し合わせることで視野の現在位置を算出する。そして、撮影指示を検出したときの視野の現在位置を撮影画像が撮像された視野位置として、複数の撮影画像をそれらが撮像された視野位置の並びどおりに貼り合わせる。その後、貼り合わせ画像生成部１４４は、生成した貼り合わせ画像を記憶部１４８に不揮発的に記憶させるとともに拡大縮小部１４６へ送信する。貼り合わせ画像生成部１４４は、貼り合わせ画像をＪＰＥＧ方式などの所定の方式で圧縮し、圧縮した貼り合わせ画像を記憶部１４８に不揮発的に記憶させても良い。

表示サイズ特定部１４５は、利用者によって入力される情報に基づいて貼り合わせ画像を表示すべきサイズ（以降、単に表示サイズと記す。）を特定する。より詳細には、表示サイズ特定部１４５は、利用者が入力装置１６０を用いて入力する情報を取得するように構成されていて、利用者が入力装置１６０を用いて入力する情報に基づいて表示サイズを特定する。なお、表示サイズは、例えば、画像の縦横のピクセル数で定義されるピクセルサイズである。

拡大縮小部１４６は、貼り合わせ画像が表示サイズ特定部１４５で特定した表示サイズになるように、ライブ画像生成部１４１から受信したライブ画像と貼り合わせ画像生成部１４４から受信した貼り合わせ画像とを、同じ倍率で拡大または縮小する。その後、拡大縮小部１４６は、拡大または縮小した貼り合わせ画像とライブ画像を表示制御部１４７に送信する。

表示制御部１４７は、拡大縮小部１４６で拡大または縮小された貼り合わせ画像とライブ画像を表示装置１５０に表示させる。詳細には、表示制御部１４７は、貼り合わせ画像とライブ画像の各々で画像化された試料Ｓの領域の位置関係に従って、拡大縮小部１４６で拡大または縮小された貼り合わせ画像とライブ画像とを表示装置１５０に表示させる。更に詳細には、表示制御部１４７は、拡大縮小部１４６で拡大または縮小された貼り合わせ画像とライブ画像の各々が表示される位置の相対的な関係が、貼り合わせ画像とライブ画像の各々で画像化された試料Ｓの領域の位置の相対的な関係に一致するように、拡大または縮小された貼り合わせ画像とライブ画像とを表示装置１５０に表示させる。
記憶部１４８は、試料Ｓの画像、制御プログラム、その他プログラムの実行に必要な各種データを揮発的または不揮発的に記憶する。

表示装置１５０は、貼り合わせ画像とライブ画像とを表示するための装置であり、これらの画像を含む各種情報を表示する。表示装置１５０は、例えば、液晶ディスプレイ装置、有機ＥＬディスプレイ装置、ＣＲＴディスプレイ装置などである。

入力装置１６０は、利用者が顕微鏡システム１００に情報を入力するための装置であり、例えば、キーボード、マウス、ジョイスティックなどである。なお、入力装置１６０は、利用者が直接操作する操作部である。また、表示装置１５０と入力装置１６０は、例えば、タッチパネルディスプレイ装置として、一体に構成されていてもよい。

撮像制御装置１７０は、制御装置１４０の制御の下、撮像装置１２０を制御する装置であり、顕微鏡制御装置１８０は、制御装置１４０の制御の下、顕微鏡本体１１０を制御する装置である。

以上のように構成された顕微鏡システム１００では、貼り合わせ画像撮影中に、利用者が貼り合わせ画像及びライブ画像のサイズを任意に切り替えて表示装置１５０に表示させることができる。以下、図２から図９を参照しながら、顕微鏡システム１００で行われる貼り合わせ画像撮影処理と表示サイズ変更処理の手順について説明する。

図２は、顕微鏡システム１００で行われる貼り合わせ画像撮影処理の手順を示すフローチャートである。図３は、顕微鏡システム１００の表示装置１５０に表示される画面の構成を例示した図である。図４から図６は、顕微鏡システム１００で行われる貼り合わせ画像撮影処理について説明するための図である。図７は、顕微鏡システム１００で行われる表示サイズ変更処理の手順を示すフローチャートである。図８及び図９は、顕微鏡システム１００で行われる表示サイズ変更処理について説明するための図である。図１０は、入力装置１６０の一例を示した図である。

まず、貼り合わせ画像撮影処理について説明する。図２に示す貼り合わせ画像撮影処理は、制御装置１４０のＣＰＵが記憶部１４８に記憶された制御プログラムを実行することにより行われる。貼り合わせ画像撮影処理が開始されると、制御装置１４０は、図３に示す画面を表示装置１５０に表示させる（ステップＳ１）。

利用者は、図３に示す画面が表示されると、まず、表示設定部１５２で表示に関する設定を行う。表示に関する設定には、ドロップダウンリスト１５３による表示サイズの設定と、ラジオボタン１５４による表示サイズの基準の設定が含まれる。なお、表示サイズの基準とは、表示サイズを特定するための基準のことであり、顕微鏡システム１００では、利用者は、ラジオボタン１５４により“表示領域”、“貼り合わせ画像”、または“ライブ画像”から表示サイズの基準を選択することができる。

“表示領域”は、画像表示領域１５１のサイズを基準にして表示サイズを特定する場合に選択される。利用者が、例えば、ラジオボタン１５４で“表示領域”を選択し、ドロップダウンリスト１５３で“２０％”を選択した場合には、画像表示領域１５１のピクセルサイズに対する表示サイズの割合が２０％であることを意味する。

“貼り合わせ画像”は、貼り合わせ画像生成部１４４で生成された貼り合わせ画像のサイズを基準にして表示サイズを特定する場合に選択される。利用者が、例えば、ラジオボタン１５４で“貼り合わせ画像”を選択し、ドロップダウンリスト１５３で“２０％”を選択した場合には、貼り合わせ画像生成部１４４で生成された貼り合わせ画像（つまり、拡大縮小前の貼り合わせ画像）のピクセルサイズに対する表示サイズの割合が２０％であることを意味する。

“ライブ画像”は、画像取得部で取得されたライブ画像のサイズを基準にして表示サイズを特定する場合に選択される。利用者が、例えば、ラジオボタン１５４で“ライブ画像”を選択し、ドロップダウンリスト１５３で“２０％”を選択した場合には、画像取得部で取得されたライブ画像（つまり、拡大縮小前のライブ画像）のピクセルサイズに対する表示サイズの割合が２０％であることを意味する。

利用者は、表示設定部１５２で表示に関する設定を行うと、次に、撮影設定部１５５のラジオボタン１５６で撮影モードを選択する。利用者は、撮影モードとして、“マニュアル”または“オート”を選択することができる。なお、“マニュアル”が選択されると、貼り合わせ領域を利用者が手動で指定し、利用者がボタン１５８を押下して撮影を指示することにより貼り合わせ画像の生成が行われるのに対して、“オート”が選択されると、貼り合わせ領域が自動的に決定されて自動で貼り合わせ画像の生成が行われる。また、この他、撮影設定部１５５のボタン１５７を押下して処理の開始が指示されてから、撮影設定部１５５のボタン１５７が再度押下されて処理の終了が指示される間、貼り合わせ領域の指定は利用者が手動で行い、所定時間間隔で自動的にライブ位置枠Ｆに表示されているライブ画像を貼り合わせ、貼り合わせ画像の生成が行われるようにしてもよい。ここでは、“マニュアル”が選択された場合を例に貼り合わせ画像撮影処理を説明する。

以上の設定が完了すると、利用者は、撮影設定部１５５のボタン１５７を押下して処理の開始を指示する。これを受けて、制御装置１４０は、画像表示領域１５１に画像取得部の現在の視野位置を示すライブ位置枠Ｆが表示されるように、また、ライブ位置枠Ｆ内にライブ画像Ｐ１が表示されるように、表示装置１５０を制御する（ステップＳ２）。なお、この段階では、ライブ位置枠Ｆ内にライブ画像Ｐ１は表示せず、現在の視野位置を示すライブ位置枠Ｆのみを表示するようにしてもよい。図４は、ボタン１５７押下後の画面の一例を示した図である。

より詳細には、ステップＳ２では、まず、ライブ画像生成部１４１がライブ画像を生成する。その後、表示サイズ特定部１４５が表示設定部１５２に示す表示設定に従って表示サイズを特定する。図３の例では、表示サイズは、表示サイズ特定部１４５により、拡大または縮小前のライブ画像の２０％のピクセルサイズとして特定される。

引き続き、ステップＳ２では、拡大縮小部１４６が貼り合わせ画像が表示サイズ特定部１４５で特定した表示サイズになるような拡大または縮小倍率を算出して、その倍率でライブ画像を拡大又は縮小する。なお、撮影画像を１枚も取得していない時点では貼り合わせ画像は存在しないが、このような場合には、予め決められた一定のサイズにライブ画像を拡大または縮小してもよい。または、ライブ画像のサイズを貼り合わせ画像のサイズと看做して倍率を算出し、算出した倍率でライブ画像を拡大または縮小してもよい。

ステップＳ２では、最後に、表示制御部１４７が、拡大または縮小されたライブ画像Ｐ１が画像表示領域１５１の中心に表示されるように、また、ライブ画像Ｐ１の表示位置にライブ位置枠Ｆが表示されるように、表示装置１５０を制御する。

その後、制御装置１４０は、利用者がボタン１５８を押下して撮影を指示するまで、ステップＳ２のライブ画像表示処理を繰り返す。そして、利用者がボタン１５８を押下すると（ステップＳ３がＹＥＳ）、制御装置１４０は、貼り合わせ画像表示処理を行う（ステップＳ４）。

より詳細には、ステップＳ４では、まず、貼り合わせ画像生成部１４４は、撮影画像生成部１４３で生成した撮影画像を用いて貼り合わせ画像を生成する。その後、表示サイズ特定部１４５は、ステップＳ２と同様に、表示設定部１５２に示す表示設定に従って表示サイズを特定する。そして、拡大縮小部１４６は、貼り合わせ画像が表示サイズ特定部１４５で特定した表示サイズになるように、貼り合わせ画像を拡大または縮小する。

ステップＳ４では、最後に、表示制御部１４７は、拡大または縮小された貼り合わせ画像Ｐ２が画像表示領域１５１に表示されるように、表示装置１５０を制御する。このとき、表示制御部１４７は、既に画像表示領域１５１に表示されていたライブ画像Ｐ１と新たに表示する貼り合わせ画像Ｐ２の各々で画像化された試料Ｓの領域の位置関係に従って、ライブ画像Ｐ１と貼り合わせ画像Ｐ２を表示装置１５０に表示させる。ここでも、表示制御部１４７は、ライブ画像Ｐ１が画像表示領域１５１の中心に表示されるように、表示装置１５０を制御する。

その後、制御装置１４０は、利用者がボタン１５７を再び押下して処理の終了を指示するまで、ステップＳ２からステップＳ４の処理を繰り返す。なお、図５は、複数回の撮影指示後の画面の一例を示した図である。

利用者は、貼り合わせ画像として画像化されるべきすべての領域の撮影画像の貼り合わせが完了すると、ボタン１５７を押下する（ステップＳ５がＹＥＳ）。これを受けて、制御装置１４０は、生成した貼り合わせ画像を確認する確認画面を表示する確認表示処理を行う（ステップＳ６）。

より詳細には、ステップＳ６では、まず、拡大縮小部１４６は、貼り合わせ画像として画像化されるべきすべての領域の撮影画像を貼り合わせた貼り合わせ画像（以降、貼り合わせ完了画像と記す）を、貼り合わせ完了画像全体が画像表示領域１５１に収まるように、拡大または縮小する。そして、表示制御部１４７は、拡大または縮小した貼り合わせ完了画像Ｐ３が画像表示領域１５１に表示されるように、表示装置１５０を制御する。

図６は、貼り合わせ完了画像Ｐ３が表示された確認画面の画像表示領域１５１を例示した図である。図６では、貼り合わせ完了画像Ｐ３のサイズが画像表示領域１５１に収まる最大のサイズになるように、拡大縮小部１４６が貼り合わせ完了画像を拡大または縮小した例が示されているが、貼り合わせ完了画像の拡大又は縮小はこの例に限られない。

例えば、拡大縮小部１４６は、貼り合わせ完了画像Ｐ３の周囲に所定幅の余白を設けた画像のサイズが画像表示領域１５１に収まる最大のサイズになるように、貼り合わせ完了画像を拡大または縮小してもよい。また、拡大縮小部１４６は、拡大または縮小された貼り合わせ完了画像Ｐ３全体が画像表示領域１５１に収まる場合には、表示サイズ特定部１４５で特定した表示サイズに従って貼り合わせ完了画像を拡大または縮小してもよい。

確認画面が表示されると、利用者は、確認画面に表示された貼り合わせ完了画像を確認して、顕微鏡システム１００で所望の貼り合わせ画像が生成されたか否かを判断する。所望の貼り合わせ画像が生成されていないと判断した場合には、利用者はボタン１５９を押下して、処理の終了のキャンセルを指示する。利用者がボタン１５９を押下すると（ステップＳ７がＹＥＳ）、制御装置１４０は、ステップＳ２に戻って、上述した処理をやり直す。一方、利用者がボタン１５９を押下しなかった場合には、図２に示す貼り合わせ画像撮影処理を終了する。

次に、表示サイズ変更処理について説明する。図７に示す表示サイズ変更処理は、図２に示す貼り合わせ画像撮影処理の実行中に、制御装置１４０が表示サイズの変更指示を検出することにより開始される。なお、表示サイズの変更指示は、例えば、ドロップダウンリスト１５３またはラジオボタン１５４の設定を変更することにより発生する。

表示サイズ変更処理が開始されると、表示サイズ特定部１４５は、変更後の表示サイズを特定する（ステップＳ１１）。図８は、ドロップダウンリスト１５３の設定が“２０％”から“４０％”に変更された様子を示している。また、図９は、ドロップダウンリスト１５３の設定が“２０％”から“１００％”に変更され、さらに、ラジオボタン１５４の設定も“ライブ画像”から“表示領域”に変更された様子を示している。図８の例では、表示サイズは、表示サイズ特定部１４５により、拡大または縮小前のライブ画像の４０％のピクセルサイズとして特定される。図９の例では、表示サイズは、表示サイズ特定部１４５により、画像表示領域１５１と同じピクセルサイズとして特定される。

変更後の表示サイズが特定されると、拡大縮小部１４６が、貼り合わせ画像が表示サイズ特定部１４５で特定した表示サイズになるように貼り合わせ画像を拡大または縮小し、さらに、貼り合わせ画像と同じ拡大または縮小倍率でライブ画像も拡大または縮小する（ステップＳ１２）。

最後に、表示制御部１４７が、拡大または縮小されたライブ画像Ｐ１と貼り合わせ画像Ｐ２で表示装置１５０の表示を更新し（ステップＳ１３）、図７に示す表示サイズ変更処理を終了する。なお、ラジオボタン１５４の設定が“ライブ画像”または“貼り合わせ画像”である場合には、表示制御部１４７は、ライブ画像Ｐ１が画像表示領域１５１の中心に表示されるように、表示装置１５０を制御する。その一方で、ラジオボタン１５４の設定が“表示領域”である場合には、貼り合わせ画像Ｐ２の中心が画像表示領域１５１の中心に表示されるように、表示装置１５０を制御する。

以上のように動作する顕微鏡システム１００では、貼り合わせ画像撮影中に、利用者が貼り合わせ画像及びライブ画像のサイズを簡単な操作により任意に変更することができる。

例えば、図５に示すように、貼り合わせ画像Ｐ２が画像表示領域１５１内に収まらなくなった結果、貼り合わせ画像Ｐ２全体に対するライブ画像Ｐ１の相対位置を把握することができない場合には、利用者が手動操作により表示サイズを小さくする。このような操作を行うことで、貼り合わせ画像Ｐ２全体に対するライブ画像Ｐ１の相対位置を正確に把握することが可能となるため、利用者は試料Ｓに対する現在の視野位置を正しく把握することができる。

また、例えば、貼り合わせ画像Ｐ２全体に対するライブ画像Ｐ１の相対位置を正確に把握するために表示サイズが小さくした結果、ライブ画像Ｐ１が小さくなりすぎた場合には、利用者は手動操作により表示サイズを大きくする。このような操作を行うことで、ライブ画像Ｐ１により画像化されている試料の領域の様子を正しく把握することが可能となるため、利用者はライブ画像を見ながら貼り合わせ領域を容易且つ適切に指定することができる。

このように、顕微鏡システム１００によれば、貼り合わせ画像に対するライブ画像の相対位置の正確な把握と、試料Ｓ中における現在の視野に該当する領域の詳細な観察とを、簡単な操作で適宜行うことが可能となる。従って、所望の貼り合わせ画像を容易に生成することができる。また、その結果、無駄な画像の取得や作業のやり直しなどが抑制されるため、所望の貼り合わせ画像を短時間で生成することができる。なお、ライブ画像の代わりに現在の視野位置を示すライブ位置枠を表示する場合、貼り合わせ画像からライブ位置枠内の試料の状態を推測しながら貼り合わせ領域を指定する。この際、ライブ位置枠の表示を適宜拡大縮小することで、適切な貼り合わせ領域の指定が容易となる。従って、ライブ画像の代わりにライブ位置枠を表示する場合も、無駄な画像の取得や作業のやり直しなどが抑制されるため、所望の貼り合わせ画像を短時間で生成することができる。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこの実施形態に限定されるものではない。顕微鏡システム１００は、特許請求の範囲により規定される本発明の思想を逸脱しない範囲において、さまざまな変形、変更が可能である。

表示サイズを変更する方法として、図８に示すように、ドロップダウンリスト１５３に一覧表示された異なる表示サイズに対応する複数の値から利用者が選択した値に基づいて表示サイズを特定する方法を例示したが、表示サイズを変更する方法は、特にこの方法に限られない。

ドロップダウンリスト１５３の代わりにコンボボックスまたはテキストボックスが表示装置１５０に表示されている場合であれば、表示サイズ特定部１４５は、そのコンボボックスまたはテキストボックスに直接入力された値から表示サイズを特定してもよい。

また、表示サイズ特定部１４５は、利用者の入力装置１６０に対する操作量に基づいて表示サイズを特定してもよい。例えば、入力装置１６０として図１０に示すようなホイール１６２を備えたマウス１６１が用いられている場合であれば、表示サイズ特定部１４５は、ホイール１６２の回転量に基づいて表示サイズを特定してもよい。

表示サイズの基準が“貼り合わせ画像”または“ライブ画像”の場合、貼り合わせ画像撮影中、ライブ画像が常に画像表示領域１５１の中心に表示される例を示したが、最初に生成された撮影画像が常に画像表示領域１５１の中心に表示されてもよい。このような表示は、例えば、撮影モードが“オート”に設定されていて、貼り合わせ領域が最初に撮影した領域を中心に徐々に広がっていく場合などに特に好適である。

１００ 顕微鏡システム
１１０ 顕微鏡本体
１１１ ハーフミラー
１１２ レボルバ
１１３ 対物レンズ
１１４ ステージ
１１５ 結像レンズ
１２０ 撮像装置
１２１ 撮像素子
１３０ 光源ユニット
１３１ 光源
１４０ 制御装置
１４１ ライブ画像生成部
１４２ 相対移動量算出部
１４３ 撮影画像生成部
１４４ 貼り合わせ画像生成部
１４５ 表示サイズ特定部
１４６ 拡大縮小部
１４７ 表示制御部
１４８ 記憶部
１５０ 表示装置
１５１ 画像表示領域
１５２ 表示設定部
１５３ ドロップダウンリスト
１５４、１５６ ラジオボタン
１５５ 撮影設定部
１５７、１５８、１５９ ボタン
１６０ 入力装置
１６１ マウス
１６２ ホイール
１７０ 撮像制御装置
１８０ 顕微鏡制御装置
Ｓ 試料
Ｆ ライブ位置枠
Ｐ１ ライブ画像
Ｐ２ 貼り合わせ画像
Ｐ３ 貼り合わせ完了画像

Claims (11)

1. 試料を撮像して前記試料の画像を取得する画像取得部と、
   前記画像取得部の視野を前記試料に対して相対的に移動させる視野移動部と、
   前記画像取得部で取得した複数の画像を前記複数の画像の各々を取得したときの前記画像取得部の視野の位置に従って貼り合わせて貼り合わせ画像を生成する貼り合わせ画像生成部と、
   前記貼り合わせ画像と前記画像取得部で取得した前記画像取得部の現在の視野の画像であるライブ画像とを表示するための表示部と、
   利用者によって入力される情報に基づいて前記貼り合わせ画像を表示すべきサイズである表示サイズを特定する表示サイズ特定部と、
   利用者による指示により、前記貼り合せ画像生成部における前記貼り合せ画像を生成する処理の開始及び終了の指示を行う貼り合せ画像生成開始終了指示部と、
   前記貼り合せ画像生成開始終了指示部による、前記開始の指示が行われてから前記終了の指示が行われるまでの間、前記貼り合わせ画像が前記表示サイズ特定部で特定した表示サイズになるように、前記貼り合わせ画像と前記ライブ画像とを同じ倍率で拡大または縮小する拡大縮小部と、
   前記貼り合わせ画像と前記ライブ画像の各々で画像化された前記試料の領域の位置関係に従って、前記拡大縮小部で拡大または縮小された貼り合わせ画像とライブ画像とを前記表示部に表示させる表示制御部と、を備え、
   前記拡大縮小部は、前記貼り合せ画像生成開始終了指示部で前記終了の指示が行われると、前記貼り合せ画像生成開始終了指示部による、前記開始の指示が行われてから前記終了の指示が行われるまでの間に前記貼り合わせ画像生成部で生成された貼り合せ画像である貼り合わせ完了画像全体が前記表示部の表示領域に収まるように、前記貼り合わせ完了画像を自動で拡大または縮小し、
   前記表示制御部は、前記拡大縮小部で拡大又は縮小された貼り合わせ完了画像を前記表示部に表示させる
   ことを特徴とする顕微鏡システム。
2. 請求項１に記載の顕微鏡システムにおいて、さらに、
   前記利用者が操作する操作部を備え、
   前記表示制御部は、それぞれ異なる表示サイズに対応する複数の情報を前記表示部に一覧表示させ、
   前記表示サイズ特定部は、前記利用者が前記操作部を操作することにより前記複数の情報から選択した情報に基づいて、前記貼り合わせ画像を表示すべき表示サイズを特定する
   ことを特徴とする顕微鏡システム。
3. 請求項１に記載の顕微鏡システムにおいて、さらに、
   前記利用者が操作する操作部を備え、
   前記表示サイズ特定部は、前記利用者の前記操作部に対する操作量に基づいて、前記貼り合わせ画像を表示すべき表示サイズを特定する
   ことを特徴とする顕微鏡システム。
4. 請求項３に記載の顕微鏡システムにおいて、
   前記操作部は、ホイールを有するマウスであり、
   前記表示サイズ特定部は、前記ホイールの回転量に基づいて、前記貼り合わせ画像を表示すべき表示サイズを特定する
   ことを特徴とする顕微鏡システム。
5. 請求項１に記載の顕微鏡システムにおいて、
   前記表示部は、前記画像取得部の現在の視野の画像であるライブ画像を表示する代わりに、現在の視野位置を示すライブ位置枠を表示する
   ことを特徴とする顕微鏡システム。
6. 請求項１に記載の顕微鏡システムにおいて、
   前記利用者によって入力される情報は、前記表示部の表示領域のサイズに対する前記貼り合わせ画像を表示すべき表示サイズの割合である
   ことを特徴とする顕微鏡システム。
7. 請求項１に記載の顕微鏡システムにおいて、
   前記利用者によって入力される情報は、前記貼り合わせ画像生成部で生成された貼り合わせ画像のサイズに対する前記貼り合わせ画像を表示すべき表示サイズの割合である
   ことを特徴とする顕微鏡システム。
8. 請求項１に記載の顕微鏡システムにおいて、
   前記利用者によって入力される情報は、前記画像取得部で取得されたライブ画像のサイズに対する前記貼り合わせ画像を表示すべき表示サイズの割合である
   ことを特徴とする顕微鏡システム。
9. 請求項１に記載の顕微鏡システムにおいて、
   前記拡大縮小部は、前記拡大縮小部で拡大または縮小された貼り合わせ完了画像のサイズが前記表示部の表示領域に収まる最も大きなサイズになるように、前記貼り合わせ完了画像を拡大または縮小する
   ことを特徴とする顕微鏡システム。
10. 請求項１に記載の顕微鏡システムにおいて、
    前記拡大縮小部は、前記拡大縮小部で拡大または縮小された貼り合わせ完了画像の周囲に所定幅の余白を設けた画像のサイズが前記表示部の表示領域に収まる最も大きなサイズになるように、前記貼り合わせ完了画像を拡大または縮小する
    ことを特徴とする顕微鏡システム。
11. 請求項１に記載の顕微鏡システムにおいて、
    前記拡大縮小部は、前記拡大縮小部で拡大または縮小された貼り合わせ完了画像全体が前記表示部の表示領域に収まる場合には、前記表示サイズ特定部で特定した表示サイズに従って前記貼り合わせ完了画像を拡大または縮小する
    ことを特徴とする顕微鏡システム。

Images