JP4578822B2 - 顕微観察装置、顕微観察方法および顕微観察プログラム - Google Patents

Description

本発明は、顕微鏡によって取得した観察試料の画像を観察する顕微観察装置、該顕微観察装置において実行される顕微観察方法および顕微観察プログラムに関し、特に、時間経過に伴って画像が変化していることを観察者が容易に認識することが可能な顕微観察装置、顕微観察方法および顕微観察プログラムに関するものである。

例えば、生化学分野における各種の試験では、動植物の細胞や微生物などの生体試料を顕微鏡で観察するとともに生体試料の顕微鏡画像を撮像する顕微観察作業が高頻度で行われる。このような顕微鏡観察において、多種試料を時系列に多地点で観察し、比較する方法の需要が増えている。

通常、観察対象の生体試料はマイクロプレートなどの容器に収容されており、このようなマイクロプレートに収容された生体試料の顕微鏡画像を観察および撮像する際には、上記容器に定義された基準点を原点とする複数の上記試料収容部の位置座標とこの位置座標を原点とする観察位置の相対位置座標に基づいて、ステージを移動制御することにより複数の上記試料収容部を撮像するための位置決めをして、多地点多種試料を効率よく観測および撮像している（例えば、特許文献１参照。）。
特開２００２−３０３８０１号公報

しかしながら、従来の技術による顕微観察では、多地点の観察および撮像を効率よく行うことができても、それぞれの地点の画像が変化しているのかどうか、変化したとしてどのくらい変化しているのかを観察者がそれぞれの画像を目視することによって判断するしかなく、観察者が取得した画像から変化を見極める手間が毎回発生するという問題点があった。

本発明は、上記従来技術の欠点に鑑みてなされたもので、顕微鏡によって取得した観察試料の画像を観察する際、時間経過に伴う変化が検出された観察試料の画像を、変化が検出された旨とともに表示することが可能な顕微観察装置、該顕微観察装置において実行される顕微観察方法および顕微観察プログラムを提供することを目的とする。

本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の顕微観察装置は、顕微鏡によって取得した観察試料の画像を観察する顕微観察装置であって、上記観察試料の所定の観察領域の画像データを取得する画像取得手段と、上記画像取得手段によって取得した画像データを格納する画像データ格納手段と、上記画像データ格納手段に格納された同一の観察領域における画像データについて、時間経過に伴う画像データの変化を検出する変化検出手段と、上記変化検出手段によって変化が検出された画像データに対応する観察試料の画像を、上記変化が検出された旨を示す変化検出情報とともに表示する観察試料表示手段とを備えることを特徴とする。

これにより、顕微鏡によって取得した観察試料の画像を観察する観察者は、画像データに変化のある観察領域と変化のない観察領域とを容易に知ることができる。
また、本発明の顕微観察装置は、上記画像データの変化が、上記画像データの濃淡情報の変化であり、上記変化検出情報が、上記濃淡情報の変化量に対応して複数の指標を有することが望ましい。

これにより、顕微鏡によって取得した観察試料の画像を観察する観察者は、画像データの濃淡情報に変化のある観察領域と変化のない観察領域とを容易に知ることができる。
また、本発明の顕微観察装置は、上記変化検出手段によって検出された変化量を示すグラフを作成するグラフ作成手段をさらに備え、上記観察試料表示手段が、上記グラフ作成手段によって作成されたグラフをさらに表示することが望ましい。

これにより、顕微鏡によって取得した観察試料の画像を観察する観察者は、変化のある観察領域において時間の経過に伴う画像データの変化を容易に知ることができる。
また、本発明の顕微観察装置は、所定時間内に上記変化検出手段によって検出された変化量が所定範囲内であった場合、それ以降上記画像データ格納手段による画像データの格納を停止するよう制御する制御手段をさらに備えることが望ましい。

これにより、格納する必要のない画像データの格納を省くことができ、余分なメモリを使用することがなくメモリ効率が良くなる。
また、本発明の顕微観察装置は、所定時間内に上記変化検出手段によって検出された変化量が所定範囲内であった場合、それ以降上記画像取得手段による画像の取得を停止するよう制御する制御手段をさらに備えることが望ましい。

これにより、観察する必要のない画像データの取得および格納を省くことができ、観察作業効率が良くなるとともに、余分なメモリを使用することがなくメモリ効率も良くなる。
また、本発明の顕微観察装置は、上記画像取得手段が、複数の観察領域の画像データを取得し、上記観察試料表示手段が、上記複数の観察領域についての画像を、それぞれの変化検出情報とともに表示することが望ましい。

これにより、顕微鏡によって取得した観察試料の画像を観察する観察者は、画像データに変化のある観察領域と変化のない観察領域とを同時に容易に知ることができる。
また、本発明の一態様によれば、本発明の顕微観察方法は、顕微鏡によって取得した観察試料の画像を観察するコンピュータが実行する顕微観察方法であって、上記観察試料の所定の観察領域の画像データを取得し、上記取得した画像データを画像データデータベースに格納し、上記画像データデータベースに格納された同一の観察領域における画像データについて、時間経過に伴う画像データの変化を検出し、上記変化が検出された画像データに対応する観察試料の画像を、上記変化が検出された旨を示す変化検出情報とともに表示することを特徴とする。

これにより、顕微鏡によって取得した観察試料の画像を観察する観察者は、画像データに変化のある観察領域と変化のない観察領域とを容易に知ることができる。
また、本発明の一態様によれば、本発明の顕微観察プログラムは、顕微鏡によって取得した観察試料の画像を観察するコンピュータに対して、上記観察試料の所定の観察領域の画像データを取得する手順と、上記取得した画像データを画像データデータベースに格納する手順と、上記画像データデータベースに格納された同一の観察領域における画像データについて、時間経過に伴う画像データの変化を検出する手順と、上記変化が検出された画像データに対応する観察試料の画像を、上記変化が検出された旨を示す変化検出情報とともに表示する手順とを実行させるための顕微観察プログラムである。

これにより、顕微鏡によって取得した観察試料の画像を観察する観察者は、画像データに変化のある観察領域と変化のない観察領域とを容易に知ることができる。

本発明によれば、顕微鏡によって取得した観察試料の画像を観察する観察者は、画像データに変化のある観察領域と変化のない観察領域とを容易に知ることができる。
また、本発明によれば、顕微鏡によって取得した観察試料の画像を観察する観察者は、画像データの濃淡情報に変化のある観察領域と変化のない観察領域とを容易に知ることができる。

また、本発明によれば、顕微鏡によって取得した観察試料の画像を観察する観察者は、変化のある観察領域において時間の経過に伴う画像データの変化を容易に知ることができる。
また、本発明によれば、格納する必要のない画像データの格納を省くことができ、余分なメモリを使用することがなくメモリ効率が良くなる。

また、本発明によれば、観察する必要のない画像データの取得および格納を省くことができ、観察作業効率が良くなるとともに、余分なメモリを使用することがなくメモリ効率も良くなる。
また、本発明によれば、顕微鏡によって取得した観察試料の画像を観察する観察者は、画像データに変化のある観察領域と変化のない観察領域とを同時に容易に知ることができる。

すなわち、本発明によれば、観察者は、観察開始時に、各観察ポイントの設定を行うことのみで、後は、観察中または観察後に変化点を探すための煩雑な作業を行うことから開放される。

以下、図面を参照しながら本発明の実施の形態について述べる。
図１は、本発明の実施の形態を適用した顕微観察システムの概略を示す図である。
図１に示すように、本実施の形態に係る顕微観察システム１００は、接続インターフェース７を介して接続された顕微観察装置１１０およびレーザー走査型顕微鏡１２０により構成されている。そして、顕微観察装置１１０は、例えば汎用のパーソナルコンピュータであり、モニタ１、ＣＰＵ２、記憶媒体３、キーボード４、マウス５等を備える。

レーザー走査型顕微鏡１２０のコントロールユニット１０は、顕微観察装置１１０から走査の指示司令が入力されると、走査制御信号を走査ユニット１１に出力する。また、コントロールユニット１０は、レーザー光源（Ａｒレーザー）２５、レーザー光源（ＨｅＮｅ−Ｇレーザー）２６、およびレーザー光源（ＨｅＮｅ−Ｒレーザー）２７に接続されており、走査に使用するレーザーを選択する。

走査ユニット１１は、コントロールユニット１０によって選択されたレーザー光源（Ａｒレーザー）２５、レーザー光源（ＨｅＮｅ−Ｇレーザー）２６、あるいはレーザー光源（ＨｅＮｅ−Ｒレーザー）２７から出射し、ミラー２４、合成用ダイクロイックミラー２２、あるいは２３によって集光され、ミラー２１を介して入力されるレーザー光を、コントロールユニット１０からの走査制御信号に基づいて、走査ユニット１１内のＸ走査ガルバノミラーとＹ走査ガルバノミラーを駆動して、対物レンズ８を通して電動ステージ９上に載置された観察標本上にスポット光としてＸＹ走査する。

このようにして、観察標本上を走査するスポット光によって標本から発生した蛍光もしく反射光は、入射した光路を逆に戻り、その蛍光成分は、分光フィルタ１２で検出光路へ反射され、分光フィルタ１３、１４によって長波長と短波長とに波長選択され、それぞれの波長は、さらにバリアフィルタ１５、１６で波長選択されて、 ２つの光検出器１７、１８で電気信号に変換されてコントロールユニット１０に入力される。

そして、コントロールユニット１０は、上記で得られた光検出器１７、１８からの観察標本の画像情報（画像データ）を顕微観察装置１１０に転送し、顕微観察装置１１０は、それらを記憶媒体３に転送するとともに、モニタ１に画像表示する。
なお、顕微観察装置１１０の記憶媒体３は、走査に必要な条件を記憶するメモリ領域と、画像情報を記憶するメモリ領域とを有するものとする。

さらに顕微観察装置１１０では、後述するレーザー走査型顕微鏡１２０の制御、画像データの保存、処理などを行う顕微観察処理プログラムが実行される。
次に、上述の如く構成されたレーザー走査型顕微鏡を用いて、標本上の複数の観察領域（観察ポイント）における時間経過画像を取得する場合の例を説明する。

図２は、マイクロプレート上の観察ポイントを表示している例を示す図である。
マイクロプレートは、複数の多地点観測試料を有しており、レーザー走査型顕微鏡は、各多地点観測試料において複数の観察ポイントを設定することができる。
まず、観察者は、電動ステージ９を操作しながら、標本上の観察ポイントを複数決定し、各観察ポイントにおけるフォーカス位置、および走査するＺ軸上の範囲、スライス枚数等、画像データ取得のための条件を設定し、光検出器１７および１８の感度、各レーザー２５、２６、２７の強度等の調整を行う。そして、これらの設定値は、観察ポイント毎に、その位置情報と共に、記憶媒体３に記憶される。

その後、観察者が、走査開始を指示すると、まず顕微観察装置１１０は、記憶媒体３に記憶されている１番目の観察ポイントの設定条件を読み出し、コントロールユニット１０に、電動ステージ９の移動位置、各検出器の感度、レーザー強度、３次元データ取得条件をセットさせ、そのセットが完了したところで、コントロールユニット１０に走査開始指示を送り、その結果取得された画像データを記憶媒体３に保持する。

次に、顕微観察装置１１０は、記憶媒体に記憶されている２番目の観察ポイントの設定を読み出し、コントロールユニット１０に、電動ステージ９の移動位置、各検出器の感度、レーザー強度、画像データ取得条件をセットさせ、そのセットが完了したところで、コントロールユニット１０に走査開始指示を送り、その結果取得された画像データを記憶媒体３に保持する。

以上のようにして、指定された全ての観察ポイントでの画像取得と記憶媒体３への保持を行う。
すべての観察ポイントでの画像取得と記憶媒体３への保持が完了すると（１回目終了）、次に顕微観察装置１１０は、予め設定されたインターバル時間の経過を待ち、上記と同様にして、各観察ポイントでの画像取得と記憶媒体３への保持を行うことにより、各観察ポイントに対する時間経過観察を実行する（２回目終了）。

そして、上述のようにして取得した各観察ポイントにおける観察の１回目と２回目との画像データを比較し、変化のあった観察ポイントをモニタ１上に表示する。
このようにして、それ以降の観察は、観察の前後の２回で取得されたデータを比較し、その比較結果から変化のあると判断した観察ポイントをモニタ１上に表示していく。

図３は、変化のある観察ポイントの表示例を示す図である。
上述のように、変化のあった観察ポイントをモニタ１上に表示する際、観察ポイントの変化の有無を判断するためには、例えば、観察対象の輝度の変化を用いる。
次に、それらを実験の１回目と２回目とで取得されたデータを使った具体的な変化判断方法について述べる。

各観察ポイントでは、観察結果として取得した複数の画像データが、記憶媒体３に保持されている。
そこで、輝度の変化を判断する方法は、各観察ポイントでの画像の取得が完了したところで、それらのデータを元にして、各観察ポイントでの輝度値の平均値を計算する。次に実験の１回目の輝度平均値との差分をとる。この結果得られた解と、観察者が実験前に設定した閾値と比較し、閾値を超えた場合を輝度の変化ありと判断し、モニタ１上の観察ポイント上に指標として図３のように表示する。

図３に示した例では、指標として、変化のない観察ポイントを白抜きの四角形で表し、変化量の少ない観察ポイントを２重の四角形で表し、変化量が中位の観察ポイントを２重の四角形で内側を黒塗りして表し、変化量が多い観察ポイントを黒塗りの四角形で表している。しかしながら、指標はこれらに限らず、表示色を異ならせても良いし、変化のない観察ポイントと変化のある観察ポイントの２種類だけでも構わない。

以上のようにして、観察ポイントの輝度変化を求めた後、次にこれらの変化の有無を、モニタ１に図３のように表示することで、観察者は各観察ポイントの変化の有無を容易に知ることができる。
次に、本発明を適用した第２の実施の形態について説明する。

第２の実施の形態にかかる顕微観察システムは、図１を用いて説明した第１の実施の形態と同様である。
上述の第１の実施の形態に示した方法は、観察対象の変化の有無を知る場合のみには有効である。しかしながら、観察ポイントの時間的な変化を知るには不十分である。

そこで、第２の実施の形態としては、時間経過に伴い観察ポイントの変化量をグラフ表示する方法を示す。
図４は、変化のある観察ポイントのグラフ表示例を示す図である。
観察者が観察前に行う操作、および観察が開始され、各観察ポイントに対して記憶媒体３から設定条件を読み出し、かつ観察の１回目と２回目とで取得されたデータを比較し変化点の取得を行うといった一連の操作は、第１の実施の形態と同じである。

本第２の実施の形態では、第１の実施の形態での処理に加え、各観察ポイントでの画像取得中または画像取得終了後に、モニタ１に表示されている変化のあった旨が表示されている観察ポイントにマウス５をかざすと、図４に示すように、輝度変化グラフが表示される。

ここで、上記グラフの詳細な情報を説明する。輝度変化グラフには、縦軸に輝度値、横軸に時間軸をとり、毎回の観察によって得られた各観察ポイントでの、輝度平均値を表示する。
以上のようにして、観察者は観察ポイントの時間的な変化を知ることができる。

次に、本発明を適用した第３の実施の形態について説明する。
第３の実施の形態にかかる顕微観察システムは、図１を用いて説明した第１の実施の形態と同様である。
上述の第１および第２の実施の形態によれば、各観察ポイントに対して変化の有無、時間的な変化を知ることができる。

そこで、第３の実施の形態としては、時間経過に伴い観察ポイントに変化が発生しない場合は、その観察ポイントの観察を中止し、それ以降画像の格納あるいは画像の取得を行わないようにする。
図５は、観察が中止された観察ポイントの表示例を示す図である。

観察者が観察前に行う操作、および観察が開始され、各観察ポイントに対して記憶媒体３から設定条件を読み出し、かつ観察の１回目と２回目とで取得されたデータを比較し変化点の取得を行うといった一連の操作は、第１の実施の形態と同じである。
本第３の実施の形態では、第１の実施の形態での処理に加え、各観察ポイントでの画像取得中に観察ポイントに変化のない状態を監視し、観察前に観察者が設定した観察回数以上観察ポイントに変化のない状態が続いた場合、それ以降その観察ポイントでの観察を中止し、画像の取得あるいは画像の格納を行わない。

そして、その中止した観察ポイントは図５に示すように特定の目印が表示される。図５に示した例では、中止した観察ポイントとして四角形にバツ印（×）を付した指標を用いている。
以上により、変化のない画像を取得する処理を省くことができ、あるいは取得することにより発生する不要なデータを管理しなくてよいため、不必要なデータの増加を防ぎ、記憶媒体３の資源を有効に利用できる。

以上、本発明の第１乃至第３の実施の形態を説明してきたが、次に、これらの実施の形態を実現する顕微観察処理の流れをフローチャートを用いて説明する。
図６は、顕微観察処理の流れを示すフローチャートである。
説明を簡単にするために、１つの観察ポイントでの観察に絞って説明をする。

まず、ステップＳ１において、顕微鏡の走査によって取得した観察試料の画像データを取得し、ステップＳ２において、取得した画像データをメモリに格納する。
そして、ステップＳ３において、ステップＳ１で取得しステップＳ２でメモリに格納した画像データと、その直前の走査により取得し格納した画像データとを比較し、メモリに格納された同一の観察ポイントにおける画像データについて、時間経過に伴う画像データの変化を検出する。

ステップＳ３で比較した結果、ステップＳ４において、前後の走査による画像データに変化があるか否かを判断する。ただし、最初の走査により取得し格納した画像データの場合は、比較する対象がないため、自らのデータと比較する等して変化がないと判断する。
ステップＳ４で変化があると判断された場合（ステップＳ４:Ｙｅｓ）は、ステップＳ５において、変化がある旨の指標を表示する（図３参照）。

次に、ステップＳ６において、変化がある旨の表示がある観察ポイントにマウスカーソルをかざす等のグラフ表示指示があるか否かを判断する。
ステップＳ６でグラフ表示指示があると判断された場合（ステップＳ６:Ｙｅｓ）は、ステップＳ７において、ステップＳ１で取得した全ての走査の画像データを、メモリから読み込む。

そして、ステップＳ８において、読み込んだ画像データに基づいてグラフを作成し、ステップＳ９において、作成したグラフを表示する。
他方、ステップＳ４で変化がないと判断された場合（ステップＳ４：Ｎｏ）は、ステップＳ１０において、変化がない旨の指標（図３の白抜き四角形）を表示する。

そして、ステップＳ１１において、予め定めた所定回数の走査によっても変化がない状態が続いたか否かを判断し、変化がない状態が続いた場合（ステップＳ１１:Ｙｅｓ）は、次の走査を行わずに処理を終了する。
また、ステップＳ６でグラフ表示の指示がないと判断された場合（ステップＳ６:Ｎｏ）、ステップＳ９でグラフの表示を終了した後、ステップＳ１１で変化なし状態が未だ所定走査回数以内である場合（ステップＳ１１：Ｎｏ）は、ステップＳ１２において、次の走査を行うか否かを判断する。

そして、ステップＳ１２で次の走査を行うと判断された場合（ステップＳ１２:Ｙｅｓ）は、ステップＳ１に戻り、次の操作を行わないと判断された場合（ステップＳ１２：Ｎｏ）は、処理を終了する。
以上、図６を用いて顕微観察処理の流れを説明してきたが、顕微鏡観察処理の機能が実行されるのであれば、図６のフローチャートの流れに限定されることはない。例えば、ステップＳ１１で変化がない状態が続いたと判断した場合（ステップＳ１１:Ｙｅｓ）に、処理を終了する代わりに、ステップＳ１に戻り走査は行うが、ステップＳ２の格納は行わないようにする、としてもよい。

以上、本発明の実施の形態を説明してきたが、本発明が適用される顕微観察装置、顕微観察方法および顕微観察プログラムは、その機能が実行されるのであれば、上述の実施の形態に限定されることはなく、本発明の要旨を逸脱しない範囲内で種々の構成、形状または手段を取ることができる。

本発明の実施の形態を適用した顕微観察システムの概略を示す図である。 マイクロプレート上の観察ポイントを表示している例を示す図である。 変化のある観察ポイントの表示例を示す図である。 変化のある観察ポイントのグラフ表示例を示す図である。 観察が中止された観察ポイントの表示例を示す図である。 顕微観察処理の流れを示すフローチャートである。

符号の説明

１ モニタ
２ ＣＰＵ
３ 記憶媒体
４ キーボード
５ マウス
７ 接続インターフェース
８ 対物レンズ
９ 電動ステージ
１０ コントロールユニット
１１ 走査ユニット
１２、１３、１４ 分光フィルタ
１５、１６ バリアフィルタ
１７、１８ 光検出器
２１ ミラー
２２、２３ 合成用ダイクロイックミラー
２４ ミラー
２５ レーザー光源（Ａｒレーザー）
２６ レーザー光源（ＨｅＮｅ−Ｇレーザー）
２７ レーザー光源（ＨｅＮｅ−Ｒレーザー）
１００ 顕微観察システム
１１０ 顕微観察装置
１２０ レーザー走査型顕微鏡

Claims (7)

1. 顕微鏡によって取得した観察試料の画像を観察する顕微観察装置において、
   前記観察試料の複数の観察ポイントを設定する観察ポイント設定手段と、
   前記観察試料の所定の観察領域の画像データを取得する画像取得手段と、
   前記画像取得手段によって取得した画像データを格納する画像データ格納手段と、
   前記画像データ格納手段に格納された同一の観察領域における画像データについて、時間経過に伴う画像データの変化を検出する変化検出手段と、
   前記変化検出手段によって変化が検出された画像データに対応する観察ポイントを、前記変化が検出された旨を示す変化検出情報とともに表示する観察ポイント表示手段と、
   を備えることを特徴とする顕微観察装置。
2. 前記画像データの変化とは、前記画像データの濃淡情報の変化であり、前記変化検出情報は、前記濃淡情報の変化量に対応して複数の指標を有することを特徴とする請求項１に記載の顕微観察装置。
3. 前記変化検出手段によって検出された変化量を示すグラフを作成するグラフ作成手段をさらに備え、
   前記観察ポイント表示手段は、前記グラフ作成手段によって作成されたグラフをさらに表示することを特徴とする請求項１または２に記載の顕微観察装置。
4. 所定時間内に前記変化検出手段によって検出された変化量が所定範囲内であった場合、それ以降前記画像データ格納手段による画像データの格納を停止するよう制御する制御手段をさらに備えることを特徴とする請求項１乃至３の何れか１項に記載の顕微観察装置。
5. 所定時間内に前記変化検出手段によって検出された変化量が所定範囲内であった場合、それ以降前記画像取得手段による画像の取得を停止するよう制御する制御手段をさらに備えることを特徴とする請求項１乃至３の何れか１項に記載の顕微観察装置。
6. 顕微鏡によって取得した観察試料の画像を観察するコンピュータが実行する顕微観察方法であって、
   前記観察試料の複数の観察ポイントを設定し、
   前記観察試料の所定の観察ポイントの画像データを取得し、
   前記取得した画像データを画像データデータベースに格納し、
   前記画像データデータベースに格納された同一の観察領域における画像データについて、時間経過に伴う画像データの変化を検出し、
   前記変化が検出された画像データに対応する観察ポイントを、前記変化が検出された旨を示す変化検出情報とともに表示することを特徴とする顕微観察方法。
7. 顕微鏡によって取得した観察試料の画像を観察するコンピュータに対して、
   前記観察試料の複数の観察ポイントを設定する手順と、
   前記観察試料の所定の観察ポイントの画像データを取得する手順と、
   前記取得した画像データを画像データデータベースに格納する手順と、
   前記画像データデータベースに格納された同一の観察領域における画像データについて、時間経過に伴う画像データの変化を検出する手順と、
   前記変化が検出された画像データに対応する観察ポイントを、前記変化が検出された旨を示す変化検出情報とともに表示する手順と、
   を実行させるための顕微観察プログラム。
   

Images