JP2008139489A

JP2008139489A - 顕微鏡装置

Info

Publication number: JP2008139489A
Application number: JP2006324603A
Authority: JP
Inventors: Nobuhiko Yonetani; 信彦米谷
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-11-30
Filing date: 2006-11-30
Publication date: 2008-06-19

Abstract

【課題】被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時の生育環境の変化を容易に把握可能とすること。
【解決手段】被観察物の生育環境を示す値を測定するセンサと、被観察物の特定領域を繰り返し異なる時点で撮像して複数の画像を生成する撮像部と、撮像部により繰り返し撮像を行った各時点での画像を記録するとともに、各時点の撮像開始前及び終了後の少なくとも一方の所定期間におけるセンサによる測定結果を画像に関連付けて記録する記録部とを備える。
【選択図】図１

Description

本発明は、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置に関する。

培養容器の培地等の環境を制御しながら、培地で成育中の培養細胞を拡大撮影する顕微鏡システムが実用化されている（特許文献１などを参照）。この顕微鏡システムでは、培養細胞に生じる緩やかな時間変化を視覚的に捉えるため、タイムラプス撮影が有効である（特許文献２などを参照）。
このような顕微鏡システムにおいて、特に、長時間に亘って上述したタイムラプス撮影を行う場合には、生育環境の変化を正しく把握する必要がある。
特開２００５−３２６４９５号公報特開２００６−２２０９０４号公報

しかし、上述した顕微鏡システムでは、タイムラプス撮影時の生育環境の変化を把握する方法についての技術はなく、ユーザが、その都度手作業で生育環境の測定や、該当するデータの参照を行っていた。
本発明の顕微鏡装置は、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時の生育環境の変化を容易に把握可能とすることを目的とする。

本発明の顕微鏡装置は、被観察物の生育環境を示す値を測定するセンサと、前記被観察物の特定領域を繰り返し異なる時点で撮像して複数の画像を生成する撮像部と、前記撮像部により繰り返し撮像を行った前記各時点での画像を記録するとともに、前記各時点の前記撮像開始前及び終了後の少なくとも一方の所定期間における前記センサによる測定結果を前記画像に関連付けて記録する記録部とを備える。

なお、好ましくは、前記記録部に記録された情報に基づいて、前記測定結果に基づく前記生育環境を示す値の変化を、前記撮像部の撮像開始前後の時間を示す情報とともに表示する表示部を備えても良い。
また、好ましくは、前記センサは、前記生育環境を示す値として、温度、湿度、炭素ガス濃度、ｐＨのうち少なくとも１つを測定しても良い。

本発明の顕微鏡装置によれば、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時の生育環境の変化を容易に把握可能とすることができる。

以下、図面を用いて本発明の実施形態を説明する。
図１は、本実施形態の顕微鏡装置１の構成図である。図１に示すように、顕微鏡装置１は、装置本体１０と、コンピュータ１７０と、モニタ１６０と、入力器１８０とを備える。装置本体１０には、顕微鏡部１５０と、透過照明部４０と、冷却カメラ３００と、励起用光源７０と、光ファイバ７とが備えられる。

顕微鏡部１５０には、ステージ２３と、対物レンズ部２７と、蛍光フィルタ部３４と、結像レンズ部３８と、偏向ミラー４５２と、フィールドレンズ４１１と、コレクタレンズ４１とが備えられ、透過照明部４０には、透過照明用光源４７と、フィールドレンズ４４と、偏向ミラー４５とが備えられる。
ステージ２３には、透明な培養容器２０を収めたチャンバ１００が載置される。培養容器２０は培地で満たされており、蛍光物質で標識された培養細胞がその培地内で生育している。その培養細胞をチャンバ１００の外側から観察するため、チャンバ１００の底面の一部ａと、チャンバ１００の上面の一部ｂとはそれぞれ透明部になっている。ここでは簡単のため、培養容器２０の上面が開放されている場合を説明するが、必要があれば培養容器２０の上面は培養容器２０と同質の蓋で覆われる。

対物レンズ部２７には、図１のＸ方向に亘り複数種類の対物レンズが装着されており、対物レンズ部２７が不図示の機構によりＸ方向へ駆動されると、装置本体１０の光路に配置される対物レンズの種類が切り替わる。この切り替えはコンピュータ１７０の制御下で行われる。
蛍光フィルタ部３４には、図１のＸ方向に亘り複数種類のフィルタブロックが装着されており、蛍光フィルタ部３４が不図示の機構によりＸ方向へ駆動されると、装置本体１０の光路に配置されるフィルタブロックの種類が切り替わる。この切り替えもコンピュータ１７０の制御下で行われる。

コンピュータ１７０は、光路に配置される対物レンズの種類と、光路に配置されるフィルタブロックの種類との組み合わせを、装置本体１０に設定されるべき観察方法に応じて切り替える。以下では、この切り替えによって装置本体１０の観察方法が位相差観察と２種類の蛍光観察との間で切り替わるのものとする。
このうち位相差観察と蛍光観察との間では、光路に配置されるフィルタブロックの種類と、光路に配置されうる対物レンズの種類との双方が異なり、２種対の蛍光観察の間では、光路に配置されるフィルタブロックの種類のみが異なる。また、位相差観察と蛍光観察との間では、照明方法も異なる。

コンピュータ１７０は、位相差観察時には、透過照明部４０の光路を有効とするべく透過照明用光源４７をオンし、蛍光観察時には、落射照明部の光路（励起用光源７０、光ファイバ７、コレクタレンズ４１、フィールドレンズ４１１、偏向ミラー４５２、蛍光フィルタ部３４、対物レンズ部２７を順に経由する光路）を有効とするべく、励起用光源７０をオンする。なお、透過照明用光源４７がオンされるときに励起用光源７０はオフされ、励起用光源７０がオンされるときに透過照明用光源４７はオフされる。

位相差観察時、透過照明用光源４７から射出した光は、フィールドレンズ４４、偏向ミラー４５、チャンバ１００の透明部ｂを介して培養容器２０の中の観察ポイントｃを照明する。その観察ポイントｃを透過した光は、培養容器２０の底面、チャンバ１００の透明部ａ、対物レンズ部２７、蛍光フィルタ部３４、結像レンズ３８を介して冷却カメラ３００の受光面に達し、観察ポイントｃの位相差像を形成する。この状態で冷却カメラ３００が駆動されると、位相差像が撮像され、画像データが生成される。この画像データ（位相差画像の画像データ）は、コンピュータ１７０へ取り込まれる。

蛍光観察時、励起用光源７０から射出した光は、光ファイバ７、コレクタレンズ４１、フィールドレンズ４１１、偏向ミラー４５２，蛍光フィルタ部３４、対物レンズ部２７、チャンバ１００の透明部ａ、培養容器２０の底面を介して培養容器２０の中の観察ポイントｃを照明する。これによって、観察ポイントｃに存在する蛍光物質が励起され、蛍光を発する。この蛍光は、培養容器２０の底面、チャンバ１００の透明部ａ、対物レンズ部２７、蛍光フィルタ部３４、結像レンズ３８を介して冷却カメラ１３０の受光面に達し、観察ポイントｃの蛍光像を形成する。この状態で冷却カメラ３００が駆動されると、蛍光像が撮像され、画像データが生成される。この画像データ（蛍光画像の画像データ）は、コンピュータ１７０へ取り込まれる。

なお、コンピュータ１７０は、ステージ２３のＸＹ座標及び対物レンズ部２７のＺ座標を制御することにより、培養容器２０における観察ポイントｃのＸＹＺ座標を制御する。
また、チャンバ１００には、不図示のシリコーンチューブを介して不図示の加湿器が接続されており、チャンバ１００の内部の湿度及びＣＯ₂濃度は、予め決められた値の近傍にそれぞれ制御される。また、チャンバ１００の周辺の雰囲気は、不図示の熱交換器によって適度に循環され、それによってチャンバ１００の内部温度も予め決められた値の近傍に制御される。このようなチャンバ１００の内部の湿度、ＣＯ₂濃度、温度は、センサ１５１により測定される。そして、センサ１５１による測定結果は、コンピュータ１７０へ取り込まれる。その一方で、冷却カメラ３００は装置本体１０との他の部分とは別の筐体に収められており、チャンバ１００の内部温度に拘わらず装置本体１０の外気温度と同程度に保たれる。

次に、タイムラプス撮影に関するコンピュータ１７０の動作を説明する。
コンピュータ１７０には、観察用のプログラムがインストールされており、コンピュータ１７０はそのプログラムに従って動作するものとする。ユーザからコンピュータ１７０への情報入力は、何れも入力器１８０を介して行われるものとする。
図２は、コンピュータ１７０の動作フローチャートである。図２に示すとおり、最初にコンピュータ１７０は、装置本体１０の観察方法を位相差観察（正確には低倍率の位相差観察）に設定し、その状態でバードビュー画像の画像データを取得し、それをモニタ１６０へ表示する（ステップＳ１１）。バードビュー画像とは、培養容器２０の比較的広い領域の画像である。

バードビュー画像の画像データを取得するに当たって、コンピュータ１７０は、培養容器２０における観察ポイントｃをＸＹ方向へ移動させながら位相差画像の画像データを繰り返し取得し、取得された複数の画像データを１枚の画像の画像データに合成する。個々の画像データは、所謂タイル画像の画像データであり、合成後の画像データがバードビュー画像の画像データである。

ユーザは、モニタ１６０に表示されたバードビュー画像を観察しながら、タイムラプス撮影の条件（インターバル、ラウンド数、観察ポイント、観察方法など）を決定する。
コンピュータ１７０は、ユーザから条件が入力されると（ステップＳ１１ＹＥＳ）、その条件が書き込まれたレシピを作成する（ステップＳ１３）。レシピの格納先は、例えばコンピュータ１７０のハードディスクである。以下、レシピに書き込まれたインターバル、ラウンド数、観察ポイント、観察方法をそれぞれ「指定インターバル」、「指定ラウンド数」、「指定ポイント」、「指定観察方法」と称す。

その後、コンピュータ１７０は、ユーザからタイムラプス撮影の開始指示が入力されると（ステップＳ１４）、タイムラプス撮影を開始する（ステップＳ１５）。
タイムラプス撮影では、コンピュータ１７０は、培養容器２０の観察ポイントｃを指定ポイントに一致させると共に、装置本体１０の観察方法を指定観察方法に設定し、その状態で画像データを取得する。指定観察方法が３種類であった場合は、装置本体１０の観察方法を３種類の指定観察方法の間で切り替えながら３種類の画像データを連続的に取得する。これによって、第１ラウンドの撮影が終了する。

その後、コンピュータ１７０は、第１ラウンドの撮影開始時刻から指定インターバルだけ待機時間をおき、第２ラウンドの撮影を開始する。第２ラウンドの撮影方法は、第１ラウンドのそれと同じである。
さらに、以下の撮影は、実行済みのラウンド数が指定ラウンド数に達するまで（ステップＳ１８ＹＥＳとなるまで）繰り返される。

さて、タイムラプス撮影の期間中（ステップＳ１８ＮＯとなる期間中）、コンピュータ１７０は、装置本体１０から取り込んだ画像データを図３に示すとおり実施経過ファイルへ逐次蓄積する。この実施経過ファイルの格納先は、例えばコンピュータ１７０のハードディスクである。
また、タイムラプス撮影の期間中（ステップＳ１８ＮＯとなる期間中）、コンピュータ１７０は、培養容器２０の生育環境（チャンバ１００の内部の湿度、ＣＯ₂濃度、温度）を監視し、撮影タイミングであると判定されると（ステップＳ１６ＹＥＳ）、その時点でのセンサ１５１による測定結果を、該当タイミングで生成した画像データと関連付けて実施経過ファイルへ書き込む（ステップＳ１７）。なお、センサ１５１による測定は、タイムラプス撮影の期間中（ステップＳ１８ＮＯとなる期間中）だけでなく、タイムラプス撮影の開始前及び終了後の所定時間中は、同様に行われるものとする。

さらに、コンピュータ１７０は、タイムラプス撮影の期間中又はタイムラプス撮影の終了後にユーザから確認指示が入力されると、その時点における実施経過ファイルの内容を参照し、それに基づき以下に説明する実施経過確認用画面をモニタ１６０へ表示する。
図４Ａ及び図４Ｂは、実施経過確認用画面を示す図である。図４Ａに示すとおり、実施経過確認用画面には、表示領域１０１，１０２，１０３，１０４と、再生コントロール部１０５と、状態表示領域１０６と、測定結果表示領域１０７とが配置される。

表示領域１０１は、位相差画像の動画像が表示されるべき領域であり、表示領域１０２は、２種類の蛍光画像の一方（第１の蛍光画像）の動画像が表示されるべき領域であり、表示領域１０３は、２種類の蛍光画像の他方（第２の蛍光画像）の動画像が表示されるべき領域である。また、表示領域１０４は、位相差画像と蛍光画像との合成画像の動画像が表示されるべき領域である。

動画像の表示に先立ち、コンピュータ１７０は、各ラウンドで取得された３種類の画像データを実施経過ファイル（図３参照）から読み出し、このうち位相差画像の画像データの各フレームを時系列順に連結して位相差画像の動画像ファイルを作成し、第１の蛍光画像の画像データの各フレームを時系列順に連結して第１の蛍光画像の動画像ファイルを作成し、第２の蛍光画像の画像データの各フレームを時系列順に連結して第２の蛍光画像の動画像ファイルを作成する。また、コンピュータ１７０は、位相差画像の画像データと蛍光画像の画像データとをフレーム毎に合成し、合成後の各フレームを時系列順に連結して合成画像の動画像ファイルを作成する。これら４種類の動画像ファイルの格納先は、例えばコンピュータ１７０のハードディスクである。

動画像の表示にあたり、コンピュータ１７０は、作成された４種類の動画像ファイルを同時並列的に読み出し、４種類の動画像を４つの表示領域１０１，１０２，１０３，１０４へ個別に表示するための動画像信号を生成し、それを生成順にモニタ１６０へ送出する。以下、この動画像ファイルの読み出、動画像信号の生成、及び動画像信号の送出からなるコンピュータ１７０の一連の処理を「動画像ファイルの再生」という。

図４Ｂに示す再生コントロール部１０５は、動画像ファイルの再生に関する指示をユーザがコンピュータへ入力するためのＧＵＩ画像である。
図４Ｂは、再生コントロール部１０５の拡大図である。図４Ｂに示すとおり再生コントロール部１０５には、停止ボタン５２、スキップボタン５３、再生ボタン５４、早送りボタン５５、生育環境変化グラフ呼び出しボタン５６（詳細は後述する）、タイムライン５０などが配置される。

ユーザが再生ボタン５４を選択すると、動画像ファイルの再生画開始され、表示領域１０１，１０２，１０３，１０４に対する動画像の表示が開始される。また、ユーザが停止ボタン５２を選択すると、表示領域１０１，１０２，１０３，１０４に表示されている動画像が静止する。
動画像ファイルにおける再生箇所は、タイムライン５０に反映される。ライムライン５０の左端（１）は動画像ファイルの先頭（タイムラプス撮影の開始時点）を示し、タイムライン５０の右端（２）は動画像ファイルの後尾（タイムラプス撮影の終了時点）を示す。なお、タイムラプス撮影が終了していないときには、タイムライン５０の右端（２）は現時点を示す。このタイムライン５０上にスラーダーバー６０が配置され、動画像ファイルにおける再生箇所は、スラーダーバー６０の左右方向の位置によってリアルタイムで表される。

このスラーダーバー６０の左右方向の位置は、ユーザによって自由に変更することが可能である。スラーダーバー６０の左右方向の位置が変化すると、動画像ファイルにおける再生箇所もそれに応じて変化する。
状態表示領域１０６は、現在の生育環境の状態が表示されるべき領域である。また、測定結果表示領域１０７は、予め定められた生育環境及びセンサ１５１による最近の測定結果が表示されるべき領域である。図４Ａでは、生育環境の一例として、温度情報を表示する例を示す。コンピュータ１７０は、センサ１５１から取り込んだ測定結果と予め定められた生育環境とを比較して現在の生育環境の状態を状態表示領域１０６に表示する。図４Ａの例では、安定した状態である「Ｓｔａｂｌｅ」を表示している。なお、コンピュータ１７０は、センサ１５１から取り込んだ測定結果と予め定められた生育環境とを比較して、現在の生育環境の状態が好ましくないと判定した場合には、不安定な状態である「Ｕｎｓｔａｂｌｅ」を状態表示領域１０６に表示する他に、不図示のランプなどを点滅させたり、不図示のスピーカなどにより警告音を発しても良い。また、タイムライン５０上にも、警告マークなどを表示すると良い。

また、ユーザが生育環境変化グラフ呼び出しボタン５６選択すると、コンピュータ１７０は実施経過ファイルからセンサ１５１による測定結果を読み出して、生育環境変化グラフを実施経過確認用画面（図４参照）とは別のウィンドウでモニタ１６０へ表示する。図５は、生育環境変化グラフ確認用画面を示す図である。図５に示すとおり、生育環境変化グラフ確認用画面には、グラフ表示領域１１０と、レンジコントロール部１１１と、スクロールバー１１２と、ウィンドウクローズボタン１１３とが配置される。

グラフ表示領域１１０は、タイムラプス撮影の期間中における生育環境の変化を示すグラフが表示されるべき領域である。なお、グラフ上において、タイムラプス撮影の期間に該当する部分（１１０−１参照）の色を変えるなどして、タイムラプス撮影期間をユーザが確認可能な表示を行う。また、生育環境の変化を示すグラフは、タイムラプス撮影の期間に加えて、タイムラプス撮影の期間の前と後との所定期間における生育環境の変化も表示することにより、タイムラプス撮影の開始前及び終了後に亘って、タイムラプス撮影が正しい生育環境下で実施されたものであるかどうかを検証することができる。

レンジコントロール部１１１及びスクロールバー１１２は、グラフ表示領域１１０に表示されるべきグラフの表示形態を調整するための指示を、ユーザがコンピュータへ入力するためのＧＵＩ画像である。また、ウィンドウクローズボタン１１３は、図５に示す生育環境変化グラフ確認用画面を閉じるための指示を、ユーザがコンピュータへ入力するためのＧＵＩ画像である。

さらに、グラフ表示領域１１０をＧＵＩ画像とし、グラフ上の任意の位置をユーザが選択すると、対応する画像をモニタ１６へ表示する構成としても良い。このような構成とすることにより、ユーザは、生育環境の変化を確認しながら、その時点で生成した画像を簡単に呼び出すことができる。また、グラフ表示領域１１０上において、上述した「Ｕｎｓｔａｂｌｅ」な状態を検出した時点に何らかのマークを表示しておくと良い。

また、上述した動画像ファイルの再生中に、動画像の近傍又は動画像に重畳して生育環境を示す値をデジタル表示する構成としても良い。
以上説明したように、本実施形態によれば、被観察物の生育環境を示す値を測定するセンサと、被観察物の特定領域を繰り返し異なる時点で撮像して複数の画像を生成する撮像部と、撮像部により繰り返し撮像を行った各時点での画像を記録するとともに、各時点の撮像開始前及び終了後の少なくとも一方の所定期間におけるセンサによる測定結果を画像に関連付けて記録する記録部とを備える。したがって、被観察物の像を繰り返し撮像して複数の画像を生成する撮像部を備えた顕微鏡装置において、タイムラプス撮影時の生育環境の変化を容易に把握可能とすることができる。

また、本実施形態によれば、記録部に記録された情報に基づいて、測定結果に基づく生育環境を示す値の変化を、撮像部の撮像開始前後の時間を示す情報とともに表示する表示部を備える。したがって、ユーザは、表示部を目視することにより、タイムラプス撮影が正しい生育環境下で実施されたものであるかどうかを容易に検証することができる。
なお、本実施形態では、生育環境の一例として、温度情報を用いて一連の説明を行ったが、湿度、炭素ガス濃度、ｐＨ等についても同様である。また、本実施形態では、チャンバ１００内の湿度、ＣＯ₂濃度、温度をセンサ１５１により測定する例を示したが、培養容器２０の内部にセンサを配置して培地の温度などをさらに測定しても良い。また、本実施形態では、チャンバ１００内にセンサ１５１を備える例を示した（図１参照）が、チャンバ１００の外にセンサを配置しても良い。また、顕微鏡装置１の外部にセンサを配置しても良い。

また、本実施形態では、図５に示した生育環境変化グラフ確認用画面において、タイムラプス撮影の期間に加えて、タイムラプス撮影の期間の前と後との所定期間における生育環境の変化も表示する例を示したが、タイムラプス撮影の期間に加えて、タイムラプス撮影の期間の前と後との何れかの所定期間における生育環境の変化のみを表示しても良い。

顕微鏡装置１の構成図である。コンピュータ１７０の動作フローチャートである。実施経過ファイルを説明する図である。実施経過確認用画面を示すである。生育環境変化グラフ確認用画面を示す図である。

符号の説明

１…顕微鏡装置，１０…装置本体，１７０…コンピュータ，１６０…モニタ，１８０…入力器，１５０…顕微鏡部，３００…冷却カメラ，１５１…センサ

Claims

被観察物の生育環境を示す値を測定するセンサと、
前記被観察物の特定領域を繰り返し異なる時点で撮像して複数の画像を生成する撮像部と、
前記撮像部により繰り返し撮像を行った前記各時点での画像を記録するとともに、前記各時点の前記撮像開始前及び終了後の少なくとも一方の所定期間における前記センサによる測定結果を前記画像に関連付けて記録する記録部と
を備えたことを特徴とする顕微鏡装置。
請求項１に記載の顕微鏡装置において、
前記記録部に記録された情報に基づいて、前記測定結果に基づく前記生育環境を示す値の変化を、前記撮像部の撮像開始前後の時間を示す情報とともに表示する表示部を備えた
ことを特徴とする顕微鏡装置。
請求項１に記載の顕微鏡装置において、
前記センサは、前記生育環境を示す値として、温度、湿度、炭素ガス濃度、ｐＨのうち少なくとも１つを測定する
ことを特徴とする顕微鏡装置。