JP4869837B2 - 顕微鏡用撮像装置、顕微鏡用撮像プログラムおよび顕微鏡用撮像方法 - Google Patents

Description

本発明は、顕微鏡による標本の観察画像をＣＣＤなどの撮像素子により撮像して記録するための顕微鏡用撮像装置、顕微鏡用撮像プログラムおよび顕微鏡用撮像方法に関し、特に、顕微鏡用撮像装置と該顕微鏡用撮像装置を備えた顕微鏡撮像システムにおける、トリガ信号撮影技術を用いた顕微鏡用撮像装置、顕微鏡用撮像プログラムおよび顕微鏡用撮像方法に関する。

従来、生物標本に光、電気等で刺激を与えたことにより生じる生物標本の現象を観察するために、顕微鏡にデジタルカメラ等の顕微鏡用撮像装置を組み付け、生物標本の静止画像もしくは動画像を撮影する方法が広く用いられている。これらの顕微鏡用撮像装置は、入力されるトリガ信号に応じて撮影することによって撮像タイミングをコントロールし、刺激によって生物標本に生じる数ミリ秒から数秒以上におよぶ様々な現象の観察に適応している。

例えば、特許文献１には、光走査型顕微鏡によるトリガ信号の直前あるいは直後における細胞の生理現象を観察する技術が開示されている。この技術には、生物標本からの光を検出して得られるトリガ信号によって生物標本への刺激を与え、この刺激直後の画像を得ることが開示されている。

上述のトリガ信号撮影において、高速な数ミリ秒オーダの現象を観察する場合、刺激を与えるタイミングと露光開始時間との同期をとらなければ、顕微鏡用撮像装置のシステム内部のトリガ信号入力から撮影開始までの遅延時間によって生物標本に生じる現象を観察し損じてしまうことがある。

このような高速な現象を観察する顕微鏡用撮像装置においては、特許文献２に開示されているように生物標本に刺激を与える刺激発生装置が同時にトリガ信号出力のタイミングをコントロールし、刺激から撮像動作までの時間差を極力少なくすることによって生物標本に生じる短時間の現象を観察することを可能としている。

一方、生物標本に刺激を与えた後、数百ミリ秒以上の比較的長い周期で生じる現象を観察するための顕微鏡用撮像装置は、トリガ信号入力から露光開始まで顕微鏡用撮像装置内部の遅延時間が、刺激を与えてから生物標本に現象が生じるまでの時間に対して短いため、刺激発生装置は、刺激とトリガ信号のタイミングをコントロールせずに顕微鏡用撮像装置に出力する場合が多い。この場合、前述の方法の様に刺激に対する生物標本の短時間の現象を観察できないものの、簡易なシステム構成で観察装置を実現することが可能となる。
特開平１０−１０４３６号公報 特開２０００−２７５５３９号公報

しかしながら、上述のような技術においては、トリガ信号が顕微鏡用撮像装置の動作状態に関わらずランダムに発生するため、顕微鏡用撮像装置内部の負荷状態、露出時間等の撮影条件によってトリガ信号入力から撮影開始までの時間にばらつきが生じてしまうという問題点があった。

特にパーソナルコンピュータ（以下ＰＣと略す）を用いた顕微鏡用撮像システムにおいては、ＰＣの負荷状態によって１００ミリ秒単位のばらつきが生ずることもある。この際、観察者が生物標本への刺激と撮影画像の正確な時間関係を知ることは困難である。また、刺激から撮像動作までの時間差を極力少なく抑えるとしても、撮影準備が完了するまでの時間にばらつきが生じてしまうという問題点があった。

本発明は、上記問題点に鑑みてなされたものであり、トリガ信号入力から露光開始までの時間を測定し、生物標本に生じた現象の時間変化を正確に把握することが可能な顕微鏡用撮像装置、顕微鏡用撮像プログラムおよび顕微鏡用撮像方法を提供することを目的とする。

本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の顕微鏡用撮像装置は、顕微鏡に用いられる顕微鏡用撮像装置であって、撮像のトリガとなるトリガ信号を検出するトリガ信号検出手段と、前記トリガ信号検出手段によって前記トリガ信号が検出されると、前記撮像のための露光を開始して前記撮像を実行する撮像手段と、前記トリガ信号検出手段が前記トリガ信号を検出してから前記撮像手段が前記露光を開始するまでの時間を計時する計時手段と、前記計時手段によって計時した時間を出力する出力手段とを備えることを特徴とする。

また、本発明の顕微鏡用撮像装置は、前記出力手段が、前記時間とともに前記撮像手段によって撮像した画像データを出力することが望ましい。
また、本発明の顕微鏡用撮像装置は、前記出力手段が、前記時間または前記画像データを表示装置に表示出力することが望ましい。

また、本発明の顕微鏡用撮像装置は、前記出力手段が、前記時間または前記画像データを記録媒体に記録出力することが望ましい。
また、本発明の顕微鏡用撮像装置は、前記出力手段が、前記時間または前記画像データを電子データとして記録媒体に記録出力することが望ましい。

また、本発明の顕微鏡用撮像装置は、さらに、ホストコンピュータと通信するための通信手段を備え、前記計時手段が、前記通信手段によって前記ホストコンピュータと通信する通信時間を計時することが望ましい。

また、本発明の顕微鏡用撮像装置は、前記撮像手段が、連続して複数回の撮像を実行するタイムラプス撮像機能を有し、前記計時手段が、前記トリガ信号検出手段が前記トリガ信号を検出してから前記撮像手段が前記タイムラプス機能を用いて撮像する複数回の撮像それぞれの露光開始までの時間を計時することが望ましい。

また、本発明の顕微鏡用撮像装置は、前記撮像手段が、電子シャッタ機能を有する固体撮像素子を有し、前記計時手段が、前記トリガ信号検出手段が前記トリガ信号を検出してから前記固体撮像素子を駆動する同期信号が変化するまでの時間を計時することが望ましい。

また、本発明の一態様によれば、本発明の顕微鏡用撮像プログラムは、顕微鏡に用いられる顕微鏡用撮像装置のコンピュータを、撮像のトリガとなるトリガ信号を検出するトリガ信号検出手段、前記トリガ信号検出手段によって前記トリガ信号が検出されると、前記撮像のための露光を開始して前記撮像を実行する撮像手段、前記トリガ信号検出手段が前記トリガ信号を検出してから前記撮像手段が前記露光を開始するまでの時間を計時する計時手段、前記計時手段によって計時した時間を出力する出力手段として機能させるための顕微鏡用撮像プログラムである。

また、本発明の一態様によれば、本発明の顕微鏡用撮像方法は、顕微鏡に用いられる顕微鏡用撮像装置において実行される顕微鏡用撮像方法であって、トリガ信号検出手段が、撮像のトリガとなるトリガ信号を検出し、撮像手段が、前記トリガ信号検出手段によって前記トリガ信号が検出されると、前記撮像のための露光を開始して前記撮像を実行し、計時手段が、前記トリガ信号検出手段が前記トリガ信号を検出してから前記撮像手段が前記露光を開始するまでの時間を計時し、出力手段が、前記計時手段によって計時した時間を出力することを特徴とする。

本発明によれば、顕微鏡用撮像装置において、外部トリガ入力から実際の露光開始までの時間差を測定し、撮影操作画面上に表示、あるいは電子データとして保存するため、観察者は、生物標本への刺激と撮影画像の時間関係を正確に把握することが可能となる。

以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本発明の第１の実施形態に係る顕微鏡撮像システムの概略構成を示す図である。

図１において、顕微鏡撮像システムは、顕微鏡１０１と光源部１０８とを有する顕微鏡部、顕微鏡用撮像装置１００、入力装置１０５とＰＣ１０６と表示部１０７とを有するＰＣ部を備えた構成となっている。

顕微鏡１０１は、図示しないステージ上にのせた生物標本を透過明視野観察または蛍光観察などの各種検鏡法で観察することが可能な鏡体であり、図示しない投光管によって光源部１０８と接続可能な構成となり、マウンタ等を介して撮像部１０２と接続可能な構成となっている。そして、光源部１０８から入射された光が顕微鏡１０１内部の図示しない光学系を通過し、生物標本に照射されるようになっている。

図２は、光源部１０８の構成を示す図である。
図２において、光源部１０８は、光源４０１とシャッタ制御部４０２とシャッタ４０３とを有している。光源４０１は、水銀ランプやキセノンランプ等の生物標本に照射するための光源であり、シャッタ４０３を介して顕微鏡１０１の投光管へと接続されている。シャッタ４０３は、光源４０１と顕微鏡１０１との間の光軸上に設置され、シャッタ制御部４０２からの制御信号に応じてシャッタ４０３を開閉することで、顕微鏡１０１への光源光の入射、遮断を切り替える。シャッタ制御部４０２は、シャッタ４０３、ＰＣ１０６、ＣＰＵ１０９と接続され、ＰＣ１０６からの入力信号に応じてシャッタ４０３の開閉を制御するとともに、シャッタ４０３開閉タイミングを通知するトリガ信号をＣＰＵ１０９に送信する。

図１の説明に戻る。
タイマ１１１はＣＰＵ１０９に接続され、ＣＰＵ１０９からの指示するタイミングで時間を測定する。撮像部１０２には顕微鏡１０１から標本像が入射する。

図３は、撮像部１０２の構成を示す図である。
顕微鏡１０１から撮像部１０２に入射した標本像は、撮像レンズ２０１によって固体撮像素子２０２に結像される。駆動部（ＴＧＶ−ｄｒｖ）２０５は固体撮像素子２０２、制御バス１１０と接続されており、ＣＰＵ１０９から設定された条件で固体撮像素子２０２の駆動信号を生成し、固体撮像素子２０２に出力する。固体撮像素子２０２は、この駆動信号に応じて入射光を光電変換し、駆動部２０５から入力される水平同期信号（ＨＤ）、垂直同期信号（ＶＤ）に応じて信号電荷を読み出し、アナログ信号としてＣＤＳ／ＡＧＣ回路２０３に出力する。

光電変換された信号は、相関二重サンプリング（ＣＤＳ）、利得自動調整（ＡＧＣ）をするためのＣＤＳ／ＡＧＣ回路２０３を通り、Ａ／Ｄ変換器２０４によってデジタル信号のベイヤデータに変換された後、フレームやライン周期タイミングを示す同期信号とともに画像処理部１０３に出力される。

図１の説明に戻る。
画像処理部１０３は、制御バス１１０を介して接続されたＣＰＵ１０９からの命令に応じて、入力画像データに対し様々な画像処理をおこなう。

図４は、画像処理部１０３の構成を示す図である。
撮像部１０１からの入力画像データは、まず内部にＲＧＢ変換部３０１を通じてベイヤデータからＲＧＢデータに同時化され、ホワイトバランス（ＷＢ）補正部３０２に出力される。ホワイトバランス補正部３０２は、各色データに対してＣＰＵ１０９から設定された係数を乗ずることによってホワイトバランスを補正し、後段の色マトリックス３０３に出力する。つぎに、色マトリックス３０３への入力画像データは、ＲＧＢ各色に対する３×３の行列演算によって固体撮像素子２０２の色再現性を補正した後、階調補正部３０４に出力される。階調補正部３０４に入力した画像データは、図示しないＬＵＴ（ルックアップテーブル）によって階調補正された後、輪郭強調部３０５に出力される。輪郭強調部３０５はバンドパスフィルタを有しており、そのバンドパスフィルタによって抽出された入力画像データの高周波成分が入力画像データに加算され、輪郭強調された画像データが、Ｉ／Ｆ部１０４に出力される。

図１の説明に戻る。
Ｉ／Ｆ部１０４は、ＰＣ１０６、画像処理部１０３、ＣＰＵ１０９と接続しており、データ形式の変換を行いつつＰＣ１０６とＣＰＵ１０９との間のデータ送受信を行う。また、Ｉ／Ｆ部１０４は、内部にバッファメモリを有しており、画像処理部１０３から入力される撮像画像データを一時保存し、ＰＣ１０６とタイミング調整を図りつつ画像データをＰＣ１０６に送信する。

ＰＣ１０６は、一般的なパーソナルコンピュータであり、Ｉ／Ｆ部１０４を介して顕微鏡用撮像装置１００、表示部１０７、入力装置１０５と接続されている。
表示部１０７は、ＴＦＴ液晶表示装置やＣＲＴ表示装置等のモニタであり、ＰＣ１０６からの入力信号に応じてモニタに撮影画像や操作者が各種操作を実行するためのＧＵＩ、文字等を表示する。

図５は、表示部１０７の表示例を示す図である。
操作者は、撮像調整ボタン群６０３から撮影条件を設定し、撮影開始ボタン６０２によって撮影開始を指示する。撮影状態表示窓６０４には、撮影状態が表示される。撮影表示窓６０１には、撮影された生物標本の撮影画像等が表示される。なお、表示部１０７とＰＣ１０６は、モニタケーブル１１２によって接続されている。

図１の説明に戻る。
入力装置１０５はボタン、キーボード、マウス等、操作者が撮影条件や撮影開始、終了等の指示を与えるための入力デバイスであり、ＰＣ１０６に接続される。

次に、以上の構成を有する顕微鏡用撮像装置の動作について説明する。
図６は、第１の実施の形態における顕微鏡用撮像処理の流れを示すフローチャートである。

まず、操作者が顕微鏡部、顕微鏡用撮像装置１００、ＰＣ部等の各装置に電源を入れる（ステップＳ６０１）と、ＰＣ１０６は、画像処理用パラメータのデフォルトデータをＩ／Ｆ部１０４を介してＣＰＵ１０９に送信する。そして、ＣＰＵ１０９が、入力されたデータを画像処理部１０３に送信することで各画像処理のデフォルトパラメータが設定される（ステップＳ６０２）。

次に、操作者は露出時間等撮影条件を設定（ステップＳ６０３）し、設定が終了した時点で入力装置１０５から撮影開始をＰＣ１０６に指示する（ステップＳ６０４）。操作者から指示を受けたＰＣ１０６が、シャッタ制御部４０２にシャッタ４０３を開ける命令を送信すると、シャッタ制御部４０２はシャッタ４０３を開ける電圧をシャッタ４０３に印加すると同時にトリガ信号をＣＰＵ１０９に送信する。ここで、シャッタ４０３が開く（ステップＳ６０５）と光源４０１の光が顕微鏡１０１内に入射し、生物標本に照射される。

トリガ信号を検出（ステップＳ６０６）したＣＰＵ１０９は、タイマ１１１を作動開始させる（ステップＳ６０７）と同時にＩ／Ｆ部１０４を介してＰＣ１０６にトリガ信号受信を通知する。ＣＰＵ１０９からのトリガ信号受信通知を受けたＰＣ１０６は、操作者に指定された条件で撮像するためにＣＰＵ１０９を介して各種設定値を顕微鏡用撮像装置１００内の各部位に設定した後、露光を開始する命令をＩ／Ｆ部１０４を介してＣＰＵ１０９に通知（ステップＳ６０８）する。

ＰＣ１０６から露光開始命令を受けたＣＰＵ１０９は、駆動部２０５にＰＣ１０６から指示された条件で撮影するための設定データを送信するとともに、タイマ１１１の値を読み出し、ＣＰＵ１０９内蔵のメモリに格納する（ステップＳ６０９）。タイマ１１１はストップする（ステップＳ６１０）。

この際、駆動部２０５は固体撮像素子２０２を駆動し、撮像レンズ２０１からの入射光を光電変換させる（ステップＳ６１１）。ここで設定時間露光され（ステップＳ６１２）アナログ信号に変換された撮影画像信号は、ＣＤＳ／ＡＧＣ回路２０３を通り、Ａ／Ｄ変換器２０４によってデジタル信号の画像データに変換された後、画像処理部１０３を通って各画像処理が施される。画像処理部１０３において画像処理された画像データは、Ｉ／Ｆ１０４がタイミング調整しつつＰＣ１０６にデータ転送される（ステップＳ６１３）。

ＰＣ１０６は、すべての撮像画像データを受信し終わると、シャッタ制御部４０２に信号を送信しシャッタ４０３を閉めた（ステップＳ６１４）後、Ｉ／Ｆ１０４を介してＣＰＵ１０９に画像データ転送完了を通知する。ＣＰＵ１０９は、この通知を受信すると内臓メモリに格納したタイマ読み取り値データをＰＣ１０６に送信する（ステップＳ６１５）。

ＣＰＵ１０９からタイマ読み取り値を受信したＰＣ１０６は、先に受信した画像データ、タイマ読み取り値、露出時間を表示部１０６の画面上に表示させる（ステップＳ６１６）と、一連の動作を終了する。

図７は、撮影状態表示窓６０４の表示例を示す図である。
図７において、撮影状態表示窓６０４には、タイマ読み取り値がタイマ値表示枠７０１に表示され、露出時間が露出時間表示枠７０２に表示されている。

以上発明したように、露出時間のみならず、生物標本に光が照射されてから実際に露出開始するまで撮像装置システム内部に生ずる遅延時間が操作画面上に表示される。したがって、観察者は、生物標本への刺激と撮影画像の正確な時間関係を知ることができ、生物標本に生じる現象の時間変化を正確に把握することができる。

なお、本第１の実施の形態においては、光照射から露出開始までの顕微鏡撮像システム内部の遅延時間情報をモニタ画面上に表示させたが、ＰＣ１０６内部のプログラム操作によって撮像画像データと遅延時間データを合成し、撮影画像内に遅延時間を文字として写しこむ、もしくは、遅延時間情報を撮像画像データと別にテキストデータとして保存すれば、操作者は撮影画像の時間情報を別途記録せずとも後に容易に確認することができる。

次に、本発明の第２の実施の形態について説明する。
本第２の実施の形態の特徴は、生物標本への刺激から露光撮影開始までの遅延時間を予測し、操作者に通知することにある。

本第２の実施の形態の構成は第１の実施の形態の説明に用いた図１乃至図５と同様であるが、第１の実施の形態と比較すると、表示部１０６のモニタ表示上に、図５に示した調整ボタン群６０３内に図示しない遅延時間測定ボタンが追加されている点が相違する。

図８を用いて第２の実施の形態における顕微鏡用撮像装置の動作について説明する。
図８は、第２の実施の形態における顕微鏡用撮像処理の流れを示すフローチャートである。

まず、操作者が顕微鏡部、顕微鏡用撮像装置１００、ＰＣ部等の各装置に電源を入れる（ステップＳ６０１）と、ＰＣ１０６は、画像処理用パラメータのデフォルトデータをＩ／Ｆ部１０４を介してＣＰＵ１０９に送信する。そして、ＣＰＵ１０９が、入力されたデータを画像処理部１０３に送信することで各画像処理のデフォルトパラメータが設定される（ステップＳ６０２）。

次に、操作者は露出時間等撮影条件を設定（ステップＳ６０３）した後、遅延時間測定ボタンを入力装置１０５から指示する（ステップＳ８０４）と、ＰＣ１０６は、Ｉ／Ｆ１０４を介してＣＰＵ１０９にタイマ動作開始を命令する信号を送信する。ＰＣ１０６から命令を受信したＣＰＵ１０９は、タイマ１１１を作動開始させる（ステップＳ８０５）とともに、ＰＣ１０６にタイマ作動完了を通知する。ＣＰＵ１０９からのタイマ作動完了通知を受けたＰＣ１０６は、タイマ値を読み取る命令をＩ／Ｆ部１０４を介してＣＰＵ１０９に通知する（ステップＳ８０６）。

ＰＣ１０６から命令を受けたＣＰＵ１０９は、タイマ１１１の値を読み出し（ステップＳ８０７）、ＰＣ１０６にその値を送信する（ステップＳ８０８）と同時にタイマ動作をストップしリセットする（ステップＳ８０９）。ＰＣ１０６は、ＣＰＵ１０９からの受信したタイマ読み取り値をタイマ値表示枠７０１に表示するとともに、図９に示すような文字９０１を表示し現在の値が刺激から露光開始するまでの予測遅延時間を示していることを操作者に通知する（ステップＳ８１０）。

操作者は、モニタ表示の予測遅延時間が所望の観察に対して適切であるか判断し、適切であると判断したときは、ＰＣ１０６に撮影動作開始を指示する。不適切であると判断したときは、撮影条件を変更、あるいはＰＣ１０６上で動作するソフトウェアの内、撮影に不要なソフトウェアを終了させる等の処置によってＰＣ１０６の負荷状態を変更した後、遅延時間測定ボタンを入力装置１０５から指示すると、再度ＰＣ１０６は前述と同様な処理（ステップＳ８０５乃至ステップＳ８１０）によってＣＰＵ１０９とＰＣ１０６の通信応答時間を測定し、モニタ画面上を表示する。

操作者は、再びモニタ表示の予測遅延時間が所望の観察に適切か否かを判断し、適切であると判断したときは、ＰＣ１０６に撮影動作開始を指示する。ＰＣ１０６に撮影開始を指示した後の動作は第１の実施の形態と同様であるため省略するが、タイマ読み取り値をモニタ上に表示する（ステップＳ６１６）際、ＰＣ１０６は、タイマ読み取り値が予測値であることを示す文字ステップＳ９０１を撮影状態表示窓６０４内に表示させない。

以上説明した第２の実施の形態によれば、撮像条件や顕微鏡用撮像装置１００内ハードウェアの負荷状態によって変化する生物標本への刺激から露光開始までの予測遅延時間が操作画面上に示される。したがって、観察者が撮影開始時間の変動によって撮影タイミングを逸する失敗を防ぐことが出来る。

本第２の実施の形態においては、操作者自身が、刺激から露光開始までの遅延時間が撮影に適切か否かを判断したが、入力装置１０５を通じて操作者が観察時の許容遅延時間範囲を予めＰＣ１０６内の図示しないメモリに格納しておき、ＰＣ１０６が所定時間間隔毎に上述した第２の実施の形態における一連の動作（図８のステップＳ８０５乃至ステップＳ８１０）を繰り返し、ＣＰＵ１０９から受信したタイマ読み取り値が、許容遅延時間範囲を越えたときにモニタ上に警告メッセージを出すようにすれば、撮影者は、撮影毎に遅延時間を確認せずに、必要なときのみ撮影条件等の調整をおこなえばよく、観察をスムーズに行うことができる。

次に、本発明の第３の実施の形態について説明する。
本第３の実施の形態の特徴は、生物標本への刺激をトリガとしたタイムラプス撮影時に、トリガ入力から複数の撮影画像の露光開始までの時間差を観察者に通知することにある。

本第３の実施の形態の構成は第１の実施の形態の説明に用いた図１乃至図５と同様であるため説明は省略するが、ＰＣ１０６は操作者が指定した時間間隔で連続的にＣＰＵ１０９に対して撮影命令を送信する、すなわちタイムラプス撮影することが可能なプログラムを有している。

図１０を用いて第３の実施の形態における顕微鏡用撮像装置の動作について説明する。
図１０は、第３の実施の形態における顕微鏡用撮像処理の流れを示すフローチャートである。

図１０において、第１の実施の形態と同様な処理については、図６と同じステップ番号を付している。
まず、操作者が顕微鏡部、顕微鏡用撮像装置１００、ＰＣ部等の各装置に電源を入れた（ステップＳ６０１）後、撮影条件を設定（ステップＳ６０３）するまでは、図６を用いて説明した第１の実施の形態と同様である。

次に、操作者は撮影条件設定が終了した時点で入力装置１０５からタイムラプス撮影開始をＰＣ１０６に指示する（ステップＳ１０００）。操作者から指示を受けたＰＣ１０６がシャッタ制御部４０２に命令を送信すると、シャッタ制御部４０２がシャッタ４０３を開ける（ステップS６０５）と同時にトリガ信号をＣＰＵ１０９に出力する（ステップＳ６０６）。

以降、トリガ信号を受信したＣＰＵ１０９がタイマ１１１を作動開始させた（ステップＳ６０７）後、生物標本を撮影し、ＰＣ１０６がＩ／Ｆ部１０４を介して転送されたタイマ読み取り値と撮像画像データをモニタ上に表示する（ステップＳ６１５）までの動作は、第１の実施の形態と同様である。ただし、ＣＰＵ１０９は、タイマ値を読み出した（ステップＳ６０９）直後にタイマをストップしない（図６に示したステップＳ６１０はない）。

この後、ＰＣ１０６はモニタに表示した撮像画像データとタイマ読み取り値を図示しない内部のハードディスク等の記憶装置に保存し（ステップＳ１００１）、タイムラプス撮影の残り枚数を確認する（ステップＳ１００２）。

タイムラプスの残り撮影枚数が０でない状態で、次の撮影時刻に到達すると、ＰＣ１０６は、ＣＰＵ１０９に撮影開始命令を送信する（ステップＳ６０８）。ＰＣ１０６から撮影開始命令を受信したＣＰＵ１０９は、上述と同様な処理（ステップＳ６０９乃至ステップＳ６１４）を経て、標本撮像画像データとタイマ読み取り値を取得しモニタに表示した（ステップＳ６１５）後、データを保存し（ステップＳ１００１）、タイムラプス撮影の残り枚数を確認する（ステップＳ１００２）。

そして、これらの動作（ステップＳ６０８乃至ステップＳ１００２）を繰り返し、タイムラプス撮影の残り枚数が０枚になった時点で、ＣＰＵ１０９に命令を送信してタイマ１１１の動作をストップさせ（ステップＳ６１０）、撮影処理を終了する。

以上の第３の実施の形態によれば、生物標本への刺激開始からタイムラプス撮影の各画像撮影開始までの時間が電子データとして保存され、それらを撮影後に確認することができる。したがって、観察者は、刺激と生物標本に生じた変化の時間関係を正確に把握することができる。

次に、本発明の第４の実施の形態について説明する。
本第４の実施の形態の特徴は、外部からランダムなタイミング（すなわち、いつでもトリガ信号を受け付けられるタイミング）で入力されるトリガ信号（ランダムトリガ）に応じて露光する顕微鏡用撮像装置において、トリガ入力信号から露光開始までの時差を表示することにある。

図１１は、本発明の第４の実施形態に係る顕微鏡撮像システムの概略構成を示す図である。
図１１に示した第４の実施の形態係る顕微鏡撮像システムの構成は、図１に示した第１の実施の形態係る顕微鏡撮像システムの構成と同様であるが、光源部１０８のシャッタ制御部４０２が、ＣＰＵ１０９、ＰＣ１０６のみならず撮像部１０２内の駆動部２０５にも接続されており、トリガ信号線をＣＰＵ１０９、駆動部２０５で共有している点が異なっている。そして、ＣＰＵ１０９は、駆動部２０５の生成する同期信号線が入力ポートに接続されている。また、固体撮像素子２０２は電子シャッタ機能を有している。

本第４の実施の形態における顕微鏡用撮像装置の動作を図１２のフローチャートと図１３のタイミングチャートにしたがって説明する。
本第４の実施の形態においては、ＰＣ１０６がシャッタ制御部４０２に対して、シャッタ４０３を開けてから時間ｔ１後にＣＰＵ１０９に露光開始のトリガ信号を出力するように設定した場合を例として説明する。

まず、操作者が顕微鏡部、顕微鏡用撮像装置１００、ＰＣ部等の各装置に電源を入れ（ステップＳ６０１）てから、撮影条件を設定（ステップＳ６０３）するまでは、図６を用いて説明した第１の実施の形態と同様である。

次に、操作者が撮影条件を設定終了した時点で入力装置１０５からＰＣ１０６に露光開始を指示する（ステップＳ６０４）と、ＰＣ１０６は、シャッタ制御部４０２にシャッタ４０３を開ける命令を送信する。シャッタ制御部４０２は所定の電圧を印加してシャッタ４０３を開け、生物標本に光源４０１の光を照射すると同時に、ＣＰＵ１０９へのトリガ信号を‘Ｌ（ロー）’から‘Ｈ（ハイ）’に変化させる。

トリガ信号電圧の‘Ｌ’から‘Ｈ’への変化を検出したＣＰＵ１０９（ステップＳ１２０１）は、タイマ１１１を作動開始させ（ステップＳ６０６）、水平同期信号（ＨＤ）が‘Ｌ’へ変化したのを検出すると（ステップＳ１２０２）、タイマ１１１の示す値を読み取り（ステップＳ６０９）内部メモリに保存する。ここで駆動部２０５が、固体撮像素子２０２に対してシャッタパルス（ＸＳＵＢ）を出力し、固体撮像素子２０２上に蓄積された信号電荷を掃き出しリセットすると、露光を開始する（ステップＳ６１１）。

シャッタ制御部４０２は、内部タイマによってＰＣ１０６から設定された所定時間（図１３のｔ２）が経過したことを検出すると、駆動部２０５、ＣＰＵ１０９へのトリガ信号を‘Ｌ’に変化させる。駆動部２０５がトリガ信号の‘Ｈ’から‘Ｌ’への変化を検出し、読み出しパルスＸＳＧを固体撮像素子２０２に送信するとセンサ部に蓄積された信号電荷がセンサから垂直転送レジスタに読み出され、露光が完了する（ステップＳ１２０４）。

ＣＰＵ１０９は、垂直同期信号（ＶＤ）が‘Ｌ’に変化したことを検出すると、制御バス１１０経由で駆動部２０５に指示し、固体撮像素子２０２内の信号電荷をアナログ信号としてＣＤＳ／ＡＧＣ回路２０３に出力させる。そして、ＣＤＳ／ＡＧＣ回路２０３を通り、Ａ／Ｄ変換器２０４によってデジタル信号に変換された画像データは、画像処理部１０３を通過し、Ｉ／Ｆ１０４がタイミング調整しつつＰＣ１０６にデータ転送させる（ステップＳ６１３）。

ＰＣ１０６は、全ての撮像画像データを受信し終わると、シャッタ制御部４０２に信号を送信しシャッタ４０３を閉めた（ステップＳ６１４）後、Ｉ／Ｆ１０４を介してＣＰＵ１０９に画像データ転送完了を通知する。ＣＰＵ１０９は、この通知を受信すると内臓メモリに格納したタイマ読み取り値をＰＣ１０６に送信する（ステップＳ６１５）。

ＣＰＵ１０９からタイマ読み取り値を受信したＰＣ１０６は、先に受信した画像データ、タイマ読み取り値、露出時間を第１の実施の形態と同様に表示部１０６の画面上に表示させ（ステップＳ６１６）（図５参照）、一連の撮像動作は終了する。

以上説明したように、第４の実施の形態によれば、外部からのランダムなトリガ入力信号のタイミングに応じて露光する顕微鏡用撮像装置において、第１の実施の形態と同様に生物標本への光照射と実際の露出開始までの時間差が操作画面上に表示される。したがって、観察者は、刺激によって数ミリ秒の短い時間オーダで生物標本に生じる現象の時間を正確に把握することができる。

なお、上述の第１乃至第４の実施の形態においては、生物標本を光刺激するケースについて説明したが、電気や試薬によって刺激するケースにも適用可能である。この場合、光源４０１を照明光として用い、別途電気刺激装置や試薬投入装置をＰＣ１０６と顕微鏡用撮像装置１００に接続し、生物標本に電気刺激を与える、あるいは試薬を投入するタイミングを顕微鏡用撮像装置１００内部のＣＰＵ１０９にトリガ信号として送信すれば、上述の同様なシーケンスによって生物標本への刺激と撮影画像の正確な時間関係を知ることができる。

以上、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用される顕微鏡用撮像装置は、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。

また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を、顕微鏡用撮像装置に供給し、その顕微鏡用撮像装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、可搬記憶媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。

プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。

また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によっても前述した各実施の形態の機能が実現される。

さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した各実施の形態の機能が実現され得る。

すなわち、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。

本発明の第１の実施形態に係る顕微鏡撮像システムの概略構成を示す図である。 光源部１０８の構成を示す図である。 撮像部１０２の構成を示す図である。 画像処理部１０３の構成を示す図である。 表示部１０７の表示例を示す図である。 第１の実施の形態における顕微鏡用撮像処理の流れを示すフローチャートである。 撮影状態表示窓６０４の表示例を示す図である。 第２の実施の形態における顕微鏡用撮像処理の流れを示すフローチャートである。 第２の実施の形態のモニタ画面表示内の撮影状態表示窓６０４の詳細を示す図である。 第３の実施の形態における顕微鏡用撮像処理の流れを示すフローチャートである。 本発明の第４の実施形態に係る顕微鏡撮像システムの概略構成を示す図である。 第４の実施の形態における顕微鏡用撮像処理の流れを示すフローチャートである。 第４の実施の形態における駆動部２０５の生成する駆動波形を示すタイミングチャートである。

符号の説明

１００ 顕微鏡用撮像装置
１０１ 顕微鏡
１０２ 撮像部
１０３ 画像処理部
１０４ Ｉ／Ｆ部
１０５ 入力装置
１０６ ＰＣ
１０７ 表示部
１０８ 光源部
１０９ ＣＰＵ
１１０ 制御バス
１１１ タイマ
１１２ モニタケーブル
２０１ 撮像レンズ
２０２ 固体撮像素子
２０３ ＣＤＳ／ＡＧＣ回路
２０４ Ａ／Ｄ変換器
２０５ 駆動部（ＴＧＶ−ｄｒｖ）
３０１ ＲＧＢ変換部
３０２ ホワイトバランス（ＷＢ）補正部
３０３ 色マトリックス
３０４ 階調補正部
３０５ 輪郭強調部
４０１ 光源
４０２ シャッタ制御部
４０３ シャッタ
６０１ 撮影画像表示窓
６０２ 撮影開始ボタン
６０３ 撮像調整ボタン群
６０４ 撮影状態表示窓
７０１ タイマ値表示枠
７０２ 露出時間表示枠
９０１ 文字

Claims (13)

1. 顕微鏡に用いられる顕微鏡用撮像装置において、
   撮像のトリガとなるトリガ信号を検出するトリガ信号検出手段と、
   前記トリガ信号検出手段によって前記トリガ信号が検出されると、前記撮像のための露光を開始して前記撮像を実行する撮像手段と、
   前記トリガ信号検出手段が前記トリガ信号を検出してから前記撮像手段が前記露光を開始するまでの時間を計時する計時手段と、
   前記計時手段によって計時した時間を出力する出力手段と、
   を備えることを特徴とする顕微鏡用撮像装置。
2. 前記出力手段は、前記計時した時間とともに前記撮像手段によって撮像した画像データを出力することを特徴とする、請求項１に記載の顕微鏡用撮像装置。
3. 前記出力手段は、前記計時した時間または前記画像データを表示装置に表示出力することを特徴とする、請求項１または２に記載の顕微鏡用撮像装置。
4. 前記出力手段は、前記計時した時間または前記画像データを記録媒体に記録出力することを特徴とする、請求項１乃至３の何れか１項に記載の顕微鏡用撮像装置。
5. 前記出力手段は、前記計時した時間または前記画像データを電子データとして記録媒体に記録出力することを特徴とする、請求項４に記載の顕微鏡用撮像装置。
6. さらに、ホストコンピュータと通信するための通信手段を備え、前記計時手段は、前記通信手段によって前記ホストコンピュータと通信する通信時間を計時することを特徴とする、請求項１乃至５の何れか１項に記載の顕微鏡用撮像装置。
7. 前記撮像手段は、連続して複数回の撮像を実行するタイムラプス撮像機能を有し、前記計時手段は、前記トリガ信号検出手段が前記トリガ信号を検出してから前記撮像手段が前記タイムラプス撮像機能を用いて撮像する複数回の撮像それぞれにおける露光開始までの時間を計時することを特徴とする、請求項１乃至６の何れか１項に記載の顕微鏡用撮像装置。
8. 前記撮像手段は固体撮像素子を含み、前記計時手段は、前記トリガ信号検出手段が前記トリガ信号を検出してから前記固体撮像素子を駆動するための同期信号が変化するまでの時間を計時することを特徴とする、請求項１乃至７の何れか１項に記載の顕微鏡用撮像装置。
9. 顕微鏡に用いられる顕微鏡用撮像装置のコンピュータを、
   撮像のトリガとなるトリガ信号を検出するトリガ信号検出手段、
   前記トリガ信号検出手段によって前記トリガ信号が検出されると、前記撮像のための露光を開始して前記撮像を実行する撮像手段、
   前記トリガ信号検出手段が前記トリガ信号を検出してから前記撮像手段が前記露光を開始するまでの時間を計時する計時手段、そして、
   前記計時手段によって計時した時間を出力する出力手段、
   として機能させるための顕微鏡用撮像プログラム。
10. 顕微鏡に用いられる顕微鏡用撮像装置において実行される顕微鏡用撮像方法であって、
    トリガ信号検出手段が、撮像のトリガとなるトリガ信号を検出し、
    撮像手段が、前記トリガ信号検出手段によって前記トリガ信号が検出されると、前記撮像のための露光を開始して前記撮像を実行し、
    計時手段が、前記トリガ信号検出手段が前記トリガ信号を検出してから前記撮像手段が前記露光を開始するまでの時間を計時し、
    出力手段が、前記計時手段によって計時した時間を出力する、
    ことを特徴とする顕微鏡用撮像方法。
11. 前記トリガ信号は、照明光を試料に照射した際に生成されることを特徴とする、請求項１乃至８の何れか1項に記載の顕微鏡用撮像装置。
12. 前記トリガ信号は、試料に刺激を与えた際に生成されることを特徴とする、請求項１乃至８の何れか1項に記載の顕微鏡用撮像装置。
13. 前記試料への刺激は、光を照射することで与えられることを特徴とする、請求項１２に記載の顕微鏡用撮像装置。