JP6246551B2 - 制御装置、顕微鏡システム、制御方法およびプログラム - Google Patents

Description

本発明は、顕微鏡を用いたタイムラプス撮影に関する。

細胞が***・成長する様子などを捉えるために、ある撮影間隔を置いて撮影することをタイムラプス撮影と言う（特許文献１、２）。撮影時には電動制御の顕微鏡システムと、細胞の温度や湿度、ＣＯ２濃度（酸性・アルカリ性を示すＰＨを一定に保つため）などを制御するチャンバーが用いられることがある。タイムラプス撮影の撮影間隔は数分から数時間であり、予定された複数枚を撮影するのによう必要となるトータルの撮影期間は数時間から数日に及ぶこともある。

タイムラプス撮影中において標本である生物は成長したり容器内を移動したりする。よって、撮影に使用される制御パラメータを途中で変更しなければならないことがある。特許文献１によれば、タイムラプス撮影を一時中断して撮影条件を変更することが記載されている。具体的には一時停止モードに遷移すると、リアルタイムで標本の画像を表示しながら、観察位置や照明光量、タイムラプス撮影間隔、撮影枚数を変更することが記載されている。しかし、リアルタイム画像を表示するには標本に対して照明光を当てねばならず、光毒性が問題となる。

細胞を撮影する際には光を細胞に照射する必要があるが、特に蛍光観察を行う場合には強力な励起光を細胞に照射する必要がある。タイムラプス撮影では何度も光を細胞に照射することになるため、細胞にダメージが及ぶことがある。このように、光による標本への悪影響を総じて光毒性と呼ぶ。光毒性は細胞に有毒であると言われる紫外線が用いられるケースでは更に悪影響が大きくなるため注意が必要となる。

特許文献２によれば、細胞をパターン認識して細胞の重心を求め、重心のズレに応じて観察視野（撮影範囲）を追尾させることが記載されている。これにより、対物レンズの光軸方向（Ｚ軸方向）に交差する方向（Ｘ軸方向およびＹ軸方向）において細胞を追尾してタイムラプス撮影を行うことができる。

特開２００６−２２０９０４号公報 特開２０１３−０５０６６６号公報

特許文献２の発明では過去に取得された画像を用いて次の観察位置を自動で決定できるため、光毒性の問題を緩和できるであろう。しかしながら、細胞の重心をパターン認識に頼っているため、正確に重心を求めることができずにタイプラプス撮影が失敗してしまうだろう。なぜなら、細胞は成長に伴い変形したり***したりするため、長時間にわたるタイムラプス撮影ではパターン認識に失敗して細胞の位置を正しく追尾できないからである。

そこで、本発明は、標本に対する光毒性の影響を低減しつつタイムラプス撮影の成功率を高めることを目的とする。

本発明は、たとえば、一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験に使用される顕微鏡を制御する制御装置であって、
顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のＸＹステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶する記憶手段と、
タイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付手段と、
前記記憶手段に記憶されている前記複数の画像から、前記受付手段により受け付けられた制御パラメータと関連付けられている画像を選択する選択手段と、
前記選択手段により選択された画像を表示する表示手段と、
前記操作者によって操作可能な操作手段と、
前記操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更手段と、
前記変更手段による変更後の撮影位置に前記試料が移動するように前記ＸＹステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御手段と
を有することを特徴とする。

本発明によれば、標本に対する光毒性の影響を低減しつつタイムラプス撮影の成功率を高めることが可能となる。

図１（Ａ）および図１（Ｂ）は顕微鏡の斜視図である。 図２は顕微鏡システムを構成する主要部を示すブロック図である。 図３はＺスタック画像の一例を示す図である。 図４は画像の管理方法の一例を示す図である。 図５は制御装置において実現される機能を示すブロック図である。 図６は制御パラメータの変更動作に関与する操作画面の一例を示す図である。 図７は制御パラメータの変更動作に関与する操作画面の一例を示す図である。 図８は制御パラメータの変更動作に関与する操作画面の一例を示す図である。 図９は制御パラメータの変更動作を示すフローチャートである。

以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

図１（Ａ）および図１（Ｂ）は顕微鏡システムの中核をなす顕微鏡１の斜視図である。図１（Ａ）が示すように顕微鏡１は、筐体自体を暗室として利用するため、ユーザーが暗室を用意する必要がない。ユーザー（操作者）は、上面カバー１９０を開けると、透過照明光学系５の下方に配置されたＸＹステージ６にアクセス可能となる。ＸＹステージ６は試料が載置される載置手段の一例である。上面カバー１９０を閉じることで、暗室が形成される。ユーザーは前面カバー１９１を開けることでフィルタターレット１４に搭載されたフィルタキューブ（カラーフィルタなど）を交換できる。

図２は、顕微鏡システム１００を構成する主要部を示すブロック図である。顕微鏡１は図２に示す制御装置２によって制御される。制御装置２は、たとえば、制御プログラムをインストールされた情報処理装置（パーソナルコンピュータ：ＰＣ）である。つまりＰＣが顕微鏡１の制御装置２として機能する。このように顕微鏡システム１００は、顕微鏡１と制御装置２とを有している。

顕微鏡１は、試料３のモノクロ画像、カラー画像および蛍光画像を取得することができる顕微鏡であるが、このうち１つの画像のみを取得する顕微鏡であってもよい。ＸＹステージ６には試料３を保持するための容器ユニット７が固定される。試料３は標本、サンプル、検体またはワークと呼ばれることもある。容器ユニット７は、プレパラート、ディッシュまたはウェル等の容器と容器を支持するホルダーとを有している。透過照明光源４が出力された照明光はコンデンサレンズなどを含む透過照明光学系５を介して試料３に照射される。透過照明光学系５には遮光用のメカシャッターが設けられていてもよい。透過照明光源４からの照明光は、試料３のモノクロ画像やカラー画像を取得する際に使用される。試料３について蛍光観察を実行する際は、蛍光落射照明光源８から励起光が出力される。励起光は、蛍光落射照明光学系９および励起フィルタ１０を通過する。蛍光落射照明光学系９には遮光用のメカシャッターが設けられていてもよい。励起フィルタ１０は、蛍光落射照明光源８から出力された光のうち励起光となる波長成分のみを透過させる波長選択性フィルタである。励起光はさらにダイクロックミラー１１で反射され、対物レンズユニット１２の対物レンズを通過して試料３に照射される。ダイクロックミラー１１も波長選択性のミラーであり、励起光を反射するが、試料３に添加された蛍光試薬（蛍光染料や蛍光色素とも呼ばれる）が発光する蛍光については透過する。対物レンズユニット１２は、モータ１３によって回転する電動レボルバと、電動レボルバに搭載された複数の対物レンズとを有している。フィルタターレット１４は、４つの開口を有し、そのうち３つの開口には励起フィルタ１０、ダイクロイックミラー１１、吸収フィルタ１６を有するそれぞれ異なるフィルタキューブが取り付けられているが、残りの１つの開口は何も取り付けられていない。フィルタの取り付けられていない開口は、明視野画像を取得する際に使用される。フィルタターレット１４は、モータ１５によって回転する。吸収フィルタ１６は、試料３からの光のうち必要な波長成分のみを透過させる波長選択性フィルタである。結像光学系１７は、試料３を撮影装置１８の撮影面に結像させる結像レンズを含む。カラーフィルタ２４は、たとえば、液晶チューナブルフィルタであり、透過波長を切り替えることにより順にＲ、Ｇ、Ｂの画像を取得、これらを画像処理部１９で合成することでカラー画像を作成する。なお、カラーフィルタとしては上述した液晶チューナブルフィルタに限られず、異なる透過波長のフィルタを機械的に切り替えるカラーフィルタターレットを配置してもよい。画像処理部１９は、撮影装置１８から出力される画像信号を増幅してＡ／Ｄ変換し、さらにシェーディング補正を行ったりするなど、様々な画像処理を行う。制御部２０は、制御装置２からの指示にしたがって顕微鏡１の各部を制御する。たとえば、制御部２０は、モータ群２１を制御してＸＹステージ６をＸ軸方向またはＹ軸方向へ移動させたり、モータ２２を制御してＺステージと呼ばれることもある対物レンズユニット１２をＺ軸方向に移動させたりする。対物レンズユニット１２をＺ軸方向に移動させることで合焦位置が変化し、オートフォーカスが実行される。ＸＹステージ６およびＺステージは手動調整機構を有していてもよい。ここで、Ｚ軸方向は対物レンズの光軸方向であり、Ｘ軸方向およびＹ軸方向はＺ軸方向に直交した方向である。通信部２３は、制御装置２からの指示を受信したり、制御部２０からの情報や画像データを制御装置２へ送信したりするユニットである。制御部２０は、たとえば、マイクロプロセッサやＣＰＵ、ＬＳＩ、ＦＰＧＡ、ＡＳＩＣなどで構成される。つまり、ソフトウエアとその実行手段で実現されてもよいし、ハードウエアのみで実現されてもよいし、前者と後者との混在によって実現されてもよい。

制御装置２においてＣＰＵ３０は、記憶装置３１に記憶された制御プログラムを実行して顕微鏡１を制御したり、通信インタフェース３２を通じて受信した画像データを表示部３４に表示させたりする。通信部２３および通信インタフェース３２は、ＵＳＢやＩＥＥＥ１３９４、ＬＡＮなどの一般的な通信プロトコルで接続されていてもよいし、専用の通信プロトコルで接続されていてもよい。記憶装置３１は、ＲＯＭ、ＲＡＭなどのメモリやハードディスク記憶装置などを含んでいる。記憶装置３１には、ＳＳＤなどの半導体記憶装置や光ディスク、磁気ディスクがふくまれてもよい。またコンシューマ用のデジタルカメラで使用されているようなメモリカードであってもよい。操作部３３は、操作者によって操作可能な操作手段の一例であり、たとえば、キーボードやポインティングデバイスなどの入力装置である。表示部３４は、顕微鏡１を制御するための制御パラメータを設定するＵＩや観察結果（静止画または動画）を表示するＵＩを提供する。

顕微鏡システム１００はＺスタック画像の撮影（Ｚスタック撮影）やタイムラプス撮影を実行できる。Ｚスタックとは試料３とレンズとの間における光軸方向（Ｚ軸方向）の距離を変化させながら試料３を撮影して複数枚の画像（Ｚスタック画像）を取得する技術である。つまり、Ｚスタック画像とは、Ｚステージを少しずつ移動させることで合焦位置をずらしながら各合焦位置において取得された試料３の複数の画像（レイヤー画像／スライス画像）をいう。微生物などの試料３は観察中にＸ軸方向、Ｙ軸方向だけでなくＺ軸方向にも移動する。よって、Ｚ軸方向に少量ずつ合焦位置をずらして複数の画像を取得することで、試料３に合焦した画像を取得しやすくなる。なお、１回のＺスタックによって取得される画像の枚数をＺスタック数またはＺスタック枚数と呼ぶことにする。つまり、Ｚスタック数Ｎｚは、Ｚスタック画像を構成している画像の枚数を示している。タイムラプス撮影とは、一定時間ごとに１枚または複数枚の画像を取得する撮影方法をいう。微生物などの試料３は観察中に成長したり変化したりする。そのため、その経過を知る上でタイムラプス撮影は有効である。本実施形態は、基本的に、Ｚスタックとタイムラプス撮影とを組み合わせて実行する。つまり、顕微鏡１は、一定時間ごとに到来する各撮影タイミングでＺスタックを実行する。なお、タイムラプス撮影の開始から終了までの全工程において取得された画像の枚数をトータル撮影枚数Ｎｔと呼ぶことにする。

［Ｚスタック画像］
操作部３３を通じてＺスタック画像の取得（つまりＺスタックの実行）が指示されると、ＣＰＵ３０は、Ｚスタックの実行を顕微鏡１の制御部２０に指示する。この際に、ＣＰＵ３０は、操作部３３を通じてユーザーにより設定された制御パラメータ（たとえば、露光時間、Ｚスタック数Ｎｚ、トータル撮影枚数Ｎｔ、撮影開始時刻、光源の種類、フィルタ、対物レンズの倍率、Ｚステージの移動範囲Ｗなど）も制御部２０に送信される。制御部２０は、制御パラメータにしたがって露光時間などを撮影装置１８に設定するとともに、Ｚステージ（対物レンズユニット１２）を撮影開始位置に移動させるためにモータ１３を制御する。制御部２０は、撮影開始時刻になると光源を点灯させて撮影を開始する。制御部２０は、移動範囲ＷをＺスタック数Ｎｚ撮影枚数で除算して一回の移動距離である移動ピッチＰを求め、それに応じてモータ１３を駆動してＺステージを移動させる。つまり、１枚の画像を取得するたびに移動ピッチＰだけＺステージが移動する。撮影枚数がＺスタック数Ｎｚに一致するまでＺステージの移動と撮影とが繰り返し実行される。これにより、指定された枚数（Ｚスタック数Ｎｚ）の画像が取得される。制御部２０は、各画像を撮影したときの制御パラメータ（撮影時刻、対物レンズ、ＺステージのＺ位置）を含むメタデータを作成して各画像に添付する。ＺステージのＺ位置は、実質的に、対物レンズと試料３との間の距離を示しており、Ｚ位置を示す位置データは距離を示す距離データに相当する。制御部２０は、画像を取得するたびに通信部２３を通じて当該画像を制御装置２に送信してもよいし、または、Ｚスタック数Ｎｚ分の複数の画像の取得が完了するたびにこれらの画像を一括して制御装置２に送信してもよい。なお、制御部２０は、メタデータとしてＺ位置を示す位置データ（距離データ）を各画像に付与してもよいが、制御パラメータに基づいてＣＰＵ３０がこのようなメタデータを作成してもよい。顕微鏡１に設定した制御パラメータには移動範囲および移動ピッチの情報が含まれているため、ＣＰＵ３０は移動範囲を移動ピッチで除算することによって各画像のＺ位置を求めることができる。ＣＰＵ３０は、通信インタフェース３２を通じて受信した複数のレイヤー画像を記憶装置３１に記憶する。このように、記憶装置３１は、顕微鏡１において対物レンズと試料３との間の距離を変えながら当該試料を撮影して取得された複数の画像と、各画像を取得したときの対物レンズの光軸方向における位置を示す位置データとを関連付けて記憶する記憶手段として機能する。この複数のレイヤー画像がＺスタック画像である。ＣＰＵ３０は、操作部３３からの指示に応じてＺスタック画像から３次元画像を構築して表示部３４に表示してもよい。

図３はＺスタック画像の一例を示す図である。このＺスタック画像は、６枚のレイヤー画像から構成されている。各レイヤー画像のメタデータにはＺステージのＺ位置が書き込まれている。

［画像の管理］
図４は、画像の管理方法の一例を示す図である。取得された各画像とその画像を取得したときに使用された制御パラメータとの関係を管理する方法はいくつか存在する。図４に示した例では、ＣＰＵ３０が、地点（ＸＹ座標）、撮影時刻、検鏡法を示すチャネルごとにフォルダをツリー状に作成し、画像を保存する。これによりＣＰＵ３０は、ユーザーにより指定された地点、時刻、検鏡法に対応した画像を選択して表示部に表示することができる。なお、撮影時刻は撮影開始時刻であってもよいし、撮影期間（撮影開始時刻から撮影終了時刻までの時間）であってもよい。

これに代えて、ＣＰＵ３０は地点、時刻、検鏡法を区別できるようなファイル名を作成して各画像に付与してもよい。たとえば、ＣＰＵ３０は、ＸＹ＃＃＿Ｔ％％％％＿ＣＨ＄＄＿Ｚ＆＆＆＆．ｂｍｐというファイル名を作成する。ＣＰＵ３０は、制御パラメータから地点＃＃、時刻％％％％、チャネル＄＄、Ｚ座標＆＆＆＆を抽出してファイル名を作成し画像を格納するファイルに付与する。このような命名規則を採用することで、ＣＰＵ３０は、ファイル名から画像の取得に使用された制御パラメータを特定でき、ユーザーにより指定された制御パラメータに対応した画像を記憶装置３１から読み出して表示部３４に表示することができる。

また、ＣＰＵ３０は、制御パラメータからメタデータを作成して画像ファイルに付与してもよい。ＣＰＵ３０は、ファイルリストデータベースを作成して制御パラメータと画像との関係を管理してもよい。

図５はＣＰＵ３０が制御プログラムを実行することで制御装置２において実現される機能を示すブロック図である。制御装置２は、タイムラプス実験に使用される顕微鏡１を制御する制御装置である。撮影制御部４０１は顕微鏡１に対して制御信号を送信して制御し、顕微鏡１から送信される画像信号を受信して画像データを作成して画像保存部４０７に記憶する。顕微鏡１ですでに画像データが作成されていれば、ＣＰＵ３０はメタデータを作成してこの画像データに付与し、画像保存部４０７に記憶することになる。撮影制御部４０１は、タイムラプス撮影を実行するために顕微鏡に一定時間ごとに撮影を実行させる。また、Ｚスタックを実行する際には、撮影制御部４０１が顕微鏡１を制御することで、基準位置を含む所定の移動範囲内で対物レンズと試料３との間の距離を変えさせながら顕微鏡１に試料３を撮影させる。この場合、画像保存部４０７は、顕微鏡１において対物レンズと試料３との間の距離を変えながら試料３を撮影して取得された複数の画像と、各画像を取得したときの対物レンズの光軸方向におけるＺ位置を示す位置データ（距離データ）とを関連付けて記憶する。なお、画像とＺ位置との関連付けを示すデータについてはデータベース化されてデータ保存部４０３に記憶されてもよい。このように、対物レンズと試料３との間の距離はＺステージのＺ軸方向における位置（Ｚ位置）によって表現可能である。撮影制御部４０１は、制御パラメータを変更する際には励起光を出力する光源４、８の発光を停止させるか、メカシャッターなどの遮光機構を制御して遮光する。本実施形態によれば、パラメータの変更の際に試料３の照明光の照射が必要な従来技術と比較して試料３に対する光毒性を低減したり、試料３の退色を緩和したりすることができる。

画像保存部４０７は、顕微鏡１により試料３を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、顕微鏡１のＸＹステージ６に対する画像の撮影位置、撮影時刻、および、画像を撮影するときに顕微鏡１に設定されていた検鏡法を含む制御パラメータとを関連付けて記憶する。パラメータ指定部４０５は、タイムラプス実験中に、変更対象の制御パラメータの指定を受け付ける受付部として機能する。画像選択部４０６は、画像保存部４０７に記憶されている複数の画像から、パラメータ指定部４０５により受け付けられた変更対象の制御パラメータと少なくとも一部で共通する制御パラメータと関連付けられている画像を選択する。パラメータ変更部４０８は、操作部３３の操作内容や操作量に応じて制御パラメータを変更する。撮影制御部４０１は、変更された制御パラメータに従って顕微鏡を制御してタイムラプス実験における次回の撮影を顕微鏡１に実行させる。プレビュー画像作成部４０９は、
プレビュー画像作成部４０９は、操作部３３の操作内容や操作量に応じて変更された制御パラメータに従った画像をプレビュー画像として作成し、表示部３４に表示する。プレビュー画像作成部４０９は、選択された画像を操作部３３の操作量に応じて表示部３４の表示エリア内で移動して表示する。たとえば、画像が操作部３３によってドラッグされて移動操作された場合、ドラッグ量とドラッグ方向に応じて画像が移動されて表示される。画像のうち表示エリア外に位置する部分は表示されない。これにより、観察位置（撮影範囲）がどのように変わるかを視覚的にユーザーに示すことができる。パラメータ変更部４０８は、操作部３３の操作量に応じて撮影位置を変更する。操作部３３のポインティングデバイスによって画像がドラッグされたときはドラッグ量に応じて撮影位置が変更される。たとえば、試料３の位置が観察位置の中央からずれていれば、試料３の画像が表示エリアの中央に移動させることで、試料３の像が画像の中央に位置するように撮影位置（ＸＹ座標）が変更される。

プレビュー画像作成部４０９は、選択された画像の輝度値を操作部３３により入力された露光時間に応じて変更することでプレビュー画像を作成してもよい。一般的な顕微鏡では変更された露光時間を実際に適用してリアルタイムで試料３を撮影して試料３の画像を表示する。そのため、試料３を照明しなければならない。一方で、本願発明では、プレビュー画像を作成して表示することで、ユーザーは露光時間の変更によってどのような画像が取得されるかを視覚的に把握できる。また、照明光の照射は不要なため光毒性を削減できる。

プレビュー画像作成部４０９は、選択された画像の輝度値を操作部３３により入力された顕微鏡１のビニングの設定またはゲインの設定に応じて変更することでプレビュー画像を作成してもよい。ビニングとは、複数画素を擬似的に結合させて１つの画素とし、１つの画素を構成する受光素子の数を増加させて疑似的に感度を増加させる手法である。ゲインは、受光素子から出力される信号の増幅率である。いずれの場合も画像の明るさを増大させることができる。また、プレビュー画像作成部４０９は、対物レンズの倍率の変更が指定されると、選択された画像を変更後の倍率に応じて拡大してプレビュー画像を作成してもよい。いずれの場合もユーザーはパラメータの変更によってどのような画像が取得されるかを視覚的に把握できる。また、光毒性を削減できる。

図６は制御パラメータの変更動作に関与する操作画面の一例を示す図である。表示部３４に表示される操作画面６００は顕微鏡１の制御パラメータ（制御パラメータ）を変更するためのユーザーインタフェースである。表示エリア６０１には選択された画像が表示される。表示エリア６０１の下方にはパラメータ指定用のコントロールが配置されている。地点指定部６０２は、画像の取得されたＸＹ座標を指定するためのコントロールである。時刻指定部６０３は、画像の取得された時刻を指定するためのコントロールである。検鏡法指定部６０４は、画像の取得に使用された検鏡法（チャネル）を指定するためのコントロールである。ファイル選択部６０５は、画像ファイルを選択するためのコントロールである。ＣＰＵ３０は、地点指定部６０２においていずれか地点（例：ＸＹ０３）が指定されると、指定された地点を名称とするフォルダを参照し、そのフォルダに存在するサブフォルダの名称を時刻指定部６０３に列挙して表示する。ＣＰＵ３０は、時刻指定部６０３においていずれか時刻（例：Ｔ００３６）が指定されると、指定された時刻を名称とするフォルダを参照し、そのフォルダに存在するサブフォルダの名称を検鏡法指定部６０４に列挙して表示する。ＣＰＵ３０は、検鏡法指定部６０４においていずれか検鏡法（例：ＣＨ０３）が指定されると、指定された検鏡法を名称とするフォルダを参照し、そのフォルダに存在するファイルの名称をファイル選択部６０５に列挙して表示する。この例では、ユーザーによってポインタ６０６が操作され、Ｚ００１．ｔｉｆという名称の画像ファイルが選択され、その画像ファイルが表示エリア６０１にレンダリングされている。制御パラメータ設定部６０７は、撮影枚数、撮影間隔、露光時間、ビニング、ゲイン、倍率、フィルタなどを指定するコントロールである。ユーザーは操作部３３を通じてポインタ６０６を移動させたり、表示エリア６０１に表示されている画像をドラッグして移動させたりすることができる。本実施例では最初に地点が選択され、次に時刻、検鏡法、ファイル名が選択されて画像選択が実現されているが、これらの順番は異なってもよい。

図７は制御パラメータの変更動作に関与する操作画面の一例を示す図である。図７では、ポインタ６０６によって図７の左下方向に画像がドラッグされたことを示している。パラメータ変更部４０８は、ポインタ６０６による画像の移動量をＸＹ座標の変更量に換算し、次回の撮影のＸＹ座標を算出する。

図８は制御パラメータの変更動作に関与する操作画面の一例を示す図である。図８では、ポインタ６０６によって対物レンズの倍率が変更されたため、プレビュー画像作成部が変更後の倍率に応じて疑似的に作成したプレビュー画像が表示エリア６０１に表示されている。

図９は制御パラメータの変更動作を示すフローチャートである。

Ｓ９０１で、ＣＰＵ３０は、タイムラプス撮影前やタイムラプス撮影中において操作部３３を通じて制御パラメータの変更が指示されたかどうかを判定する。制御パラメータの変更が指示されるとＳ９０２に進む。

Ｓ９０２で、ＣＰＵ３０は、表示部３４に操作画面６００を表示させる。

Ｓ９０３で、ＣＰＵ３０（パラメータ指定部４０５）は、画像を選択するために必要となる制御パラメータの指定を受け付ける。上述したように、地点指定部６０２において地点が指定され、時刻指定部６０３において時刻が指定され、検鏡法指定部６０４において検鏡法が指定され、ファイル選択部６０５においてファイル名が選択される。このようにして、画像を選択するために必要となる制御パラメータが指定される。

Ｓ９０４で、ＣＰＵ３０（画像選択部４０６）は、指定された地点、時刻、検鏡法にしたがってフォルダツリーを辿ってゆき、ファイル選択部６０５において選択されたファイル名のファイルを選択して読み出し、表示エリア６０１に画像をレンダリングして表示する。

Ｓ９０５で、ＣＰＵ３０（パラメータ指定部４０５）は、制御パラメータの変更操作を受け付ける。制御パラメータの変更は操作画面６００を通じて実行される。地点（ＸＹ座標）の変更であれば、画像をポインタ６０６によってドラッグすることで受け付けられる。撮影枚数や露光時間、ビニング、倍率などの変更操作であれば、制御パラメータ設定部６０７を通じて受け付けられる。

Ｓ９０６で、ＣＰＵ３０（パラメータ変更部４０８）は、操作部３３の操作量に応じて制御パラメータを決定する。ＸＹ座標であれば、パラメータ変更部４０８は、選択画像に対するＸＹ方向へのドラッグ量に応じて、選択画像の撮影位置（ＸＹ座標）を平行移動させることで次回撮影のＸＹ座標に決定する。なお、ＸＹ座標は、ドラッグだけでなく、キーボードによるカーソル入力や、次回撮影位置の中心をマウスクリックにより指定したり、数値（ピクセル単位／ミクロン単位）の直接入力したりして実現されてもよい。Ｚ座標はＺスタックが選択されている場合のみ変更されてもよい。この場合、パラメータ変更部４０８は、選択された画像が取得されたときのＺ位置を次回撮影時のＺ方向の撮影基準位置に設定する。たとえば、試料３に対して一番ピントの合っている画像をユーザーが選択することによって、次回撮影のＺ方向の撮影基準位置を適切に定めることが可能となろう。あるいは、合焦判定部４０４が、撮影された画像の合焦状態（コントラスト値などの合焦値）を判定してもよい。パラメータ変更部４０８は、最も合焦状態の良好な画像のＺ位置を次回の撮影基準位置に決定する。

パラメータ変更部４０８は、画像の明るさに関与する制御パラメータを変更してもよい。パラメータ指定部４０５は、選択画像に関連付けられている露光時間、ゲイン、ビニングなどの制御パラメータを読み込んで操作画面６００の制御パラメータ設定部６０７に表示する。ユーザーは操作部３３を通じてこれらのパラメータを変更する。パラメータ変更部４０８は、操作部３３、パラメータ指定部４０５および制御パラメータ設定部６０７を通じてパラメータの変更を受け付ける。プレビュー画像作成部４０９は、ユーザーが変更した明るさに関与する制御パラメータに応じて画像の輝度値を変更してプレビュー画像を作成し、表示エリア６０１に表示する。取得された画像の露光時間が１００ｍｓであり、変更後の露光時間が１２０ｍｓであったと仮定する。この場合、プレビュー画像作成部４０９は、選択画像の各画素値を１．２倍に変更する。また、プレビュー画像作成部４０９は、ビニング、ゲインなども同様に画像処理によって明るさを変更したプレビュー画像を作成する。

また、操作画面６００を通じて次回以降の撮影間隔の変更を受け付けてもよい。例えば、プルダウンメニューによって撮影間隔を１５分から３０分に変更されてもよい。

ＣＰＵ３０（パラメータ変更部４０８）は、図６に示した確定ボタン６１０がポインタ６０６によって押されたことを検知すると、その地点における変更量が確定され、制御パラメータ計算部において次回撮影時の制御パラメータが計算される。次回撮影時の制御パラメータは、たとえば、選択画像の制御パラメータとその変更量から以下のように決定される。
●（次回撮影時のＸＹ座標） ＝ （選択画像のＸＹ座標） ＋ （画像の平行移動量）＊（画像１ｐｉｘｅｌあたりの長さ［ｕｍ／ｐｉｘｅｌ］）
●（次回撮影時のＺスタック基準位置） ＝ （選択画像のＺ位置）
●（次回撮影時のカメラパラメータ）＝（操作画面６００における指示値）
Ｓ９０７で、ＣＰＵ３０（パラメータ変更部４０８）は決定された制御パラメータを、撮影制御部４０１を通じて顕微鏡１に設定する。Ｓ９０８で、ＣＰＵ３０（撮影制御部４０１）はタイマーを監視して次回の撮影タイミングが到来したかどうかを判定する。次回の撮影タイミングが到来すると、Ｓ９０９に進む。Ｓ９０９で、ＣＰＵ３０（撮影制御部４０１）は撮影の実行を顕微鏡１に指示する。

なお、ＣＰＵ３０は、選択画像の制御パラメータを画像ファイルのメタデータから読み出してもよいし、データ保存部４０３に保存されているデータベースから読み出してもよい。

ところで、ＸＹ座標を変更しながら複数の画像を取得する多点撮影に対して本発明が適用されてもよい。ＣＰＵ３０は、多点撮影の対象となっている複数の地点のうち１つの地点の制御パラメータを変更したときに、残りの他の地点についての制御パラメータも変更するかどうかをユーザーに選択させてもよい。他の地点についての制御パラメータを変更することが選択されると、ＣＰＵ３０は、ユーザーに制御パラメータの変更対象となる別の地点を選択させる。それ以降の処理は上述したとおりである。制御パラメータの変更対象となるすべて地点で制御パラメータの変更が完了したら不図示の完了ボタンが押されてもよい。この後、次回の撮影タイミングを待機し、次回以降は変更後の制御パラメータで撮影が行われる。

［Ｚスタック］
本実施形態では、Ｚスタックを伴うタイムラプス撮影において、過去の撮影タイミングにおいて取得されたＺスタック画像から合焦位置が判定され、合焦位置を撮影基準位置（以下、単に基準位置と称す）として次回の撮影が実行されてもよい。基準位置は、ＺスタックにおけるＺステージの移動範囲Ｗを決定するための基準となる位置である。たとえば、基準位置が移動範囲Ｗおいて中央の位置となるように移動範囲Ｗの上限位置Ｚｈｉと下限位置Ｚｌｏとが決定される。つまり、移動範囲Ｗは上限位置Ｚｈｉから下限位置Ｚｌｏまでの範囲である。移動範囲Ｗは一回のＺスタックにおけるＺステージの移動距離である。この移動距離を２Ｌと仮定すると、基準位置から＋ＬとなるＺ位置がＺスタックの開始位置（または終了位置）となり、基準位置から−ＬとなるＺ位置がＺスタックの終了位置（または開始位置）となる。もちろんこれは一例にすぎず、試料３の移動方向が予測可能であれば、移動方向をカバーするようにＺステージの移動範囲を決定すればよい。たとえば、試料３が基準位置から＋方向に移動（成長）することがわかっていれば、基準位置を開始位置に決定してもよい。

試料３に対して最もピントが合っている画像は、合焦判定部４０４が決定してもよいし、ユーザーが目視により決定してもよい。操作画面６００においてユーザーは表示エリア６０１にＺスタック画像を構成する複数の画像を順番に表示させる。たとえば、ｎ−１回目の撮影タイミングで取得された５枚の画像（Ｚ０００１．ｔｉｆ〜Ｚ０００５．ｔｉｆ）が存在したと仮定する。ユーザーは、ファイル選択部６０５を用いてＺ０００１．ｔｉｆ〜Ｚ０００５．ｔｉｆまでのそれぞれ異なるＺ位置で取得された画像を順番に選択する。Ｚ０００１．ｔｉｆ〜Ｚ０００５．ｔｉｆが順番に表示され、ユーザーは目視で合焦状態を判定する。これにより、ユーザーは、目視により試料３に対して最もピントが合っている画像を選択する。ここでは、Ｚ０００２．ｔｉｆが選択されたとする。ＣＰＵ３０は、Ｚ０００２．ｔｉｆのメタデータから撮影時のＺ位置を読み出して、基準位置Ｚｒに設定する。設定部４０２は、基準位置Ｚｒを基にｎ回目の撮影タイミングで使用されるＺステージの上限位置Ｚｈｉと下限位置Ｚｌｏとを決定する。上述したように基準位置Ｚｒを中心として上限位置Ｚｈｉと下限位置Ｚｌｏとが設定されてもよい。また、合焦位置から上に観察対象が伸びているなど非対称な観察対象に対しては、基準位置Ｚｒから上限位置Ｚｈｉまでの距離と基準位置Ｚｒから下限位置Ｚｌｏまでの距離とを非対称に設定してもよい。たとえば、ユーザーが基準位置Ｚｒから上側で５枚の画像を取得し、基準位置Ｚｒの下側で２枚の画像を取得するよう設定すると、設定部４０２は、基準位置Ｚｒに対して５ピッチを加算したＺ位置を上限位置Ｚｈｉに決定し、基準位置Ｚｒに対して２ピッチを減算したＺ位置を下限位置Ｚｌｏに決定する。この場合に、基準位置Ｚｒにおいても撮影が実行されてもよい。これにより、非対称なＺスタック設定が実現される。設定部４０２は、決定した移動範囲Ｗ（上限位置Ｚｈｉと下限位置Ｚｌｏ）を撮影制御部４０１を通じて顕微鏡１に設定する。

制御部２０およびＣＰＵ３０は、基準位置にＺステージを移動した後に合焦動作（オートフォーカス）を実行して合焦位置を探索し、見つかった合焦位置が中央となるように移動範囲をシフトしてもよい。

このように、過去または直前に取得されたＺスタック画像を用いて合焦位置を追跡することで、別途の合焦動作が不要となるか、または合焦動作に必要となる時間を短縮できる。その結果、試料３に光が照射される時間も短縮されるため、光毒性を低減できる。
を狭くすることで、Ｚスタック画像を構成する画像の枚数が減少することになる。

以上で説明したように本実施形態の顕微鏡システムは、顕微鏡１により試料３を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータとを関連付けて記憶しておく。制御パラメータには、ＸＹステージ６に対する画像の撮影位置、撮影時刻、および、画像を撮影するときに顕微鏡に設定されていた検鏡法が含まれていてもよい。顕微鏡システムは、タイムラプス実験中に画像を選択するための制御パラメータの指定を受け付ける。たとえば、地点、時刻、検鏡法などのうち少なくとも１つがユーザーによって指定される。なお、表示される画像は、制御パラメータの変更に役立つ画像である。顕微鏡システムは、画像保存部４０７に記憶されている複数の画像から、受け付けられた制御パラメータと関連付けられている画像を選択する。たとえば、図６に示した一例では、地点、時刻、検鏡法に関連付けられている画像（例：Ｚ０００１．ｔｉｆ）が選択される。表示部３４は、選択された画像を表示する。これによりユーザーは目視により試料３の画像を確認する。なお、この画像は過去に取得された画像であり、リアルタイムで取得されたリアルタイム画像ではない。操作者であるユーザーはポインティングデバイスやキーボード、コンソールなどの操作部３３を操作する。顕微鏡システムは、操作部３３の操作量や操作内容に応じて制御パラメータの少なくとも一部を変更する。つまり、ユーザーは表示された画像を確認しながら操作部３３を操作し、制御パラメータの変更指示を入力する。顕微鏡システムは、変更された制御パラメータに従って顕微鏡１を制御してタイムラプス実験における次回の撮影を顕微鏡１に実行させる。このように本実施形態では、リアルタイムで画像を撮影せずに、過去の画像を表示して制御パラメータを変更できるため、標本に対する光毒性の影響を低減することができる。また、過去の画像で試料３を確認しながら制御パラメータを変更できるため、制御パラメータをより正確に設定でき、タイムラプス撮影の成功率を高めることが可能となる。

顕微鏡システムの表示部３４は、操作部３３の操作量や操作内容に応じて変更された制御パラメータに従った画像をプレビュー画像として表示してもよい。これによりユーザーは制御パラメータの変更がどのように反映されるかを視覚的に確認することが可能となる。プレビュー画像は過去の画像を元に作成されるため、照明光を試料３に当てて新たに画像を取得する必要はない。よって、光毒性の影響を削減できる。

顕微鏡システムの表示部３４は、選択された画像を操作部３３の操作量に応じて表示エリア６０１内で移動して表示してもよい。たとえば、画像はポインタ６０６のドラッグ操作によって表示エリア６０１内で移動することになる。顕微鏡システムは、操作部３３の操作量に応じて制御パラメータのうち撮影位置を変更する。たとえば、ユーザーは試料３の像が観察視野（表示エリア６０１）の中央に来るように画像を移動させることができる。ここで、表示エリア６０１における画像の移動量と、撮影位置の移動量とは比例しているため、簡単な演算により換算が可能である。

顕微鏡システムは、選択された画像の輝度値を操作部により入力された露光時間に応じて変更することでプレビュー画像を作成して表示してもよい。従来は、ユーザーが露光時間を変更すると、リアルタイムで顕微鏡１に反映させて画像を取得して表示することで、露光時間の変更の影響を確認していた。一方で、本願発明では画像処理によってプレビュー画像を作成するため、リアルタイムで画像を取得する必要はない。つまり、光毒性の影響を削減できる。また、ユーザーはプレビュー画像で確認しながら露光時間の変更の影響を確認できる。

顕微鏡システムは、選択された画像の輝度値を操作手段により入力された顕微鏡のビニングの設定またはゲインの設定に応じて変更することでプレビュー画像を作成してもよい。このように画像の明るさに関連した制御パラメータについては、リアルタイム画像を取得することなく、プレビュー画像によりユーザーは変更の影響を確認でき、光毒性の影響を削減できる。

顕微鏡システムは、対物レンズの倍率の変更が指定されると、選択された画像を変更後の倍率に応じて拡大してプレビュー画像を作成してもよい。このように倍率に関連した制御パラメータについては、リアルタイム画像を取得することなく、プレビュー画像によりユーザーは変更の影響を確認でき、光毒性の影響を削減できる。倍率の拡大だけでなく、縮小についても本実施形態は適用可能である。

なお、顕微鏡１は、対物レンズと試料３との間の距離を変えながら複数の画像を撮影するＺスタックを実行する顕微鏡であってもよい。この場合、制御パラメータには、複数の画像それぞれを撮影したときの対物レンズと試料３との間の距離を示すＺ方向の位置が含まれる。そこで、顕微鏡システムは、選択された画像に関連付けられているＺ方向の位置を、次回に撮影する画像のＺ方向の基準位置として設定してもよい。これにより、リアルタイム画像を取得することなく、Ｚ位置も変更できるため、光毒性の影響を削減できる。特に、Ｚ軸方向に成長する試料３については時間の経過とともにＺ位置を修正することで注目箇所にピントの合った画像を取得できるようになろう。つまり、タイムラプス撮影の成功確率が上昇する。

顕微鏡１は、蛍光試薬を添加された試料３に対して励起光を照射し、試料３から発する蛍光を撮影する蛍光顕微鏡であってもよい。撮影制御部４０１は、制御パラメータを変更する際には励起光を出力する光源を停止させたり、励起光をメカシャッター等により遮光したりしてもよい。これにより、光毒性を確実に削減できよう。

本実施形態の顕微鏡システムでは顕微鏡１と制御装置２とが別体となっているが、もちろん一体化されてもよい。また、対物レンズユニット１２を移動させることで対物レンズと試料３との間の距離を変更したが、試料３を搭載したステージをＺ軸方向に移動させてもよい。顕微鏡は倒立型であってもよいし正立型であってもよい。

Claims (11)

1. 一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験に使用される顕微鏡を制御する制御装置であって、
   顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のＸＹステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶する記憶手段と、
   タイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付手段と、
   前記記憶手段に記憶されている前記複数の画像から、前記受付手段により受け付けられた制御パラメータと関連付けられている画像を選択する選択手段と、
   前記選択手段により選択された画像を表示する表示手段と、
   前記操作者によって操作可能な操作手段と、
   前記操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更手段と、
   前記変更手段による変更後の撮影位置に前記試料が移動するように前記ＸＹステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御手段と
   を有することを特徴とする制御装置。
2. 前記表示手段は、前記操作手段の操作量に応じて変更された制御パラメータに従った画像をプレビュー画像として表示することを特徴とする請求項１に記載の制御装置。
3. 前記表示手段は、前記選択手段により選択された画像を前記操作手段の操作量に応じて前記表示手段の表示エリア内で移動して表示し、
   前記変更手段は、前記操作量に応じて前記制御パラメータのうち前記撮影位置を変更することを特徴とする請求項２に記載の制御装置。
4. 前記選択手段により選択された画像の輝度値を前記操作手段により入力された露光時間に応じて変更することで前記プレビュー画像を作成する作成手段を有することを特徴とする請求項２または３に記載の制御装置。
5. 前記選択手段により選択された画像の輝度値を前記操作手段により入力された前記顕微鏡のビニングの設定またはゲインの設定に応じて変更することで前記プレビュー画像を作成する作成手段を有することを特徴とする請求項２または３に記載の制御装置。
6. 前記顕微鏡の対物レンズの倍率の変更が指定されると、前記選択手段により選択された画像を変更後の倍率に応じて拡大して前記プレビュー画像を作成する作成手段を有することを特徴とする請求項２または３に記載の制御装置。
7. 前記顕微鏡は、前記顕微鏡の対物レンズと前記試料との間の距離を変えながら複数の画像を撮影するＺスタック撮影を実行する顕微鏡であり、
   前記制御パラメータには、前記複数の画像それぞれを撮影したときの前記対物レンズと前記試料との間の距離を示すＺ方向の位置が含まれており、
   前記変更手段は、前記選択手段により選択された画像に関連付けられているＺ方向の位置を、次回に撮影する画像のＺ方向の基準位置として設定することを特徴とする請求項１ないし６のいずれか１項に記載の制御装置。
8. 前記顕微鏡は、蛍光試薬を添加された前記試料に対して励起光を照射し、前記試料から発する蛍光を撮影する蛍光顕微鏡であり、
   前記撮影制御手段は、前記制御パラメータを変更する際には前記励起光を出力する光源を停止させることを特徴とする請求項１ないし７のいずれか１項に記載の制御装置。
9. 顕微鏡と、当該顕微鏡を制御する制御装置とを有する顕微鏡システムであって、
   前記顕微鏡は、
   試料が載置される載置手段と、
   対物レンズと、
   前記対物レンズを移動させて前記対物レンズと前記試料との間の距離を変更する移動手段と、
   前記試料からの光を結像する結像レンズと、
   前記試料からの光が結像される撮影手段と
   を有し、
   前記制御装置は、
   顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のＸＹステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶する記憶手段と、
   一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付手段と、
   前記記憶手段に記憶されている前記複数の画像から、前記受付手段により受け付けられた制御パラメータと関連付けられている画像を選択する選択手段と、
   前記選択手段により選択された画像を表示する表示手段と、
   前記操作者によって操作可能な操作手段と、
   前記操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更手段と、
   前記変更手段による変更後の撮影位置に前記試料が移動するように前記ＸＹステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御手段と
   を有することを特徴とする顕微鏡システム。
10. 一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験に使用される顕微鏡を制御する制御装置を、
    顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のＸＹステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶する記憶手段と、
    タイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付手段と、
    前記記憶手段に記憶されている前記複数の画像から、前記受付手段により受け付けられた制御パラメータと関連付けられている画像を選択する選択手段と、
    前記選択手段により選択された画像を表示する表示手段と、
    前記操作者によって操作可能な操作手段と、
    前記操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更手段と、
    前記変更手段による変更後の撮影位置に前記試料が移動するように前記ＸＹステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御手段として機能させることを特徴とするプログラム。
11. 一定の間隔で試料に励起光を照射して該試料を撮影するタイムラプス実験に使用される顕微鏡を制御する制御方法であって、
    顕微鏡により試料を撮影して得られた複数の画像と、各画像を撮影したときの制御パラメータであって、前記顕微鏡のＸＹステージに対する前記画像の撮影位置、撮影時刻、および、前記画像を撮影するときに前記顕微鏡に設定されていた検鏡法のいずれかを含む制御パラメータとを関連付けて記憶手段に記憶する記憶工程と、
    タイムラプス実験中に画像を選択するための操作者による制御パラメータの指定を受け付ける受付工程と、
    前記記憶手段に記憶されている前記複数の画像から、前記受付工程により受け付けられた制御パラメータと関連付けられている画像を選択する選択工程と、
    前記選択工程において選択された画像を表示手段に表示する表示工程と、
    前記操作者によって操作可能な操作手段の操作内容に応じて前記制御パラメータである試料の撮影位置を変更する変更工程と、
    前記変更工程による変更後の撮影位置に前記試料が移動するように前記ＸＹステージを移動させ、前記励起光を前記試料に照射して前記タイムラプス実験における次回の撮影を前記顕微鏡に実行させる撮影制御工程と
    を有することを特徴とする制御方法。