JP6509818B2 - 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法 - Google Patents

Description

（関連出願）
本願は、２０１３年４月３０日に出願された米国仮特許出願第６１／８１７，８６９号の利益を主張しており、この仮特許出願の内容は、本明細書中にその全体が参考として援用される。

（技術分野）
本発明は、細胞生物学および他の類似研究のための自動化および半自動化顕微鏡法に関し、特に、高含有量スクリーニング（ハイコンテント）顕微鏡法用撮像システムに関する。

（背景）
研究者は、高含有量スクリーニング（ｈｉｇｈ−ｃｏｎｔｅｎｔ ｓｃｒｅｅｎｉｎｇ：ＨＣＳ）の間、顕微鏡法用撮像システムを使用して、顕微鏡法用サンプルの画像を得てもよい。サンプルホルダ、例えば、マイクロタイタプレート、スライド、デッシュ等は、スクリーニングプロセスの間、顕微鏡法用サンプルを支持してもよい。自動化された顕微鏡法用撮像システムは、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）チップ等の電子撮像デバイスに結合され、顕微鏡法用サンプルの画像を生成する、対物レンズを含んでもよい。サンプルホルダに対する対物レンズの位置付けは、顕微鏡法用サンプルを撮像デバイス上で焦点合わせさせるように調節されてもよい。

顕微鏡法用サンプルは、サンプルホルダの上側表面上の種々の測定場所（例えば、ウェル）に常駐してもよい。故に、顕微鏡法用撮像システムの対物レンズは、顕微鏡法用サンプルの焦点が合った点画像を得るために、サンプルホルダの上部または底部に対する焦点位置に位置付けられてもよい。しかしながら、サンプルホルダの厚さまたは曲率の変動は、測定場所の範囲にわたる正確な焦点を妨害し得る。その結果、対物レンズの焦点位置は、全測定場所に対して個別の焦点が合った画像を得るために、各測定場所で補正される必要があり得る。高含有量スクリーニングは、数百また数千の測定サンプルを撮像し得るため、いくつかの顕微鏡法用撮像システムは、各測定場所において、焦点維持を自動的に行うように構成されてもよい。

撮像の効率を増加させるために、複数の撮像デバイスが、並行して（すなわち、同時に）、複数のウェルを撮像するために使用されてもよい。しかしながら、複数の撮像デバイスのそれぞれの対物レンズを焦点合わせするために要求される時間は、並行撮像から得られ得る、いかなる効率も排除し得る。さらに、各対物レンズを個々に焦点合わせすることはまた、撮像システムの複雑性を増加させ得る。

したがって、高含有量スクリーニング顕微鏡法用撮像システムにおいて並行して動作する撮像デバイスを使用して、複数の測定場所の焦点が合った（ｉｎ−ｆｏｃｕｓ）画像を生成するための改良されたシステムおよび方法が、必要とされる。

（要旨）
顕微鏡法用撮像システム内のサンプルホルダの測定場所の焦点が合った画像を生成する方法が、提供される。カメラアレイは、サンプルホルダから第１の距離に位置付けられる。測定場所の第１の画像は、カメラアレイ上に配置される撮像デバイスを使用して取得される。撮像デバイスと関連付けられた候補出力画像は、第１の画像に従って展開される。カメラアレイは、サンプルホルダから第２の距離に位置付けられ、そして測定場所の第２の画像は、撮像デバイスを使用して取得される。候補出力画像の一部は、選択基準に従って、第２の画像の一部で更新される。更新された候補画像は、伝送される。

サンプルホルダの複数の測定場所の焦点が合った画像を取得するための顕微鏡法用撮像システムもまた、提供される。カメラアレイは、複数の撮像デバイスを備える。モーションコントローラは、カメラアレイをサンプルホルダに対して位置付ける。前処理モジュールは、複数の撮像デバイスの撮像デバイスと関連付けられ、そして撮像デバイスによって取得される画像を受信する。モーションコントローラは、カメラアレイをサンプルホルダから複数の距離に位置付け、そして撮像デバイスは、複数の画像を取得し、複数の画像はそれぞれ、複数の距離のうちの個別の１つにおいて取得される。前処理モジュールは、複数の画像からの撮像デバイスと関連付けられた焦点が合った画像を展開する。
本明細書は、例えば、以下の項目も提供する。
（項目１）
顕微鏡法用撮像システム内のサンプルホルダの測定場所の焦点が合った画像を生成する方法であって、
（ａ）カメラアレイを前記サンプルホルダから第１の距離に位置付けるステップと、
（ｂ）前記カメラアレイ上に配置される撮像デバイスを使用して、測定場所の第１の画像を取得するステップと、
（ｃ）前記第１の画像に従って、前記撮像デバイスと関連付けられた候補出力画像を展開するステップと、
（ｄ）前記カメラアレイを前記サンプルホルダから第２の距離に位置付けるステップと、
（ｅ）前記撮像デバイスを使用して、前記測定場所の第２の画像を取得するステップと、
（ｆ）選択基準に従って、前記候補出力画像の一部を前記第２の画像の一部で更新するステップと、
（ｇ）前記更新された候補出力画像を伝送するステップと、
を含む、方法。
（項目２）
前記カメラアレイが予め決定された範囲を横断するまで、ステップ（ｄ）から（ｆ）を繰り返すステップをさらに含む、項目１に記載の方法。
（項目３）
（ｈ）第２の撮像デバイスを使用して、第２の測定場所の第３の画像を取得するステップと、
（ｉ）前記第３の画像に従って、第２の候補画像を展開するステップと、
（ｊ）前記第２の撮像デバイスを使用して、前記第２の測定場所の第４の画像を取得するステップと、
（ｋ）前記第４の画像に従って、前記第２の候補画像を更新するステップであって、前記第３の画像および前記第４の画像は、それぞれ、前記第１の画像および前記第２の画像と実質的に同時に取得される、ステップと、
をさらに含む、項目２に記載の方法。
（項目４）
前記候補出力画像の一部を更新するステップは、前記候補出力画像の画素を更新するステップを含む、項目１に記載の方法。
（項目５）
前記候補出力画像の一部を更新するステップはさらに、前記候補画像の画素の強度値とその近隣画素の強度値を比較し、焦点の第１の評価を展開し、そして前記第２の画像の対応する画素の強度値とその近隣画素を比較し、焦点の第２の評価を展開するステップを含む、項目４に記載の方法。
（項目６）
前記候補出力画像の画素を更新するステップはさらに、前記焦点の第２の評価が前記焦点の第１の評価を上回る場合、前記候補出力画像の画素の強度値を前記第２の画像の対応する画素の強度値で置換するステップを含む、項目５に記載の方法。
（項目７）
（ｈ）前記撮像デバイスが第２の測定場所と整合されるように、前記カメラアレイと前記サンプルホルダとの間に相対的移動を生じさせるステップと、
（ｉ）第２の更新された候補出力画像を展開するステップであって、前記第２の更新された候補出力画像は、前記第２の測定場所と関連付けられる、ステップと、
をさらに含む、項目１に記載の方法。
（項目８）
前記撮像デバイスは、画像取得電子機器を含み、
（ｈ）第１のフィルタを前記測定場所と前記撮像取得電子機器との間の光路内に位置付けるステップであって、前記第１のフィルタは、前記第１の画像が取得されるとき、前記光路内に位置付けられる、ステップと、
（ｉ）第２のフィルタを前記光路内に位置付けるステップと、
（ｊ）前記撮像デバイスを使用して、前記測定場所の第２の画像を取得するステップであって、前記第２のフィルタは、前記第２の画像が取得されるとき、前記光路内に位置付けられる、ステップと、
をさらに含む、項目１に記載の方法。
（項目９）
前記第１の画像が取得されるときの前記サンプルホルダに対する前記カメラアレイの位置は、前記第２の画像が取得されるときの前記サンプルホルダに対する前記カメラアレイの位置と実質的に同じである、項目８に記載の方法。
（項目１０）
前記撮像デバイスを使用して、前記測定場所の第２の画像を取得するステップをさらに含み、前記第１の画像は、第１の照明条件を使用して取得され、前記第２の画像は、第２の照明条件を使用して取得される、項目１に記載の方法。
（項目１１）
サンプルホルダの複数の測定場所の焦点が合った画像を取得するための顕微鏡法用撮像システムであって、
複数の撮像デバイスを備えるカメラアレイと、
前記カメラアレイを前記サンプルホルダに対して位置付けるためのモーションコントローラと、
前記複数の撮像デバイスの撮像デバイスと関連付けられた前処理モジュールであって、前記撮像デバイスによって取得される画像を受信する、前処理モジュールと、
を備え、前記モーションコントローラは、前記カメラアレイを前記サンプルホルダから複数の距離に位置付け、前記撮像デバイスは、複数の画像を取得し、複数の画像はそれぞれ、前記複数の距離のうちの個別の１つにおいて取得され、前記前処理モジュールは、前記複数の画像からの前記撮像デバイスと関連付けられた焦点が合った画像を展開する、顕微鏡法用撮像システム。
（項目１２）
前記複数の距離は、予め決定された範囲内にあって、前記予め決定された範囲は、前記サンプルホルダと関連付けられる、項目１１に記載の顕微鏡法用撮像システム。
（項目１３）
第２の撮像デバイスと関連付けられた第２の前処理モジュールをさらに備え、前記第２の前処理モジュールは、前記第２の撮像デバイスによって取得される画像から第２の焦点が合った画像を展開し、前記撮像デバイスと関連付けられた焦点が合った画像および第２の撮像デバイスと関連付けられた前記第２の焦点が合った画像は、実質的に同時に展開される、項目１１に記載の顕微鏡法用撮像システム。
（項目１４）
前記前処理モジュールは、前記焦点が合った画像の画素の強度値を前記第１の画像の対応する画素の強度値または前記第２の画像の対応する画素の強度値のうちの１つに設定する、項目１１に記載の顕微鏡法用撮像システム。
（項目１５）
前記前処理モジュールは、前記第１の画像の対応する画素の強度値とその近隣画素を比較し、焦点の第１の評価を展開し、そして前記第２の画像の対応する画素の強度値とその近隣画素を比較し、焦点の第２の評価を展開する、項目１４に記載の顕微鏡法用撮像システム。
（項目１６）
前記第１の画像の画素に対応する、前記焦点が合った画像の画素の強度値は、前記焦点の第１の評価が前記焦点の第２の評価を上回る場合、前記第１の画像の画素の強度値と同じである、項目１５に記載の顕微鏡法用撮像システム。
（項目１７）
前記モーションコントローラは、前記撮像デバイスが第２の測定場所と整合されるように、前記カメラアレイと前記サンプルホルダとの間に相対的移動を生じさせ、前記撮像デバイスは、前記第２の測定場所の第２の複数の画像を取得し、前記前処理モジュールは、前記第２の複数の画像から前記撮像デバイスと関連付けられた第２の焦点が合った画像を展開する、項目１１に記載の顕微鏡法用撮像システム。
（項目１８）
前記撮像デバイスは、画像取得電子機器を含み、前記撮像デバイスが前記複数の画像を取得するとき、前記サンプルホルダと前記画像取得電子機器との間の光路内に配置される、第１のフィルタと、前記撮像デバイスが第２の複数の画像を取得するとき、前記光路内に配置される、第２のフィルタとをさらに備える、項目１１に記載の顕微鏡法用撮像システム。
（項目１９）
前記複数の画像が取得されるときの前記サンプルホルダに対する前記カメラアレイの位置は、前記第２の複数の画像が取得されるときの前記サンプルホルダに対する前記カメラアレイの位置と実質的に同じである、項目１８に記載の顕微鏡法用撮像システム。
（項目２０）
第１の照明源および第２の照明源をさらに備え、前記第１の照明源は、前記複数の画像が捕捉されるときに作動され、前記第２の照明源は、第２の複数の画像が取得されるときに作動される、項目１１に記載の顕微鏡法用撮像システム。

図１は、並行画像取得システムの概略図である。 図２は、図１の並行画像取得システムのサンプルホルダおよびカメラアレイの概略図である。 図３は、図１の並行画像取得システムのサンプルホルダおよびカメラアレイの別の概略図である。 図４は、図１の並行画像取得システムにおいて使用され得る、撮像デバイスの構成要素を示す、分解図である。 図５は、図１の撮像デバイスのカメラアレイおよびサンプルホルダの分解図である。 図６は、焦点が合った画像を並行して展開するために、並行画像取得システムによって行われる処理のフロー図である。

図１を参照すると、試験プレートを並行して撮像するためのシステム１００は、カメラアレイ１０２と、モーション制御モジュール１０４と、カメラ制御モジュール１０６と、前処理モジュール１０８と、コントローラ１１０とを備える。以下にさらに説明されるように、カメラアレイ１０２は、２次元パターンでホルダ上に配置される、撮像デバイスを含んでもよい。

動作の間、カメラアレイ１０２は、撮像されるべきサンプルホルダ下に位置付けられる。いくつかの実施形態では、カメラアレイは、最初に、カメラアレイ１０２の撮像デバイスが、サンプルホルダのウェルまたはウェルの一部の下に位置付けられるように位置付けられる。コントローラ１１０は、モーション制御モジュール１０４に、カメラアレイ１０２がサンプルホルダの底部から少なくとも予め決定された初期距離にあるように、カメラアレイ１０２を初期位置に移動させるように命令する。いくつかの実施形態では、予め決定された初期距離は、カメラアレイ１０２の上部表面から、サンプルホルダの底部または上部表面のいずれかまで測定される。他の実施形態では、予め決定された初期距離は、カメラアレイ１０２内の特定のカメラと関連付けられた対物レンズの上部表面から、サンプルホルダの底部または上部表面のいずれかまで測定される。予め決定された初期距離を確立する他の方法も、当業者に明白となるであろう。

コントローラ１１０は、次いで、カメラ制御モジュール１０６に、カメラアレイ１０２の撮像デバイスを作動し、一式の画像をそこから得るように命令する。画像のセットは、各撮像デバイスによって取得される１つの画像を備える。いくつかの実施形態では、システム１００は、カメラアレイ１０２内に配置される画像デバイス毎に、１つのカメラ制御モジュール１０６を備える。他の実施形態では、システム１００は、カメラアレイ１０２内の撮像デバイスの全てを制御する、１つのカメラ制御モジュール１０６を備える。画像のセットは、前処理モジュール１０８に提供される。画像のセットは、候補出力画像セットとして、前処理モジュール１０８と関連付けられたメモリ内に記憶される。候補出力画像セットは、カメラアレイ１０２の各画像デバイスと関連付けられた１つの候補出力画像を含む。

コントローラ１１０は、その後、モーション制御モジュール１０４に、カメラアレイ１０２を予め決定されたインクリメント距離だけサンプルホルダに向かって移動するように命令する。一実施形態では、予め決定されたインクリメント距離は、画像デバイスと併用される目的の被写界深度から判定される。例えば、予め決定されたインクリメント距離は、そのような被写界深度または被写界深度の部分倍数と実質的に同じであってもよい。コントローラ１１０は、カメラ制御モジュール１０６に、カメラアレイ１０２の撮像デバイスを作動し、画像のさらなるセットを取得するように命令する。画像のさらなるセットはまた、前処理モジュール１０８にも提供され、さらなる画像のセットはまた、各撮像デバイスによってさらに取得される画像を備える。

撮像デバイス毎に、前処理モジュール１０８は、予め規定された選択基準を使用して、候補画像の任意の部分が、さらなる画像の対応する部分で更新されるべきかどうかを判定する。そのような選択基準は、さらなる画像の一部が、候補画像の対応する部分より高い強度値、より低い強度値、より高い勾配、より優れた焦点、および同等物を有するかどうかを含んでもよい。選択基準が満たされる場合、候補画像の一部は、さらなる画像の対応する部分と置換される。一実施形態では、前処理モジュールは、撮像デバイスによって取得されるさらなる画像の各画素と、そのような撮像デバイスと関連付けられた候補出力画像の対応する画素を比較する。さらなる画像の画素が、候補出力画像内の対応する画素より優れた焦点を有する場合、候補出力画像内の画素と関連付けられた強度値は、さらなる画像内の画素の強度値と置換される。一実施形態では、第１の画素は、第１の画素とそのすぐ近隣との間のコントラストが第２の画素とそのすぐ近隣との間のコントラストを上回る場合、第２の画素より良好な焦点を有する。いくつかの実施形態では、画素とそのすぐ近隣との間のコントラストは、そのような画素と各すぐ近隣との間の強度の差異の平均を計算することによって推定されてもよい。いくつかの実施形態では、さらなる画像の画素が、候補出力画像の対応する画素より高い強度値を有する場合、候補画像の画素の強度値は、さらなる画像の画素の強度値と置換される。そのような実施形態は、画像が蛍光性のサンプルである場合、有用であり得る。他の実施形態では、さらなる画像の画素が、候補出力画像の対応する画素より低い強度値を有する場合、候補画像の画素の強度値は、さらなる画像の画素の強度値と置換される。

なおも別の実施形態では、さらなる画像の画素の強度値は、候補画像の対応する画素の強度値に追加される。そのような実施形態から生じる画像は、サンプル中に存在する蛍光物質の量を定量化する際に有用であり得る。当業者に明白な候補出力画像を展開する他の方法も、使用されてもよい。

コントローラ１１０は、次いで、モーション制御モジュール１０４に、カメラアレイ１０２をサンプルホルダに向かって予め決定された間隔距離と同じ距離だけ移動するように命令する。コントローラ１１０は、その後、カメラ制御モジュール１０６に、カメラアレイ１０２の撮像デバイスを作動し、なおもさらなる画像のセットを取得するように命令する。なおもさらなる画像のセットは、前述のように、前処理モジュール１０８によって処理され、出力画像の候補セットを備える画像を更新する。並行画像取得システム１００は、カメラアレイ１０２が、サンプルホルダに向かって、予め決定された範囲を横断するまで、本方式において動作される。いくつかの実施形態では、そのような予め決定された範囲は、サンプルホルダの底部表面の曲率または他の変数の予期される変動に基づいてもよい。いくつかの実施形態では、サンプルホルダの製造業者は、そのような予期される変動に関する情報を提供してもよい。他の実施形態では、１つまたはそれを上回るサンプルホルダの測定は、そのような予期される変動を展開させ得る。いくつかの実施形態では、予め決定された範囲は、約５０ｍｍ〜約５００ｍｍである。他の予め決定された範囲を確立する方法も、当業者に明白となるであろう。

カメラアレイ１０２が、サンプルホルダに向かって予め決定された範囲を横断した後、コントローラ１１０は、前処理モジュール１０８に、候補出力画像のセットを並行画像取得システム１００の焦点が合った出力画像のセットとして提供するように命令する。そのような焦点が合った出力画像のセットは、システム１００と関連付けられた画像記憶サブシステムおよび／または画像処理および測定サブシステムに提供されてもい。ある場合には、コントローラ１１０は、さらなる処理のために、焦点が合った出力画像のセットを別個のシステムに伝送してもよい（例えば、ネットワークまたは通信チャネルを経由して）。いくつかの実施形態では、前処理モジュール１０８は、候補出力画像を前処理モジュール１０８のメモリからクリアする。

加えて、コントローラ１１０は、モーション制御モジュール１０４に、カメラアレイ１０２とサンプルホルダとの間の距離が、予め決定された初期距離と実質的に同じとなるまで、カメラアレイ１０２をサンプルホルダから離すように命令する。コントローラ１１０は、その後、モーション制御モジュール１０４に、カメラアレイ１０２の撮像デバイスが、まだ撮像されていないさらなる測定場所下に位置付けられるように、カメラアレイ１０２をサンプルホルダと実質的に平行な方向に移動するように命令する。いくつかの実施形態では、撮像デバイスの視野が、ウェルより小さい場合、さらなる測定場所は、捕捉されたばかりのウェルの別の部分であってもよい。コントローラ１１０は、前述のように、モーション制御モジュール１０４、カメラ制御モジュール１０６、および前処理モジュール１０８に、前述のように、焦点が合った出力画像の別のセットを展開するように命令する。焦点が合った出力画像の付加的セットが、サンプルホルダの測定場所の全てが撮像されるまで、このように展開される。

いくつかの実施形態では、各候補出力画像を画素毎ベースで更新する代わりに、前処理モジュール１０８は、捕捉された画像の焦点と対応する候補出力画像の焦点を比較する。捕捉された画像は、捕捉された画像の焦点が、より優れていると評価される場合、対応する候補出力画像に取って代わる。画像の焦点は、例えば、勾配または縁検出フィルタを画像にわたって適用し、勾配または検出された縁の平均を生成することによって、評価されてもよい。画像の焦点を評価する、または２つの画像の焦点を比較する他の方法は、当業者に明白であろう。さらに、画素より大きく、かつ候補画像全体より小さい候補画像の一部は、さらなる画像からの対応する部分と比較され、候補画像を更新してもよいことは、明白となるはずである。

並行画像取得システム１００のいくつかの実施形態では、カメラアレイ１０２は、固定して保持され、モーション制御モジュール１０４は、カメラアレイ１０２に対するサンプルホルダの移動を生じさせる。なおさらなる他の実施形態では、モーション制御モジュール１０４は、サンプルホルダおよびカメラアレイ１０２の両方を移動させる。例えば、モーション制御モジュール１０４は、カメラアレイ１０２を移動させ、そしてサンプルホルダとカメラアレイ１０２との間の距離を増加または減少させ、サンプルホルダをカメラアレイ１０２と平行方向に移動させ、サンプルホルダ上の種々の測定場所の撮像を可能にしてもい。カメラアレイ１０２とサンプルホルダとの間の相対的移動を可能にする他の方法も、当業者に明白であろう。

いくつかの実施形態では、モーション制御モジュール１０４は、カメラアレイ１０２またはサンプルホルダのいずれかを移動させる代わりに、カメラアレイ１０２の画像取得電子機器と関連付けられたレンズの焦点を移動または調節してもよい。

並行画像取得システム１００のいくつかの実施形態は、カメラアレイ１０２内に配置される撮像デバイス毎に独立カメラ制御モジュール１０６を含む。そのような実施形態では、コントローラ１１０は、全てのそのようなカメラモジュール１０６を実質的に同時に動作させ、撮像デバイスを前述のように制御する。いくつかの実施形態では、並行画像取得システム１００は、撮像デバイス毎に独立前処理モジュール１０８を含んでもよい。コントローラ１１０は、前述のように、そのような複数の前処理モジュール１０８の動作を実質的に同時に命令する。カメラアレイ１０２内の撮像デバイスが、前処理モジュール１０８と非同期的に動作されてもよいことは、明白となるはずである。そのような場合、撮像デバイスによって取得される画像は、そのような画像が、前述の様式において、前処理モジュール１０８によって処理されることができるまで、撮像デバイス、カメラ制御モジュール１０６、または前処理モジュール１０８内のいずれかにバッファされてもよい。

図２を参照すると、前述の並行画像取得システム１００の一実施形態は、サンプルホルダ２００を含む。サンプルホルダ２００は、測定場所２０２を含む。カメラアレイ１０２は、２次元パターンに配列される、撮像デバイス２０４を含む。そのような実施形態では、コントローラ１１０は、モーション制御モジュール１０４に、予め決定されたインクリメント値と同じインクリメントにおいて、Ｚ−軸と平行方向にカメラアレイ１０２間の相対的移動を生じさせるように命令する。さらに、コントローラ１１０は、カメラ制御モジュール１０６および前処理モジュール１０８を前述のように動作させ、撮像デバイス２０４と整合される、測定場所２０２の焦点が合った出力画像の第１のセットを展開する。その後、コントローラ１１０は、モーション制御モジュール１０４に、サンプルホルダ２００とカメラアレイ１０２との間にＸ−軸と平行方向に距離ΔＸ、およびＹ−軸と平行方向に距離ΔＹの相対的移動を生じさせるように命令する。その後、コントローラ１１０は、モーション制御モジュール１０４、カメラ制御モジュール１０６、および前処理モジュール１０８に、Ｘ−軸およびＹ−軸と平行方向に移動後、撮像デバイスと整列されるようになった測定場所２０２の焦点が合った出力画像の第２のセットを展開するように命令する。

図３は、前述のように使用され得る、カメラアレイ１０２上の撮像デバイス２０４の別の配列を示す。

いくつかの実施形態では、カメラアレイ１０２は、サンプルホルダ２００の測定場所２０２毎に、１つの撮像デバイス２０４を含んでもよい。そのような実施形態では、コントローラ１１０が、モーション制御モジュール１０４に、カメラアレイ１０２をＺ−軸と平行方向にのみ移動するように命令することは、明白となるはずある。

カメラアレイ１０２内の撮像デバイス２０４の他の２次元配列も、当業者に明白であろう。

図４および５を参照すると、撮像デバイス２０４は、例えば、ＣＣＤまたはＣＭＯＳチップおよび関連付けられた電子機器を含む、画像取得電子機器４０２を備える。サンプルホルダ２００と画像取得電子機器４０２との間の光路内に配置されるのは、１つまたはそれを上回るフィルタ４０４および／またはレンズ４０６であってもよい。発光ダイオード（ＬＥＤ）等の光源４０８はまた、画像取得電子機器４０２とサンプルホルダ２００との間に配置されてもよい。光源４０８は、光源４０８が、サンプルホルダ２００と画像取得電子機器４０２との間の光路に干渉しないように配置される。動作の間、光源４０８によって放出される光は、撮像されるべき測定場所２０２から反射し、レンズ４０６およびフィルタ４０４を通過し、画像取得電子機器４０２によって感知される。他の実施形態では、光源４０８によって放出される光は、測定場所２０２において、サンプルの蛍光分子を励起する。そのような励起に応答して、そのような蛍光分子によって放出される光は、レンズ４０６およびフィルタ４０４を通過し、画像取得電子機器４０２によって感知される。

いくつかの実施形態では、さらなる光源４１６が、サンプルホルダ２００がさらなる光源４１６と画像取得電子機器４０２との間にあるように、配置されてもよい。さらなる光源４１６からの光は、撮像されるべき測定場所２０２においてサンプルホルダ２００内に配置されるサンプルを通して、かつレンズ４０６およびフィルタ４０４を通して伝送され、画像取得電子機器４０２によって感知される。いくつかの用途では、光源４０８のみが、サンプルホルダ２００内に配置されるサンプルを照明するために使用されてもよい。他の用途では、さらなる光源４１６からの光のみが、そのような測定場所を照明するために使用されてもよい。なおさらなる他の用途では、光源４０８およびさらなる光源４１６の両方からの光は、同時にまたは別個にのいずれかにおいて、そのような測定場所を照明するために使用されてもよい。いくつかの実施形態では、光源４０８およびさらなる光源４１６の両方からの光が、特定の測定場所２０２を撮像するために別個に使用される場合、焦点が合った出力画像の第１のセットは、光源４０８を使用して展開される。カメラアレイ１０２は、次いで、サンプルホルダ２００から予め決定された初期距離と同じ距離に位置付けられ、そして焦点が合った出力画像の第２のセットが、光源４１６を使用して展開される。カメラアレイ１０２は、その後、その上の撮像デバイス２０４が、未だ撮像されていないサンプルホルダ２００のさらなる測定場所２０２と整合されるように位置付けられる。

いくつかの実施形態では、カメラ制御モジュール１０６は、カメラアレイ１０２に、カメラアレイ１０２が複数の画像チャネルを展開するように再位置付けされる度に、測定場所の複数の画像を捕捉するように命令してもよい。例えば、１つのチャネルは、測定場所が、光源４０８によって照明されるときに展開されてもよく、別のチャネルは、測定場所が、光源４１６によって照明されるときに展開されてもよい。いくつかの実施形態では、光源４０８（または、光源４１６）は、異なる光の波長を生成可能であってもよい。そのような場合には、サンプルは、各そのような光の波長で照明され、そのような光の波長と関連付けられた画像チャネルが、取得される。例えば、画像源４０８は、複数のＬＥＤを備えてもよく、各ＬＥＤは、特定の光の色を放出する。カメラ制御モジュール１０６は、取得される画像チャネル毎にそのようなＬＥＤの１つまたはその組み合わせを作動させてもよい。いくつかの実施形態では、フィルタ４０４は、１つまたはそれを上回るサブフィルタを備えてもよく、各サブフィルタは、１つまたはそれを上回る光の波長が、それを通過することを可能にする。モーション制御モジュール１０４は、画像チャネルが取得される前に、各サブフィルタを測定場所とそのような測定場所と関連付けられたカメラ取得デバイスとの間の光路内に位置付けてもよい。このように、画像チャネルは、そのようなサブフィルタ毎に生成されてもよい。いくつかの実施形態では、測定場所と関連付けられた出力画像は、チャネル毎に展開される。他の実施形態では、チャネルは、１つの出力画像を生成するように組み合わせられる。いくつかの実施形態では、２〜６つの画像チャネルが、各測定場所毎に取得される。

一実施形態では、撮像デバイスの画像取得電子機器４０２によって生成される画像データは、インターフェース４１０を通して、前処理モジュール１０８に提供される。前処理モジュール１０８は、インターフェース４１２を通して、前処理モジュール１０８によって展開される出力画像セットを他のシステム（図示せず）に伝送する。インターフェース４１０および４１２は、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、ＦｉｒｅＷｉｒｅ(R)またはＩＥＥＥ１３９４インターフェース、Ｅｔｈｅｒｎｅｔ（登録商標）インターフェース、あるいは当業者に明白な任意の他のインターフェースに従ってもよい。一実施形態では、インターフェース４１０および４１２ならびに前処理モジュール１０８の全部また一部を実装する電子機器は、単一基板コンピュータ４１４上に実装される。単一基板コンピュータ４１４は、複数のインターフェース４１０を含み、複数の撮像取得電子機器４０２、複数の前処理モジュール１０８、および複数の出力インターフェース４１２に結合してもよい。

再び、図５を参照すると、フィルタ４０４は、フィルタホルダ５００上に配置されてもよく、レンズ４０６は、レンズホルダ５０２上に配置されてもよく、そして光源４０８は、光源ホルダ５０４上に配置されてもよい。このように、フィルタ５００、レンズ４０６、および光源４０８は、撮像される測定場所２０４に配置されるサンプルに基づいて、所望に応じて、他のフィルタ４０６、レンズ４０６、および／または光源４０８と容易に交換されてもよい。

フィルタホルダ５００、レンズホルダ５０２、および光源ホルダ５０４が相互に対して配置される順序が、変動されてもよいことは、明白であるはずである。いくつかの実施形態では、レンズホルダ５０２は、サンプルホルダ２００とフィルタホルダ５００との間に配置されてもよい。他の実施形態では、フィルタホルダ５００は、サンプルホルダ２００とフィルタホルダ５００との間に配置されてもよい。ある場合には、レンズホルダ５０２および光源ホルダ５０４は、光源４０８からの光が、サンプルホルダ２００に到達する前に、レンズ４０６を通して通過するように配置されてもよい。他の場合には、フィルタホルダ５００、レンズホルダ５０２、および光源ホルダ５０４は、光源４０８からの光が、サンプルホルダ２００に到達する前に、フィルタ４０４およびレンズ４０６の一方または両方を通して通過するように配置されてもよい。

カメラアレイ１０２が、１つまたはそれを上回るモータ５０６によって動作されるＸ−Ｙ−Ｚステージ上に搭載されてもよいことが、当業者に明白であるはずである。代替として、前述のように、サンプルホルダ２００は、モータ５０６によって動作されるＸ−Ｙ−Ｚステージ上に搭載されてもよい。

図６を参照すると、フロー図６００は、焦点が合った出力画像のセットを並行して展開するための並行画像取得システム１００によって行われる例示的ステップを示す。ステップ６０２では、モーション制御モジュール１０４は、カメラアレイ１０２上に配置される撮像デバイス２０４が、サンプルホルダ２００の測定場所２０２と整合されるように、カメラアレイ１０２をサンプルホルダ２００に対して位置付ける。ステップ６０４では、モーション制御モジュール１０４は、それらの間の距離が予め決定された初期距離と実質的に同じであるように、カメラアレイ１０２をサンプルホルダ２００に対して位置付ける。ステップ６０６では、カメラ制御モジュールは、光源４０８および４１６の一方または両方を作動させることによって、測定場所２０２を照明する。前述のように、いくつかの実施形態では、光源４０８は、測定場所２０２に配置されるサンプルを励起し、そしてそのようなサンプルの蛍光を生じさせる、光を放出してもよい。ステップ６０８では、カメラ制御モジュール１０６は、カメラアレイ１０２内に配置される撮像デバイス２０４のそれぞれに、画像を捕捉し、そのような画像をそのような撮像デバイス２０４と関連付けられた前処理モジュール１０８に伝送するように命令する。システム１００が、前述のように、複数の画像チャネルを捕捉すべき場合、画像チャネルは全て、ステップ６０８において、サンプルプレート２００に対するカメラアレイ１０２の位置を改変せずに、捕捉される。

ステップ６１０では、前処理モジュール１０８は、前述のように、撮像デバイス２０４から受信された画像を分析し、そのようなデバイスと関連付けられた候補出力画像を更新する。前処理モジュール１０８が、複数の撮像デバイス２０４と関連付けられる場合、各個別の撮像デバイス２０４と関連付けられた候補出力画像は、更新される。

コントローラ１１０は、次いで、ステップ６１２において、カメラアレイ１０２が予め決定された範囲を横断するかどうかを判定する。カメラアレイ１０２が、予め決定された範囲を横断していない場合、モーション制御モジュール１０４は、ステップ６１４において、サンプルホルダ２００に向かって（すなわち、Ｚ−軸と平行方向に）、カメラアレイ１０２を予め決定されたインクリメント距離と同じ距離だけ移動させる。その後、並行画像取得システム１００は、ステップ６０６に進む。

ステップ６１２において、コントローラ１１０が、予め決定された範囲が横断されたと判定する場合、コントローラ１１０は、ステップ６１６において、前処理モジュール１０８に、インターフェース４１２を通して更新された候補画像を伝送するように命令する。

ステップ６１８では、コントローラ１１０は、サンプルホルダ２００の測定場所２０２の全てが撮像されたかどうかを判定する。その場合、並行画像取得システム１００は、終了する。そうでなければ、ステップ６２０において、モーション制御モジュール１０４は、撮像デバイス２０４が、撮像されていない測定場所２０２と整合させるように、カメラアレイ１０２をサンプルホルダ２００に対して位置付ける（すなわち、カメラアレイ１０２を、それぞれ、Ｘ−軸およびＹ−軸と平行に距離ΔＸおよびΔＹだけ移動させる）。並行画像取得システム１００は、次いで、ステップ６０４に進み、そのような場所を撮像する。

図１−６に関連して説明される、モジュール、プロセス、サブプロセス、およびプロセスステップのうちの１つまたはそれを上回るものは、１つまたはそれを上回る電子またはデジタル制御デバイス上のハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって行なわれてもよいことを理解および認識されたい。ソフトウェアは、例えば、図１−６に図式的に描写される、機能的システム、コントーラ、デバイス、構成要素、モジュール、またはサブモジュールのうちの１つまたはそれを上回るもの等、適切な電子処理構成要素またはシステム内のソフトウェアメモリ（図示せず）に常駐してもよい。ソフトウェアメモリは、論理機能（すなわち、デジタル回路またはソースコード等のデジタル形態、あるいはアナログ電気、音、またはビデオ信号等のアナログ源等のアナログ形態で実装され得る、「論理」）を実装するための実行可能命令の順序付けられたリストを含んでもよい。命令は、例えば、１つ以またはそれを上回るマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む、処理モジュールまたはコントーラ（例えば、モーション制御モジュール１０４、カメラ制御モジュール１０６、前処理モジュール１０８、撮像デバイス２０４、およびカメラアレイ１０２）内で実行されてもよい。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない、物理的（ハードウェアおよび／またはソフトウェア）実装を有する、機能の論理分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一ハードウェア／ソフトウェアユニット、または別個のハードウェア／ソフトウェアユニット内において、ハードウェア／ソフトウェア構成要素として動作してもよい。

実行可能命令は、電子システムの処理モジュールによって実行されると、電子システムに、命令を実施するように指示する、その中に記憶された命令を有する、コンピュータプログラム製品として実装されてもよい。コンピュータプログラム製品は、選択的に、命令実行システム、装置、またはデバイスから命令をフェッチし、命令を実行し得る、電子コンピュータベースのシステム、プロセッサ含有システム、あるいは他のシステム等、命令実行システム、装置、もしくはデバイスによってまたはそれと連動して使用するために、任意の非一過性コンピュータ可読記憶媒体内で選択的に具現化されてもよい。本書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、あるいはそれと連動して使用するためのプログラムを記憶し得る、任意の非一過性手段である。非一過性コンピュータ可読記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、またはデバイスであってもよい。非一過性コンピュータ可読媒体のより具体的実施例の非包括的リストとして、１つまたはそれを上回るワイヤを有する電気接続（電子）、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性、メモリ（電子）、読取専用メモリ（電子）、消去可能プログラマブル読取専用メモリ、例えば、フラッシュメモリ（電子）、コンパクトディスクメモリ、例えば、ＤＣ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ（光学）、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）が挙げられる。非一過性コンピュータ可読記憶媒体は、プログラムが、例えば、紙または他の媒体の光学走査を介して、電子的に捕捉され、次いで、必要に応じて、好適な様式において、コンパイル、解釈、または別様に処理され、次いで、コンピュータメモリまたは機械メモリ内に記憶され得るため、プログラムが印刷される、紙または別の好適な媒体でさえあってもよいことに留意されたい。

また、データの受信および伝送は、本書で使用されるように、２つまたはそれを上回るシステム、デバイス、構成要素、モジュール、またはサブモジュールが、いくつかのタイプの信号経路を経由して進行する信号を介して、相互と通信可能であることを意味することを理解されるであろう。信号は、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間の信号経路に沿って、第１のシステム、デバイス、構成要素、モジュール、またはサブモジュールから、第２のシステム、デバイス、構成要素、モジュール、またはサブモジュールに情報、電力、またはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であってもよい。信号経路は、物理的、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第１および第２のシステム、デバイス、構成要素、モジュール、またはサブモジュール間に付加的システム、デバイス、構成要素、モジュール、またはサブモジュールを含んでもよい。

産業上の可用性
本発明の多数の修正が、前述の説明に照らして、当業者に明白であろう。故に、本説明は、例証のみとして解釈されるべきであって、当業者が本発明を作製および使用することを可能にする目的のために、かつそれを実施する最良の形態を教示するために提示される。添付の請求項の範囲内にある、あらゆる改変に対する排他的権利が、留保される。

Claims (20)

1. 顕微鏡法用撮像システム内のサンプルホルダの測定場所の焦点が合った画像を生成する方法であって、前記方法は、
   （ａ）複数の撮像デバイスを前記サンプルホルダから第１の距離に位置付けることであって、前記複数の撮像デバイスのうちの１つの撮像デバイスが、それぞれの測定場所に対応する、ことと、
   （ｂ）前記複数の撮像デバイスを使用して、それぞれの測定場所における画像の第１のセットを取得することと、
   （ｃ）前記画像の第１のセットに従って、前記複数の撮像デバイスと関連付けられた候補出力画像のセットを展開することと、
   （ｄ）予め決定された距離だけ前記サンプルホルダに対して前記複数の撮像デバイスを移動させることと、
   （ｅ）前記複数の撮像デバイスを使用して、前記それぞれの測定場所における画像の第２のセットを取得することと、
   （ｆ）選択基準に従って、前記候補出力画像のセットのうちのそれぞれの候補出力画像の少なくとも一部を画像のそれぞれの第２のセットの少なくとも一部で更新することと、
   （ｇ）前記更新された候補出力画像のセットを伝送することと
   を含み、
   ステップ（ｄ）から（ｆ）は、前記更新された候補出力画像のセットが伝送される前に、順次、複数回行われる、方法。
2. 前記複数の撮像デバイスが予め決定された範囲を横断するまで、ステップ（ｄ）から（ｆ）が繰り返される、請求項１に記載の方法。
3. 前記複数の撮像デバイスのうちの第１の撮像デバイスおよび前記複数の撮像デバイスのうちの第２の撮像デバイスが、前記画像の第１のセットのうちのそれぞれの画像を取得する、請求項１に記載の方法。
4. 前記候補出力画像のセットのうちのそれぞれの候補出力画像の少なくとも一部を更新することは、候補出力画像の画素を更新することを含む、請求項１に記載の方法。
5. 前記候補出力画像のセットのうちのそれぞれの候補出力画像の少なくとも一部を更新することはさらに、前記候補画像の画素の強度値とその近隣画素の強度値を比較することにより焦点の第１の評価を展開することと、前記第２の画像の対応する画素の強度値とその近隣画素を比較することにより焦点の第２の評価を展開することとを含む、請求項４に記載の方法。
6. 前記候補出力画像の画素を更新することはさらに、前記焦点の第２の評価が前記焦点の第１の評価を上回る場合、前記候補出力画像の画素の強度値を前記第２の画像の対応する画素の強度値で置換することを含む、請求項５に記載の方法。
7. （ｈ）前記複数の撮像デバイスのうちの前記１つの撮像デバイスが異なるそれぞれの測定場所に対応するように、前記サンプルホルダと平行に前記複数の撮像デバイスを平行移動させることと、
   （ｉ）異なるそれぞれの測定場所における更新された候補出力画像の第２のセットを展開することであって、前記更新された候補出力画像の第２のセットは、少なくとも、前記異なるそれぞれの測定場所における画像の第３のセットを取得することと、前記予め決定された距離だけ前記サンプルホルダに対して前記複数の撮像デバイスを移動させることと、前記移動させることの後に画像の第４のセットを取得することとによって展開される、ことと
   をさらに含む、請求項１に記載の方法。
8. 前記複数の撮像デバイスは、画像取得電子機器を含み、
   （ｈ）第１のフィルタを前記それぞれの測定場所と前記撮像取得電子機器との間の光路内に位置付けることであって、前記第１のフィルタは、前記画像の第１のセットが取得されるとき、前記光路内に位置付けられる、ことと、
   （ｉ）第２のフィルタを前記それぞれの測定場所と前記撮像取得電子機器との間の前記光路内に位置付けることであって、前記第２のフィルタは、前記画像の第２のセットが取得されるとき、前記光路内に位置付けられる、ことと
   をさらに含む、請求項１に記載の方法。
9. 前記画像の第１のセットが取得されるときの前記サンプルホルダに対する前記複数の撮像デバイスの位置は、前記画像の第２のセットが取得されるときの前記サンプルホルダに対する前記複数の撮像デバイスの位置と実質的に同じである、請求項８に記載の方法。
10. 前記画像の第１のセットは、第１の照明条件を使用して取得され、前記画像の第２のセットは、第２の照明条件を使用して取得される、請求項１に記載の方法。
11. サンプルホルダの複数の測定場所の焦点が合った画像を取得するための顕微鏡法用撮像システムであって、
    複数の撮像デバイスと、
    前記複数の撮像デバイスを前記サンプルホルダに対して位置付けるためのモーションコントローラと、
    前記複数の撮像デバイスのうちの１つの撮像デバイスと関連付けられた前処理モジュールであって、前記前処理モジュールは、前記複数の撮像デバイスによって取得される画像を受信する、前処理モジュールと
    を備え、前記モーションコントローラは、前記複数の撮像デバイスを前記サンプルホルダから複数の距離に位置付け、前記複数の撮像デバイスは、前記複数の距離のうちのそれぞれの距離においてそれぞれの測定場所の画像の第１のセットを取得し、前記前処理モジュールは、
    前記画像の第１のセットに従って、前記複数の撮像デバイスと関連付けられた候補出力画像のセットを展開し、前記複数の距離のうちのそれぞれの距離において、選択基準に従って、前記候補出力画像のセットの少なくとも一部を、前記複数の距離のうちの異なるそれぞれの距離において取得された画像の第２のセットの少なくとも一部で更新する、顕微鏡法用撮像システム。
12. 前記複数の距離は、予め決定された範囲内にあり、前記予め決定された範囲は、前記サンプルホルダと関連付けられる、請求項１１に記載の顕微鏡法用撮像システム。
13. 前記複数の撮像デバイスのうちの第１の撮像デバイスおよび前記複数の撮像デバイスのうちの第２の撮像デバイスが、実質的に同時に前記画像の第１のセットのうちのそれぞれの画像を取得する、請求項１１に記載の顕微鏡法用撮像システム。
14. 前記前処理モジュールは、前記候補出力画像のセットのうちの１つの候補出力画像の画素の強度値を前記画像の第１のセットのうちの第１の画像の対応する画素の強度値または前記画像の第２のセットのうちの第２の画像の対応する画素の強度値のうちの１つに設定する、請求項１１に記載の顕微鏡法用撮像システム。
15. 前記前処理モジュールは、前記第１の画像の対応する画素の強度値とその近隣画素を比較することにより焦点の第１の評価を展開し、前記第２の画像の対応する画素の強度値とその近隣画素を比較することにより焦点の第２の評価を展開する、請求項１４に記載の顕微鏡法用撮像システム。
16. 前記第１の画像の画素に対応する前記候補出力画像の画素の強度値は、前記焦点の第１の評価が前記焦点の第２の評価を上回る場合、前記第１の画像の画素の強度値と同じである、請求項１５に記載の顕微鏡法用撮像システム。
17. 前記モーションコントローラは、前記複数の撮像デバイスのうちの１つの撮像デバイスが異なるそれぞれの測定場所に対応するように、前記サンプルホルダと平行に前記複数の撮像デバイスの横方向平行移動を生じさせ、前記前処理モジュールは、異なるそれぞれの測定場所における更新された候補出力画像の第２のセットを展開する、請求項１１に記載の顕微鏡法用撮像システム。
18. 前記複数の撮像デバイスは、画像取得電子機器を含み、前記複数の撮像デバイスが前記画像の第１のセットを取得するときに前記サンプルホルダと前記画像取得電子機器との間の光路内に配置される第１のフィルタと、前記複数の撮像デバイスが前記画像の第２のセットを取得するときに前記光路内に配置される第２のフィルタとをさらに備える、請求項１１に記載の顕微鏡法用撮像システム。
19. 前記画像の第１のセットが取得されるときの前記サンプルホルダに対する前記複数の撮像デバイスの位置は、前記画像の第２のセットが取得されるときの前記サンプルホルダに対する前記複数の撮像デバイスの位置と実質的に同じである、請求項１８に記載の顕微鏡法用撮像システム。
20. 第１の照明源および第２の照明源をさらに備え、前記第１の照明源は、前記画像の第１のセットが捕捉されるときに作動され、前記第２の照明源は、前記画像の第２のセットが取得されるときに作動される、請求項１１に記載の顕微鏡法用撮像システム。
    

Images