JP2016541028A - ３ｄ顕微鏡の較正 - Google Patents

Abstract

テストパターンを用いて顕微鏡を較正する方法（２４０乃至２８０）であって、テストパターンの複数の（較正）画像を顕微鏡でキャプチャする（２４０）ことによって行われる。テストパターンは、複数の繰り返し及び重複２Ｄサブパターンの全域にわたる、複数の一意に識別可能な位置を有する。方法は、テストパターンの選択されたパッチにおけるキャプチャされた画像からの画像コントラストメトリック（９０７）と、対応する領域における基準コントラストメトリック（８４０）とを決定（８３０）し、基準コントラストメトリックと画像コントラストメトリックとを用いて正規化されたコントラストメトリック（５２０）を決定する。方法は、一連の深度においてテストパターンを用いてキャプチャされた画像のスタック（４１０）について、複数の位置において２つのキャプチャ画像の深度を正規化されたコントラストメトリックと一連の所定の較正データ（４５０）とを用いて推定し（５３０、５４０）、少なくとも２つの画像について決定された深度推定値の比較を用いて顕微鏡（５５０、２８０）を較正する（２８０）。

Description

本願は、３５ Ｕ．Ｓ．Ｃ．第１１９条に基づいて、２０１３年１月７日に出願されたオーストラリア特許出願第２０１３２５４９２０号の出願日の利益を請求するものであり、それを、本願に全て記述されているように、全体として参照により本願に援用する。

本発明は、デジタル撮像デバイスの較正に関するものであり、特に、顕微鏡の較正に適用される。較正は、撮像デバイスのアライメント及びその他の光学的性質の測定及び補正に用いられる。較正は、試料の画像のキャプチャ及びその後の画像の後処理における効率及び精度を改善することができる。

バーチャル顕微鏡法とは、医師が顕微鏡を制御しているかのように、多様な倍率のシミュレーション、及び、多様な三次元（３Ｄ）ビューによって生物試料をナビゲートして観察する能力を医師に与える技術である。バーチャル顕微鏡法は、試料の顕微鏡画像のデータベースにアクセスできるコンピュータのモニタやタブレットデバイスなどのディスプレイデバイスを用いて実現することができる。バーチャル顕微鏡法には、従来の顕微鏡法と比べて、幾つかの利点がある。バーチャル顕微鏡法では、観察する際に試料自体は必要ではなく、それによって、アーカイビング、遠隔治療及び教育が容易になる。また、バーチャル顕微鏡法では、例えば、コンピュータ診断システムの一環として、試料画像を処理して被写界深度を変化させ、普通なら目で観察するのは困難なはずの病理的特性を明らかにすることも可能になる。

バーチャル顕微鏡法のための画像のキャプチャは、一般に、高スループットのスライド式スキャナを用いて行われる。試料は、試料台の上に機械的にロードされて、顕微鏡対物レンズの下で移動し、その間、試料のいろいろな部分の画像がセンサ上にキャプチャされる。隣り合う画像は、部分的にオーバラップしており、同一試料の複数の画像が、顕微鏡に接続されたコンピュータシステムによって３Ｄ立体表現として合成されるようになっている。試料の動きが十分正確に制御できるならば、理論的には、これらの画像を直接合成することができ、いかなる欠陥もないシームレスな３Ｄビューが生成される。典型的には、試料の動きや撮像デバイスの光学的許容差によって位置の誤差や隣接画像の回転などの幾何学的歪みが生じるため、この通りにはならない。一般的に、ソフトウェアアルゴリズムは、隣接する画像の間に欠陥が生じないようにするため、隣接する画像を同じ深度で登録するだけでなく、異なる深度でも登録するように画像を処理する必要がある。

顕微鏡法は、幾つかの重要な点において、その他の画像モザイク化タスクとは異なっている。第一に、典型的には、対象（試料）が光学系の下の試料台によって動かされるのであって、パノラマビューのキャプチャの場合に行われることがあるだろうが、光学系が動かされて対象の多様な部分をキャプチャするのではない。試料台の動きは、非常に正確に制御することが可能であり、試料は、基板に固定されてもよい。また、顕微鏡は、例えば、特注の照明設備を備えた実験室内の防振台上に設置されるというように、管理された環境下で用いられ、結像系の光学的許容差（光学部品及び試料台のアライメント及び向き）は、非常に厳密である。そのような装置では、モザイク化のためのキャプチャされた画像タイルの粗アライメントは、かなり正確であり、照度は、均一であり、タイル間の変換は、厳格な変換で十分に表される。一方、試料の幾つかの重要な特徴のスケールは、数画素のオーダである可能性があり、これらの特徴は、キャプチャされたタイル画像上に密集して配置される可能性がある。これは、バーチャル顕微鏡法に必要なスティッチング精度が非常に高いことを意味する。加えて、顕微鏡が自動的にロードされてバッチモードで操作されることを考えると、処理スループット要件も高い。

画像登録プロセスは、２つの隣接画像間でオーバラップ（重複）する領域内の画素を比較して、画像内の相対的変形を決定する。一部のシステムでは、両方の画像のオーバラップする領域内の全ての画素を用いて、この変形を演算する。しかしながら、このプロセスの速度は、オーバラップ領域内の小さな画像パッチでのみ測定を行うことによって、大幅に改善される。これらのパッチベースの技術は、桁違いの高速化が可能であり、加えて、顕微鏡の場合と同様に、画像内の歪みが小さい場合、非常に正確である。

センサ技術及び光学部品の進歩に伴って、一度の撮像でキャプチャ可能な試料の画像の面積が増大してきている。しかしながら、例えば、部品の好ましくない傾きが原因で起こる、撮像される試料に対する焦点面の位置ずれは、浅い被写界深度と組み合わさる場合、キャプチャ面積の増大が原因で拡大される。顕微鏡キャプチャの効率及び精度を改善する１つの手段は、顕微鏡におけるアライメント及び光学歪みを測定し、可能であれば、そのような位置ずれ及び歪みによってもたらされる系統的誤差を補正することである。

深度は、視野内の局部的なコントラスト又はシャープネスを測定するフォーカス関数を利用して、顕微鏡内で測定されてもよい。フォーカス関数が最大である軸上のロケーションは、ベストフォーカスの位置を定義するが、それは、薄い試料の深度を示すと考えてもよい。多くのフォーカス関数は、正規化された分散を含む文献に記載されている。しかしながら、この手法を用いてベストフォーカスのロケーションを正確に決定するためには、ベストフォーカスのどちらかの側にある１つ以上の画像を含めて、多くの画像を多様な深度でキャプチャしなければならない。これでは、オートフォーカス技術を用いて不要な画像のキャプチャを回避するような深度推定方法の効率が制限される。

アクティブな照度及びアパーチャマスクを利用した別の深度推定方法が知られているが、これらの技術では、標準的な顕微鏡設備には必要でない追加部品が必要となる。

従って、追加部品を必要としない、顕微鏡を較正する効率的で正確な方法が必要である。

本開示の一側面によって、テストパターンを用いて顕微鏡を較正する方法が提供される。かかる方法は、
（ａ）顕微鏡の光学系を介してテストパターンの複数の画像をキャプチャすることであって、前記テストパターンは、複数の繰り返し及び重複２Ｄサブパターンによって定義されるパターンの全域にわたる、複数の一意に識別可能な位置を有すること、
（ｂ）少なくとも２つのキャプチャされた画像の上の複数の対応する位置の各々について、
−テストパターンの上の複数の一意に識別可能な位置から選択された位置における、キャプチャ画像のパッチと、テストパターンの対応する領域とを、対応する領域についてのロケーションがテストパターンにおける複数の繰り返し及び重複２Ｄサブパターンによって決定されるように選択し、
−選択されたパッチにおけるテストパターンのキャプチャ画像からの画像コントラストメトリックと、対応する領域のテストパターンの基準コントラストメトリックとを決定し、
−基準コントラストメトリック及び画像コントラストメトリックを用いて、正規化されたコントラストメトリックを決定することであって、正規化されたコントラストメトリックは、テストパターンの局部的な非均一なテキスチャの影響を補償すること、
（ｃ）正規化されたコントラストメトリック、及び、一連の深度においてテストパターンを用いてキャプチャされた画像のスタックについての一連の所定の較正データを用いて、複数の位置における少なくとも２つのキャプチャ画像の深度を推定すること、
（ｄ）少なくとも２つの画像についての決定された深度の推定値の比較を用いて、顕微鏡を較正すること、
を含む。

複数の画像は、キャプチャの間にアキシャルオフセットが顕微鏡の試料台に与えられた画像対としてキャプチャされることが好ましい。詳細には、工程（ｃ）は、画像対の各々の画像の各々の位置についての複数の深度を、画像対の正規化されたコントラストメトリックに基づいて推定し、深度を位置のそれぞれについての深度の単一の推定値に分離することを含む。

少なくとも１つのキャプチ画像の複数の位置の各々についての深度の推定値は、その画像についてのワープマップを形成することが望ましい。

特定の実施では、方法は、
顕微鏡のベストフォーカスの深度の少なくとも上下にわたる深度の、テストパターンの画像のスタックをキャプチャすることと、
キャプチャされたスタック画像の各々についての複数の位置の各々についての所定の較正データを、
（ｉ）各スタック画像について、横方向ワープマップを形成し、
（ｉｉ）横方向ワープマップから正規化されたコントラストデータを形成し、
（ｉｉｉ）正規化されたコントラストデータを分析して、所定の較正データを形成すること、
によって生成すること、を更に含む。

この場合、正規化されたコントラストデータを形成することは、
−テストパターンの上の複数の一意に識別可能な位置から選択された位置における、テストパターンのキャプチャされたスタック画像のパッチと、テストパターンの対応する領域とを、対応する領域についてのロケーションがテストパターンの複数の繰り返し及び重複２Ｄサブパタンによって決定されるように、選択すること、
−選択されたパッチのキャプチャされたスタック画像からの画像コントラストメトリック、及び、対応する領域のテストパターンの基準コントラストメトリックを決定すること、
−基準コントラストメトリック及び画像コントラストメトリックを利用して、正規化されたコントラストメトリックを決定することであって、正規化されたコントラストメトリックは、テストパターンの局部的な非均一なテキスチャの影響を補償すること、
を含んでいてもよい。

典型的には、キャプチャ画像の平面の上のさまざまな位置にわたる、複数の決定された深度オフセットが、顕微鏡のセンサの２Ｄ位置の間、及び、テストパターンに関する顕微鏡の焦点面での３Ｄ位置の間のワープマップを定義する。

工程（ｃ）は、現在の位置についての単一の深度の推定値を決定するために、少なくとも深度の推定値の対と、所定の較正データから既知である深度オフセットとを比較することを含むと有利である。ここで、方法は、画像をキャプチャする間に顕微鏡の構成を調整することを更に含んでいてもよい。

その他の側面も開示する。

次に、本発明の少なくとも１つの実施形態について、以下の図面を参照しながら説明する。

顕微鏡画像キャプチャシステムの高レベル系統図である。 図１のシステムにおける顕微鏡の較正プロセスの概略フロー図である。 顕微鏡の較正での使用に適した較正ターゲットのためのテストパターンの生成を示す図である。 顕微鏡の較正での使用に適した較正ターゲットのためのテストパターンの生成を示す図である。 顕微鏡の較正での使用に適した較正ターゲットのためのテストパターンの生成を示す図である。 顕微鏡の較正での使用に適した較正ターゲットのためのテストパターンの生成を示す図である。 顕微鏡の較正での使用に適した較正ターゲットのためのテストパターンの生成を示す図である。 １つ以上の画像スタックを分析することによって顕微鏡用の較正データを生成する方法の概略フロー図である。 ３Ｄワープマップを生成する方法の概略フロー図である。 較正ターゲットの画像を分析して横方向ワープマップを生成する方法の概略フロー図である。 較正ターゲットのための粗アライメントの方法の概略フロー図である。 較正ターゲットの画像を分析し、画像のパッチの分析に基づいて正規化されたコントラストデータを生成する方法の概略フロー図である。 正規化されたコントラストメトリックを、フォーカス関数、及び、深度の推定に用いられる、対応する逆関数にフィットさせることを示す図である。 正規化されたコントラストメトリックを、フォーカス関数、及び、深度の推定に用いられる、対応する逆関数にフィットさせることを示す図である。 パッチ対についてのシフトの推定を示す図である。 顕微鏡用の較正パラメータを決定する方法の概略フロー図である。 顕微鏡用の較正パラメータを決定する方法の概略フロー図である。 画像領域の上の横方向アライメント格子のロケーションを示す図である。 画像領域の上の横方向アライメント格子のロケーションを示す図である。 画像領域の上の横方向アライメント格子のロケーションを示す図である。 特定の顕微鏡構成を示し、特に、較正プロセスに従って調整される一部の部品を示す図である。 説明した構成を実現化する、図１の汎用コンピュータシステムの概略ブロック図である。 説明した構成を実現化する、図１の汎用コンピュータシステムの概略ブロック図である。 ２Ｄルーラ正規化のヒストグラムである。

コンテクスト
図１は、汎用顕微鏡キャプチャシステム１００の高レベル系統図である。較正ターゲット１０２は、既知の精密にエッチングされたテストパターンがその表面上に形成された基板である。較正ターゲット１０２は、例えば、レンズなどの顕微鏡１０１の光学系の下にある可動式の試料台１０８の上に物理的に位置している。較正ターゲット１０２は、較正ターゲット１０２の面を形成する横軸ｘ及びｙの方向に、顕微鏡１０１の視野と同じ、又は、それより大きい空間広がりを有していることが理想である。

顕微鏡１０１に組み込まれたカメラ１０３によって、較正ターゲット１０２の複数の画像１０４がキャプチャされる際に、顕微鏡１０１の試料台１０８が動いてもよい。カメラ１０３は、試料台の各々のロケーションで１つ以上の画像を撮像する。複数の画像は、異なる光学的設定で、或いは、異なるタイプの照明を用いて撮像されてもよい。キャプチャ画像１０４は、コンピュータシステム１０５に渡されるが、コンピュータシステム１０５は、画像１０４をすぐに処理し始めてもよいし、後で処理するために記憶装置１０６にそれらを格納してもよい。コンピュータシステム１０５は、典型的には、図１に示すように、制御接続部１０９を介して、試料台１０８のＸ、Ｙ及びＺ方向のそれぞれへの動きを制御するように構成される。

コンピュータ１０５は、１つ以上のキャプチャ画像について、３Ｄワープマップを生成する。３Ｄワープマップは、顕微鏡１０１のセンサによってキャプチャされた画素に対応する焦点の位置と、較正ターゲット１０２の上の真のロケーションとの間の関係を定義する。コンピュータ１０５は、ワープマップを用いて、顕微鏡１０１を機械的に調整するのに用いられる、顕微鏡１０１の較正パラメータを決定する。表示デバイス１０７は、コンピュータ１０５に接続されており、キャプチャ画像１０４のうちのいずれかを、コンピュータ１０５によって形成された、それらの継ぎ合わされた画像のいずれか、又は、ワープマップなどとともに、再生可能にする。

顕微鏡１０１の被写界深度は、顕微鏡１０１の光学的構成に基づいて推定されてもよい。この被写界深度の標準的な近似値Ｄは、以下の関係で与えられる。

ここで、ＮＡは、開口数であり、ｎは、媒質内での屈折率であり（空気中では、ｎ＝１．０であり、レンズが、例えば、油に浸された場合には、より高くなる）、λは、顕微鏡での光の波長である。空気中では、開口数が０．７、波長が５００ｎｍであれば、推定される被写界深度は、１ミクロンである。キャプチャ画像１０４は、深度が、この距離から、較正ターゲット１０２のベストフォーカスの上及び下の深度までおよぶ可能性があり、これが、像面における正確な測定のための２次元（２Ｄ）ルーラを形成する。

図１５Ａ及び図１５Ｂは、汎用コンピュータシステム１５００を示す図であって、かかるシステムによって、これまで説明した各種の構成が実現化される。

図１５Ａに示すように、コンピュータシステム１５００は、コンピュータモジュール１０５と、キーボード１５０２、マウスポインタデバイス１５０３、スキャナ１５２６、カメラ１０３及びマイクロフォン１５８０などの入力デバイスと、プリンタ１５１５、表示デバイス１０７、ラウドスピーカ１５１７などの出力デバイスとを含む。外部の変調復調（モデム）トランシーバデバイス１５１６は、コンピュータモジュール１０５によって用いられ、接続部１５２１を介して、通信ネットワーク１５２０との交信が行われてもよい。通信ネットワーク１５２０は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、セルラ通信ネットワーク、或いは、私設ＷＡＮであってもよい。接続部１５２１が電話線である場合、モデム１５１６は、従来の「ダイヤルアップ」モデムであってもよい。また、接続部１５２１が高容量（例えば、ケーブル）接続である場合、モデム１５１６は、ブロードバンドモデムであってもよい。通信ネットワーク１５２０へのワイヤレス接続に、ワイヤレスモデムが用いられてもよい。一部の実施で所望されているように、カメラ１０３は、ネットワーク１５２０に直接接続されていてもよく、それを介して、画像１０４がコンピュータ１０５に転送される。このような形態において、コンピュータ１０５は、画像処理のためにクラウドコンピューティング環境に実装されたサーバタイプのデバイスであってもよい。

コンピュータモジュール１０５は、典型的には、少なくとも１つのプロセッサユニット１５０５と、メモリユニット１５０６とを含む。例えば、メモリユニット１５０６は、半導体ランダムアクセスメモリ（ＲＡＭ）と半導体読み出し専用メモリ（ＲＯＭ）とを有してもよい。また、コンピュータモジュール１０５は、ビデオディスプレイ１０７、ラウドスピーカ１５１７及びマイクロフォン１５８０に接続するオーディオ・ビデオ・インタフェース１５０７と、キーボード１５０２、マウス１５０３、スキャナ１５２６、カメラ１０３及び任意でジョイスティック又はその他のヒューマン・インタフェース・デバイス（不図示）に接続するＩ／Ｏインタフェース１５１３と、外部のモデム１５１６及びプリンタ１５１５のインタフェース１５０８とを含めて、幾つかの入出力（Ｉ／Ｏ）インタフェースを含む。一部の実施では、モデム１５１６は、コンピュータモジュール１０５の内部に、例えば、インタフェース１５０８の内部に、組み込まれていてもよい。コンピュータモジュール１０５は、ローカル・ネットワーク・インタフェース１５１１も含み、それによって、コンピュータシステム１５００は、接続部１５２３を介して、ローカルエリアネットワーク（ＬＡＮ）として知られるローカルエリア通信ネットワーク１５２２に接続することができる。また、図１５Ａに示すように、ローカル通信ネットワーク１５２２は、接続部１５２４を介して、ワイドネットワーク１５２０に接続してもよく、これは、典型的には、所謂、「ファイアウォール」デバイス、或いは、同様の機能性のデバイスを含む。ローカル・ネットワーク・インタフェース１５１１は、イーサネット回路カード、Ｂｌｕｅｔｏｏｔｈ（商標）ワイヤレス装置、又は、ＩＥＥＥ８０２．１１ワイヤレス装置を含んでいてもよいが、その他のタイプの多くのインタフェースがインタフェース１５１１として実現化されてもよい。

望ましくは、或いは、適切には、コンピュータと顕微鏡１０１の試料台１０８との間の制御接続部１０９は、ネットワーク１５２０又は１５２２のいずれかへの接続を介して行われるか、或いは、例えば、Ｉ／Ｏインタフェース１５１３への直接接続（不図示）を介して行われてもよい。

Ｉ／Ｏインタフェース１５０８及び１５１３は、シリアル接続及びパラレル接続のいずれかを、又は、両方を提供してもよく、前者は、典型的には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）標準に従って実装され、対応するＵＳＢコネクタ（不図示）を有する。記憶デバイス１５０９が提供され、典型的には、ハードディスクドライブ（ＨＤＤ）１５１０を含む。その他の記憶デバイス、例えば、フロッピーディスクドライブや磁気テープドライブ（不図示）が用いられてもよい。光ディスクドライブ１５１２は、典型的には、不揮発性のデータソースとして動作するように提供される。可搬型のメモリデバイス、例えば、光ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙディスク（商標））、ＵＳＢ−ＲＡＭ、可搬型の外付けハードドライブ、フロッピーディスクなどが、システム１５００に対する適切なデータソースとして用いられてもよい。図１の構成に関して、データ記憶装置１０６は、ＨＤＤ１５１０又はメモリ１５０６を用いて、或いは、ネットワーク１５２０及び１５２２のいずれか一方又は両方の上にリモート方式で、実装されてもよい。

コンピュータモジュール１０５の構成要素１５０５乃至１５１３は、典型的には、相互接続バス１５０４を介して、当業者には既知であるコンピュータシステム１５００の従来の動作モードをもたらす方式で通信する。例えば、プロセッサ１５０５は、接続部１５１８を用いて、システムバス１５０４に接続する。同様に、メモリ１５０６及び光ディスクドライブ１５１２は、接続部１５１９によって、システムバス１５０４に接続する。説明した構成を実現化するコンピュータの例として、ＩＢＭ−ＰＣ、互換機、Ｓｕｎ Ｓｐａｒｃｓｔａｔｉｏｎ、Ａｐｐｌｅ Ｍａｃ（商標）、或いは、同様のコンピュータシステムがある。

これから説明する画像処理及び顕微鏡較正の方法は、コンピュータシステム１５００を用いて実装されるものであって、図２から図１４までの各プロセスは、コンピュータシステム１５００で実行可能な１つ以上のソフトウェアアプリケーションプログラム１５３３として、特に、コンピュータ１０５で実施されるものである。特に、方法の各工程は、コンピュータシステム１５００で実行されるソフトウェア１５３３の命令１５３１（図１５Ｂ参照）によって実現される。ソフトウェアの命令１５３１は、それぞれが１つ以上の具体的なタスクを実行するための１つ以上のコードモジュールとして形成される。また、ソフトウェアは、２つの別々の部分に分割され、その第１部分及び対応するコードモジュールは、画像処理及び較正方法を実行し、第２部分及び対応するコードモジュールは、第１部分とユーザとの間のユーザインタフェースを管理してもよい。

ソフトウェアは、例えば、以下に説明する記憶デバイスを含めて、コンピュータ可読媒体に記憶されてもよい。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム１５００にロードされ、次いで、コンピュータシステム１５００によって実行される。コンピュータ可読媒体に記録されたそのようなソフトウェア又はコンピュータプログラムを有するコンピュータ可読媒体は、コンピュータプログラムプロダクトである。コンピュータシステム１５００でコンピュータプログラムプロダクトを使用することは、画像処理及び顕微鏡較正のための有利な装置を達成するのに好ましい。

ソフトウェア１５３３は、典型的には、ＨＤＤ１５１０又はメモリ１５０６に記憶される。ソフトウェアは、コンピュータ可読媒体からコンピュータシステム１５００にロードされ、コンピュータシステム１５００によって実行される。従って、例えば、ソフトウェア１５３３は、光ディスクドライブ１５１２によって読み取られる、光学的に読取可能なディスク記憶媒体（例えば、ＣＤ−ＲＯＭ）１５２５に記憶されていてもよい。そのようなソフトウェア又はコンピュータプログラムが記録されているコンピュータ可読媒体は、コンピュータプログラムプロダクトである。コンピュータシステム１５００でコンピュータプログラムプロダクトを使用することは、画像処理及び顕微鏡較正のための装置を達成するのに好ましい。

場合によっては、アプリケーションプログラム１５３３は、１つ以上のＣＤ−ＲＯＭ１５２５において符号化され、対応するドライブ１５１２を介して読み取られる形態でユーザに供給されることがあり、或いは、ネットワーク１５２０又は１５２２からユーザによって読み取られることがある。また、ソフトウェアは、その他のコンピュータ可読媒体からコンピュータシステム１５００にロードされることもある。コンピュータ可読記憶媒体とは、記録された命令及び／又はデータを実行及び／又は処理するためにコンピュータシステム１５００に提供するいずれかの非一時的で有形の記憶媒体のことを言う。そのような記憶媒体の例として、フロッピーディスク、磁気テープ、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙディスク（商標）、ハードディスクドライブ、ＲＯＭ又は集積回路、ＵＳＢメモリ、光磁気ディスク、或いは、ＰＣＭＣＩＡカードなどのコンピュータ可読カードなどがあり、それらのデバイスがコンピュータモジュール１０５の内部にあるのか外部にあるのかを問わない。ソフトウェア、アプリケーションプログラム、命令及び／又はデータをコンピュータモジュール１０５に提供することに加わる一時的又は非有形のコンピュータ可読通信媒体の例として、無線又は赤外線送信チャネル、別のコンピュータ又はネットワークデバイスへのネットワーク接続があり、更に、電子メール送信及びウェブサイトに記録された情報を含むインターネット又はイントラネットなどがある。

上述のアプリケーションプログラム１５３３の第２部分及び対応するコードモジュールは、実行され、ディスプレイ１０７に１つ以上のグラフィカルユーザインタフェース（ＧＵＩ）がレンダリングされるか、或いは、その他の要領で表現されてもよい。コンピュータシステム１５００及びアプリケーションのユーザは、典型的には、キーボード１５０２及びマウス１５０３の操作を介して、制御コマンド及び／又は入力をＧＵＩに関連するアプリケーションに提供するのに機能的に適切な形態で、インタフェースを操作してもよい。また、例えば、ラウドスピーカ１５１７を介した音声プロンプト出力及びマイクロフォン１５８０を介したユーザ音声コマンド入力を利用する音声インタフェースなどの、その他の形態の機能的に適切なユーザインタフェースが実装されていてもよい。

図１５Ｂは、プロセッサ１５０５及び「メモリ」１５３４の詳細な概略ブロック図である。メモリ１５３４は、図１５Ａのコンピュータモジュール１０５によってアクセスされる全てのメモリモジュール（ＨＤＤ１５０９及び半導体メモリ１５０６を含む）の論理的集合を表す。

コンピュータモジュール１０５が初期に起動される場合、ＰＯＳＴ（Ｐｏｗｅｒ−ｏｎ ｓｅｌｆ−ｔｅｓｔ）プログラム１５５０が動作する。ＰＯＳＴプログラム１５５０は、典型的には、図１５Ａの半導体メモリ１５０６のＲＯＭ１５４９に記憶される。ソフトウェアを記憶するＲＯＭ１５４９などのハードウェアデバイスは、ファームウェアと呼ばれることがある。ＰＯＳＴプログラム１５５０は、コンピュータモジュール１０５の内部のハードウェアを検査して適切に機能することを保証し、典型的には、プロセッサ１５０５、メモリ１５３４（１５０９、１５０６）、及び、これも典型的にはＲＯＭ１５４９に記憶されるＢＩＯＳ（ｂａｓｉｃ ｉｎｐｕｔ−ｏｕｔｐｕｔ ｓｙｓｔｅｍｓ ｓｏｆｔｗａｒｅ）モジュール１５５１が正確に動作することを確認する。ＰＯＳＴプログラムが正常に実行された後、ＢＩＯＳ１５５１は、図１５Ａのハードディスクドライブ１５１０を起動する。ハードディスクドライブ１５１０の起動は、プロセッサ１５０５を介して、ハードディスクドライブ１５１０に常駐するブートストラップ・ローダ・プログラム５５２を実行させる。これは、オペレーティングシステム１５５３をＲＡＭメモリ１５０６にロードし、それによって、オペレーティングシステム１５５３は動作を開始する。オペレーティングシステム１５５３は、プロセッサ管理、メモリ管理、デバイス管理、記憶管理、ソフトウェアアプリケーションインタフェース及び一般的なユーザインタフェースを含めて、各種の高レベル機能を実現するための、プロセッサ１５０５によって実行可能なシステムレベルのアプリケーションである。

オペレーティングシステム１５５３は、メモリ１５３４（１５０９、１５０６）を管理して、コンピュータモジュール１０５で実行中の各プロセス又はアプリケーションが、別のプロセスに割り当てられているメモリと衝突することなく動作するのに十分なメモリを有することを保証する。また、図１５Ａのシステム１５００で利用可能な多様なタイプのメモリは、各プロセスが効果的に動作するように適切に使用されなければならない。従って、メモリの集合１５３４は、（別段の指定がない限り）メモリの特定のセグメントがどのように割り振られているかを示すことが意図されているのではなく、コンピュータシステム１５００によってアクセス可能なメモリの概要、及び、それがどのように使用されているかを示すことが意図されている。

図１５Ｂに示すように、プロセッサ１５０５は、制御ユニット１５３９、数値演算ユニット（ＡＬＵ）１５４０、及び、キャッシュメモリとも呼ばれるローカルメモリ又は内部メモリ１５４８を含めて、幾つかの機能モジュールを含む。キャッシュメモリ１５４８は、典型的には、レジスタセクションに、複数の記憶レジスタ１５４４乃至１５４６を含む。１つ以上の内部バス１５４１は、これらの機能モジュールを機能的に相互接続する。また、プロセッサ１５０５は、典型的には、接続部１５１８を用いて、システムバス１５０４を介して外部デバイスと通信するための１つ以上のインタフェース１５４２を有する。メモリ１５３４は、接続部１５１９を用いて、バス１５０４に接続する。

アプリケーションプログラム１５３３は、条件分岐及びループ命令を含む一連の命令１５３１を含む。また、プログラム１５３３は、プログラム１５３３の実行に用いられるデータ１５３２を含む。命令１５３１及びデータ１５３２は、メモリロケーション１５２８、１５２９、１５３０及び１５３５、１５３６、１５３７にそれぞれ記憶される。メモリロケーション１５３０に示す命令によって示されるように、命令１５３１とメモリロケーション１５２８乃至１５３０との相対的な大きさに応じて、ある個別の命令が、単一のメモリロケーションに記憶されてもよい。また、メモリロケーション１５２８及び１５２９に示す命令セグメントによって示されるように、命令が幾つかの部分にセグメント化され、その各々が別個のメモリロケーションに記憶されてもよい。

一般に、プロセッサ１５０５には、そこで実行される一組の命令が与えられる。プロセッサ１５０５は、その後の入力を待ち、それに対して、プロセッサ１５０５は、別の組の命令を実行することによって反応する。各入力は、１つ以上の入力デバイス１５０２、１５０３によって生成されたデータと、ネットワーク１５２０、１５０２のうちの１つの全域にわたって外部ソースから受信されたデータと、記憶デバイス１５０６、１５０９のうちの１つから検索されたデータと、或いは、対応するリーダ１５１２に挿入された記憶媒体１５２５から検索されたデータとを含めて、図１５Ａに全て示してある幾つかのソースのうちの１つ以上から提供されてもよい。場合によっては、一組の命令の実行は、データの出力をもたらすことがある。また、実行は、データ又は変数をメモリ１５３４に記憶することに関わることがある。

開示する画像処理及び顕微鏡較正装置は、入力変数１５５４を使用するが、それらは、メモリ１５３４のうちの対応するメモリロケーション１５５５、１５５６、１５５７に記憶される。装置は、出力変数１５６１を生成するが、それらは、メモリ１５３４のうちの対応するメモリロケーション１５６２、１５６３、１５６４に記憶される。中間媒介変数１５５８は、メモリロケーション１５５９、１５６０、１５６６及び１５６７に記憶される。

図１５Ｂのプロセッサ１５０５を参照するに、レジスタ１５４４、１５４５、１５４６と、数値演算ユニット（ＡＬＵ）１５４０と、制御ユニット１５３９とが連携して、プログラム１５３３を形成する命令集合のうちの全ての命令について、「フェッチ、復号、実行」サイクルを行うのに必要なマイクロ操作のシーケンスを行う。それぞれの「フェッチ、復号、実行」サイクルは、
（ｉ）メモリロケーション１５２８、１５２９、１５３０から命令１５３１をフェッチするか、又は、読み取るフェッチ操作、
（ｉｉ）どの命令がフェッチされたのかを制御ユニット１５３９が判定する復号操作、及び、
（ｉｉｉ）制御ユニット１５３９及び／又はＡＬＵ１５４０が命令を実行する実行操作
を含む。

その後、次の命令について、更なるフェッチ、復号、実行のサイクルが実行されてもよい。同様に、制御ユニット１５３９が値をメモリロケーション１５３２に記憶するか、又は、書き込む記憶サイクルが行われてもよい。

図２乃至図１４の各プロセスのそれぞれの工程又はサブプロセスは、プログラム１５３３の１つ以上のセグメントに関連付けられており、プログラム１５３３の記載されたセグメントについての命令集合のうちの全ての命令について、フェッチ、復号、実行のサイクルを連携して行う、レジスタセクション１５４４、１５４５、１５４７、ＡＬＵ１５４０、及び、制御ユニット１５３９によって行われる。

詳細
顕微鏡の較正を行うのに使用される方法２００の概要を図２に示す。最初のステップ２１０では、パターン化された領域が視野内にあり、焦点が概略で合うように、適切な較正ターゲット１０２が顕微鏡の試料台の上にロードされる。この工程は、手動で行われてもよいが、顕微鏡１０１の製造環境では、例えば、コンピュータ１０５によるコンピュータ制御の下でロボットを利用して行われてもよい。方法２００の残りの部分は、典型的には、ＨＤＤ１５１０に記憶されたソフトウェアを用いて、コンピュータ１０５によってコンピュータ実装され、その他の方法でメモリ１５０６又はＨＤＤ１５１０に記憶されるか、又は、ロードされた画像１０４を利用してプロセッサ１５０５によって実行される。

図３Ａ乃至図３Ｅは、較正ターゲット１０２のための適切なテストパターン３０５がどのようにして生成されるかを示す図である。領域３０１（図３Ａ）乃至３０４（図３Ｄ）は、モノクロ画素として表された疑似ランダム２次元バイナリパターンを示す。パターンのサイズ（即ち、パターンの画素数）は、それぞれ異なっており、各パターンは、共通因子を共有していない。パターン３０１乃至３０４は、それぞれ正方形をしており、より広い領域の範囲の上にパターンを繰り返すことによって、より広い領域をタイル張りするのに用いることができる。次いで、このようなより広い領域は、オーバレイ、或いは、オーバラップされたり、「ＡＮＤ」又は「ＯＲ」のような１つ以上のブール演算を用いて結合されたりすることができる。これによって、非周期性の疑似ランダムパターンが、個別のパターン３０１、３０１、３０３及び３０４のサイズの積によって与えられる領域の上に生成される。結果として、そのようなパターンは、複数の繰り返し及び重複２Ｄサブパターンによって定義されるパターンの全域にわたって、一意に識別可能な各位置を有する。このパターンの一例を、図３Ｅに示すパターン３０５によって示しているが、これは、テストパターンであって、２Ｄルーラと呼ばれることもあり、適切な較正ターゲット１０２を形成する際の使用に適している。典型的には、テストパターン３０５は、基板上にエッチングされて較正ターゲット１０２を形成する。この例では、２Ｄルーラは、各次元において、画素ロケーション０から１０５までの範囲を有する（即ち、１０６×１０６画素）。実際には、例えば、２５００×２５００画素以上の、非常に広いパターン化された領域が使用される。

２Ｄルーラの１つの有益な特性は、ルーラの生成に用いられた全てのタイル張りパターンと少なくとも同じ広さのルーラ（テストパターン３０５）の領域からなるキャプチャ画像について、テストパターンに対するキャプチャ画像の歪みが大きすぎないような、正確な横方向ロケーションが決定されることである。キャプチャ画像のうちのパッチ領域のロケーションを決定する方法は、方法６００のステップ６３５乃至６５０に関して後述する。２Ｄルーラの第２の有益な特性は、どこでも高レベルの非均一テキスチャを有するように、テストパターン（例えば、３０５）を構成できるため、２Ｄルーラが深度の推定用のフォーカス関数を用いた分析に対して敏感であることである。分散非均一テキスチャの一例を図３Ｅに示し、それについての正規化されたヒストグラムを図１６に示しているが、そこから、テキスチャについてのカウント値が、一部のカウントはその他のカウントと一致しそうであるとしても、非均一であることがわかる。

顕微鏡１０１が透過顕微鏡である場合、較正ターゲット１０２は、ガラス又はその他の平らな透明基板上のクロムのような薄層に、パターンを正確にエッチングすることによって製造されてもよい。較正ターゲット１０２の画素特性は、顕微鏡の解像度よりも大きいことが必要である。例えば、０．５ミクロンの解像度の顕微鏡では、画素特性は、典型的には、１又は２ミクロンのサイズであってもよい。０．５ミクロンの膜厚のクロム層を用いて形成されたパターンであれば、クロムが残っている場所で光の透過を実質的に十分に防ぐことが可能である。

図２に戻って、２Ｄルーラ（テストパターン３０５の形状をなす較正ターゲット１０２）の画像１０４の１つ以上のスタックは、ステップ２２０において、カメラ１０３を用いてキャプチャされる。画像１０４の各スタックは、単一の横方向の試料台ロケーションで（即ち、共通の視野を用いて）一連の深度にわたって撮像されるため、「ｓｔａｃｋ」という記述子が用いられる。深度の集合は、２Ｄルーラの現在のビューのベストフォーカスの一方の側から他方の側までの範囲の焦点範囲におよぶように構成されることが望ましく、また、顕微鏡１０１の被写界深度よりも大きいことが望ましい。例えば、倍率が２０倍で、開口数（ＮＡ）が０．７の空気浸レンズ（被写界深度は、１．０ミクロン）で組み立てられる典型的な顕微鏡では、スタックは、２Ｄルーラの現在のビューのベストフォーカスの付近を中心とする１０層のキャプチャ層からなることがある。画像の複数のスタックは、異なる環境条件（例えば、温度）で、及び／又は、異なる光の波長で（例えば、特定の波長で照明を行うことによって）撮像されてもよい。また、顕微鏡１０１が同時キャプチャのための複数のセンサを含む場合、画像１０４のスタックは、センサごとにキャプチャされてもよい。後者の場合、複数のセンサのキャプチャ視野は、顕微鏡１０１の光学設計に応じて、横方向又は軸方向のいずれかに、或いは、その両方にオフセットされてもよい。

ステップ２２０で画像１０４のスタックがキャプチャされた後、ステップ２３０において、各スタックが分析され、顕微鏡１０１のための深度の較正データが生成される。ステップ２３０については、方法４００及び図４を参照して以下で更に詳しく説明する。較正データは、ステップ２５０において、一連の顕微鏡構成及び試料台位置について深度を推定するのに用いられる。

次に、ステップ２４０において、別の一連の画像１０４が、カメラ１０３を用いてキャプチャされる。ここでは、ステップ２４０でキャプチャされる、これらの別の画像は、一連の「較正」画像と呼ばれる。較正画像の集合には、試料台深度は一定だが、試料台のロケーションが異なるものや、顕微鏡１０１の構成が異なるもの（例えば、異なる傾き及びパターンの横方向シフト）などについての、較正ターゲット１０２のテストパターン３０５のキャプチャ画像が含まれている。従って、ステップ２４０でキャプチャされた一連の較正画像は、ステップ２２０でキャプチャされた画像のスタックとは異なる。構成の厳密な集合は、行われる較正タスクの詳細に依存する。較正画像は、対としてキャプチャされ、画像をキャプチャする間の、構成における唯一の変更点は、試料台のアキシャルオフセットである。較正画像の集合がキャプチャされる間の顕微鏡１０１の操作については、以下の方法１１００及び１２００の考察で詳しく説明する。ステップ２５０では、ステップ２４０でキャプチャされた較正画像が対で分析され、３Ｄワープマップデータが生成される。この工程については、方法５００及び図５を参照して以下で詳しく説明する。

顕微鏡画像についての一連の３Ｄワープマップが生成された後、処理は、顕微鏡のための一連の較正パラメータを決定するステップ２６０に続く。採用される厳密な較正手順に依存して、較正パラメータは、
（ｉ）顕微鏡の光学部品についての最適化された構成及び設定、
（ｉｉ）波長又は温度などの環境条件を用いて顕微鏡の動作を記述する関数のパラメータ、又は、
（ｉｉｉ）画像キャプチャ領域又は顕微鏡１０１の部品の動きに関する変換のパラメータ
を含めて幾つかの形態をとる。

図１１の概略フロー図によって示される方法１１００は、ステップ２６０での使用に適した較正パラメータを決定する１つの方法を説明する。図１２の概略フロー図によって示される方法１２００は、ステップ２６０で使用される較正パラメータを決定する第２の別の方法を説明する。

ステップ２６０で決定された較正パラメータは、その後の顕微鏡操作の間に用いるために、ステップ２７０において、データ記憶装置１０６に記憶されてもよい。また、ステップ２８０において、顕微鏡１０１の構成及び設定を適宜に調整することによって顕微鏡１０１を較正するために、較正パラメータが直接用いられてもよい。

次に、１つ以上の画像スタックを分析することによって顕微鏡についての深度の較正データを生成するための、ステップ２３０で用いられる例示的な方法４００について、図４を参照して以下で詳しく説明する。方法４００は、好ましくは、プロセッサ１５０５によって実行されるソフトウェアを用いて実装され、各スタックを順番に処理するためのループ構造を確立し、ループは、処理するためにステップ２２０でキャプチャされた次の画像スタックを選択するステップ４１０において開始される。選択が行われると、例えば、ＨＤＤ１５１０からスタックの画像が抽出され、プロセッサ１５０５によって直ぐにアクセスされるようにするため、画像がメモリ１５０６にロードされる。

ステップ４２０において、選択された画像スタックの各々の画像について、プロセッサ１５０５によって、横方向ワープマップが生成される。横方向ワープマップは、画素で定義されたセンサ画像の座標と、２Ｄルーラパターンの空間の座標とをマッピングする、アフィン変換、投影変換又は非線形変換の形態をとってもよく、生成された場合には、選択された画像スタックの各々の画像のＨＤＤ１５１０に記憶されてもよい。図６は、そのような横方向ワープマップを生成するための較正ターゲットの画像を分析するのに適した方法６００を示す概略フロー図である。この方法は、ステップ４２０において、較正スタック画像の各々について順番に用いられてもよい。

ステップ４３０において、ステップ４２０からの横方向ワープマップデータを用いて、スタックの各画像についての正規化されたコントラストデータを生成する。正規化されたコントラストデータは、深度推定用に選択された横方向ロケーションの格子（深度推定格子）上の各点におけるスカラ値から確立されたメトリックの形態であってもよい。図８は、格子ロケーション付近の画像パッチの分析に基づいて、そのような正規化されたコントラストメトリックデータを生成するために較正ターゲットの画像を分析するのに適した方法８００を示す概略フロー図である。この方法は、ステップ４３０において、較正スタック画像の各々について順番に用いられてもよい。

方法４００は、ステップ４３５で開始される別のループ構造を用いて、正規化されたコントラストデータを、個々の深度推定格子ロケーションにおいて別々に分析し、その格子ロケーションについての較正データを形成する。ステップ４４０は、現在の深度推定格子ロケーションにおけるスタックの各々の画像について、一連の正規化されたコントラストデータを選択する。スタックの画像の深度の関数として、これらの値に対してフィットが行われる。適切なフィット関数は、オフセット変更されたガウス関数Ｆ（ｚ）に基づいている。

ここで、ｚは、深度であり、パラメータｐ_ｉは、正規化されたコントラストデータ値に対するフィットのパラメータである。非線形フィット法を用いて関数フィットが生成されてもよく、例えば、フィットのパラメータを、正規化されたコントラスト値とフィット関数との間の平均二乗誤差を簡単なシンプレックスアルゴリズムを用いて最小化することによって求めてもよい。

用いることが可能な代替の関数フィットは、深度パラメータにおいて、非対称である。例えば、そのような代替の関数フィットは、

のように、非対称ガウス関数に基づいていてもよく、ここで、関数ｐ（ｚ）は、階段関数又は双曲正接などの平滑関数に基づいて、ピーク焦点深度ｐ２の各々の側で異なることがある。

図９Ａに示すプロットは、正規化されたコントラストメトリックをフォーカス関数にフィットさせることを示す。プロット上のドット９０６（その一部だけが特定されている）は、ベストフォーカスに近いノミナル中心点（ｚ＝０）付近の−８ミクロンから８ミクロンまでの、個別の深度集合における算出された正規化されたメトリック値を表す。ライン９０７は、データに対するオフセット変更されたガウス（焦点）関数フィットを表す。画像パッチ９０１乃至９０５は、深度−５、−３、０、３、５μｍ付近の正規化されたコントラスト値を算出するのに用いられる、キャプチャ画像からのパッチを表しており、方法８００のステップ８３０を参照して以下で更に説明する。

方法４００に戻って、ステップ４４０で生成された正規化されたコントラストデータへの関数フィット（例えば、９０７）は、ステップ４５０で反転され、正規化されたコントラスト値に基づく深度推定に使用される第２関数が与えられ、これを較正関数と呼ぶ。この関数のパラメータは、その後で使用される（深度）較正データとして、ステップ４５０において、データ記憶装置１０６に記憶される。オフセット変更されたガウス関数について、この逆関数は、

によって与えられる。この関数は、対数と指数について原則的に分岐し、１つが深度ｐ２におけるベストフォーカスのいずれかの側にあるような２つの解を与える。図９Ｂは、図９Ａに示す関数フィットに対応する正規化されたコントラストメトリックが関数９０８としてプロットされた解ｚ＋を示す。式４の逆関数を用いて、テストパターンのパッチ画像に対応する深度の解（ｚ＋）を、正規化されたコントラストメトリックに基づいて決定することができ、これが、ステップ２８０に従って顕微鏡１０１を較正するのに使用される深度オフセット値である。一部のフィット関数については、逆関数を分析的に表現できないこともある。深度の解（ｚ＋）は、顕微鏡１０１のベストフォーカスに対するキャプチャ画像のテストパッチの深度を表す。図９Ｂの関数９０８は、顕微鏡１０１についての較正データを表す。例えば、較正データは、それについて関数９８０が反転できるような、関数９０８に関連する一連の係数であってもよい。

ステップ４５０で逆関数フィットのパラメータを記憶した後、ステップ４６０は、処理すべき別の深度推定格子ロケーションがあるかどうかを確認し、そうである場合、処理はステップ４３５に戻り、そうでない場合、処理はステップ４７０に続く。ステップ４７０は、処理すべき別の画像スタックがあるかどうかを確認し、そうである場合、処理はステップ４１０に戻り、そうでない場合、方法４００の処理は終了する。

図５は、３Ｄワープマップを生成する例示的な方法５００を示す概略フロー図であって、方法５００は、ステップ２５０での使用に適している。方法５００は、既知である試料台のアキシャルオフセットが較正画像のキャプチャの間の顕微鏡構成における唯一の変更点であるような較正画像対を分析するために、ステップ５１０で開始されるループ構造を採用している。既知のアキシャルオフセットは、「ｄｚ」と呼ばれる。

ステップ５１５において、較正画像対の各々について、横方向ワープマップが生成される。横方向ワープマップは、キャプチャ画像の画素で定義された座標と、２Ｄルーラパターンの空間の座標とをマッピングする、アフィン変換、投影変換又は非線形変換の形態をとってもよい。図６は、そのような横方向ワープマップを生成するための較正ターゲットの画像を分析するのに適した方法６００を示す概略フロー図である。この方法は、ステップ５１５において、較正画像対の各々の画像について用いられてもよい。

ステップ５２０において、ステップ５１５からの横方向ワープマップデータを用いて、較正画像対についての正規化されたコントラストデータを生成する。正規化されたコントラストデータは、深度推定用に選択された横方向ロケーションの格子（深度推定格子）上の各点におけるスカラ値の形態であってもよい。図８は、格子ロケーション付近の画像パッチの分析に基づいて、そのような正規化されたコントラストデータを生成するための較正ターゲットの較正画像を分析するのに適した方法８００を示す概略フロー図である。この方法は、ステップ５２０において、較正画像対の各々の画像について用いられてもよい。

次に、ステップ５２５で開始されるループ構造が、深度推定格子ロケーションの各々における推定された深度に対して順番に採用される。ステップ５３０において、現在の深度推定格子ロケーションにおいて、このロケーションについてステップ５２０で決定された正規化されたコントラストメトリックに基づいて、現在の対の第１較正画像について２つの深度が推定される。２つの深度は、既知の較正関数と、現在の格子ロケーションにおいてステップ４５０で決定された対応するパラメータ集合とに基づいて、ベストフォーカスロケーション（ｚ_±）の上及び下の解によって与えられる。第１画像に対応する深度は、

と呼ばれる。ステップ５４０において、現在の対の第２較正画像について、５３０のプロセスが繰り返され、

と呼ばれる、現在の格子ロケーションに対応する２つの深度が推定される。

次に、ステップ５５０において、ステップ５３０及び５４０で推定された深度対である

及び

が、（以前にステップ２３０の較正データ、即ち、所定の較正データの一部として決定された）画像と画像の間の既知の深度オフセット、即ち、ｄｚ、と比較され、現在の対の各々の較正画像についての現在の格子ロケーションについて、単一の深度の推定値が決定される。４つの誤差項である

は、深度オフセットと２つの深度の推定値間の差との間の差異の絶対値として算出される。これは、以下のように算出されてもよい。

ここで、誤差項

の第１添え字は、第１画像

についての深度の選択対象を示し、第２添え字は、第１画像

についての深度の選択対象を示す。誤差項の最小値に対応する添え字は、第１画像及び第２画像からの最良の深度の選択対象を提供する。例えば、

＝２μｍ、

＝−２μｍ、

＝３μｍ、

＝−３μｍ及びｄｚ＝１μｍである場合には、Ｅ_＋＋＝−０μｍ、Ｅ_＋−＝６μｍ、Ｅ_−＋＝４μｍ、Ｅ₋₋＝２μｍである。最小の誤差項は、Ｅ_＋＋であり、従って、選択される深度は、２つの画像について、

及び

（それぞれ、２μｍ及び３μｍ）である。

画像対についての深度の推定値がステップ５５０で決定された後、ステップ５６０は、深度推定格子に関して別のロケーションがあるかどうかを確認し、そうである場合、処理はステップ５２５に戻り、そうでない場合、処理はステップ５７０に続く。

ステップ５７０において、プロセッサ１５０５は、ステップ５５０で決定された深度推定格子ロケーションにおける深度の推定値と、ステップ５１５で生成された横方向ワープマップとに基づいて、３Ｄワープマップを形成する。次いで、３Ｄワープマップは、ＨＤＤ１５１０に記憶されてもよい。ワープマップを定義する適切な方法は、画像センサのｘ軸に沿ったｉ番目の画素座標と、ｙ軸に沿ったｊ番目の画素座標とに対応する焦点面の位置の深度を定義して、軸方向のワープマップＺ（ｉ，ｊ）を形成することである。各画像の３Ｄワープマップは、センサ上の画素ロケーションに対応する横方向及び軸方向ロケーションを生成するために独立して用いられる軸方法ワープマップと横方向ワープマップとで定義される。

軸方向ワープマップの最も簡素な形態は、センサ画素座標の双一次関数
Ｚ（ｉ，ｊ）＝Ｚ_０＋Ｚ_１ｉ＋Ｚ_２ｊ （６）
であり、ここで、Ｚ_０、Ｚ_１及びＺ_２は、線形フィットのパラメータである。画素座標（ｉ，ｊ）における深度推定格子ロケーションと、一連の深度の推定値とを所与として、フィットのパラメータの最小二乗推定値が、標準的な推定方法を用いて決定されてもよい。軸方向ワープマップに適した代替の関数には、２次関数
Ｚ（ｉ，ｊ）＝Ｚ_０＋Ｚ_１ｉ＋Ｚ_２ｊ＋Ｚ_３ｉ^２＋Ｚ_４ｉｊ＋Ｚ_５ｊ^２ （７）
及び、その他の非線形形態が含まれる。フィットのパラメータについての最小二乗推定法が、２次のフィットに用いられてもよい。軸方向ワープマップ関数における自由パラメータ（即ち、１次のフィットについて３、２次のフィットについて６）より多くの点が深度推定格子内にある場合には、深度推定データ内のアウトライアに対するフィットのロバスト性を改善するような方法が用いられてもよい。例えば、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法は、信頼性がより高いフィットが得られる深度推定格子点の部分集合を選択するのに用いられる、ロバストな推定用の周知の方法である。

３Ｄワープマップがステップ５７０で生成された後、ステップ５８０は、処理すべき別の較正画像対があるかどうかを確認し、そうである場合、処理はステップ５１０に戻り、そうでない場合、方法５００の処理は終了する。

図６は、横方向ワープマップを生成するために較正ターゲットの画像を分析するのに適した方法６００を示す概略フロー図である。ステップ５１５とステップ４２０とのいずれか一方において、この方法を用いて、較正ターゲットの画像が分析されてもよい。横方向ワープマップは、センサ画像の画素で定義された座標と、２Ｄルーラパターンの空間の座標とをマッピングする、アフィン変換、投影変換又は非線形変換の形態をとってもよい。

アフィン変換は、１つの画像Ｘ＝[ｘ，ｙ]^Ｔにおける画素ロケーションから第２画像Ｘ’＝[ｘ’，ｙ’]^Ｔの画素ロケーションへのマッピングであって、ここで、ｘ及びｙは、それぞれ、水平座標及び垂直座標であって、それらの関係は

であって、ここでａ乃至ｆは、変換を定義する６つのパラメータの集合を形成する。

投影変換は、同次座標を用いて、線形行列形式で表すことができる。２つの同次座標ｚ＝［ｘ，ｙ，１］とｚ’＝［ｘ’，ｙ’，１］との間の点対応は、
ｗｚ’＝Ｈ_ｍｚ （９）
と表すことができ、ここで、ｗは、任意のスケーリングであり、投影変換行列Ｈ_ｍは、

として与えられる、８つの自由パラメータを有する３×３行列であって、ここでｈ_１１・・・ｈ_２３は、アフィン変換パラメータであって、ｈ_３１及びｈ_３２は、投影歪みパラメータである。同一の投影変換が、この行列のいずれかのスカラ倍について与えられる。

立方変換は、

の形式の非線形変換であって、ここで、２０個のパラメータｃ_ｉは、変換を定義し、斜めの項は、第１画像における座標の多項式
Ｐ＝[ｘ^３，ｘ^２ｙ，ｘｙ^２，ｙ^３，ｘ^２，ｘｙ，ｙ^２，ｘ，ｙ，１] （１２）
という形態で定義される。

ステップ６１０は、較正ターゲットに対する画像の粗アライメントを決定するための任意の処理ステップである。この粗アライメントは、例えば、顕微鏡視野に対する較正ターゲットの設置方向などの情報に加えて、画像内の画素の粗回転及びおよその解像度を決定する形式であってもよい。加えて、ステップ６１０は、パースペクティブ又はアフィン歪みなどの、より高次の変換を提供してもよい。ステップ６１０が行われない場合には、較正ターゲットの粗アライメントは既知であって、例えば、画素解像度として、回転はゼロであると仮定して、方法６００に提供されると仮定される。ステップ６１０で用いられる粗アライメントの適切な方法は、図７を参照して以下の方法７００で説明する。

ステップ６２０は、キャプチャ画素画像を分析するための横方向アライメント格子を選択する。アライメントは、アライメント格子点の中心付近の小さなパッチの分析に基づいて行われる。この分析には、図３を参照して上述した較正ターゲットを定義するのに用いられる周期的パターンの予想されるサイズと少なくとも同じ大きさの、正方形のパッチが適している。画像の外側の周囲に、バッファ領域が定義される。バッファ領域は、粗アライメントに従って画像空間へ変換された最大の周期的パターンを含む、画像空間の境界ボックスの予想されるサイズの半分で与えられることが望ましい。横方向ワープマップの生成には、このバッファ領域の端部に伸びる、等間隔の格子点の長方形格子が適している。

図１３Ａは、画像領域上の横方向アライメント格子ロケーションを示す図であって、そのバッファ領域１３０３は、画像１３０１の外側から内向きに固定距離１３０４だけ伸びている。ドット１３０２を含む５×４のドット格子は、アライメント格子ロケーションを定義する。図１３Ｂは、バッファ領域１３０３のサイズの決定を示す図である。パターン１３０７は、較正ターゲット１０２の上でテストパターン３０５を定義するのに用いられた周期パターンのうちで最大のものである。パターンは、粗回転（粗回転情報が取得できない場合、ゼロと扱われる）と、粗スケーリング情報と、較正ターゲットの形状サイズとに従って、画像空間にマッピングされる場合、１３０７を領域１３０５にマッピングする。境界ボックス１３０６は、パターン１３０５（画像空間で画素サイズを示す格子の塗りつぶし）を含む境界ボックスである。バッファ領域の幅ｗは、以下のように算出されてもよい。

ここで、Ｎ_ｍａｘは、最大周期であって、Ｌ_ｆｅａｔは、較正ターゲットの形状サイズであって、Ｌ_ｐｉｘは、およその画素解像度であって、θは、較正ターゲットの粗回転である。例えば、予想されるスケーリングが、画素当たり０．５ミクロンである場合、形状サイズは２ミクロン、最大周期は５１であり、回転はなく、バッファ領域は１０２画素である。５度の回転の場合、境界ボックスは、１１１画素まで増加する。

格子点の総数は、自由パラメータの数と少なくとも同数であるべきで、算出される変換の信頼性を向上させるため、例えば、ＲＡＮＳＡＣなどの、ロバスト性を高める方法の効果的な利用を可能にするように、更に多くてもよい。上述のアフィン変換、立方変換及び投影変換は、それぞれ、６個、８個、２０個のパラメータを有する。ステップ６５０で生成されるように、格子ロケーションにおける較正ターゲット１０２の上の横方向ロケーションの推定のロバスト性に依存して、格子ロケーションの適切な数は、６×６である。

ステップ６２０で横方向アライメント格子を設定した後、アライメント格子の上の各点の較正ターゲットの上の位置を順番に測定するため、ステップ６３０で開始されるループ構造が採用される。まず、ステップ６３５において、粗アラインされた画像パッチが、アライメント格子ロケーションを中心にして生成される。画像パッチは、較正ターゲット画像の粗回転（θ）と、ターゲット形状及び画素解像度（Ｌ_ｆｅａｔ及びＬ_ｐｉｘ）の組み合わせに起因するスケーリングとを考慮して変換される。例えば、立方又は正弦補間などの高次の補間スキームは、この変換について適切であって、これは、フーリエ空間において行なわれてもよい。

次に、ステップ６４０において、格子点における較正ターゲット１０２の特定のテストパターン３０５の周期的パターンのベクトルオフセットは、例えば、相関に基づく方法又は勾配に基づく方法などのシフト推定法によって決定される。これに関連して、例えば、図３Ｅのテストパターン３０５などの、いずれかのテストパターンが、必要に応じて、その後の処理及び比較に使用されるように記憶装置１０６（ＨＤＤ１５１０）に記憶されてもよい。また、シフト推定法は、比較された画像パッチがどのくらい類似しているかに対応する信頼値を返してもよい。周期的パターンについては、図３Ａ乃至３Ｄに既に示しており、且つ、これまでに説明した。シフト推定については、異なる画像からの２つのパッチ１０１０及び１０２０を示す図１０を参照して説明する。シフトは、画像２からのパッチ１０２０が画像１からのパッチ１０１０からオフセットされて、パッチがオーバラップしている領域を最も類似させなければならない、横軸及び縦軸における量のベクトルｓ＝［ｓ_ｘ，ｓ_ｙ］^Ｔである。この場合、パターンのデザインが周期的であって、パディングや窓関数が適用されない場合に、周期的境界条件が用いられる。テストパターン３０５で用いられる周期的パターン（例えば、３０１、３０２、３０３及び３０４）の各々が、例えば、メモリ１０６に記憶され、ステップ６３５からの粗アライメントされたパッチの中心から得られた、同じサイズの画像パッチと比較され、ベクトルオフセットｓ_ｉ＝［ｓ_ｘ，ｓ_ｙ］が推定される。

ステップ６４０で生成されたベクトルオフセットは、次いで、ルーラの上の横方向ロケーションを決定するために、ステップ６５０において、分析される。較正ターゲット１０２を構成するのに用いられるテストパターン３０５の周期的性質を考えると、ｉ番目のシフト推定は、ｉ番目のパターン周期ｐ^ｉを法として、格子点ｘ’＝（ｘ’，Ｙ’）^Ｔの真の位置の推定であると解釈することができる。

座標ｘ及びｙは、分析の最初の部分で別個に考慮されてもよい。ｉ番目のシフト推定のｘ成分を用いて、ターゲットの既知の物理範囲内での見込まれるｘのロケーションの有限集合が選択されてもよい。一連のシフト推定値に関連する見込まれるロケーションの集合を一緒に考慮し、且つ、シフト推定値が十分に正確であると仮定すると、多様なパターンからの見込まれるロケーションの分布は、格子点の真のロケーションの付近に非常に緊密に密集するであろう。一緒に考慮された周期の集合の積が十分大きい場合には、較正ターゲットによってカバーされる領域内の単一の点において、これが生じるであろうし、位置推定は、点の密集に基づいて（例えば、平均値又は中央値を用いて）形成されてもよい。

ロケーション推定値は、ルーラの周期的パターンの部分集合を用いて形成されてもよい。図３Ａ乃至３Ｅに示すような４つの周期的パターンに基づいてデザインされた較正ターゲット１０２の場合には、３つのパターンに基づいて４つの異なる位置推定値を形成することができる。これらの推定値のうちで最良のものが、個々の推定されたロケーションにおいて２Ｄルーラの既知のテストパターン３０５をステップ６３５からの粗アライメントされたパッチと比較することによって、選択されてもよい。最良のロケーション推定値を選択する１つの方法は、推定されたロケーションにおけるテストパターン３０５と画像パッチとの間の相関シフト推定を行うことである。この場合、周期的境界条件は使用されず、パディング及び窓関数、例えば、Ｔｕｋｅｙ窓関数

を用いることが適切である。ここで、ｗは、座標（ｉ，ｊ）における画素の重み付けであり、Ｗは、パッチの幅であり、Ｈは、パッチの高さであり、αは、窓関数のスプレッドを定義する非整数パラメータであり、その適切なパラメータ設定は、０．５である。相関は、格子ロケーションの位置の補正を提供し、また、最良の位置推定値を選択するのに用いられる信頼性スコアを提供するであろう。

ステップ６５０でベクトル位置が生成された後、ステップ６６０は、処理すべき別の横方向アライメント格子ロケーションがあるかどうかを確認し、そうである場合、処理はステップ６３０に戻り、そうでない場合、処理はステップ６７０に続く。

ステップ６７０は、較正空間（ｘ’）における推定ロケーションと、センサ画素空間（ｘ）における横方向アライメント格子点との対応する対に基づいて、画像についての横方向ワープマップを形成する。横方向ワープマップは、上述したように、アフィン変換、投影変換、立方変換、或いは、その他の変換であってもよい。２つの空間内の点の対の集合に基づいて、アフィン変換、投影変換及び各種の適切な非線形変換の係数を推定する方法は、周知である。例えば、立方変換の係数は、一連の対応する点対について、式（１１）の立方変換行列を係数Ｐにおける一連の線形等式として設定し、係数についての最小二乗解を求めることによって解かれてもよい。推定値のロバスト性を向上させる方法も周知であり、例えば、ＲＡＮＳＡＣ法を用いて点対の部分集合に対するフィットを求め、次いで、フィットのインライアとアウトライアとを比較し、それによってロバストで正確なフィットに到達してもよい。ステップ６７０で横方向ワープマップを形成することで、ステップ６００の処理は完了する。

図７は、ステップ６１０で用いられる較正ターゲット１０２についての粗アライメントの方法７００を示す図である。この場合においても、方法７００は、ＨＤＤ１５１０に記憶されたソフトウェアを用いて実装され、プロセッサ１５０５によって実行されてもよい。方法７００は、顕微鏡１０１を用いて撮像された較正ターゲット１０２のキャプチャ画像の画素に対する較正ターゲット１０２の回転を推定するステップ７１０で開始される。まず、キャプチャ画像の大きな正方形のパッチが選択される。このパッチは、好ましくは、各周期的パターン３０１乃至３０４の幾つかの周期を含むような大きさが十分あることが必要である。これまでに定義したＴｕｋｅｙウィンドウなどの窓関数が、選択されたパッチに適用され、次いで、フーリエ変換が行われる。２Ｄルーラのパターンの予想される周期性に満たない周波数に関連するスペクトル部分（顕微鏡１０１のおおよその既知の構成に基づくおおよその画素スケーリングを用いて推定される）を除去するため、ローパスフィルタが適用される。次に、複素フーリエ係数の絶対値が求められて、角度座標及び距離座標を変換するためラドン変換が適用され、ここで、変換についての適切な解像度は、角度座標では１０００、距離座標では４００である。ラドン変換された係数（Ｒ）は、距離座標上で合計され、πラジアンの角度範囲にわたる角度の原画像のスペクトルにおける累乗に対応する値の１次元アレーが与えられる。パターンは、ｘ及びｙにおいて周期的であることを考えると、単位円のうちの１つの四分円内の回転推定値を決定することのみ可能であるため、アレーの前半がアレーの後半に加えられて、０乃至π／２の角度範囲に対応するパワースペクトルが与えられてもよい。較正ターゲット１０２の回転推定値は、このパワースペクトルのピークに対応する角度として選択される。

ステップ７１０での粗回転推定に続いて、画素サイズを推定するために、ステップ７２０において、粗画素スケール推定が行われる。これは、ステップ７１０のラドン変換された係数（Ｒ）を、ステップ７１０で検出されたパワースペクトルの角度ピークに関連する指標において処理することによって達成される。このサンプルデータは、ラドン変換の距離座標の方向に沿った、テストパターン３０５の周期的パターンの平均周期性に関連する周期性を有する。このサンプルデータは、信号の周期性を決定するために、フーリエ変換されてもよい。次に、周期的パターンの各サイズが十分に近い場合には、この測定された信号の周期性を、ピーク指標に関連する角度における周期的パターンの平均周期性と比較して、粗スケーリング推定値を決定してもよい。

ステップ７２０での粗スケーリング推定に続いて、較正ターゲット１０２の２Ｄルーラの最良の構成を決定するために、ステップ７３０で開始されるループ構造が採用される。一般に、画像化されるルーラの正確な詳細は（即ち、テストパターン３０５から）既知であるはずなので、ルーラは上向きに設置すべきである。しかしながら、場合によっては、プロセッサ１５０５が、ルーラが上向きか下向きかを決定したり、既知のルーラのライブラリからどのルーラが画像化されたことがあるかを選択したりすることが有益である。ルーラの詳細が正確に既知であり、ルーラが正しく上向きに設置されていると想定される場合には、相互に９０度回転している４つの見込まれる構成が存在する。各構成についての周期的パターンは、構成に従ってテストパターンを回転又は反映させることによって形成される。

ステップ７４０において、次の見込まれるルーラ構成が、現在の構成についての周期的パターンと、それらに関連する相関強度のオフセットとを、ステップ６４０で説明した方法を用いて行うことによって確認される。ステップ７６０は、確認すべき別の構成があるかどうかを確認し、そうである場合には、処理はステップ７３０に戻る。確認すべき別の構成がない場合には、処理はステップ７７０に続き、ここで、最良のルーラ構成が、ルーラの周期的パターンの集合についての信頼性スコアの合計が最高になるような構成として選択され、方法７００は終了する。

非線形歪みが少ない光学系の場合、一般に、１つの粗アライメント工程を行えば十分である。しかしながら、キャプチャ領域が広い、及び／又は、光学歪みが大きい場合、例えば、投影歪み又は樽型歪みの場合、視野全域の複数のロケーションで粗アライメントを行って、上述のような単純な回転及びスケーリングだけでなく、より多くの係数の集合に基づいて粗アライメントを定義することが適切である。

図８は、較正ターゲット１０２のキャプチャ画像を分析して、キャプチャ画像のパッチの分析に基づいて、正規化されたコントラストデータ又はメトリックを生成する方法８００の概略フロー図である。この方法は、ステップ４３０及び５２０で用いられてもよい。

方法８００は、深度推定格子を選択するステップ８１０で開始される。コントラストメトリックは、キャプチャ画像の深度推定格子を形成する各点の中心の付近で選択された小さなパッチの分析に基づいて算出される。この分析には、正方形のパッチが適しており、適切なパッチサイズは、コントラスト・メトリック・パッチ・サイズと呼ばれ、１００画素である。バッファ領域は、キャプチャ画像の外側の周囲に定義され、コントラストパッチサイズの半分によって与えられる場合には、このバッファ領域の端部に広がっている均一なスペースの格子点からなる長方形格子が、横方向ワープマップの生成に適している。点の適切な数は、画像キャプチャ領域のサイズと顕微鏡の焦点面の平坦度とに依存するが、６×６付近であってもよい。これは、後で図１３Ａを参照して説明する。

次に、任意のステップ８２０において、例えば、けられに起因する、視野全体の不均一照度を補正するために、キャプチャ画像データにラジオメトリック補正が行われてもよい。ラジオメトリック補正の方法は、既知である。

続いて、ステップ８２５では、ステップ８１０で選択された深度推定格子の各点を処理するのにループ構造が用いられる。まず、ステップ８３０では、画像コントラストメトリックが現在の格子点において算出される。コントラストメトリックパッチサイズを有するキャプチャ画像のパッチが選択され、例えば、Ｔｕｋｅｙウィンドウなどの上述の定義された窓関数が適用される。次に、キャプチャ画像からのウィンドウパッチについて、コントラストメトリックが算出される。正規化された分散を含めて、文献で説明された多くのフォーカス関数が、このステップに適している。正規化された分散は、以下で定義される。

ここで、Ｉ_ｉ，ｊは、パッチのロケーション（ｉ，ｊ）における画素の強度であり、Ｗ及びＨは、パッチの幅及び高さであり、μは、パッチ全体の平均強度である。

現在の格子ロケーションにおけるコントラストメトリックの演算に続いて、ステップ８４０において、正規化が演算される。正規化は、基準コントラストメトリックとみなされてもよく、テストパターン３０５を用いて決定される。まず、キャプチャ画像の現在の格子ロケーションの位置が、以前にステップ６７０による処理フローで推定された、キャプチャ画像についての既知の横方向ワープマップに従って、テストパターン３０５の空間に変換される。次に、テストパターン３０５の変換された位置付近の領域が、テストパターン３０５の記憶された表現からか、又は、テストパターン３０５が形成された既知の周期的パターン（例えば、３０１乃至３０４）に従って構築されるかのいずれかによって選択される。領域のサイズは、既知の横方向ワープマップに従って、領域が画像空間（即ち、キャプチャ画像における選択されたパッチの空間）へと変換された時に、ステップ８３０で用いられたコントラスト・メトリック・パッチ・サイズと少なくとも同じ広さのエリアを領域がカバーするように、選択される。これは、図１３Ｃに示されており、この場合、テストパターン３０５（較正ターゲット１０２）の空間の適切なサイズの領域１３３０が、キャプチャ画像空間のパッチ１３４０の範囲内にフィットするように変換される。ここで、斜線領域１３５０は、領域１３４０の範囲内に含まれるキャプチャ画像空間の必要なパッチサイズ（コントラスト・メトリック・パッチ・サイズ）を表す。

テストパターン３０５から導出された領域（例えば、１３３０）は、次いで、横方向ワープマップによる画像空間に変換される。この変換には、より高次の補間法が適している。また、較正ターゲット１０２が正方形領域で構成されるはずであることを考えると、フラットな領域で構成される高解像度表現（例えば、ターゲットが光の透過をブロックする場合にはゼロ、ターゲットが光を透過させる場合には１）を生成するために、モルフォロジー演算を用いてテストパターン領域１３３０を最初にアップスケールすることが適切である。テストパターン３０５のこの高解像度表現は、次いで、補間されて、上述のモルフォロジーアップスケーリングによる横方向ワープマップに比べてダウンスケールされた、変更された横方向ワープマップによる画像スペース領域が生成される。変換された構成ターゲット１３４０のうちの領域１３５０は、元の横方向アライメント格子点に従って中心を有し、且つ、キャプチャ画像のコントラストメトリックパッチサイズを使って、選択される。コントラストメトリックが、ステップ８３０で用いられたのと同じ方法に従って、この領域について算出され、この値が、基準コントラストメトリックである正規化を定義する。

次いで、ステップ８５０において、正規化されたコントラストメトリックが、ステップ８３０で算出された画像コントラストメトリックをステップ８４０で決定された正規化（基準コントラストメトリック）によって分割することによって、算出される。正規化されたコントラストメトリックは、上述のように、テストパターンデータの局部的な非均一テキスチャの影響を補償するという属性を有する。この後、ステップ８６０は、処理すべき横方向アライメント格子ロケーションが別にあるかどうかを確認し、そうである場合、処理はステップ８２５に戻り、そうでない場合、方法８００は終了する。

図１１は、方法２００のステップ２６０で用いられる顕微鏡についての較正パラメータを決定する(第１)方法１１００を示す概略フロー図である。方法１１００は、図１４の図に従って構成された顕微鏡１４００に適している。顕微鏡１４００は、概略を示すように、試料台１４１０を含み、その上に較正ターゲット１４２０が置かれている。光は、試料台１４１０及びターゲット１４２０を通過し、次いで、１つ以上のレンズ（１４３０及び１４５０）で構成される光学系を通過し、ミラー１４４０で反射され、センサ１４６０の上に焦点を結ぶ。レンズ１４３０、１４５０の中心を通る例示的な光路１４７０を示す。この装置では、センサ１４６０は、ｚ軸で変換されて、ｘ軸の周りを回転してもよく、ミラー１４４０は、ｙ軸の周りで傾斜していてもよい。これらの３つの構成属性は、方法１１００の最初のステップ１１１０において、調整パラメータとして選択される。別の構成属性の集合を有する代替の顕微鏡装置は、ここで説明したものと同様の技法を用いて較正される。

ステップ１１１０で調整パラメータを選択した後、ステップ１１２０は、調整パラメータに対応する一連の較正画像について生成されたワープマップを選択する。例えば、個々の調整パラメータが、既知の範囲の値に対して変化する場合には、適切な画像の集合は、調整パラメータによって定義される空間の均一サンプリングに対応する。例えば、上述の３つの調整パラメータは、それぞれ、５つの個別の値でサンプリングされてもよく、画像一式は、３Ｄ格子上のこれらの調整パラメータの全ての組み合わせを含む（５×５×５）＝１２５画像に基づいている。

次に、ステップ１１３０において、ワープマップが調整パラメータにフィットされる。フィットの最も簡素な方法は、画像の集合に対応する調整パラメータの個別の集合におけるパラメータのサンプリングに基づいて、各ワープマップの各パラメータについて、３Ｄ補間関数を生成することである。いずれかの中間ロケーションにおける各パラメータの値は、補間に基づいて求められてもよく、それに従って、ワープマップが決定されてもよい。この目的において、線形補間が用いられてもよい。

また、ステップ１１３０において、ｉ番目の画像についての線形深度ワープマップは、以下で表現することができる。

このフィットは、センサ変換、センサ回転及びミラー回転の線形関数としてモデル化されてもよく、ｉ番目の画像については、

、

、及び、

と表現される。線形フィットは、

であって、ここで

、

であり、Ｃは、線形係数の３×４行列である。システムの各種のノイズソースに起因して、上述の式は、残余誤差項∈_ｉを含む。式（１８）は、
ｚ_ｉ＝Ｈ_ｉＣ_ｆ＋∈_ｉ （１９）
と書き直されるが、ここで、Ｃ_ｆは、行列Ｃの係数の平坦化されたベクトルであり、
Ｃ_ｆ＝（Ｃ_００，Ｃ_０１，Ｃ_０２，Ｃ_０３，Ｃ_１０，Ｃ_１１，Ｃ_１２，Ｃ_１３，Ｃ_２０，Ｃ_２１，Ｃ_２２，Ｃ_２３）^Ｔ （２０）
及び、

線形フィット係数

を伴う構成

に対応する一連の画像について、各画像に式（１９）の形式の式を含めることによって、線形等式の集合が構築される。これによって、以下の式が与えられる。

較正行列Ｃ_ｆの係数は、最小二乗法において標準的な方法を用いて式（２２）を解くことによって、決定することができる。このフィットの利点は、例えば、定義された属性を有する表面を顕微鏡１４００がフォローしなければならない場合に、所望のワープマップに対応する調整パラメータの集合を決定する目的で反転させることが比較的簡単であることである。

調整パラメータに対するワープマップのフィットが完了した後、方法１１００の処理は終了する。方法１１００の結果、選択されたワープマップを調整パラメータの集合にフィットさせることによって、顕微鏡１０１の調整を提供する補足的な調整パラメータが決定され、その後、キャプチャされる画像からのワープのチューニングアウトが可能になり、顕微鏡１０１を用いた撮像の向上が得られる。

方法１１００が方法２００のステップ２６０で適用される場合には、任意のステップ２７０は、各種の補間関数及びステップ１１３０で決定された係数をＨＤＤ１５１０に記憶し、ステップ２８０は、特定の表面を追跡する目的において、調整パラメータを設定するように構成されてもよい。次いで、横方向ワープマップが、例えば、試料のスライド画像全体を生成するため、画像を処理するのに有益な情報を供給してもよい。

図１２は、方法２００のステップ２６０で使用される、顕微鏡用の較正パラメータを決定する別の(第２)方法１２００を示す概略フロー図である。また、方法１２００は、図１４の図に従って構成される顕微鏡にも適しているが、顕微鏡は、ターゲット１４２０から一連のセンサ１４６０までの複数の光路１４７０を含んでいてもよい。各光路は、対応するセンサ１４６０とミラー１４４０とを含み、従って、調整パラメータの集合は、ｚ軸に沿った変換と、各センサについてｘ軸の周りの回転と、各ミラーについてｙ軸の周りのミラー回転とを含む（即ち、光路ごとに合計３つの調整パラメータ）。

方法１２００は、各センサに関連するワープマップデータを順番に処理するためのループ構造を採用するステップ１２１０で開始される。方法１２００は、現在のセンサについて、及び、各環境条件についてワープマップデータを順番に処理するための第２ループ構造を採用するステップ１２２０に続く。環境条件の一例は、温度であってもよい。

次に、ステップ１２３０において、調整パラメータの集合が選択されるが、これらは、現在のセンサに関連するパラメータの集合である。この後、ステップ１２４０は、現在の環境条件での調整パラメータに対応する一連の較正画像について、ワープマップを選択する。上述のステップ１１２０を参照して説明したように、調整パラメータの各々が、既知の範囲の値に対して変化する場合には、適切な画像の集合は、調整パラメータによって定義される空間の均一サンプリングに対応する。例えば、上述の３つの調整パラメータは、それぞれ、５つの個別の値でサンプリングされてもよく、画像一式は、３Ｄ格子上のこれらの調整パラメータの全ての組み合わせを含む（５×５×５）＝１２５画像に基づいている。

次いで、ステップ１２５０は、上述のステップ１１３０で説明したのと同じ方法に従って、選択されたワープマップを調整パラメータにフィットさせる。次いで、処理は、考慮すべき別の環境条件があるかどうかを確認するステップ１２６０に続き、そうである場合、処理はステップ１２２０に戻り、そうでない場合、処理はステップ１２７０に続く。ステップ１２７０は、ステップ１２５０で決定された補間関数及び係数の集合を環境条件データにフィットさせる。これは、線形補間などの補間法を用いて達成されてもよい。次いで、処理は、考慮すべき別のセンサがあるかどうかを確認するステップ１２６０に続き、そうである場合、処理はステップ１２１０に戻り、そうでない場合、方法１２００は終了する。

方法１２００が方法２００のステップ２６０で適用される場合には、任意のステップ２７０は、ステップ１２７０で決定された各種の補間関数及び係数を記憶するように動作し、ステップ２８０を用いて、ある範囲の環境条件でセンサの集合ができるだけ同一平面上であるように構成されることを保証するか、或いは、特定の表面プロフィールに合致するようにセンサの集合を積極的に構成する目的において、調整パラメータが設定されてもよい。

ここで説明した装置は、例えば、２Ｄルーラターゲットについての標準的焦点を求めることを横方向位置推定と組み合わせるなど、同程度の既存の手法よりも優れた幾つかの利点を提供する。利点には、
（ｉ）既存の技術は、２Ｄロケーションと深度とのうちいずれか一方を得るのに対して、本装置は、深度を２Ｄロケーションとともに決定し、それによって既存の２Ｄルーラ利用を３Ｄの場合にも拡張すること、
（ｉｉ）本装置は２つの画像を用いるのに対して、先行技術の手法は個々の未知の深度フィットについて少なくとも１つの画像を必要とし（最小でも３つのパラメータ、或いは、変更ガウスフィットについては５つ）、且つ、少なくとも１つの追加の画像を使った場合に最も良く機能するという点で、３Ｄ位置推定に用いられる画像がより少ないこと、
（ｉｉｉ）本装置は、ベストフォーカスに対するテスト画像の深度に関する制約がより少ない。例えば、本装置は、ベストフォーカスの同一側にある画像対を使って機能することができ、比較的長い距離に対して行うことができる。一方、既存の手法は、ベストフォーカスの両側に画像があることを必要とすることにより、（顕微鏡部品が傾斜している）視野全域にわたって焦点面が変化する場合には、最大１０ミクロンの深度変化が生じること、
（ｉｖ）本装置の横方向精度は、既存の手法と同じであること、
（ｖ）本装置の深度精度は、一般に、既存の装置のそれと同程度であり、一部の適用分野では、既存の手法の深度精度は本装置より高いのが、そのような精度は、条件付きの操作（傾斜が小さい、キャプチャ画像のスペースが近い）によって実現されるにすぎないこと、
などがある。

産業上の利用可能性
説明した装置は、コンピュータ産業及びデータ処理産業に適用可能であり、特に、３Ｄバーチャル顕微鏡法などの顕微鏡画像の観察に適用可能である。

以上、本発明の一部の実施形態だけを説明したが、本発明の範囲及び趣旨から逸脱することなく、修正及び／又は変更がそれに対して行われる可能性があり、実施形態は例示的なものであって、限定的なものではない。

（オーストラリアのみ）本明細書において、「ｃｏｍｐｒｉｓｉｎｇ（含む）」という用語は、「主に含むけれども必ずしもそれだけを含むのではない」、又は、「有する」、又は、「含む」、ことを意味し、「それだけで構成される」ことを意味しない。「ｃｏｍｐｒｉｓｉｎｇ（含む）」という用語の変形、例えば、「ｃｏｍｐｒｉｓｅ」及び「ｃｏｍｐｒｉｓｅｓ」は、それらに対応して変化する意味を有する。

Claims (17)

1. テストパターンを用いて顕微鏡を較正する方法であって、
   （ａ）前記顕微鏡の光学系を介して前記テストパターンの複数の画像をキャプチャする工程であって、前記テストパターンは、複数の繰り返し及び重複２Ｄサブパターンによって定義されるパターンの全域にわたる、複数の一意に識別可能な位置を有する工程と、
   （ｂ）少なくとも２つのキャプチャ画像の上の複数の対応する位置の各々について、
   −前記テストパターンの上の前記複数の一意に識別可能な位置から選択された位置における、キャプチャ画像のパッチと、前記テストパターンの対応する領域とを、前記対応する領域についてのロケーションが前記テストパターンにおける前記複数の繰り返し及び重複２Ｄサブパターンによって決定されるように選択する工程と、
   −前記選択されたパッチにおける前記テストパターンの前記キャプチャ画像からの画像コントラストメトリックと、前記対応する領域の前記テストパターンの基準コントラストメトリックとを決定する工程と、
   −前記基準コントラストメトリック及び前記画像コントラストメトリックを用いて、正規化されたコントラストメトリックを決定する工程であって、前記正規化されたコントラストメトリックは、前記テストパターンの局部的な非均一のテキスチャの影響を補償する工程と、
   （ｃ）前記正規化されたコントラストメトリック、及び、一連の深度において前記テストパターンを用いてキャプチャされた画像のスタックについての一連の所定の較正データを用いて、前記複数の位置における前記少なくとも２つのキャプチャ画像の深度を推定する工程と、
   （ｄ）前記少なくとも２つの画像についての前記決定された深度の推定値の比較を用いて、前記顕微鏡を較正する工程と、
   を有することを特徴とする方法。
2. 前記複数の画像は、前記キャプチャの間にアキシャルオフセットが前記顕微鏡の試料台に与えられた画像対としてキャプチャされることを特徴とする請求項１に記載の方法。
3. 工程（ｃ）は、前記対の各々の画像の各々の位置についての複数の深度を、前記画像対の前記正規化されたコントラストメトリックに基づいて推定する工程と、前記深度を前記位置のそれぞれについての深度の単一の推定値に分離する工程と、を含むことを特徴とする請求項２に記載の方法。
4. 前記少なくとも１つのキャプチャ画像の前記複数の位置の各々についての前記深度の推定値は、当該画像についてのワープマップを形成することを特徴とする請求項１に記載の方法。
5. 前記顕微鏡のベストフォーカスの深度の少なくとも上下にわたる深度の、前記テストパターンの画像の前記スタックをキャプチャする工程と、
   前記キャプチャスタック画像の各々についての前記複数の位置の各々についての前記所定の較正データを、
   （ｉ）各スタック画像について、横方向ワープマップを形成する工程と、
   （ｉｉ）前記横方向ワープマップから正規化されたコントラストデータを形成する工程と、
   （ｉｉｉ）前記正規化されたコントラストデータを分析して、前記所定の較正データを形成する工程と、
   によって生成する工程と、を更に含むことを特徴とする請求項１に記載の方法。
6. 前記正規化されたコントラストデータを形成する工程は、
   −前記テストパターンの上の前記複数の一意に識別可能な位置から選択された位置における、前記テストパターンの前記キャプチャスタック画像のパッチと、前記テストパターンの対応する領域とを、前記対応する領域についてのロケーションが前記テストパターンの前記複数の繰り返し及び重複２Ｄサブパタンによって決定されるように選択する工程と、
   −前記選択されたパッチの前記キャプチャスタック画像からの画像コントラストメトリックと、前記対応する領域の前記テストパターンの基準コントラストメトリックとを決定する工程と、
   −前記基準コントラストメトリックと前記画像コントラストメトリックとを利用して、正規化されたコントラストメトリックを決定する工程であって、前記正規化されたコントラストメトリックは、前記テストパターンの局部的な非均一なテキスチャの影響を補償する工程と、
   を含むことを特徴とする請求項５に記載の方法。
7. 前記キャプチャ画像の平面の上のさまざまな位置にわたる、複数の決定された深度オフセットが、前記顕微鏡のセンサの２Ｄ位置間、及び、前記テストパターンに関する前記顕微鏡の前記焦点面での３Ｄ位置間のワープマップを定義することを特徴とする請求項１に記載の方法。
8. 工程（ｃ）は、現在の位置についての単一の深度の推定値を決定するために、少なくとも深度の推定値対と前記所定の較正データから既知である深度オフセットとを比較する工程を含むことを特徴とする請求項１に記載の方法。
9. 前記画像をキャプチャする間に前記顕微鏡の構成を調整する工程を更に含むことを特徴とする請求項８に記載の方法。
10. 請求項１乃至９のうちいずれか１項に記載の方法によって較正された顕微鏡。
11. コンピュータで読み取り可能な記憶媒体であって、プログラムが記録されており、前記プログラムは、テストパターンを用いて顕微鏡を較正するためコンピュータ装置によって実行可能であり、前記プログラムは、
    前記顕微鏡の光学系を介して前記テストパターンの複数の画像をキャプチャする工程であって、前記テストパターンは、複数の繰り返し及び重複２Ｄサブパターンによって定義されるパターンの全域にわたる、複数の一意に識別可能な位置を有する工程のためのコードと、
    少なくとも２つのキャプチャ画像の上の複数の対応する位置の各々について、
    −前記テストパターンの上の前記複数の一意に識別可能な位置から選択された位置における、キャプチャ画像のパッチと、前記テストパターンの対応する領域とを、前記対応する領域についてのロケーションが前記テストパターンの前記複数の繰り返し及び重複２Ｄサブパターンによって決定されるように選択し、
    −前記選択されたパッチにおける前記テストパターンの前記キャプチャ画像からの画像コントラストメトリックと、前記対応する領域の前記テストパターンの基準コントラストメトリックとを決定し、
    −前記基準コントラストメトリック及び前記画像コントラストメトリックを用いて、正規化されたコントラストメトリックを決定し、且つ、前記正規化されたコントラストメトリックは、前記テストパターンの局部的な非均一なテキスチャの影響を補償するために実行可能なコードと、
    前記正規化されたコントラストメトリック、及び、一連の深度において前記テストパターンを用いてキャプチャされた画像のスタックについての一連の所定の較正データを用いて、前記複数の位置における前記少なくとも２つのキャプチャ画像の深度を推定するためのコードと、
    前記少なくとも２つの画像についての前記決定された深度の推定値の比較を用いて、前記顕微鏡を較正するためのコードと、
    を含むことを特徴とする記憶媒体。
12. 前記複数の画像は、前記キャプチャの間にアキシャルオフセットが前記顕微鏡の試料台に与えられた画像対としてキャプチャされることを特徴とする請求項１１に記載の記憶媒体。
13. 前記推定するためのコードは、前記対の各々の画像の各々の位置についての複数の深度を、前記画像対の前記正規化されたコントラストメトリックに基づいて推定し、前記深度を前記位置のそれぞれについての深度の単一の推定値に分離するためのコードを含むことを特徴とする請求項１２に記載の記憶媒体。
14. 前記顕微鏡のベストフォーカスの深度の少なくとも上下にわたる深度の、前記テストパターンの画像の前記スタックをキャプチャするためのコードと、
    前記キャプチャスタック画像の各々についての前記複数の位置の各々についての前記所定の較正データを、
    （ｉ）各スタック画像について、横方向ワープマップを形成する工程と、
    （ｉｉ）前記横方向ワープマップから正規化されたコントラストデータを形成する工程と、
    （ｉｉｉ）前記正規化されたコントラストデータを分析して、前記所定の較正データを形成する工程と、
    によって生成するためのコードと、
    を更に含むことを特徴とする請求項１１に記載の記憶媒体。
15. 正規化されたコントラストデータを形成するためのコードは、
    −前記テストパターンの上の前記複数の一意に識別可能な位置から選択された位置における、前記テストパターンのキャプチャスタック画像のパッチと、前記テストパターンの対応する領域とを、前記対応する領域についてのロケーションが前記テストパターンの前記複数の繰り返し及び重複２Ｄサブパターンによって決定されるように選択するためのコードと、
    −前記選択されたパッチの前記キャプチャスタック画像からの画像コントラストメトリックと、前記対応する領域の前記テストパターンの基準コントラストメトリックとを決定するためのコードと、
    −前記基準コントラストメトリックと前記画像コントラストメトリックとに基づいて、正規化されたコントラストメトリックを決定し、且つ、前記正規化されたコントラストメトリックは、前記テストパターンの局部的な非均一なテキスチャの影響を補償するためのコードと、
    を含むことを特徴とする請求項１４に記載の記憶媒体。
16. 顕微鏡較正システムであって、
    可動式の試料台（１０８）と、前記試料台に取り付けられたテストパターンの画像（１０４）をキャプチャするためのセンサ（１０３、１４６０）と、を有する顕微鏡（１０１）と、
    前記試料台及び前記センサに接続され、
    前記顕微鏡の光学系を介して前記テストパターンの複数の画像がキャプチャされ、前記テストパターンは、複数の繰り返し及び重複２Ｄサブパターンによって定義されるパターンの全域にわたる、複数の一意に識別可能な位置を有し、
    少なくとも２つのキャプチャ画像の上の複数の対応する位置の各々について、
    −前記テストパターンの上の前記複数の一意に識別可能な位置から選択された位置における、キャプチャ画像のパッチと、前記テストパターンの対応する領域とを、前記対応する領域についてのロケーションが前記テストパターンにおける前記複数の繰り返し及び重複２Ｄサブパターンによって決定されるように選択し、
    −前記選択されたパッチにおける前記テストパターンの前記キャプチャ画像からの画像コントラストメトリックと、前記対応する領域の前記テストパターンの基準コントラストメトリックとを決定し、
    −前記基準コントラストメトリック及び前記画像コントラストメトリックを用いて、正規化されたコントラストメトリックを決定し、前記正規化されたコントラストメトリックは、前記テストパターンの局部的な非均一なテキスチャの影響を補償し、
    前記正規化されたコントラストメトリック、及び、一連の深度において前記テストパターンを用いてキャプチャされた画像のスタックについての一連の所定の較正データを用いて、前記複数の位置における前記少なくとも２つのキャプチャ画像の深度を推定し、
    前記少なくとも２つの画像についての前記決定された深度の推定値の比較を用いて、前記顕微鏡を較正する、
    ように動作可能なコンピュータプロセッサ装置と、
    を含むことを特徴とする顕微鏡較正システム。
17. 前記較正は、前記比較に従って、前記試料台の位置を調整する工程を含むことを特徴とする請求項１６に記載の顕微鏡較正システム。

Images