JP2007065669A - イメージ・ブロックを合成し顕微鏡スライドのシームレスな拡大イメージを作成するシステム及び方法 - Google Patents

Abstract

【課題】仮想的な顕微鏡スライドのシームレスなイメージを作成すること。
【解決手段】本発明による方法（３００）によると、仮想スライドの走査された複数のイメージ部分が、そのスライド全体のモザイク表現におけるそれぞれのイメージの位置と関連する位置インデクス計量に従って記憶され、正規化された相関サーチが、次の隣接する領域イメージ・ブロックに対して実行される。相対位置オフセット値と相関係数との集合が、領域イメージ・ブロックと次の隣接する領域イメージ・ブロックとに対して決定される。領域イメージ・ブロックの一部がディスプレイの視野として観察され、領域イメージ・ブロックのその一部の複合体が、相対位置オフセット値と相関係数との集合に従って相互に縫い合わされる。ただし、その部分を構成するブロックだけが合成される。
【選択図】図１

Description

関連出願

この出願は、２００４年８月３１日及び２００４年９月１５日にそれぞれ出願された米国仮出願第６０／６０５、８３５号及び第６０／６０９、９６１号に関係し、これらの米国出願を基礎とする優先権主張を伴う。またこの出願は、同時継続中でありこの出願と同じ被譲渡人に譲渡されている「顕微鏡スライドの拡大イメージを作成するシステム及び方法」と関係し、この米国出願の内容全体を、この出願において援用する。

本発明は、広くは、仮想的な顕微鏡スライドを作成するシステム及び方法に関し、更に詳しくは、仮想的な顕微鏡スライドのシームレスなイメージを作成する方法及びシステムに関する。

仮想顕微鏡スライドは、典型的には、顕微鏡スライドの拡大されたイメージを表すデジタル・データを含む。仮想スライドは、デジタル形式を有しているため、コンピュータ・メモリなどの媒体に記憶することができ、インターネットやイントラネットなどの通信ネットワークを介して遠隔地にいるビューワに伝送することが可能である。

仮想スライドは、伝統的な顕微鏡スライドと比較して著しい効果を生じさせる。場合によっては、仮想スライドは、医師が、伝統的な顕微鏡スライドを用いる場合に可能であっったよりも、より迅速・簡便・経済的に診断を下すことを可能にする。例えば、仮想スライドは、通信リンクを介して遠隔地にいる専門家など遠隔地のユーザも使用することができ、それによって、医師はその専門家の意見を仰ぎ、遅延なく診断を下すことができる。あるいは、仮想スライドをデジタル形式で保存しておいて、医師や専門家の都合のよい時間に検討することが可能である。

典型的には、仮想スライドは、顕微鏡スライド（イメージの拡大が望まれているサンプルを含む）を顕微鏡の対物レンズの下に位置決めして、そのスライドの全体又は一部をカバーする１又は複数のイメージを捕捉し、それら複数のイメージを合成してスライドの単一の一体化されたデジタル・イメージを作成することによって得られる。１つのスライドを複数の領域に分割して、それぞれの領域に対して別個のイメージを生成することが好ましい場合がある。その理由は、多くの場合に、スライドの全体の方が、高性能の対物レンズ（例えば、１０ｘ、２０ｘ、４０ｘの対物レンズ）の視野よりも大きく、希望の倍率でスライド・イメージの全体を捕らえるためには複数のイメージを取得しなければならないからである。更に、多くの組織タイプの表面は高さが不均一であり、合焦イメージ捕捉するのが困難な局所的な変動を含むからである。

サンプルが１つの視野よりも大きいときには、画像化される領域を何らかの態様で合成して単一のイメージを作成しなければならない。これらのイメージ・ブロックは、作成されたイメージがイメージの位置合わせ（アライメント）の不備に起因する欠陥が生じないように合成される必要がある。これは、複数の方法で達成可能である。あるシステムによれば、非常に正確なｘ−ｙステージを用いることにより、複数のイメージを単純に隣接させることで適切に一致したイメージの集合が得られるように、正確な位置においてイメージを生じさせることができるであろう。また、他の方法では、イメージの集合のための最適な一致を決定するのにソフトウェア・アルゴリズムに依存することになる。このプロセスは、この技術分野では、スティッチング（縫い合わせ、合成）と称されることが多い。モザイキングと生じされることもある。これらのスティッチング・アルゴリズムは、多数のイメージを用いて、シームレスで適切に形成された単一のイメージが結果的に得られるように、これらのイメージ・ブロックを最適に位置決めすることを試みる。

アルゴリズムによっては、イメージの変形（image warping）などイメージ修正を用いて、イメージ・ブロックの間のより最適な位置合わせを生じさせる。しかし、このプロセスは、特に医学で用いられる画像化システムの場合に、多くの欠点を有する。というのは、診断を下す者にとっては、精度が非常に重要であるからである。イメージの修正は、解像度の低下やエイリアシングなどの望ましくない現象を生じさせる可能性があり、望ましくない。また、イメージの修正は、計算論的な見地からも、高額となり時間がかかる可能性がある。更に、大域座標系の中で最適なイメージ位置を作成することは、複数の解を生じさせる可能性がある。その中のどの解を選択するか、そして、プロセスの再現可能性が、解決すべき問題として存在することになる。

本発明の特定の特徴、側面及び効果は、顕微鏡光学視野の中を移動可能な物理材料サンプル・スライドが観察及びイメージ捕捉のために支持されているタイプの顕微鏡システムに関する。本発明は、シームレスなエッジ画質特性を有するデジタル仮想スライドを観察する方法であって、それぞれの物理スライドのために複数のデジタル領域イメージを定義するステップと、前記定義された複数のデジタル領域イメージに従って前記物理スライドを走査するステップとを含む。

前記走査されたイメージは、前記物理スライドの全体のモザイク表現におけるそれぞれのイメージの位置に関連する位置インデクス計量に従って記憶され、次の隣接する領域イメージ・ブロックに対して、正規化された相関サーチが実行される。

相対位置オフセット値と相関係数との集合が、領域イメージ・ブロックと次の隣接する領域イメージ・ブロックとに対して、決定される。前記領域イメージ・ブロックの一部分が、ディスプレイの視野として観察され、領域イメージ・ブロックの前記一部分の複合物が、相対位置オフセット値と相関係数との前記集合に従って合成され、前記一部分を構成するブロックだけが合成される。

効果的に、前記ディスプレイの視野を移動させることにより、追加的な領域イメージ・ブロックが表示され、前記合成するステップは、新たな視野の中に持ち込まれる前記追加的な領域イメージ・ブロックに関してだけ実行される。

本発明の追加的な側面では、それぞれの物理スライドに対し、それぞれの領域が少なくとも幅の寸法Ｗによって特徴付けられている面積を有する複数の領域が定義される。第１の定義された領域のイメージが捕捉され、そこでは、前記顕微鏡が前記物理スライドに対して第１の位置に位置決めされている。前記顕微鏡の位置は、Ｗと重複（オーバラップ）値（ＯｖｅｒｌａｐＸ）とによって特徴付けられた寸法に沿って、第２の位置に調整され、第２の定義された領域のイメージが捕捉され、前記第２の領域と前記第１の領域とはＯｖｅｒｌａｐＸによって定義される重複領域の中に含まれるイメージ・データを共有する。本発明の特定の特徴は、前記決定するステップが、隣接する複数の領域の間の重複領域に含まれるイメージ・データに対して実行されるということである。

本発明の別の側面では、それぞれの物理スライドに対し、それぞれの領域が少なくとも高さの寸法Ｈによって特徴付けられる面積を有する複数の領域が定義される。第１の定義された領域のイメージが捕捉され、そこでは、前記顕微鏡が前記物理スライドに対して第１の位置に位置決めされている。次に、前記顕微鏡の位置は、Ｈと第２の重複値（ＯｖｅｒｌａｐＹ）とによって特徴付けられた第２の位置に調整され、第２の定義された領域のイメージが捕捉され、前記第２の領域と前記第１の領域とはＯｖｅｒｌａｐＹによって定義される重複領域の中に含まれるイメージ・データを共有する。

効果的に、この方法の前記決定するステップは、隣接する複数の領域の間の重複領域のいずれかに含まれるイメージ・データに対して実行される。あるいは、この方法の前記決定するステップは、隣接する複数の領域の間の重複領域の両方に含まれるイメージ・データに対して実行される。

領域イメージ・ブロックと次の隣接する領域イメージ・ブロックとに対する相対位置オフセット値と相関係数との前記集合は、正規化された相関サーチによって決定され、それぞれの領域イメージ・ブロックに関連する相対位置オフセット値と相関係数との前記集合は、当該領域イメージ・ブロックに対応するデータ・セットとして記憶される。前記領域イメージ・ブロックの部分集合は、ディスプレイにおける観察のために提供され、それぞれのブロックをその次の隣接するブロックに対して前記ブロックに対して決定された相対位置オフセット値の前記集合に従って位置決めすることにより、次の隣接する領域イメージ・ブロックの重複部分が結合される。

別の側面では、本発明は、仮想顕微鏡スライドを表すデジタル・データを画像化する観察システムとして、また、領域イメージを相互にシームレスに結合して前記観察システムの視野を定義する複合イメージを作成する方法として特徴付けることができる。この点では、本発明による方法は、物理顕微鏡スライドを、複数の複合領域イメージのマトリクスに分割するステップであって、それぞれの領域イメージは前記マトリクスの中にロー及びカラム・インデクス位置を有する、ステップと、前記物理顕微鏡スライドを、選択された対物レンズを用いて、前記対物レンズの視野が１つの複合領域イメージのサイズに等しくなるように、走査するステップと、現在の領域イメージと、次の隣接する領域イメージの特定された部分とを、前記２つのイメージが前記特定された部分においてイメージ・データを共有するように、重複させるステップと、前記現在のイメージとその次の隣接するイメージとに対するオフセット値の集合を決定して、前記現在のイメージに対する重複部分が前記次の隣接するイメージの重複部分と高度に相関するようにするステップと、前記次の隣接するイメージと合成された前記現在のイメージを、現在表示されているイメージのオフセット値を考慮せずに表示するステップと、を含む。この方法は、更に、前記決定されたオフセット値に基づく前記重複部分に対する相関係数の生成を更に含む。

本発明の効果を生じさせる特徴として、仮想顕微鏡スライドの現在用いられている視野を表すのに前記複合領域イメージの中のどの特定のイメージが必要なのかを評価するステップと、前記複合領域イメージの中の前記特定のステップを、オフセット値の前記対応する集合と関連する相関係数と共に検索するステップと、検索された領域イメージを、前記マトリクスの中のその公称のインデクス位置に従ってビューワの中で発見するステップと、次の隣接するイメージの相関係数値とスレショルド値とを比較するステップと、前記スレショルド以上の相関係数値を有する次の隣接する複数のイメージの間の正の接続基準を定義するステップと、次の隣接するイメージの重複部分が前記２つの次の隣接イメージの間のシームレスなエッジを定義するように、前記検索されたイメージを相互に配置するステップと、を更に含む。

接続されたコンポーネントのラベル付けアルゴリズムが、前記複数の領域イメージに適用され、共通のアルゴリズム的なラベルが、関連する正の接続基準を有する領域イメージ・ブロックに割り当てられる。共通のアルゴリズム的なラベルを有するイメージ・ブロックが、接続されたコンポーネントに形成される。現在のイメージ・ブロックと次の隣接するイメージ・ブロックとのいずれかから、前記重複領域に含まれるデジタル・イメージ・データを表すものとして１つの重複領域が選択され、前記検索されたイメージは、前記２つの隣接したイメージの間のシームレスなエッジを定義するように、相互に位置決めされる。

本発明は、また、顕微鏡の光学視野の中を移動可能な物理材料サンプル・スライドが観察及びイメージ捕捉のために支持されているタイプの顕微鏡システムとして実現することができる。このシステムは、それぞれが対応する倍率を有する複数の顕微鏡対物レンズを保持する回転可能なターレットを含む顕微鏡を含む。このシステムは、更に、直交する平面軸に沿って移動可能であり、ロボット制御されるサンプル・ステージと、前記軸のそれぞれに沿って、当初のインデクス位置に対する前記ステージの現在の位置を決定する手段とを含む。

前記ステージに結合されているプロセッサが、物理スライドがメモリ・データ記憶装置の中へのデジタル・データとして走査されるようにステージ移動を制御し、前記物理スライドは、複数の複合イメージ・ブロックのマトリクスとして表され、それぞれのイメージ・ブロックは前記マトリクスの中の対応するロー及びカラム位置を有する。それぞれのイメージ・ブロックは、第１及び第２の方向の寸法によって特徴付けられ、前記プロセッサにより、次の隣接するイメージ・ブロックは、それらのイメージ・ブロックの間に特定され再生可能な重複部分が生じるように走査される。

このシステムは、更に、相関プロセッサを更に備えており、前記相関プロセッサは、次の隣接するイメージ・ブロックの間に前記第１及び第２の方向に沿ったオフセット値を決定し、前記オフセット値は、前記次の隣接するイメージ・ブロックを、これらのイメージ・ブロックの重複部分がシームレスなエッジ領域として現れるように相互に位置決めするのに必要な相対位置決めベクトルを定義する。

前記複合イメージ・ブロックの前記マトリクスの一部を、前記物理スライドの高解像度の部分イメージとして表示するのに敵したビューワが、マイクロプロセッサの動作制御の下にあるイメージ合成手段であって、観察のために複合的なイメージ・ブロックを提供し、それらの定義された相対位置決めベクトルに従って次の隣接するブロックを相互に合成するイメージ合成手段を含みうる。前記イメージ合成手段は、前記ビューワにおいて所望の視野を構築するのに必要なイメージ・ブロックだけを合成し、更に、ユーザが前記第１及び第２の方向に沿った新たな視野への移動を生じさせるときには、結果的なイメージ・ブロックを１つの視野に合成するように動作する。

本発明の以上の及びそれ以外の特徴、側面及び効果は、以下の詳細な説明と冒頭の特許請求の範囲と添付の図面とを考慮することによって、より明らかになるはずである。

ここで説明される様々な実施例は、上手に縫い合わされた仮想的な顕微鏡スライドを作成するシステム及び方法を提供する。ある実施例のある特定の側面では、それぞれのイメージと次のイメージとの最適な相対アライメントが計算される。計算された最適な相対アライメントは、次に、動的な合成（stitching、縫い合わせ）システムによって用いられ、例えば、イメージ・ビューワにおいて、適切に縫い合わされた複数のイメージを提供する。この動的な合成システムは、ソフトウェア及びファームウェア技術における当業者であれば理解するように、ソフトウェアとハードウェアとのいずれか一方において実現することができ、又は、これら２つの組合せにおいて実現することができる。

観察プロセスの間に、この動的な合成システムは、現在観察されているイメージに寄与するイメージの様々なブロックのための最適なアライメント（位置合わせ）を決定する。観察されている領域に寄与するイメージ・ブロックのそれぞれに対する相対的なアライメントが、他のブロックに対する相対的なアライメントとの比較において調べられる。現時点で観察されていない領域に寄与しないイメージ・ブロックを無視することにより、ブロックのアライメントを行う際に、合成システムがより柔軟性を有することが可能となる。位置決めオフセットの最適化された集合が観察領域に対して決定され、現在の観察領域に寄与するイメージのブロックは、最適に相互に縫い合わせられる（スティッチされる、合成される）。現在の視野が変化すると、新たな視野を満たすためにイメージの追加的なブロックの提供が必要となり、動的な合成システムが再びコールされ、新たな観察領域に寄与する新たなブロックのための新たな最適な位置オフセットが決定される。

現時点で観察されている領域に限定された最適なアライメント決定を行うことによって、うまく縫い合わされた仮想スライドを作成する能力が、速度と性能との両面で著しく改善される。従来のシステムは、アプリオリなベースで、ここでは「大域的な合成」と称するプロセスにおいて、単一の大域的に（globally）合成されたイメージを作成しようとした。実際、そのようなイメージを表示しようとする試みがなされる前に、すべてのイメージ・ブロックが処理され、すべてのオフセットが決定され、「完全な」イメージが構想された。しかし、単一の大域的に合成されたイメージを作成しようという試みは、非常に高精度の機械的システムを用いたとしても、解決が非常に困難な問題である。非テレセントリック性や非平坦性など、顕微鏡光学システムのいくつかの広く知られた特徴であるひずみ特性が原因で、イメージの空間的なひずみを結果的に生じる倍率の変化が生じてしまうのである。

単一のイメージの光学的ひずみの絶対度数は多くの場合に非常に小さく、例えば、１ピクセルのオーダーなのであるが、光学的なひずみはその性質上、線形ではない。複数のイメージ・ブロック（多くの場合が数百、時には数千）を大域的な合成システムを用いて相互に合成しようとすると、このようなタイプの誤差は累積的であり、イメージを歪めない技術を導入せずには大域的な合成は不可能である。イメージの歪み解消は、それ自体が問題点を有している。例えば、計算論的な負担が大きく、イメージの解像度が低下し、結果的なイメージを走査プロセスと平行させることが非常に困難である。

幸運にも、ほとんどの画像化アプリケーションでは、大域的に合成された「マスタ・イメージ」の作成は必要でないのが一般的である。しかし、必要となるのは、人間又は画像化プログラムが見ている特定の視野が縫い合わされなければならないということである。観察パラダイムを、新たな視野がビューワのユーザに要求される際には、うまく縫い合わされた態様で提供される単一の視野を作成するものに変更することによって、この問題は劇的に変化する。アプリオリの計算論的な負担が大きな大域的なプロセスとは異なり、本発明による方法は、現在の視野に寄与するイメージだけを縫い合わせなければならない、と考えているのである。

この出願で説明され示される様々な実施例は、従来技術によって採用されていた既存のシステムと比較して多くの利点を有している。例えば、「画像化」は、「局所的」なベースで実行されるので、大域的な合成を損なう累積的な誤差を排除することができる。大域的な縫い合わせ（合成）が要求されないため、従来技術の計算論的に負担の大きな処理技術の多くが不要となる。従って、イメージのゆがみを修正する又はイメージの投影技術は、厳しい状況でだけ用いられればよい。

本発明のある実施例では、イメージ・ブロックは仮想スライド画像化装置から取得されるので（イメージが走査されるときに）、イメージ・ブロックは、顕微鏡走査システムの一部として提供されるプロセッサの中に存在する圧縮システムと相対イメージ一致システムとに同時に送られる。圧縮システムと相対一致システムとは、ソフトウェア、ファームウェア、ハードウェアの中のいずれか及びこれらの組合せにおいて実現される。顕微鏡システムの一部を構成するものとして説明しているが、画像一致システムは、イメージ観察システム（「ビューワ」とも称される）の一部として提供されるプロセッサの中にでも容易に実現することができる。

この技術分野の当業者には広く知られている態様で、圧縮システムは、受け取ったイメージ・ブロックのコンテンツを圧縮し、圧縮されたデータを仮想スライド・ファイルに書き込む。次に、イメージ一致システムは、イメージ・ブロックを受け取り、選択されたイメージの左側のイメージと上側のイメージという２つのイメージに対する最適な相対オフセットを計算する。これらの相対オフセットが計算されると、これらのオフセットは、ディスク・ドライブ、ＤＶＤ、ＣＤ−ＲＯＭ、それ以外の記憶装置などの揮発性又は不揮発性のメモリに記憶される。

走査プロセスの終わりに、圧縮されたイメージ・データと相対合成オフセットとは、メモリ記憶装置に書き込まれる。観察プロセスの間、ユーザが特定の観察領域を特定することによってイメージを操作しているときには、合成システム（おそらくは、ビューワのプロセッサの中にある）がコールされ、動的かつ自動的に、走査プロセスの間に計算された相対オフセットを用いて寄与しているイメージに対する最適なアライメント（位置合わせ）を決定する。ユーザは、これにより、シームレスな又はほぼシームレスなイメージ観察経験を得ることができるのである。以上で述べたように、圧縮及び一致システムに関しては、合成（縫い合わせ）システムは、顕微鏡システムの中に配置された又は観察システムと関連するプロセッサの中のハードウェア、ソフトウェア又はファームウェアとして実現することができる。

以下でより詳細に説明するが、物理スライドは、特に、この物理スライドが大きな倍率で評価されなければならないときには、一連の複数のイメージとして調べられなければならない。４０ｘ又は更に高い倍率維持として表現された単一のスライドは、マトリクス形式に配列された複数の（おそらくは数百の）個別の視野走査から構成される。左から右へ移動しローごとにラスタ動作する走査の集合は、位置をベースにしてインデクスが付され、物理スライドの中身のデータ・セット全体が定義される。このようなイメージが捕捉され、マトリクス（モザイク）の中の相対位置に関連付けがなされると、「仮想スライド」が作成される。この仮想スライドでは、デジタル・データが、顕微鏡のアイピースを通じて見ている臨床医によって観察されるアナログ式の光学データに取って代わってそのような光学データを表すのである。このようにして、顕微鏡のそれぞれの視野が１つのイメージ（この出願では、「領域」とも称する）定義し、それぞれの走査の間に、それぞれの定義された領域に対するイメージが取得される。

図１は、本発明の実施例による、顕微鏡スライドの拡大イメージを取得するのに用いられる例示的な画像化システム１００の単純化されたほぼ概略的なブロック図である。画像化システム１００は、顕微鏡システム１０と、カメラ（又は画像化）システム１１と、制御プロセッサ２０とを適切に含んでいる。顕微鏡システム１０は、倍率が変動する２、３、４又は５つの光学対物レンズ又はレンズを支持することができるタイプの、少なくとも１つの回転可能な対物ターレット１８を含む。顕微鏡システム１０は、更に、コンピュータ制御された顕微鏡ステージ１４を含む。顕微鏡ステージ１４は、ｘ、ｙ及びｚ方向に自動的に移動可能であり、ｘ、ｙ及びｚ並進モータをｘ、ｙ制御１６及びｚ制御１７と称される制御システムを介してステージ・プラットフォームに機械的に結合することによって、ロボット的に制御可能である。適切な光源（図示せず）が顕微鏡ステージ１４の下側に配置され、また、顕微鏡ステージ１４の上の試料に対する見かけの光源をシフトさせるため、ステージの下での並進運動が可能である。

顕微鏡ステージ１４の並進運動と光源の強度とは、例えば、制御プロセッサ２０上でソフトウェア又はファームウェア・プログラム・アプリケーションとして動作しているソフトウェア・プログラムによって制御可能である。この技術分野の当業者であれば理解することであるが、光源が生じた光を収集し、それをサンプルの方向に向けるコンデンサを提供することができる。

対物ターレット１８の回転により、所望の対物レンズが顕微鏡の光学経路の中に移動され、対物レンズの特徴的な倍率を有する試料のイメージが生成される。本発明によると、例えば、４ｘの対物レンズと２０ｘの対物レンズとを含むターレット１８が保持する１又は複数の対物レンズが設けられる。どのような意味でも限定を意味しないが、本発明と共に用いるのに適しているロボット制御される顕微鏡システムの例には、プライア（Prior）Ｈ１０１を備えたオリンパス（Olympus）ＢＸ顕微鏡システムが含まれる。オリンパスＢＸ顕微鏡システムは、米国ニューヨーク州メルビル（Melville）所在のオリンパス・アメリカ社によって製造され販売されている。プライアＨ１０１ステージは、米国マサチューセッツ州ロックランド（Rockland）所在のプライア・サイエンティフィック社によって製造され販売されている。これ以外の類似のコンピュータ化されたステージを用いることができるが、その例として、米国ニューヨーク州ホーソン（Hawthorne）所在のラドル（Ludl）エレクトロニクス・プロダクツ社によって製造販売されるものがある。

顕微鏡の対物ターレット１８は、ロボット制御可能なモータとモータ・ドライバとの組合せを有し対物ターレットに結合されている焦点／対物制御システム１５によって制御され、ターレットを回転させて様々な所望の対物レンズを顕微鏡の光学経路の中に移動させることができる。適切な移動コマンド信号を受け取ると、焦点／対物制御システム１５は、回転可能なターレット１８を回転させるようにモータに命令することによって、異なる対物レンズ１９を顕微鏡システムの光学経路の中に移動させることができる。

ある例では、Ｘ、Ｙ制御１６は、ｘ、ｙ及びｚ方向にステージ１４を制御するモータと、そのモータを付勢する適切なモータ・ドライバ回路とを有する。この出願では、ｘ及びｙ方向は、ステージ１４がその中に存在する平面におけるベクトルを意味し、ｚ方向は、ｘ及びｙの両方と直交方向であって、垂直又は合焦方向を意味する。ステージの運動を生じさせる機械的な装置と電子制御回路とが実現されるのが好ましく、何らかの形態の開又は閉ループ・モータ位置決めサーボ・システムが含まれていて、ステージ１４は、非常な精度をもって位置決めが可能であるか、又は、その並進運動が、ｘ、ｙ及びｚ方向において非常に正確に決定可能である。ステージ１４のｘ−ｙ平面内での運動を制御する代わりに、又は、そのような運動を制御するのに加えて、顕微鏡１２自体は、ｘ−ｙ平面の中での移動が可能である。この代替的な実施例では、顕微鏡の並進運動が制御されるか、又は、その位置がステージ１４と同じ精度で、ステージ１４と実質的に同じ位置決め装置を用いて決定可能である。

Ｘ及びＹ制御１６が閉ループの態様で動作するように構成されているときには、位置フィードバック情報は、モータ自体から、又は、より高い精度が望まれる場合には、光学的位置エンコーダ若しくはレーザ干渉計位置エンコーダから回復することが可能である。ステージ運動の閉ループ・サーボ制御により、ステージ位置を非常に正確に決定することが可能になり、並進コマンドが非常に高い精度をもって応答されることが保証されるが、このようなことは、運動制御技術における当業者にとっては広く理解されていることである。従って、ステージを５０ミクロンだけ正のｘ方向に並進させるコマンドは、ステージ１４を、結果的に、正確に正のｘ方向に５０ミクロンだけ、少なくともこのモータ・システムが機械的分解能の限度まで移動させることになる。

顕微鏡システムが半閉ループ又は開ループの態様で動作するように構成されているときには、ステージ制御はフィードバック自体に依存することはなく、ステージを制御するモータがどこへ行くように命令されているかを正確に定義することが少なくとも必要である。例えば、典型的なステッパ・モータは、並進運動を、「方向」及び「ステップ数」コマンドに依存する一連の「ステップ」として提供する。「ステップ」当たりの並進運動が較正される限り（あるいは、異なって決定されるか、又は、知られている限り）、運動（移動）コマンドは、結果的に、ステージを既知の（又は、計算された）距離だけ、命令された方向に移動させることになる。残るのは、運動コマンドの記録を出発点と共に保存し、顕微鏡ステージの「現在位置」を決定することだけである。

カメラ・システム１１は、図１の実施例に示されているように、メイン・カメラ２２と制御電子装置２４とを含む。単一のメイン・カメラ２２が示されているが、後で詳しく述べるように、複数のメイン・カメラが適切に提供されることもありうる。位置エンコーダがステージ・モータやステージ自体に結合されることがあり、ステージ１４の位置を示す信号をメイン・カメラ２２又はその制御電子装置２４に伝送するように構成されている。このような構成により、ステージ１４が連続的に動いている間であっても、カメラがイメージを所望の所定の位置で捕捉することが可能になる。例えば、位置エンコーダは、ステージ１４が移動した距離をモニタして（又は、開ループや半閉ループ・システムの場合には運動コマンド）、所定の信号を、ステージが数ミクロン移動するたびに所定の信号を送信する。メイン・カメラ２２は、例えば、ロータリ又は線形スケール・エンコーダなどの位置決めフィードバック装置から受け取られたそのような電気信号の集合又は部分集合に応答してイメージを捕捉し、規則的な間隔で顕微鏡スライドのイメージを生じるように構成されている。

ある特定の例では、スライドの走査軸に沿って設置された線形エンコーダが、制御システムに絶対位置フィードバックを提供して、イメージ捕捉のための正確な周期的信号を生成する。これらの周期的信号は、高速の一貫した断面イメージ捕捉のための、カメラへの外部トリガとして作用する。この実施例は、多くの位置決め誤差の問題を解決しているが、それは、例えば、カメラのイメージ平面に対するスライドの実際の機械的位置への電気制御信号の真の変換に関連する以下のような誤差である（電気的に命令された位置から、その命令された位置への位置決めシステムの実際の機械的応答までの位置の差異）。この実施例は、また、リード・ネジの反復的使用、緩いカップリング、摩擦、環境問題などに起因して生じる機械的ハードウェアの周期的な劣化に対する保護を提供する。

あるいは、メイン・カメラ２２は、規則的な時間間隔で、又は、モータへ送信されるパルスに基づいて、イメージを捕捉するように構成することもできる。例えば、ステッパ又はリニア・モータに送られる制御パルスを用いることができる。これらは、例えば、絶対又は相対出力パルスを生成してイメージ捕捉のためにカメラをトリガする電子カウンタ回路を介して与えられるそのままのトランジスタ・トランジスタ・ロジック（ＴＴＬ）の信号パルスであったり、増幅された制御パルスであったりする。上述したようにステッパ・コントローラ・パルス生成器を介して生成されたＴＴＬステップ及び命令信号は、エンコーダ・フィードバック・チャネルを介してコントローラにフィードバックされうる。この構成では、一体化されたリアルタイムの「パルス・カウンタ」がパルスをカウントして、カメラのための周期的なパルス化された出力を生成する。この技術は、運動の方向に基づいてイメージを捕捉する双方向又は一方向出力トリガ・パルス制御のためのコントローラへの入力として、モータ指向性信号出力と共に用いられる。あるいは、時計回り又は反時計回りの動作モードをモータ制御に用い、指向性パルスを、運動と同期した周期的なカメラのトリガのために、コントローラに戻すことができる。

本発明のある側面では、合焦（focusing）は、対応するｚ制御回路１７の制御の下で、ステージ１４をｚ方向に僅かな偏位を生じさせることによって、実行される。合焦の間の相対運動量は正味のｚ並進運動の間の相対運動量よりも著しく小さいので、焦点回路１７は、ｚ軸ステージ並進モータと並列に動作する適切なモータ・ドライバ回路によって制御されるマイクロステッピング・モータを含む。従って、ｚ軸ステージ並進モータには、より大きな正味の応答特性が与えられ、よって、このモータは、試料の垂直方向の光学的断面化が可能である。すなわち、試料に対して垂直方向に通過するように配置されている様々な水平方向の面の上にある試料を見ることができ、同時に、合焦モータは、それぞれのイメージ平面を適切に合焦するのに必要な微小運動を提供することができる。

別の実施例では、合焦は、焦点／対物制御システム１５の制御の下で、対物ターレット１８をｚ方向に僅かに偏位させることによって、実行される。例えば、圧電トランスデューサは、対物ターレット１８とそれに対応する対物レンズ１９とを圧電増幅器から受け取られた信号に応答して僅かに偏位させることによって、合焦を実行することができる。

照明回路（図示せず）が、従来型の態様で、照明光源の強度を制御する。
メイン・カメラ２２は、好ましくは、高い解像度及び高いデータ・レートで動作する高解像度のカラー・デジタル・カメラである。この実施例では、ＪＡＩＣＶ−Ｍ７ＣＬ＋カメラを使用することが想定されているが、本発明の範囲内で、これに匹敵する画質と解像度とを有する他のカメラを用いることも可能である。メイン・カメラ２２によって捕捉されたイメージは、カメラリンク・カードなどの制御電子装置２４を介して、制御プロセッサ２０に送られる。この技術分野の当業者には周知のように、カメラリンク・カードは、特定のプロトコルと物理インターフェースとをサポートするデジタル・カメラとのインターフェースを行う。本発明では、これ以外のプロトコル及び物理インターフェースも可能であり、ここで説明される特定のインターフェースは、いかなる意味においても限定を意味しない。

制御プロセッサ２０は、ＩＢＭタイプのｘ８６パーソナル・コンピュータ・システムなどの小型プラットフォーム・コンピュータ・システムとして実現可能であるが、顕微鏡システムを動作させるのに必要なコマンド及び制御信号を生じさせるのに適したアプリケーション・ソフトウェア・プログラムのホストとなるデータ処理とプラットフォーム性能とを有する。制御プロセッサ２０には、イメージ処理機能を実行することができる特別のソフトウェア又は回路が含まれる。例えば、制御プロセッサ２０は、イメージ解析を実行し、コントラスト、エントロピ及び先鋭度などの測定値を取得する。制御プロセッサ２０は、また、デジタル・イメージを操作し合成することができる特別のソフトウェア又は回路を含む。制御プロセッサ２０は、マウスやキーボードなど従来型の入力デバイスにおいてシステム・ユーザが生じるコマンドを受け取り解釈することができ、また更に、ユーザが定義したコマンドを、顕微鏡システムの様々なコンポーネントを操作するのに適した信号に変換することが可能である。

制御プロセッサ２０は、典型的には、シリアル・インターフェース、ペリフェラル・コンポーネント・インターコネクト（ＰＣＩ）インターフェース、顕微鏡システムを動作させる様々な制御電子装置が接続されているシステム・インターフェースを定義する多数の別の結合インターフェースの中の任意のインターフェースなどを介して、顕微鏡システム１００と結合されている。

本発明の実施例は、正確な機械的位置決めに極度に依存することはなく、計算論的な要求が従来技術と比較してはるかに小さな仮想スライドを構築するための改善されたシステム及び方法を提供する。

図２は、本発明に従って顕微鏡スライドのイメージを生成する方法の一例の流れ図３００である。これに関して、図３は、顕微鏡スライドＳの関心領域（ＲＯＩ）の例であり、この例では、２つのロー（ローＩ及びローＩＩ）に配列された４つのイメージ５０１、５０２、５０３及び５０４が、例えばユーザのために、ビューワの上に与えられるイメージを構成している。これらのイメージの位置は、ステージ１４のＸ及びＹ制御１６によって決定される。

図２を図３と共に参照すると、走査の間、スライドの複数の領域が定義される。それぞれの領域は、顕微鏡の対物レンズの視野の幅と高さとにほぼ等しい幅Ｗと高さＨとを有している。顕微鏡の対物レンズは、当初は、視野の中心がスライドの１つのエッジの上にある点Ｐ１（０，ｙ０）に配置されるように位置決めされる。点Ｐ１は、この場合には、ローＩの当初の位置にある。ステップ３１２（図２）では、領域５０１に対応するイメージがローＩに取得されるが、これは、幅Ｗと高さＨとを有している。ステップ３１３では、Ｘ及びＹ制御１６が、ステージ１４を対物レンズに対して移動させ、点Ｐ１は、（Ｗ−ＯｖｅｒｌａｐＸ）に等しい距離だけ離れたＰ２まで移動する。当業者には明らかなことであるが、点Ｐ１を点Ｐ２に調整するために、対物ターレット１８もまたスライドに対して移動され、同様に後述するようなそれ以外の移動も生じる。

本発明の文脈では、「ＯｖｅｒｌａｐＸ」は、隣接する複数のイメージの間でｘ軸方向に生じる重複（オーバラップ）をほぼ特定する予め定められた数値である。この数値はできるだけ小さなことが好ましく、一般的には、少なくとも、ｘ方向のサーチ半径（ここでは、「サーチＲＸ」と称する）とイメージ領域エッジの間の意味のある一致のために必要な最小面積とを加算した値よりも大きくなければならない。サーチ半径のサイズは、システムの機械的精度の関数である。そして、最小一致面積は、この光学システムの解像度と見られているスライドのコンテンツを構成する組織の外形のサイズとに依存する。逆に、システムの機械的精度は、例えば、振動、コンピュータ制御されたステージ１４の公差、それ以外の機械的なシステム上の不連続性など、位置的な精度を損なう累積的な誤差に依存する。サーチＲＸの適切な値の一例は１６ピクセルであり、例示的なＯｖｅｒｌａｐＸの適切な値は４８ピクセルである。

再び図２に戻ると、ステップ３１４では、点Ｐ２において、領域５０２に対応するイメージが取得される。ステップ３１５では、システムは、サンプルに対する顕微鏡対物レンズの位置が走査ローの終点にあるかどうかを調べることにより、走査ロー（この場合は、ローＩ）の終点に到達したかどうかを判断する。到達していない場合には、システムはステップ３１３に戻り、現在の走査ローの終点に達するまで（すなわち、ステップ３１５のクエリへの回答がイエスになるまで）、移動及び取得のステップ３１３及び３１４を反復する。いったん走査ローの終点に達すると、システムは、ステップ３１６において、更に走査するローがあるかどうかを判断する。この例では走査ローＩＩがあるので、ステップ３１７において、Ｘ及びＹ制御システム１６が、光学装置に対してステージをｙ方向に（Ｈ−ＯｖｅｒｌａｐＹ）の距離だけ位置Ｐ３まで移動させる。

「ＯｖｅｒｌａｐＹ」は、隣接する複数のイメージの間でｙ軸方向に生じる重複（オーバラップ）をほぼ特定する予め定められた数値である。この数値はできるだけ小さなことが好ましく、一般的には、少なくとも、ｙ方向のサーチ半径（ここでは、「サーチＲＹ」と称する）と意味のある一致のために必要な最小面積とを加算した値よりも大きくなければならない。サーチＲＸに関して上述したように、サーチ半径のサイズは、システムの機械的精度の関数である。そして、最小一致面積は、この光学システムの解像度と組織の外形のサイズとに依存する。ｘ軸に関して上述した例と同様に、サーチＲＹの適切な値の一例は１６ピクセルであり、例示的なＯｖｅｒｌａｐＹの適切な値は４８ピクセルである。

システム１００が位置Ｐ３にあるときに、領域５０３に対応するイメージがステップ３１４で取得される。そして、システム１００は、ステップ３１３ないし３１５を反復し、先行する走査ローのｘ方向とは反対のｘ方向に（この場合には、この反対のｘ方向とは、負のｘ方向である）、位置Ｐ４まで、距離（Ｗ−ＯｖｅｒｌａｐＸ）だけ移動する。次の領域５０４に対応するイメージが、次に、ステップ３１４において取得される。結果として、一連の重複するイメージが得られる。それぞれのイメージのエッジ領域は、ｘ及びｙの両方のエッジに沿って次のイメージのエッジ領域と重複する。

この技術分野の当業者であれば理解することであるが、上述したように位置決めシステムにおける機械的精度の不足に起因して、イメージが実際の捕捉される位置は、Ｘ及びＹ制御１６によって決定される位置と正確に同じではない。

この点に関して、図４は、捕捉されたイメージ５０１ないし５０４の実際の位置の例を示しており、走査の間に得られた位置誤差が示されている。これらの誤差は、イメージ取得システムの解像度と運動制御システムの機械的精度とに依存して、小さな場合も大きな場合もありうる。注意すべきであるが、人間の目は、たとえ１ピクセルのオフセット誤差でも知覚することができる。１ピクセル当たり０．２２ミクロンの解像度でイメージを分解することができる観測システムでは、１ミクロンの４分の１（２５０ナノメートル）の誤差であっても、位置決めにおいて知覚可能な誤差を生じさせうる。このシステムは、実際のイメージの位置が図３に表示されているようであると信じているから、図４の実際の位置決めが決定されていない場合には、イメージは、ディスプレイ上で必ずずれている（アライメントがとれていない）ことになる。その結果として、適切なイメージ・アライメントが存在していないことにより、イメージの継ぎ目（シーム）が生じてしまう。

上述したイメージ走査及び捕捉方法は、当業者が、任意の大きさの関心領域を画像化するのに用いることができる。イメージの様々なブロックは、捕捉されると、圧縮サブシステムと一致サブシステムとに同時に送られる。これらのサブシステムは、制御プロセッサ２０又は何らかの他のそのようなプロセッサにおいて実装されている。これらのサブシステムは、それぞれ、スレッド又はプロセスなど、１又は複数の別個の実行ユニットを動作させる。これにより、よりよいシステム・パフォーマンス、安定性及びスケーラビリティが得られる。別個のプロセスが、ウィンドウズ（登録商標）ＮＴ又は任意のそれ以外のＵＮＩＸ（登録商標）ライクなシステムなどのメモリを保護するオペレーティング・システムの上の実行ユニットとして用いられる。更に、オーバヘッドの小さなデータ共有機構（例えば、共有メモリ）を用いて、システムの異なる部分の間でイメージ・データを記憶することができる。

これらのサブシステムの中の１つが故障してもシステム全体をダウンさせる可能性は小さいので、安定性は強化されている。より多くの処理ユニット（例えば、プロセッサや、分散されたホストなど）をパラレル型のアーキテクチャで用いることができるから、スケーラビリティは強化されている。

圧縮サブシステムは、動作的に、走査されたイメージ・ブロックのコンテンツ・データを圧縮することを意図する様々なイメージ圧縮システムを用いることができる。適切なイメージ圧縮システムは、この技術分野で広く知られており、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＴＩＦＦ、ＧｅｏＴＩＦＦ、ＰＮＧなどがある。あるいは、イメージのブロックを、そのままの圧縮されていないフォーマットで、ディスクやそれ以外の記憶装置に書き込むことも可能である。イメージは、個別のブロックを個別に検索可能なフォーマットで記憶されることが好ましい。

図１０は、イメージ・ブロックが、どのようにして、そのような直接的な検索を容易にするロー及びコラム・フォーマットで記憶されるかという一例を示している。図１０の例では、イメージ領域ブロックには、イメージ・ブロック（１，２）が、このマトリクスの左下から開始して、ローの位置が２番目（ｍｏｄｕｌｏ ０から開始して）、カラムの位置が３番目（やはり、ｍｏｄｕｌｏ ０から開始して）の位置にあるイメージ領域を表すと理解される。ＴＩＦＦ、ＧｅｏＴＩＦＦ、ＪＰＥＧなどのイメージ圧縮及び記憶フォーマットでは、この技術分野で広く知られているように、そのような直接的な記憶が可能である。

圧縮の間には、解像度がより低いイメージを捕捉して、対応する所望のより解像度が高いイメージと共に記憶することが可能である。このような複数解像度の捕捉及び記憶は、この技術分野では、「解像度ピラミッド」又は「ピラミッド化（pyramiding）」として知られている。このようなことがなされる理由は、例えば、必然的に解像度は低くなる幅の広い視野が、多くの場合に、組織スライドの所望の初期視野であると考えられるからである。臨床医は、まず、幅の広い面積を最初に見て、その後で、全体のイメージの限られた一部だけを高解像度で評価することが必要であると判断するのである。イメージ全体の適切な一部がより低い解像度で利用できる場合には、より大きなサイズのイメージ（結果的に、ファイル・サイズは、より大きい）は伝送する必要がなくなる。

より高解像度を記憶するときには、より低い解像度のイメージからなるここの領域ブロックは相当に小さくなる。この場合には、複数の領域イメージ・ブロックは、複数のイメージの中の１つだけを重複がある領域に寄与することを可能にすることによって、１つのイメージに合成することができる。重複している領域はそれぞれのイメージ・ブロックにおいて同じデータを提供するのであるから、重複している領域に対するデータに寄与するにはただ１つのイメージ・ブロックだけが必要となる。図１１は、４つのイメージ・ブロックを合成して１つの中間的なイメージＭを形成する場合に、重複領域に寄与している複数のイメージ・ブロックを削除する例を示している。図３の例では、イメージ・ブロック５０１及び５０４は重複部分を有しているが、図１１の例では、イメージ・ブロック５０４が、より低い解像度のイメージを作成するために重複部分に寄与する唯一のイメージ・ブロックとして選択されている。

同様に、図３の例では、すべての４つのイメージ・ブロックが、中心にあって４つのすべてのイメージが収束している「４つのコーナー」の重複領域Ｘに寄与している。図１１の例では、対照的に、ブロック５０２は、中心の重複領域Ｘ‘への唯一の寄与するブロックとして選択されている。寄与するように選択されるイメージ・ブロックの選択は、複数の方法を用いて決定される。例えば、最良の焦点又は最良のコントラストを有するブロックを任意に選択するとか、単純にソフトウェアによって検索された最初のイメージ・ブロックを選択するなどの方法がある。重複する領域が除去されると、重複の結果として生じるイメージの複製を除去する単一のイメージを作成することができる。

上述したように、圧縮サブシステムに送られるイメージ・ブロックは、また、一致サブシステムにも送られる。イメージのブロックは、一致サブシステムに到着すると、相対的な位置決めに関する評価がなされる。現在のブロックのすぐ左に特定のブロックが存在すると（つまり、現在のブロックは最も左にあるカラムではない場合には）、正規化された相関係数を網羅的に用いて、そのブロックの右側エッジが、現在のブロックの左側エッジに対して左側に一致され、結果的に最良の一致を生じさせるような、つまり、シームの出現を最小化するような、イメージの相対的な位置決めが見つけられる。網羅的な正規化された相関は、この技術分野で周知であり、イメージ統合のための信頼性が高くロバストな方法であることが示されている。計算論的には集中度が高いが、正規化された相関（ＮＧＣとも称される）は、空間的に変換されるイメージにおけるパターンを発見するのに適している。

図８は、２つのイメージのブロックに対してそのような網羅的な正規化された相関係数を適用する方法の一例における代表的なステップを図解する流れ図である（例えば、現在のブロックを（ｘ軸に沿って）左側のブロックに一致させる、又は、現在のブロックを（ｙ軸に沿って）すぐ上のブロックに一致させる）。図９のイメージ５０１のように左側のエッジに一致させるイメージ・ブロック（１Ｍ）は、図９の５０２のような現在のブロックに対して（座標ＣｕｒＸ，ＣｕｒＹによって指定される）その開始位置まで、ｘ方向の範囲の中を、サーチ半径Ｘ（ＳｅａｒｃｈＲＸ）だけ左右方向に、シーケンシャルに移動される。同様に、一致するイメージ・ブロックは、図８のステップ８１０及び８１５に示されているように、サーチ半径Ｙ（ＳｅａｒｃｈＲＹ）だけ、ｙ方向に（上下に）移動される。

ＣｕｒＸ及びＣｕｒＹのそれぞれに対して、図８のステップ８２５において、相関アルゴリズムが用いられ、相関係数が計算される。最初に、最大相関（ＭＣ）値（これは、−１から＋１までの範囲の値を有しうる）が設定される。計算された相関係数が最大相関（ＭＣ）に対して佐木に設定された値よりも大きい場合には、ステップ８３０において、計算された値がＭＣとして戻され、計算されたｘ及びｙオフセット（ここではＢｅｓｔＸ及びＢｅｓｔＹで示される）がそれぞれＣｕｒＸ及びＣｕｒＹとして戻される。更に、注意すべきであるが、これは反復的なプロセスであり、ＣｕｒＸ及びＣｕｒＹの戻された値は、ステップ８４０及び８５０で示されているように、ｘ及びｙサーチ半径（ＳｅａｒｃｈＲＸ及びＳｅａｒｃｈＲＹ）に対して評価される。

この反復的なプロセスは、可能性のあるすべての順列が評価されることを保証するためのものであり、また、「合成された全体」に対して結果的に計算されるオフセット・ベクトルが、複数のブロックが合成されたときに、どのような「開かれた領域」のどのようなずれも生じないことを保証することである。更に注意しておくが、一致されるイメージ部分（重複領域）の考えられるサイズ（面積）は、等しいと考えられる。これらは、必然的に、同じ長さ及び高さを有し、定義された位置的な境界の中（ｘ及びｙ方向について、特定の数のピクセル）で整然と評価される矩形の部分を定義する。

もういちど図５を参照すると、計算された相関係数（図８におけるＭＣ）と共に結果的に生じるｘ及びｙオフセット（ＢｅｓｔＸ及びＢｅｓｔＹ）は、合成されて、拡張された水平オフセット・ベクトル（ｈＯｆｆと示される）を形成する（図５の５１１）。この技術分野の当業者が図５を見れば理解するように、水平オフセット・ベクトルｈＯｆｆは、イメージの１つのエッジ（ここでは、水平方向のエッジとして選択する）に沿った、ｘ及びｙオフセットのここの方向ベクトルのベクトル和である。オフセット・ベクトルと相関係数とは関連するデータ値であり、特定のＭＣ値がその対応するオフセット・ベクトルと関連している。

この例では、ｖＯｆｆと表される拡張された垂直オフセット・ベクトルは、最適な位置決めを得るために「他の」方向イメージ・エッジ（ここでは、垂直エッジ）との関係でブロック５０１をブロック５０２に対して移動させる方向と距離とを定義する位置決めベクトルを表す。注意すべきであるが、拡張されたオフセット・ベクトルｈＯｆｆ及びｖＯｆｆの大きさは、図５では、寸法通りには示されていない。これらの拡張されたオフセット・ベクトルは、次に、後に再度コールされるために、対応する相関係数と共に、記憶される。現在のブロックの上にブロックが存在する場合には（つまり、現在のブロックが一番上のローにない場合には）、上側のブロックの下側のエッジは、図８に記載されているのと同じ手順によって網羅的な正規化された相関係数を用いて、現在のブロックの上側のエッジと一致される。トップ・イメージが一致させる新たなイメージである（１Ｍ）。

この例では、トップ・イメージは図９のブロック５０３であり、現在のブロックは同じブロック５０２のままである。結果的なｘ及びｙオフセットは、相関係数と共に、拡張された垂直オフセットｖＯｆｆ（図５の５１２）として記録される。ベクトルｖＯｆｆは、上述した場合と同じように、最適な位置決めを得るためにブロック５０３をブロック５０２に対して移動させる方向及び距離を定義する位置決めベクトルを表す。図９のブロック５０１及びブロック５０３の元のイメージ位置にｈＯｆｆ及びｖＯｆｆをそれぞれ適用することにより、図５に例示的に示されているイメージ・ブロック５０１、５０２及び５０３の正確に整列された（アライメントがとれた）集合が得られる。それぞれの拡張されたオフセットは、１対の整数とある精度を有する浮遊数によって表される相関係数とによって表されるオフセット・ベクトルで構成される。方法８００のステップ８２５では、適切に得られた一致面積に対する相関が計算され、この場合、一致する面積のサイズは、それぞれの対のイメージ・ブロックに対して一定なままである。

全体の走査が終了した後で、それぞれのイメージ・ブロックは、関連する拡張された垂直オフセットだけでなく、関連する拡張された水平オフセットを有する。これに対する例外は、一番上のローにあり一番左側のカラムを構成するイメージ・ブロックである。必然的に、一番上で一番左のイメージ・ブロックは、関連する拡張されたオフセットを有していない。一番上のローにあるイメージ・ブロックは（上述した一番上で一番左のイメージ・ブロックを除く）、拡張された垂直オフセットだけを有する。これらの拡張されたオフセットは、イメージのブロックと共に、関連するメタデータとして同じファイルに、又は、ＸＭＬファイル、バイナリ・ファイル、それ以外の任意の検索可能なファイル・フォーマットで別のメタデータ・ファイルに、記憶される。

圧縮サブシステムが複数解像度のイメージ・セットを作成する場合には、より低い解像度のイメージに対する拡張されたオフセットもまた作成され、解像度（拡大）値の比に等しいパーセントだけ、計算されたオフセット・ベクトルの大きさをスケールダウンするっことによってセーブされる。例えば、ｈＯｆｆがｘ方向が４でｙ方向が６の大きさを有する場合には、５０％の解像度のイメージに対するｈＯｆｆは、ｘ方向が２でｙ方向が３である。より高い解像度からより低い解像度のオフセットをスケールダウンすることは特に有益である。その理由は、高解像度のイメージから決定された相関係数（及びオフセット）は、低解像度のイメージから決定された相関係数よりも常に正確であるからである。これは、より低い解像度のイメージがより高い解像度のイメージから作成された場合に、特に真実である。

ユーザは、イメージ・ビューワ装置の上の仮想スライドを見ることを望むことが典型的である。本発明によると、上述した方法と共に用いるのに適したイメージ・ビューワのブロック図が、図１２に示されている。この例のイメージ・ビューワ９００は、後で詳細に説明する合成サブシステム９０４を動作的に含むプロセッサ９０２を含む。このイメージ・ビューワは、更に、イメージ・ブロックがその上でユーザに提供されるディスプレイを含む。イメージは、典型的には、ディスプレイ上のビューワ・ウィンドウ（アプリケーション・ソフトウェアの制御によって形成される）の中に表示される。イメージ・ビューワ９００は、更に、プロセッサに結合されたメモリ９０８を含むが、このメモリは、ディスク・ドライブやＣＤ−ＲＯＭなどの不揮発性メモリであったり、あるいは、揮発性メモリであったり、イメージ・ブロックや上述したそれ以外のデータを記憶するのに適したそれ以外のメモリでありうる。

イメージ・ビューワは、スタンドアロン装置として、又は、ネットワーク（インターネットやイントラネット）の中のクライアント装置として実現することができる。イメージ・ブロックやデータは、インターネットやイーサネット（登録商標）などのネットワーク・ソースや、ネットワークに付属されたストレージ（ＮＡＳ）などから得ることができる。見ている間は、メモリ９０８は、ディスクであってもそれ以外のメモリであっても、ビューワのプロセッサ９０２によってアクセスされる。あるイメージを見ることを望む場合には、ビューワ・アプリケーションがコールされる。ビューワ・アプリケーションは、ウシンドウズやＯＳ−ＸなどＰＣベースのオペレーティング・システムの上で動作するコンパイルされたＣ＋＋、Ｊａｖａ（登録商標）、ビジュアル・ベイシック又はそれ以外の類似にプログラムなどのソフトウェア・アプリケーションとして実現される。ビューワ・アプリケーション・プログラムの一部として実現することができる合成サブシステムは、セーブされたイメージを、ユーザが仮想スライドの全体を走査し、提供された視野が変化するについて、動的に合成する。既に論じたように、合成サブシステムは、ソフトウェアにおいて実装される代わりに、あるいは、ソフトウェアにおいて実装されると共に、「特定アプリケーション向けの」ハードウェアにおけるファームウェアとして実装することができる。

見るプロセスの間、ビューワ・アプリケーションは、視野をユーザに表示する。現在対象となっている視野を表すのに必要なイメージ・ブロック（典型的には、１つの視野を表すには、４から９のブロックが必要となる）が、これらのイメージ・ブロックに対する対応する拡張された水平オフセットと拡張された垂直オフセットと共に検索される（そして、オプションであるが、キャッシュ・メモリにキャッシュされる）。部分的なブロックの提出を回避し、視野のエッジにおいてデータをよりよく処理するため、好ましくはパディングが適用され、視野の４つのエッジの周囲に、少なくとも１つの余分のロー又はカラムが与えられる。ここで、合成サブシステムがコールされ、検索されたイメージ・ブロックをビューワ・ウィンドウの中で位置決めする。イメージ・ブロックが、複数のイメージを合併して重複する領域を除去することによって作成されたより解像度の低いレベルからのものである場合には、合成サブシステムは、コールされず、イメージは、単にその元の位置に表示される。

合成サブシステムは、相関係数値にスレショルドを設け、ブロックの間に真の一致があるかどうかを判断する。例えば、相関係数値が０．９５よりも大きい場合には、対応するオフセットは、真の一致と考えられる態様に、２つのブロックを位置決めする。相関係数が０．９５未満である場合には、一致している領域は、おそらく白い空間の上にあり、相関係数は−１に設定される。接続基準は以下のように定義される。図５を参照すると、任意の与えられたブロック（５０２など）に対して、特定のブロックが一番上側にあるブロック（５０３）と真に一致している場合には、これらの２つのブロック（５０２及び５０３）は接続されていると考えられる。ブロックが左側にあるブロック（５０１）と真に一致している場合には、これらの２つのブロック（５０２及び５０１）は、やはり接続されていると考えられる。

本発明のある例では、合成サブシステムは、上述のように定義された接続基準を用い、この技術分野で知られている標準的な色付け（ラベル付け）アルゴリズムをすべてのブロックに適用する。相互に接続されている複数のブロックには同じ色（ラベル）を指定し、接続されたコンポーネントを形成する。従って、それぞれの接続されたコンポーネントは、１又は複数のブロックから構成される。接続されたコンポーネントのブロックの間で、ブロックの中の１つがアンカ・ブロックとして選択される。例えば、一番上にあり一番左側にあるブロック（すなわち、辞書式順序における最小のブロック）を、アンカ・ブロックとして選択して、残りのブロックを本発明に従ってそのアンカ・ブロックに接続されたものとすることができる。

この点で、図６は、２つの接続されたコンポーネントの集合を図解しており、その一方は、アンカ・ブロック６０１につなぎ止められた４つのブロック６０３、６０２、６０１及び６０４を含み、他方は、２つのブロックを含み、ブロック６０６がブロック６０５につなぎ止められている。「Ａ」が付けられているブロック（ブロック６０１及び６０５）がアンカ・ブロックである。ここで注意すべきであるが、図６では、ブロックのオフセット情報ではなく、ブロックの接続の様子が示されている。

アンカ・ブロックは任意の位置に位置決めすることができるが、好ましくは、その元の位置（図３に示されているように、イメージのブロックが捕捉されるように命令されるときに戻される位置）にとどめておくべきである。この結果として、アンカ・ブロックは、その基の示された位置から（０，０）の有効オフセットを有することになり、従って、ｘ＝０でｙ＝０という絶対位置オフセットである。同じ接続されたコンポーネントの中の任意のブロックは、少なくとも１つの接続経路を通じて、アンカ・ブロックまでたどることができる。例えば、図６の実施例では、接続経路は、ブロック６０３からアンカ・ブロック６０１まで、６０３から６０２へ、そして、６０２から６０１（アンカＡ）へという接続経路を経由して確立される。

次に、検索されたそれぞれの非アンカ・イメージ・ブロックに対して、位置オフセットが計算されなければならない。拡張されたオフセットは、アンカ・ブロックまでの経路に沿って累積され、与えられたブロックに対する位置オフセットが決定される。位置オフセットをアンカ・ブロックのオフセットに加算すると、与えられたブロックに対する絶対位置オフセットが決定される。例えば、図７では、ブロック７０４に対する拡張された垂直オフセットはｘ＝４でｙ＝６であり、相関係数＝０．９９である。そして、ブロック７０２に対する拡張された水平オフセットはｘ＝１でｙ＝−２であり、相関係数＝０．９８である。従って、経路７０４から７０２を経由して７０１までの合成された拡張されたオフセットは、それぞれの経路に対する値の合成である。すなわち、ｘ＝４＋１＝５であり、ｙ＝６−２＝４である。そして、合成された相関係数＝０．９９＊０．９８＝０．９７０２である。ｘ＝５及びｙ＝４というオフセットが位置オフセットであり、０．９７０２という相関係数が経路に対するスコアとして用いられる。絶対位置オフセットは、位置オフセットであるｘ＝５及びｙ＝４をアンカ・ブロック・オフセット（典型的にはｘ＝０及びｙ＝０）のオフセットに加算することによって決定することができる。つまり、絶対位置オフセットは、ｘ＝５＋０＝５であり、ｙ＝４＋０＝４である。

更に、アンカ・ブロックへは２以上の判然と区別される経路がありうる。例えば、図７に示されているように、ブロック７０４は、７０４から７０２を経由して７０１という経路と、７０４から７０３を経由して７０１という経路とを介して、アンカ・ブロック７０１に接続することができる。この２つの経路の中でどちらが最適な経路であるかを決定するために、それぞれの経路に沿って相関係数を乗算してその経路に対する値を得る。最高の相関値を有する経路が、最適な経路として選択される。位置オフセットと最適経路に沿って計算された絶対位置オフセットとが用いられ、それ以外の経路は廃棄される。

次に、イメージ７０４の検索されたブロックが、ビューワ・ウィンドウの中に描かれるが、これは、上述した計算された絶対位置オフセットだけもとの位置からずれている。上述したプロセス（相関値を計算し、位置オフセットや絶対位置オフセットを決定するなど）がすべてのブロックについて必要に応じて反復されると、関心領域のシームレスな（又は、ほとんどシームレスな）イメージが、ビューワ・ウィンドウの中に生じる。

次に、ユーザは、新たな視野が表示さえることを求める。上述したプロセス（すなわち、イメージ・ブロックを要求し、スレショルドを設け、接続基準をラベル付けアルゴリズムに適用して接続されたコンポーネントを決定し、アンカ・ブロックを選択して、最適経路に沿った位置オフセット及び絶対位置オフセットを決定し、描画する）が反復され、新たな視野が、ビューワ及びユーザに提供される。

既に明らかなように、この方法は、従来技術の場合と比較して、はるかに単純で計算論的にも負荷の低いレンダリング方式を表している。ある種の計算はアプリオリ二十コウされる（オフセット及び相関係数）が、動的な合成が見ることの機能として、そして、ユーザに提供される実際お視野の機能としてだけ生じる。視野が変化するときだけ、本発明のシステムは合成動作を実行するのであるが、それは、ディスプレイ上に現れる新たなコンテンツに関してだけ、又は、視野に寄与するように用いられなければならない新たなイメージ・ブロックについてだけである。

図１及び１２の画像化及びビューワ・システムは、様々な機能が離散的な機能ブロック図によって実行されるという形態で開示されている。しかし、これらの機能の多くは、これらのブロックの１又は複数の機能が例えば１又は複数の適切にプログラムされたプロセッサによって実現されるという構成において実現することも可能である。更に、様々な画像化システムや方法論が、それらの新規な特徴を明確に説明するために、別々な態様で説明されている。しかしこの技術分野の当業者であれば理解するように、この技術及び装置の多くは、本発明の有用性に影響を与えることなく、相互に組み合わせたり、一方によって他方を代替することが可能である。更に注意すべきは、上述した様々な運動や軸は、便宜的な軸概念を用いて説明したのであるが、そのような説明は、空間内における特定の方向又は特徴を意味しない。対物レンズの並進は、ステージ運動、ターレット運動、又は顕微鏡ヘッド自体の運動によって実現することができる。運動がスライド上のインデクス位置との関係で生じていて特徴付け可能であり測定可能であり反復可能である限りは、どのように運動が達成されるかは重要ではない。

更に、以上では本発明の原理を様々な流れ図の中に表されるステップのコンテキストの中で説明されている。本発明のステップは、説明された特定の順序で実行されることは必要なく、また、説明された特定の時期において実行されることも必要ない。本発明を実現するのに必要なのは、領域イメージ・ブロックの相対オフセット値の決定、一致する領域に対する相関値の計算、そして、仮想スライドの視野としての複数の領域イメージ・ブロックの動的な提供であり、表示されたイメージは、視野をベースにして、ずれを解消するように評価され調整されるだけである。

従って、以上では、本発明の原理を説明しただけである。この技術分野の当業者であれば、本発明の精神及び範囲から逸脱することなく本発明の原理を実現する多くの他の構成を作り出すことが可能であろう。この出願において説明し図面に示した実施例は、限定を意味するものではなく、冒頭の特許請求の範囲によってのみ範囲が画定される本発明を単に説明するためのものである。

本発明による、顕微鏡スライドのイメージを取得するのに用いられる画像化システムの簡略化されたほぼ概略的なブロック図である。 本発明の実施例による、顕微鏡スライドのイメージを走査し捕捉する方法を示す流れ図である。 本発明の実施例による、顕微鏡スライドの位置に基づいた態様で配置され重複したエッジ領域を有する４つのイメージを含む顕微鏡スライドの関心領域の例である。 合成された後で、位置合わせされたエッジの重複を有する４つのイメージを含む顕微鏡スライドの関心領域の例である。 本発明による、オフセット・ベクトルを計算し適用した後のイメージ・ブロックの位置の例を示す簡略化されたブロック図である。 本発明の原理による、イメージ・ブロックとアンカ・ブロックとの間の接続経路を一般的に示す図である。 本発明による、イメージ・ブロックをアンカ・ブロックに接続する接続経路の別の実施例である。 本発明による、２つの重複するイメージの間の網羅的な相関サーチのための例示的な方法を示す流れ図である。 図４の実施例と同様に、位置決めシステムの要求に従って位置決めされ適切に合成された重複するイメージ境界エッジを有する３つのイメージを図解するますの関心領域の例である。 イメージ・ブロックをディスク・ファイルに記憶するマトリクス・シーケンスの例であり、個々の領域ブロックにインデクスを付する方法が図解されている。 図３の実施例と同様に、重複する領域を除去することによって相互に合成された４つのイメージ・ブロックの例である。 本発明の原理を実現するのに敵したイメージ・ビューワ装置のほぼ概略的なブロックである。

Claims (20)

1. 顕微鏡光学視野の中を移動可能な物理材料サンプル・スライドが見ること及びイメージ捕捉のために支持されているタイプの顕微鏡システムにおいて、シームレスなエッジ画質特性を有するデジタル仮想スライドを見る方法であって、
   それぞれの物理スライドのために複数のデジタル領域イメージを定義するステップと、
   前記定義された複数のデジタル領域イメージに従って前記物理スライドを走査するステップと、
   前記物理スライドの全体のモザイク表現におけるそれぞれのイメージの位置に関連する位置インデクス計量に従って前記走査されたイメージを記憶するステップと、
   次の隣接する領域イメージ・ブロックに対して、正規化された相関サーチを実行するステップと、
   領域イメージ・ブロックと次の隣接する領域イメージ・ブロックとに対する相対位置オフセット値と相関係数との組を決定するステップと、
   前記領域イメージ・ブロックの一部を、ディスプレイの視野として見るステップと、
   相対位置オフセット値と相関係数との前記組に従って領域イメージ・ブロックの前記一部の複合物を合成することにより、前記一部を構成するブロックだけが合成されるようにするステップと、
   を含むことを特徴とする。
2. 請求項１記載の方法において、前記ディスプレイの視野を移動させることにより、追加的な領域イメージ・ブロックが表示され、前記合成するステップは、前記追加的な領域イメージ・ブロックに関してだけ実行されることを特徴とする方法。
3. 請求項１記載の方法において、
   それぞれの物理スライドに対し、それぞれの領域が少なくとも幅の寸法Ｗによって特徴付けられている面積を有する複数の領域を定義するステップと、
   前記顕微鏡が前記物理スライドに対して第１の位置に位置決めされている第１の定義された領域のイメージを捕捉するステップと、
   前記顕微鏡の位置を、Ｗと重複値（ＯｖｅｒｌａｐＸ）とによって特徴付けられた第２の位置に調整するステップと、
   第２の定義された領域のイメージを捕捉するステップと、
   を更に含んでおり、前記第２の領域と前記第１の領域とはＯｖｅｒｌａｐＸによって定義される重複領域の中に含まれるイメージ・データを共有していることを特徴とする方法。
4. 請求項３記載の方法において、前記決定するステップは、隣接する複数の領域の間の重複領域に含まれるイメージ・データに対して実行されることを特徴とする方法。
5. 請求項３記載の方法において、
   それぞれの物理スライドに対し、それぞれの領域が少なくとも高さの寸法Ｈによって特徴付けられている面積を有する複数の領域を定義するステップと、
   前記顕微鏡が前記物理スライドに対して第１の位置に位置決めされている第１の定義された領域のイメージを捕捉するステップと、
   前記顕微鏡の位置を、Ｈと第２の重複値（ＯｖｅｒｌａｐＹ）とによって特徴付けられた第２の位置に調整するステップと、
   第２の定義された領域のイメージを捕捉するステップと、
   を更に含んでおり、前記第２の領域と前記第１の領域とはＯｖｅｒｌａｐＹによって定義される重複領域の中に含まれるイメージ・データを共有していることを特徴とする方法。
6. 請求項５記載の方法において、前記決定するステップは、隣接する複数の領域の間の重複領域のいずれかに含まれるイメージ・データに対して実行されることを特徴とする方法。
7. 請求項５記載の方法において、請求項３の前記決定するステップは、隣接する複数の領域の間の重複領域の両方に含まれるイメージ・データに対して実行されることを特徴とする方法。
8. 請求項３記載の方法において、領域イメージ・ブロックと次の隣接する領域イメージ・ブロックとに対する相対位置オフセット値と相関係数との前記組は、正規化された相関サーチによって決定されることを特徴とする方法。
9. 請求項８記載の方法において、それぞれの領域イメージ・ブロックに関連する相対位置オフセット値と相関係数との前記組は、当該領域イメージ・ブロックに対応するデータ・セットとして記憶されることを特徴とする方法。
10. 請求項９記載の方法において、
    前記領域イメージ・ブロックの部分集合をディスプレイに表示するステップと、
    それぞれのブロックをその次の隣接するブロックに対して前記ブロックに対して決定された相対位置オフセット値の前記集合に従って位置決めすることにより、次の隣接する領域イメージ・ブロックの重複部分を結合するステップと、
    を更に含むことを特徴とする方法。
11. 請求項１０記載の方法において、相対位置オフセット値の前記集合は、アンカ・ブロックとの関係で次の隣接するブロックに適用されることを特徴とする方法。
12. 仮想顕微鏡スライドを表すデジタル・データを画像化する観察システムにおいて、領域イメージを相互にシームレスに結合して前記観察システムの視野を定義する複合イメージを作成する方法であって、
    物理顕微鏡スライドを、複数の複合領域イメージのマトリクスに分割するステップであって、それぞれの領域イメージは前記マトリクスの中にロー及びカラム・インデクス位置を有する、ステップと、
    前記物理顕微鏡スライドを、選択された対物レンズを用いて、前記対物レンズの視野が１つの複合領域イメージのサイズに等しくなるように、走査するステップと、
    現在の領域イメージと、次の隣接する領域イメージの特定された部分とを、前記２つのイメージが前記特定された部分においてイメージ・データを共有するように、重複させるステップと、
    前記現在のイメージとその次の隣接するイメージとに対するオフセット値の集合を決定して、前記現在のイメージに対する重複部分が前記次の隣接するイメージの重複部分と高度に相関するようにするステップと、
    前記次の隣接するイメージと合成された前記現在のイメージを、現在表示されているイメージのオフセット値を考慮せずに表示するステップと、
    を含むことを特徴とする方法。
13. 請求項１２記載の方法において、前記決定するステップは、前記決定されたオフセット値に基づく前記重複部分に対する相関係数の生成を更に含むことを特徴とする方法。
14. 請求項１３記載の方法において、
    仮想顕微鏡スライドの現在用いられている視野を表すのに前記複合領域イメージの中のどの特定のイメージが必要なのかを評価するステップと、
    前記複合領域イメージの中の前記特定のステップを、オフセット値の前記対応する集合と関連する相関係数と共に検索するステップと、
    検索された領域イメージを、前記マトリクスの中のその公称のインデクス位置に従ってビューワの中で発見するステップと、
    次の隣接するイメージの相関係数値とスレショルド値とを比較するステップと、
    前記スレショルド以上の相関係数値を有する次の隣接する複数のイメージの間の正の接続基準を定義するステップと、
    次の隣接するイメージの重複部分が前記２つの次の隣接イメージの間のシームレスなエッジを定義するように、前記検索されたイメージを相互に配置するステップと、
    を更に含むことを特徴とする方法。
15. 請求項１４記載の方法において、
    接続されたコンポーネントのラベル付けアルゴリズムを前記複数の領域イメージに適用するステップと、
    共通のアルゴリズム的なラベルを、関連する正の接続基準を有する領域イメージ・ブロックに割り当てるステップと、
    共通のアルゴリズム的なラベルを有するイメージ・ブロックを接続されたコンポーネントに形成するステップと、
    を更に含むことを特徴とする方法。
16. 請求項１５記載の方法において、現在のイメージ・ブロックと次の隣接するイメージ・ブロックとのいずれかから、前記重複領域に含まれるデジタル・イメージ・データを表すものとして１つの重複領域が選択され、前記検索されたイメージは、前記２つの隣接したイメージの間のシームレスなエッジを定義するように、相互に位置決めされることを特徴とする方法。
17. 顕微鏡の光学視野の中を移動可能な物理材料サンプル・スライドが観察及びイメージ捕捉のために支持されているタイプの顕微鏡システムであって、
    それぞれが対応する倍率を有する複数の顕微鏡対物レンズを保持する回転可能なターレットを含む顕微鏡と、
    直交する平面軸に沿って移動可能であり、ロボット制御されるサンプル・ステージと、
    前記軸のそれぞれに沿って、当初のインデクス位置に対する前記ステージの現在の位置を決定する手段と、
    前記ステージに結合されており、物理スライドがメモリ・データ記憶装置の中へのデジタル・データとして走査されるようにステージ移動を制御するプロセッサであって、前記物理スライドは、複数の複合イメージ・ブロックのマトリクスとして表され、それぞれのイメージ・ブロックは前記マトリクスの中の対応するロー及びカラム位置を有する、プロセッサと、
    を備えており、それぞれのイメージ・ブロックは、第１及び第２の方向の寸法によって特徴付けられ、前記プロセッサにより、次の隣接するイメージ・ブロックは、それらのイメージ・ブロックの間に特定され再生可能な重複部分が生じるように走査されることを特徴とする顕微鏡システム。
18. 請求項１７記載のシステムにおいて、相関プロセッサを更に備えており、前記相関プロセッサは、次の隣接するイメージ・ブロックの間に前記第１及び第２の方向に沿ったオフセット値を決定し、前記オフセット値は、前記次の隣接するイメージ・ブロックを、これらのイメージ・ブロックの重複部分がシームレスなエッジ領域として現れるように相互に位置決めするのに必要な相対位置決めベクトルを定義することを特徴とするシステム。
19. 請求項１８記載のシステムにおいて、
    前記複合イメージ・ブロックの前記マトリクスの一部を、前記物理スライドの高解像度の部分イメージとして表示するのに敵したビューワと、
    マイクロプロセッサの動作制御の下にあるイメージ合成手段であって、観察のために複合的なイメージ・ブロックを提供し、それらの定義された相対位置決めベクトルに従って次の隣接するブロックを相互に合成するイメージ合成手段と、
    を更に備えており、前記イメージ合成手段は、前記ビューワにおいて所望の視野を構築するのに必要なイメージ・ブロックだけを合成することを特徴とするシステム。
20. 請求項１９記載のシステムにおいて、前記イメージ合成手段は、ユーザが前記第１及び第２の方向に沿った新たな視野への移動を生じさせるときには、結果的なイメージ・ブロックを１つの視野に合成するように動作することを特徴とするシステム。

Images