JP2017526011A - 広視野顕微鏡スキャンにおける埋め込み画像のためのシステムおよび方法 - Google Patents

Abstract

顕微鏡によって取り込まれた画像を獲得し、組み合わせるための方法およびシステムが提供される。本方法は、撮像デバイスを使用して顕微鏡から新しい画像を取り込むことと、新しい画像と以前の画像とを比較して新しい画像の推定位置を提供することと、新しい画像の推定位置に基づいて、メモリに記憶されたスキャンの隣接キーフレームを識別することと、新しい画像と識別したキーフレームとを比較して隣接キーフレームからの新しい画像の相対変位を決定することと、新しい画像の相対変位に基づいて、新しい画像の位置を決定することと、を含む。本システムは、顕微鏡と、顕微鏡を通して画像を取り込むための、顕微鏡に結合されたカメラと、カメラに結合されたコンピューティングデバイスであって、メモリ、および本明細書で説明されるような方法を行うように構成され、適合されるプロセッサを備える、コンピューティングデバイスと、を備える。

Description

多くの臨床研究において、広視野顕微鏡画像の獲得は、極めて有益である。自動顕微鏡［１］または手動ステージ顕微鏡［２］を使用する多くの技法が提案されている。本文書において、スキャンは、標本の広視野を網羅する、大きい画像と称される。スキャンは、図１Ａのように、標本の多数のより小さい画像で、または図１Ｂのように、統合された画像で構成することができる。図１Ａにおいて、より小さい画像は、キーフレームと称される。キーフレームの相対的な場所は、先験的に知られている。これは、自動スキャンシステムまたは画像ベースの技法［２］を使用して行うことができる。一般性を失うことなく、本文書の残り部分については、スキャンが同じサイズを有する多数のキーフレームで構成されることが想定される。

本開示の実施形態は、以下、単なる一例として添付図面を参照しながら説明される。

多数のより小さい画像を備える標本のスキャンの図である。 単一の統合された画像を備える標本のスキャンの図である。 埋め込みスキャンを有するスキャンの図である。 本開示の一実施形態によるシステムの概略図である。 元々のスキャンの倍率よりも小さい倍率を有する対物レンズによって取り込まれた新しい画像を有する第１のスキャンの図である。 元々のスキャンの倍率よりも大きい倍率を有する対物レンズによって取り込まれた新しい画像を有する第１のスキャンの図である。 本開示の一実施形態による、画像をローカライズするプロセスを例示するフローチャート図である。 本開示の一実施形態による、フレームのローカライゼーション情報を決定するためのプロセスを例示するフローチャート図である。 本開示の一実施形態による、全数探索の様々な繰り返しにおけるキーフレームの選択の概略図である。 相対倍率を修正するプロセスの概略図である。 本開示の一実施形態による、マルチ対物レンズのスキャンのユーザインターフェースを例示する図である。 本開示の一実施形態による、マルチ対物レンズのスキャンのユーザインターフェースを例示する図である。 本開示の一実施形態による、Ｚスタックを手動で記録するためのシステムセットアップを例示する概略図である。 本開示の一実施形態による、Ｚスタックを確認するためのユーザインターフェースの図である。 本開示の一実施形態による、スキャンを確認するためのユーザインターフェースの図である。 本開示の一実施形態による、Ｚスタックの場所を示すスキャンを確認するためのユーザインターフェースの図である。

序論
問題の定義
よく見られる使用事例を考慮すると、科学技術者または臨床医には、標本の一部をより高い解像度で観察すること、またはｚ軸において一部分を調査することが有益であり得る。換言すれば、異なる倍率または深さによって獲得される他の画像を主スキャンの中へ埋め込むことが有益である。画像は、ステージを空間的に移動させることによって獲得される、または顕微鏡の焦点を変えることによって獲得される、いずれかの一群の画像である。この文書の残り部分について、前者は、マルチ対物レンズスキャニングと称され、一方で後者は、Ｚスタックと称される。このような特徴の前提条件は、広視野スキャン内で任意の対物レンズによって獲得される画像の正確なローカライゼーションであることに留意されたい。図２は、高倍率の対物レンズおよびＺスタックによって取り込まれた埋め込みスキャンを有するスキャンを示す。図２に示されるように、元々のスキャンは、異なる対物レンズの倍率によって取り込まれる別のスキャンを含む場合があり、または異なる焦点／深さによって取り込まれる画像であるＺスタックを有する場合がある。

上述した特徴は、画像のライブ獲得とともに、モーター付きステージを有する顕微鏡に提供されるが、手動ステージでは利用できない。本明細書で説明されるいくつかの実施形態は、これらの特徴を集合的に提供するシステムを評価する。

本開示では、手動顕微鏡に搭載されたカメラから画像のストリームが獲得され、標本のライブデジタル画像を提供することが想定される。カメラの最新のデジタル画像は、以下、現在画像フレームと称される。ユーザは、手動ステージおよび顕微鏡の焦点調節を制御する。ユーザは、自分が対物レンズを切り替えるときにシステムに通知する。次いで、システムは、既に取り込まれたスキャン内のライブ画像を自動的にローカライズする。ユーザはまた、Ｚスタックを獲得するために自分が焦点を変化させようとするときにもシステムに通知するができる。図３は、システムハードウェアの概要を示す。図３に示されるように、手動顕微鏡には、処理コンピュータにリアルタイム画像をストリーミングするカメラが搭載される。画像は、リアルタイムに処理され、ディスプレイ上で視覚化が行われる。

本開示は、本明細書で開示される実施形態の３つの態様を網羅する。第１は、スキャン内の画像のローカライゼーションであり、これは、「マルチ対物レンズのローカライゼーション」の節において提示される。第２は、このようなスキャンを元々のスキャン内で異なる対物レンズでステッチし、埋め込むための提案されたシステムであり、これは、「マルチ対物レンズのスキャニング」の節において提示される。第３は、スキャン内に埋め込まれたＺスタックを記憶し、管理するための提案されたシステムであり、これは、「Ｚスタック」の節において提示される。

マルチ対物レンズのローカライゼーション
スキャンを考慮すると、マルチ対物レンズのローカライゼーションは、スキャンの再構築において使用される対物レンズと異なる対物レンズによって取り込まれる画像のストリームのローカライゼーションと定義される。図４Ａおよび４Ｂは、２つの異なるシナリオを示し、図中、画像（斜線で示される）は、より大きい倍率またはより小さい倍率を使用して取り込まれる。図４Ａにおいて、現在画像フレームは、元々のスキャンの倍率よりも小さい倍率を有する対物レンズによって取り込まれる。図４Ｂにおいて、現在画像フレームは、元々のスキャンの倍率よりも大きい倍率を有する対物レンズによって取り込まれる。画像は、スキャンの１つ以上のキーフレームとの重なりを有することができる。画像は、元々サイズ

を有するが、元々のスキャンに対する相対倍率によってスケーリングすることができる。例えば、元々のスキャンが１０倍の対物レンズによって取り込まれ、現在画像フレームが４０倍の対物レンズによって取り込まれる場合、画像は、０．２５倍にスケーリングすることができる。元々のスキャンに対して時間ｔに取り込まれる現在フレームの位置は、
Ｐ_ｔで表される。

ローカライゼーションは、一連の画像マッチングを介して行われる。次の節では、マッチングプロセスが説明される。

２つのフレームの登録
特徴検出
特徴検出は、現在画像フレームに対して行われる。この特徴は、画像登録（リンキング）に使用される。特徴検出の結果は、一組の特徴であり、それぞれが一組の特性を含むことができる。
・画像座標（ｘ，ｙ）の位置
・スケールおよび方向などの幾何学的特性
・特徴の周囲の画像パターンを説明するために使用される画像特性

２つのフレームのマッチング
フレームのマッチングは、該フレームの特徴をマッチさせることによって行われる。多くの技術は、この目的のために提案されている［２］［３］。双方の画像において特徴の長いリストが検出されることを想定すると、この部分は、２つのステップを含む（フレームは、基準フレームおよびマッチングフレームと称される）：
１．基準フレームの特徴毎に、マッチングフレームの中の最も近い特徴を見つける。最も近い特徴は、最も類似する特性を有するはずである。
２．マッチした特徴に基づいて、変位を集合的に見つける。

追跡、リンキング、およびローカライゼーションの定義
画像のストリームを考慮すると、本文書における追跡という用語は、以前のフレームに対する現在フレームのマッチングを指す。マッチングがｄの変位をもたらすことを想定すると、現在フレームの位置は、Ｐ_ｔ＝Ｐ_ｔ−１＋ｄとして推定される。現在フレームは、それが以前のフレームとのマッチングに成功した場合に、追跡されていると呼ばれる。

「リンキング」という用語は、本明細書で使用されるときに、キーフレームに対する現在画像フレームのマッチングを指す。現在画像フレームは、それがキーフレームの少なくとも１つとのマッチングに成功した場合に、リンクされていると呼ばれる。

「ローカライゼーション」という用語は、本明細書で使用されるときに、追跡およびリンキングに基づく現在フレームの位置が正しいかどうかを判定することを指す。現在画像フレームは、スキャンにおけるその位置が正しい場合に、ローカライズされていると呼ばれる。
ローカライゼーションプロセス

異なる対物レンズの倍率で獲得されるキーフレーム内の現在画像フレームのローカライゼーションのプロセスである、ローカライゼーションプロセスは、図５に示され、以下のように概説される。
１．現在画像フレームを前処理し、特徴を抽出する。
２．新しいフレームの中の特徴の位置

およびスケールＳ_ｉを、このフレームおよびキーフレームの倍率の違いに従ってスケーリングする。新しいフレームがｍ_ｎの倍率を有し、キーフレームがｍ_ｋの倍率を有すると想定する。
したがって、位置およびスケールは、以下のようにスケーリングされる。

３．追跡。現在画像フレームがその位置を推定するために以前のフレームとマッチされる。
４．リンキング。次に、現在画像フレームを隣接キーフレームにマッチさせてその場所を修正し、追跡によってもたらされる不正確なマッチングが蓄積する可能性を取り除く。

リンキングは、マルチ対物レンズのマッチングの事例において常に成功するとは限らない。したがって、追跡情報をリンキング情報と組み合わせて現在フレームの位置を決定する。このプロセスは、次の節で説明される。

２．４正確なローカライゼーションのための追跡およびリンキングの組み合わせ
現在画像フレームの位置は、リンキングおよび追跡情報に基づいて推定される。現在画像フレームは、それが連結または追跡され、以前の画像フレームがローカライズされる場合にローカライズされる。この論理は、図６に示され、該図は、現在画像フレームの正確なローカライゼーションのための追跡およびリンキング情報の組み合わせを説明する図である。対物レンズの光学特性の違いが、画像の変化をもたらす場合がある。こうした変化は、対物レンズ間での画像のマッチングを失敗させる場合がある。ローカライゼーションアルゴリズムのロバスト性を向上させるために、画像ローカライゼーションのための代替方法として、追跡をアルゴリズムに加えることができる。

２．５全数探索
以前のステップにおいて現在画像フレームがローカライズされなかった場合、アルゴリズムは、全数探索状態に入る。このステップでは、キーフレームが、現在画像フレームまでのそれらの距離に従ってソートされる。以前のステップとは対照的に、この時点では、これらのキーフレームのすべてではなく一部分だけがフレームにリンクされる。これは、全数探索がシステムのリアルタイム性能を妨げることを防止するために行われる。ｎ個のキーフレームが、現在画像フレームまでのそれらの距離に基づいてソートされることを想定する。：

全数探索の最初に、第１のｍ個の要素

だけが処理される。リンキングが成功しなかった場合には、次のフレームについて、第２のｍ個の要素

が処理される（図７を参照されたい）、などである。図７は、現在画像フレームがその隣接キーフレーム内でローカライズされない事例における全数探索を例示し、すべてのキーフレームが、現在画像フレームまでのそれらの距離に関してソートされ、各繰り返しにおいて、キーフレームの一部分だけが、現在画像フレームのローカライゼーションについて調査される。現在画像フレームは、各繰り返し時に更新されるので、基準フレームは、同じままではない。しかしながら、全数探索は、１秒足らずですべてのキーフレームを巡回することができるので、基準フレームは、それほど移動しないと想定することができる。

相対倍率の修正
対物レンズに示される倍率は、必ずしも正確であるとは限らない。例えば、１０倍の対物レンズは、１０．０１の倍率を有する場合がある。正確な倍率は、物理的な較正を使用して達成することができる。しかしながらこのような情報がない場合は、画像マッチングのプロセスにおいて、異なる対物レンズ間の「相対」倍率を見つけることができる。キーフレームの中の特徴のいくつかと現在画像とが、互いに正しくマッチされることを想定する。各特徴は、ある位置を有し、また、ある点として表すことができることに留意されたい。基準フレームの中のマッチした特徴は、

として列記することができ、マッチングフレームの中のマッチしたフレームは、

として列記することができる。同じインデックスを有する特徴がマッチし、すなわち、
ｒ_ｉがｍ_ｉに対応する。図８は、このような相関関係を示し、また、２つのフレームの間の変位を見つけるための以前の手法も示す。相対倍率の修正を例示する図８に示されるように、これは、現在画像フレームおよびマッチングキーフレームのマッチした特徴に対して行われるプロクルステス分析［４］を介して行うことができる。フレームは、変位の後にほぼマッチされるが、２つのフレームの間には、依然として相対スケールが存在する。したがって、２つのフレーム間の相対スケールは、適切に再算出されなければならない。各点がｘおよびｙ双方の成分を有することを想定する。：

最初に、すべての成分の平均を算出する：

次に、点セット毎のスケールを算出する：

次いで、正確な相対倍率を

として算出し、
式中、ｓは、元々は対物レンズの先見的な知識に基づいて算出した相対倍率である。例えば、１０倍および４０倍の対物レンズ場合は、ｓ＝０．２５である。

マルチ対物レンズのスキャニング
複数のスキャンのリンキング
ユーザは、異なる対物レンズによって取り込まれた画像をステッチし、別のスキャンを作り出すように選択することができる。このようなステッチングのための多くの技術が提案されている［２］。この状況において、このスキャンと元々のスキャンとの間に親子関係が確立される。対応する座標空間を関連させるために、２つのスキャンの間にリンクがセットアップされる。子スキャンにおいてｎ個のフレームが取り込まれることを想定する。これらのフレームのステッチングは、

の位置をもたらす。また、マルチ対物レンズのローカライゼーションを使用することによって、親スキャン内のこれらのフレームの位置が見つけられる。：

これらの座標空間を関連させるために、プロクルステス分析［４］を使用することができ、ここで、未知のものは、平行移動およびスケールである。

ユーザインターフェース
ユーザは、任意のときに異なる対物レンズに切り替えることができる。ユーザはまた、選択した対物レンズでスキャニングを開始することもできる。この時点で、親対物レンズによって取り込まれた以前のスキャンは、背景の中に半透明で示される。これは、ユーザが２つのスキャンを互いに関連させるための視覚的支援を提供する。スキャンを完了した後に、ユーザは、再度親対物レンズに切り替えることができる。この時点で、異なる対物レンズによって取り込まれたスキャンは、半透明で示され、クリックすることができる。ユーザのクリックによって、スキャンビューを切り替えて、子スキャンをアクティブにする。すなわち、４０倍のスキャンが不透明になり、一方で、１０倍のスキャンが半透明になる。図９Ａおよび９Ｂは、マルチ対物レンズのスキャンのユーザインターフェースの概要を示し、該図において、ユーザは、対物レンズを切り替え、各スキャンを別々に修正することができ、一方で、他のスキャンは、半透明に見える。

マルチ対物レンズのスキャンの記録
親スキャンおよびその子スキャンは、それら自体のファイルフォーマットを使用して保存される。子スキャンは、追加的なファイルを使用して親スキャンにリンクさせることができる。子スキャンファイルへの経路および親スキャン内の子スキャンの位置などの情報が、このファイルに記録される。

Ｚスタック
顕微鏡検査における試料のデジタル化は、通常、大きい２Ｄスキャンを取り込むことによって達成される。この解決策は、大部分の状況に当てはまるが、狭い被写界深度を取り込むことだけしか可能にせず、ある特定の試料の分析に有益な情報を剥ぎ取ってしまう。この問題の解決策は、Ｚスタックの取り込みである。Ｚスタックは、異なる焦点面において同じ標本を表す画像のスタックとして定義される。理論的には、スキャンのスタックに至る試料全体のＺスタックを取り込むことができる。しかしながら、スキャンを構成する画像が高解像度であるため、スキャンのスタックは、あまりに多くのメモリ空間を必要とするので、実際的でなくなる。

この節は、標本の限定された領域を網羅するＺスタックを記録し、試料全体を網羅するスキャンに該スタックを添付することによって、メモリ使用量を低減させるための方法を提案する。この解決策は、メモリ使用量を少なく保ちながら、分析のためのスキャンの十分な深さ情報を提供するといった利点を有する。

この節は、２つの部分に分けられる。顕微鏡を使用してＺスタックを記録し、視覚化するためのワークフローが第１の節において説明され、Ｚスタックのスキャンへの添付が第２の節において説明される。

Ｚスタックの記録
ハードウェアのセットアップ
図１０に示されるように、Ｚスタックは、顕微鏡に搭載されるデジタルビデオカメラを使用して記録することができる。図１０において、本システムセットアップは、画像を取り込むカメラが搭載される顕微鏡を備え、一方で、顕微鏡ステージは、異なる深さで移動する。カメラが、顕微鏡の下に配置された標本を一定の時間間隔で取り込んでいる間、試料が異なる深さで確認されるように顕微鏡ステージを移動させることができる。その結果、カメラによって取り込まれた画像は、再グループ化して、記録中に生じたステージの移動の量だけによって制限される深さの範囲で、試料の同じ場所を表す画像のスタックを形成することができる。この方法は、必ずしも深さ情報の分析に限定されるとは限らず、記録中にステージを横方向／空間的に移動させることによって、試料のある領域を記録するために使用することができることに留意されたい。

Ｚスタックの視覚化
Ｚスタックは、図１１に示されるように一度に１つのフレームを視覚化し、該図は、Ｚスタックを確認するためのユーザインターフェースを例示する。Ｚスタックを通り抜けるための異なる方法がある。第１の方法は、ビデオの再生に類似する方法における記録速度と同じ速度（または、速度の係数）で、最初から最後までＺスタックを再生することである。第２の方法は、マウスのスクロールホイールを使用して、またはマウスによって現在フレームのカーソルをドラッグして、フレームを通してスクロールし、Ｚスタックに沿って前方または後方に進めることを可能にすることである。最後の方法は、図１１に示されるように、スライダーを使用して任意のランダムなフレームを選択して、スタック内を確認することである。

ユーザインターフェースは、Ｚスタックの最初および最後をトリミングするなどの、他の特徴を有することができることに留意されたい。例えば、Ｚスタックを手動で記録するユーザは、ソフトウェアの「記録」ボタンをクリックし、ユーザの顕微鏡を準備するためにいくらか時間をとり、次いで、焦点ノブまたはステージを駆動して、対象の焦点面および領域を取り込む。これらの動作の間に取り込まれたフレームは、トリミングしてＺスタックのサイズを低減させることができる。

Ｚスタックは、多くのメモリ空間を使用し得るので、視覚化されているスタック全体をメモリに保持しておくことは困難である。この問題に適応するために、Ｚスタックをハードディスクに保存されるファイルに保持し、現在表示されているフレームだけをロードすることが可能である。しかしながら、これは、Ｚスタックを保存するために使用されるファイルフォーマットが、スタック内のフレームのランダムアクセスを可能にすることが想定される。この課題を解決するために、次の節で、保存技法が提案される。

Ｚスタックの保存
高解像度画像を含むＺスタックは、メモリ空間に関して高コストになり得る。よって、スタックの画像を圧縮することは、Ｚスタックの記録における重要なステップになる。以前の節で述べたとおり、Ｚスタックの画像は、任意の順序でファイルから直接視覚化することができる。圧縮アルゴリズムは、Ｚスタック内のランダムなフレームの復号化を可能にする。故に、標準ビデオ圧縮プロセスの使用は、このようなプロセスが一時的な様式で画像を圧縮するので、通常注記適切であり、Ｚスタックにおける隣接画像間の必然的な依存性につながる。ビデオ圧縮アルゴリズムは、大きい圧縮比を提供するが、Ｚスタックにおける任意の画像ｎの解凍は、以前の画像ｎ−１の解凍を必要とし、その結果、Ｚスタックの第１のフレームに到達するまで、以前の画像の解凍を必要とする。この解凍方法は、最初から最後への順序でビデオを読み出すときにだけ適切である。しかしながら、Ｚスタックの全体を通したフレームのランダムアクセスには適さない。１つの解決策は、Ｚスタックのフレームを別個の画像として個々に圧縮することである。これは、最良の圧縮比を提供することはできないが、Ｚスタックを読み出すための要件を満たす。次いで、これらの圧縮画像は、ＴＩＦＦなどの多層画像ファイルフォーマットで保存することができる。

Ｚスタックのスキャンへの添付
Ｚスタックは、試料の限定された領域しか網羅しないので、標本を分析するための十分な情報を提供しない場合がある。しかしながら、スキャン内でローカライズされたときに、強力な特徴になる。この部分は、Ｚスタックを、顕微鏡およびデジタルビデオカメラを使用して手動で記録された試料スキャンの中へ埋め込むための装置を提案する。

Ｚスタックの記録
この節は、顕微鏡およびデジタルカメラを使用して試料を手動でスキャンするためのシステムを有することを想定する。このようなシステムのユーザインターフェースは、図１２に示されるように、スキャンのビュー、ならびにカメラによって取り込まれた現在画像フレームの位置を備える。中央の四角形は、スキャンに対するカメラの現在位置を示す。

対象の領域を見つけたときに、ユーザは、「Ｚスタックの記録」の節で説明したように、ボタンをクリックすることによって、新しいＺスタックの記録を開始することができる。記録されたときに、Ｚスタックの位置は、手動スキャンシステムのローカライゼーションアルゴリズムを使用して分かっている。ユーザは、顕微鏡ステージを横方向に自由に移動させることができるので、システムは、Ｚスタック全体の位置を、記録される第１のフレームの場所に設定することに留意されたい。長方形を有するスキャンに注釈を付けることによって、Ｚスタックとスキャンとの間にリンクが確立される。長方形の位置およびサイズは、Ｚスタックの１つにマッチし、又、クリックして、「Ｚスタックの視覚化」の節で説明したＺスタックのビューアを開くことができる（図１３を参照されたい）。図１３において、Ｚスタックは、スキャンにおいてローカライズされ、そして、半透明の画像を有する輪郭長方形として示される。これらの長方形は、クリック可能であり、Ｚスタックを確認するための別の窓を開く。

「マルチ対物レンズのローカライゼーション」の節で説明されるローカライゼーションアルゴリズムは、スキャンのために使用した倍率とは異なる倍率を有する対物レンズを使用してＺスタックを記録するときに、現在フレームの位置の推定だけを提供する。この推定は、記録されたＺスタックの位置の精度を保証することができない。この課題の解決策は、ユーザが、マウスを使用してスキャン内のＺスタックを表す長方形の注釈をドラッグすることによって、スキャンに対するＺスタックの位置を精緻化することを可能にすることである。長方形の注釈の半透明の内側にＺスタックの画像の１つを描画することによって、視覚フィードバックをユーザに提供することができる。これは、Ｚスタックとスキャンとの間の重なりを見ることができるので有益であるが、長方形の内側に描画されるフレームは、スキャンと同じ焦点面に記録されることを想定する。選択したフレームを説明されるようにすることを確実にするためのいくつかの方法がある。スキャンが鮮明な画像で慎重に構成される場合、スキャンに最良にマッチするように、Ｚスタック内の最も鮮明なフレームを選択することができる。別の可能性は、記録される第１のフレームを常時選択することであるが、これは、スキャンと同じ焦点面から始めてＺスタックが記録されることが想定される。
これは、記録する対象の領域をユーザが見つけた時点で記録を開始するので、許容可能な想定である。この領域は、スキャンを閲覧することによってだけ見つけることができ、該閲覧は、カメラを移動させ、一方で、スキャンと同じ焦点面に存在する。

Ｚスタックとスキャンとの間のリンクの保存
スキャンおよびＺスタックは、それら自体のファイルフォーマットを使用して保存される。この構造は、柔軟性のために保たれるべきである。したがって、スキャンとそのスキャンに記録されるＺスタックとの間の関係を記憶するために、追加ファイルが作り出されるべきである。このファイルは、スキャンおよび個々のＺスタックのファイルへのパス名を含むべきである。また、スキャンに対するＺスタックの位置も含むべきである。

前述の説明では、実施形態の完全な理解を提供するために、説明の目的で多数の詳細が記載される。しかしながら、これらの具体的な詳細は、必要とされないことが当業者には明らかになるであろう。他の事例では、理解を不明瞭にしないために、よく知られている電気構造および回路がブロック図の形態で示される。例えば、本明細書で説明される実施形態が、ソフトウェアルーチン、ハードウェア回路、ファームウェア、またはこれらの組み合わせとして実施されるかどうかに関する具体的な詳細は提供されない。

本開示の実施形態は、機械可読媒体（コンピュータ可読媒体、プロセッサ可読媒体、またはその中に具現化されるコンピュータ可読プログラムコードを有するコンピュータ使用可能媒体とも称される）に記憶されるコンピュータプログラム製品として表すことができる。機械可読媒体は、磁気、光、またはディスケット、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、メモリデバイス（揮発性もしくは不揮発性）、もしくは類似する記憶機構を含む電気記憶媒体を含む、任意の適切な有形の非一時的な媒体とすることができる。機械可読媒体は、様々な複数組の命令、コードシーケンス、設定情報、または実行されたときにプロセッサに本開示の実施形態による方法のステップを行わせる他のデータを含むことができる。当業者は、記載される実現形態を実施するために必要な他の命令および動作もまた、機械可読媒体に記憶することができることを認識するであろう。機械可読媒体に記憶される命令は、プロセッサまたは他の適切な処理デバイスによって実行することができ、記載されるタスクを行うために回路とインターフェースをとることができる。

上で説明した実施形態は、単なる実施例であることが意図される。変更、修正、および変形を、当業者によって特定の実施形態に生じさせることができる。特許請求の範囲の範囲は、本明細書に記載される特定の実施形態によって限定されるべきではなく、総じて明細書と一致する様式で制限されるべきである。
非特許文献
以下の非特許文献は、参照によりその全体が本明細書に組み込まれる。
［１］「ＢＺ−９０００ Ａｌｌ−ｉｎ−ｏｎｅ Ｆｌｕｏｒｅｓｃｅｎｃｅ Ｍｉｃｒｏｓｃｏｐｅ，」 Ｋｅｙｅｎｃｅ Ｃｏｒｐｏｒａｔｉｏｎ，［Ｏｎｌｉｎｅ］．入手先：ｈｔｔｐ：／／ｗｗｗ．ｋｅｙｅｎｃｅ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｍｉｃｒｏｓｃｏｐｅ／ｆｌｕｏｒｅｓｃｅｎｃｅ−ｍｉｃｒｏｓｃｏｐｅ／ｂｚ−９０００／ｉｎｄｅｘ．ｊｓｐ．
［２］Ｈ．ａ．Ｌ．Ｌ．ａ．Ｃ．Ｂ．ａ．Ａ．Ｍ．ａ．Ｌ．Ｓ．ＬＯ，「Ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｆｏｒ ｄｉｇｉｔａｌ ｍｉｃｒｏｓｃｏｐｙ ｉｍａｇｉｎｇ」．２０１３．
［３］Ｔｈｅ ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｓｅｖｅｎｔｈ ＩＥＥＥ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ，１９９９での、Ｄ．Ｇ．Ｌｏｗｅ，「Ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｆｒｏｍ ｌｏｃａｌ ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ，」．
［４］Ｇ．Ｄ．Ｊ．Ｃ．Ｇｏｗｅｒ，Ｐｒｏｃｒｕｓｔｅｓ Ｐｒｏｂｌｅｍｓ，Ｏｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ，２００４．

Claims (17)

1. システムであって、
   顕微鏡と、
   前記顕微鏡を通して画像を取り込むための、前記顕微鏡に結合されたカメラと、
   前記カメラに結合されたコンピューティングデバイスであって、
   メモリ、および
   プロセッサであって、
   前記カメラから新しい画像を獲得し、
   以前の画像と前記新しい画像とを比較して前記新しい画像の推定位置を提供し、
   前記新しい画像の前記推定位置に基づいて、前記メモリに記憶されたスキャンの隣接キーフレームを識別し、
   前記新しい画像と前記識別したキーフレームとを比較して前記隣接キーフレームからの前記新しい画像の相対変位を決定し、そして、
   前記隣接キーフレームからの前記新しい画像の前記相対変位に基づいて、前記新しい画像の位置を決定するように構成され、適合される、
   プロセッサを備える、
   コンピューティングデバイスと、
   を備える、システム。
2. 前記プロセッサが、
   前記新しい画像がローカライズされたかどうかを判定し、
   前記画像がローカライズされていなかった場合に、全数探索を行って前記新しい画像の位置を決定するようにさらに構成される、請求項１に記載のシステム。
3. 前記全数探索が、各繰り返しにおいて前記キーフレームの一部分を選択し、前記新しい画像と前記キーフレームの選択した一部分とを比較することによって繰り返しで行われる、請求項２に記載のシステム。
4. 前記コンピューティングデバイスに結合されたディスプレイをさらに備え、
   前期プロセッサが、前記スキャンおよび前記新しい画像を前記ディスプレイにレンダリングするようにさらに構成される、請求項１に記載のシステム。
5. 前記プロセッサが、前記新しい画像を既存のスキャンに埋め込むようにさらに構成される、請求項１に記載のシステム。
6. 前記プロセッサが、ｚスタックを既存のスキャンに埋め込むようにさらに構成され、前記ｚスタックが、異なる深さで取り込まれた前記試料の一組の画像である、請求項１に記載のシステム。
7. 前記プロセッサが、前記ｚスタックの中の各画像のランダムアクセスを許可する様式で前記ｚスタックを圧縮するようにさらに構成される、請求項６に記載のシステム。
8. 入力デバイスをさらに備え、前記プロセッサが、前記既存のスキャンに対して埋め込み画像を移動させるためのユーザ入力を受け付けるようにさらに構成される、請求項１に記載のシステム。
9. 顕微鏡によって取り込まれた画像を獲得し、組み合わせる方法であって、
   撮像デバイスを使用して前記顕微鏡から新しい画像を取り込むことと、
   前記新しい画像と以前の画像とを比較して前記新しい画像の推定位置を提供することと、
   前記新しい画像の前記推定位置に基づいて、メモリに記憶されたスキャンの隣接キーフレームを識別することと、
   前記新しい画像と前記識別したキーフレームとを比較して前記隣接キーフレームからの前記新しい画像の相対変位を決定することと、
   前記新しい画像の前記相対変位に基づいて、前記新しい画像の位置を決定することと、
   を含む、方法。
10. 前記新しい画像がローカライズされたかどうかを判定することと、
    前記画像がローカライズされていなかった場合に、全数探索を行って前記新しい画像の位置を決定することと、をさらに含む、請求項９に記載の方法。
11. 前記全数探索が、各繰り返しにおける前記キーフレームの一部分を選択し、前記新しい画像と前記キーフレームの選択した一部分とを比較することによって繰り返しで行われる、請求項１０に記載の方法。
12. 前記スキャンおよび前記新しい画像を前記ディスプレイにレンダリングすることをさらに含む、請求項９に記載の方法。
13. 前記新しい画像を既存のスキャンに埋め込むことをさらに含む、請求項９に記載の方法。
14. ｚスタックを既存のスキャンに埋め込むことをさらに含み、前記ｚスタックが、異なる深さで取り込まれた前記試料の一組の画像である、請求項９に記載の方法。
15. 前記ｚスタックの中の各画像のランダムアクセスを許可する様式で前記ｚスタックを圧縮することをさらに含む、請求項１４に記載の方法。
16. 入力デバイスにおいてユーザ入力を検出し、前記ユーザ入力に応答して、前記既存のスキャンに対して埋め込み画像を移動させることをさらに含む、請求項９に記載の方法。
17. プロセッサによって実行して、請求項９〜１６のいずれか一項に記載の方法を行うためのステートメントおよび命令を記憶する、非一時的なコンピュータ可読メモリ。