JP7128203B2 - スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 - Google Patents

スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 Download PDF

Info

Publication number
JP7128203B2
JP7128203B2 JP2019555778A JP2019555778A JP7128203B2 JP 7128203 B2 JP7128203 B2 JP 7128203B2 JP 2019555778 A JP2019555778 A JP 2019555778A JP 2019555778 A JP2019555778 A JP 2019555778A JP 7128203 B2 JP7128203 B2 JP 7128203B2
Authority
JP
Japan
Prior art keywords
tile
images
image
processors
overlap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019555778A
Other languages
English (en)
Other versions
JP2020517017A (ja
Inventor
ジム マーティン,
アニンディヤ サルカール,
Original Assignee
ヴェンタナ メディカル システムズ, インク.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴェンタナ メディカル システムズ, インク. filed Critical ヴェンタナ メディカル システムズ, インク.
Publication of JP2020517017A publication Critical patent/JP2020517017A/ja
Application granted granted Critical
Publication of JP7128203B2 publication Critical patent/JP7128203B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

近年、パノラマ撮像およびマッピングなどのエリアにおける用途のために、静止シーンの画像を融合することに大きな関心が存在している。画像の融合は、顕微鏡スライド上に提示されるサンプルの撮像を含む、医療撮像の分野において同様に有用である。伝統的に、画像モザイクは、レジストレーション、ワーピング、リサンプリング、およびブレンディングを含むプロセスを通して、単一の大きい複合画像を形成するために2つ以上のオーバーラップする画像共にスティッチングすることによって作成される。画像レジストレーションステップは、オーバーラップする画像の間で相対的な幾何学的変換を見出すために使用される。
画像から抽出される特徴に基づく画像レジストレーションは、複数の画像を融合させるための1つのアプローチである。特徴ベース画像レジストレーションは、各画像内で特徴点のセットを決定し、その後、対応する特徴記述子を比較する。特徴点の数は、通常、対応する画像のピクセルの数よりずっと少ない。特徴ベース画像レジストレーションは、或る状況下で或る画像対についてうまく働かない場合があり、レジストレーションエラーをもたらす可能性がある。
本開示の一態様は、(例えば、試料担持スライドから導出されるタイル画像を含む)タイル画像をスティッチングするコンピュータ実装式方法であり、方法は、(a)スキャンされた各タイル画像についてグレースケールタイル画像を導出すること;(b)隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーション(local registration)を実施することであって、空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関(NCC:normalized cross correlation)スコアを使用して決定される、局所的レジストレーションを実施すること、および、(c)全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施することを含み、大域的配置(global placement)は、全ての隣接するグレースケール画像タイルの間の決定された空間的関係およびNCCスコアを重みとして利用する、重み付き最小2乗(weighted least squares)によって決定される。幾つかの実施形態において、方法は、計算された画像タイル配置に基づいて画像の全てを共にスティッチングし、ブレンディングすることをさらに含む。幾つかの実施形態において、方法は、関心領域識別を実施することをさらに含む。
幾つかの実施形態において、隣接するグレースケールタイル画像の各対についての空間的関係は、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域(prospective machting region)間の候補空間的関係を計算することであって、第1および第2の低解像度サブサンプリング画像は、隣接するグレースケール画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること;(ii)順次高くなる解像度(sequentially finer resolution)サブサンプリング画像において候補空間的関係を洗練すること、および、(iii)オリジナル解像度の隣接するグレースケール画像タイル対のオーバーラップ領域において最も高いNCCスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択すること、によって決定される。
幾つかの実施形態において、第1および第2の低解像度サブサンプリング画像間の候補空間的関係は、第1および第2の低解像度サブサンプリング画像のNCCドメインにおいてピークのロケーションを決定することによって導出される。幾つかの実施形態において、候補空間的関係であって、候補空間的関係のピークロケーションが予め規定されたNCC閾値を満たす、候補空間的関係は保持される。幾つかの実施形態において、予め規定されたNCC閾値は、トップNCCスコアの予め規定されたパーセンテージ(例えば、トップNCCスコアの90%以内)である。幾つかの実施形態において、各サブサンプリング画像は、隣接するグレースケール画像タイル対の対の1つのグレースケール画像から導出されるクロッピングされた画像である。幾つかの実施形態において、方法は、隣接するグレースケールタイル画像対においてマッチング領域間の標準偏差を計算するステップをさらに含む。
幾つかの実施形態において、候補空間的関係は、NCCドメインにおいて各ピークの更新されたロケーションを決定することによって洗練され、各ピークのロケーションの更新は、順次解像度が高くなるサブサンプリング画像の対内で実施され、順次解像度が高くなるサブサンプリング画像の各対は、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する。幾つかの実施形態において、順次解像度が高くなるサブサンプリング画像の各対は、直近下位の解像度のサブサンプリング画像と比較して、1というダウンサンプリング係数(down sampling factor)に達するまでの、ダウンサンプリング係数の所定の減少を含む。幾つかの実施形態において、ダウンサンプリング係数の変化は、2から4に及ぶ。幾つかの実施形態において、第1および第2のサブサンプリング画像は、第1の解像度を提供するために第1のダウンサンプリング係数を有し、順次解像度が高くなるサブサンプリング画像の第1の対は、第1の解像度の2倍の解像度である解像度を有する。
幾つかの実施形態において、NCCスコアは、全てのサブサンプリング画像解像度について、積分画像を使用して計算される。幾つかの実施形態において、NCCスコアは、少なくとも1つのサブサンプリング画像解像度について、積分画像を使用して計算される。
幾つかの実施形態において、隣接するグレースケール画像タイル間の空間的関係は、タイルオーバーラップおよびタイルシフトである。幾つかの実施形態において、タイルシフトおよびタイルオーバーラップの値は、全ての水平画像タイル対および全ての垂直画像タイル対について計算される。幾つかの実施形態において、方法は、隣接するグレースケール画像タイル対の間のタイルオーバーラップおよびタイルシフトの値が、信頼性があるか否か(例えば、オーバーラップ領域が、(i)マッチングした十分なピクセルを持たないか、または、(ii)十分な高コントラストエリアを持たないか)を判定することをさらに含む。幾つかの実施形態において、タイルオーバーラップおよびタイルシフトの値が、信頼性があるか否かを判定することは、隣接するグレースケールタイル画像対におけるマッチング領域から導出される標準偏差を標準偏差閾値と比較することを含み、タイルオーバーラップおよびタイルシフトの値は、標準偏差が標準偏差閾値より小さい場合、信頼性がない。幾つかの実施形態において、また、試料担持スライドから導出されるタイルをマッチングする文脈において、画像間に或るオーバーラップ領域が存在し、そのオーバーラップ領域が、完全に空白でなく、ある程度の非ガラス領域を有するときに、マッチングは信頼性がある。標準偏差に対して或る閾値を使用することは、マッチング領域が純粋に空白ベースである場所、および、マッチング領域が或る程度の非空白領域を有する場所を識別することを可能にする。
幾つかの実施形態において、タイルオーバーラップおよびタイルシフトの値が、信頼性がないと判定される場合、方法は、(i)平均オーバーラップおよび平均シフトの値をタイルオーバーラップおよびタイルシフトの値としてそれぞれ割り当てること、または、(ii)より低い信頼スコアを、信頼性がない隣接するグレースケール画像タイルに割り当てることを含む。幾つかの実施形態において、平均オーバーラップ値および平均シフト値は、左右画像タイルについて、それぞれ、タイルオーバーラップおよびタイルシフトの値として割り当てられる。幾つかの実施形態において、より低い信頼スコアは、信頼性がないトップ・ボトム画像タイルに割り当てられる。幾つかの実施形態において、信頼性がない画像タイル対は、少なくとも予想オーバーラップ領域内に、実質的に空白を含む。
幾つかの実施形態において、空間的関係はタイルオーバーラップおよびタイルシフトを含み、左右画像タイル対について、タイルオーバーラップは、左右画像タイル対の左タイルと左右画像タイル対の右タイルとの間のx軸に沿うオーバーラップについて導出され、タイルシフトは、左右画像タイル対の間のy軸に沿うシフトについて導出される。幾つかの実施形態において、タイルシフトが正値を有する場合、右タイルは、右タイルと整列するように、下方にシフトされるべきである。
幾つかの実施形態において、空間的関係はタイルオーバーラップおよびタイルシフトを含み、トップ・ボトム画像タイル対について、タイルオーバーラップは、トップ・ボトム画像タイル対のトップ画像とトップ・ボトム画像タイル対のボトム画像との間のy軸に沿うオーバーラップについて導出され;タイルシフトは、トップ・ボトム画像タイル対の間のx軸に沿うシフトについて導出される。幾つかの実施形態において、タイルシフトが正値を有する場合、トップタイルは、ボトムタイルと整列するように、右にシフトされるべきである。
本開示の別の態様は、画像タイルをスティッチングするコンピュータ実装式方法であり、方法は、(a)隣接するタイル画像のオーバーラップ領域内でマッチングピクセルを識別するために局所的レジストレーションモジュールを実行することであって、局所的レジストレーションは、隣接するタイル画像のオーバーラップ領域において最良正規化相互相関スコアをもたらす空間的関係として表現され、正規化相互相関(NCC)スコアは多重解像度フレームワーク内で計算される、局所的レジストレーションモジュールを実行すること、および、(b)全ての画像タイルを互いに対して位置決めするために大域的配置モジュールを実行することを含む。
本開示の別の態様は、少なくとも2つの隣接する画像間の空間的関係を決定するコンピュータ実装式方法であり、方法は、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、第1および第2の低解像度サブサンプリング画像は、NCCドメイン内の隣接する画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること;(ii)(やはりNCCドメイン内の)順次解像度が高くなるサブサンプリング画像において候補空間的関係を洗練すること、および、(iii)オリジナル解像度の隣接する画像タイル対のオーバーラップ領域において最も高いNCCスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択することを含む。幾つかの実施形態において、方法は、全ての画像を同じグリッド上に配置するために大域的配置ステップを実施することをさらに含み、大域的配置ステップは、重み付き最小2乗ソルバーにおいて、決定された空間的関係および導出されたNCCスコアを利用する。
本開示の別の態様は、スティッチング後に実質的にアーチファクトがないモザイクが作成されるように、画像タイルをグリッド上に互いに対して配置するコンピュータ実装式方法であり、方法は、全ての画像タイル間の空間的関係を導出すること、および、導出された空間的関係、および、導出されたNCCスコアに基づいて画像を配置するために重み付き最小2乗ソリューションを使用することを含み、NCCスコアは重み付き最小2乗ソリューションのための重みである。幾つかの実施形態において、導出される空間的関係は、本明細書で述べる局所的レジストラーションモジュールを使用して計算される。他の実施形態において、導出される空間的関係は、予め計算され、対応するNCCスコアと共に、タイルオーバーラップおよびタイルシフトデータとして供給されている。
本開示の別の態様は、1つまたは複数のプロセッサおよび少なくとも1つのメモリを備える、画像タイルをスティッチングするように構成されるコンピューティングデバイスであり、少なくとも1つのメモリは、1つまたは複数のプロセッサが実行するための非一時的コンピュータ可読命令を記憶し、非一時的コンピュータ可読命令は、(a)スキャンされた各タイル画像についてグレースケールタイル画像を導出する命令、(b)隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーションを実施する命令であって、空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関スコアを使用して決定される、局所的レジストレーションを実施する命令、および、(c)全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施する命令であって、大域的配置は、全ての隣接するグレースケール画像タイルの間の決定された空間的関係およびNCCスコアを重みとして利用する、重み付き最小2乗によって決定される、実施する命令を、1つまたは複数のプロセッサに実施させるためのものである。
幾つかの実施形態において、隣接するグレースケールタイル画像の各対についての空間的関係は、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、第1および第2の低解像度サブサンプリング画像は、隣接する画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること;(ii)順次解像度が高くなるサブサンプリング画像において候補空間的関係を洗練すること、および、(iii)オリジナル解像度の隣接するグレースケール画像タイル対のオーバーラップ領域において最も高いNCCスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択すること、によって決定される。幾つかの実施形態において、第1および第2の低解像度サブサンプリング画像間の候補空間的関係は、第1および第2の低解像度サブサンプリング画像のNCCドメインにおいてピークのロケーションを決定することによって導出される。
幾つかの実施形態において、候補空間的関係は、NCCドメインにおいて各ピークの更新されたロケーションを決定することによって洗練され、各ピークのロケーションの更新は、順次解像度が高くなるサブサンプリング画像の対内で実施され、順次解像度が高くなるサブサンプリング画像の各対は、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する。幾つかの実施形態において、順次解像度が高くなるサブサンプリング画像の各対は、直近下位の解像度のサブサンプリング画像と比較して、1というダウンサンプリング係数に達するまでの、ダウンサンプリング係数の所定の減少を含む。
幾つかの実施形態において、NCCスコアは、全てのサブサンプリング画像解像度について、積分画像を使用して計算される。幾つかの実施形態において、NCCスコアは、少なくとも1つのサブサンプリング画像解像度について、積分画像を使用して計算される。
幾つかの実施形態において、隣接するグレースケール画像タイル間の空間的関係は、タイルオーバーラップおよびタイルシフトである。幾つかの実施形態において、タイルシフトおよびタイルオーバーラップの値は、全ての水平画像タイル対および全ての垂直画像タイル対について計算される。幾つかの実施形態において、デバイスは、隣接するグレースケール画像タイル対の間のタイルオーバーラップおよびタイルシフトの値が、信頼性があるか否かを判定する命令を提供することをさらに含む。幾つかの実施形態において、タイルオーバーラップおよびタイルシフトの値が、信頼性があるか否かを判定することは、隣接するグレースケールタイル画像対におけるマッチング領域から導出される標準偏差を標準偏差閾値と比較することを含み、タイルオーバーラップおよびタイルシフトの値は、標準偏差が標準偏差閾値より小さい場合、信頼性がない。幾つかの実施形態において、タイルオーバーラップおよびタイルシフトの値が、信頼性がないと判定される場合、方法は、(i)平均オーバーラップおよび平均シフトの値をタイルオーバーラップおよびタイルシフトの値としてそれぞれ割り当てること、または、(ii)より低い信頼スコアを、信頼性がない隣接するグレースケール画像タイルに割り当てることを含む。
本開示の別の態様は、コンピュータプログラムコードを具現化する非一時的コンピュータ使用可能媒体であり、コンピュータプログラムコードは、コンピュータ実行可能命令を含み、コンピュータ実行可能命令は、(a)スキャンされた各タイル画像についてグレースケールタイル画像を導出し、(b)隣接するグレースケールタイル画像の対の間の空間的関係を決定するための局所的レジストレーションであって、空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関スコアを使用して決定される、局所的レジストレーションを実施し、(c)全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施するように構成され、大域的配置は、全ての隣接するグレースケール画像タイルの間の決定された空間的関係およびNCCスコアを重みとして利用する、重み付き最小2乗によって決定される。幾つかの実施形態において、隣接するグレースケールタイル画像の各対についての空間的関係は、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、第1および第2の低解像度サブサンプリング画像は、隣接するグレースケール画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること;(ii)順次解像度が高くなるサブサンプリング画像において候補空間的関係を洗練すること、および、(iii)オリジナル解像度の隣接するグレースケールタイル画像対のオーバーラップ領域において最も高いNCCスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択すること、によって決定される。
本開示の別の態様は、非一時的コンピュータ可読記憶媒体であり、非一時的コンピュータ可読記憶媒体は、(a)スキャンされた各タイル画像についてグレースケールタイル画像を導出する実行可能命令、(b)隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーションを実施する実行可能命令であって、空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関スコアを使用して決定される、局所的レジストレーションを実施する実行可能命令、および、(c)全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施する実行可能命令であって、大域的配置は、全ての隣接するグレースケール画像タイルの間の決定された空間的関係およびNCCスコアを重みとして利用する、重み付き最小2乗によって決定される、実施する実行可能命令を含む。幾つかの実施形態において、隣接するグレースケールタイル画像の各対についての空間的関係は、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、第1および第2の低解像度サブサンプリング画像は、隣接するグレースケール画像タイル対のオーバーラップ領域から導出される、候補空間的関係を計算すること;(ii)順次解像度が高くなるサブサンプリング画像において候補空間的関係を洗練すること、および、(iii)オリジナル解像度の隣接するグレースケール画像タイル対のオーバーラップ領域において最も高いNCCスコアを有する洗練された候補空間的関係を、決定された空間的関係として選択すること、によって決定される。
本開示の別の態様は、隣接する画像の予想オーバーラップ領域内のピクセルの全てを利用する画像レジストレーションおよび配置方法である。本明細書で開示される「完全検索(full search)」法が、「特徴ベース(feature based)」法を使用して普通なら見落とす可能性がある、隣接する画像の同様の領域間の微妙な差の検出を可能にすると出願人等は思う。したがって、現在開示されている方法が、低コンピューティングコストで全てそうしながら、画像をレジストレーションし配置する優れた方法を提供すると出願人等は考える。
非制限的かつ非網羅的な実施形態は以下の図面を参照して述べられる。同じ参照数字は、別段に指定されない限り、種々の図全体をとおして同様の部品または行為を指す。
幾つかの実施形態による、分析のために組織サンプルのデジタル画像を処理するためのコンピュータシステムを示す図である。 幾つかの実施形態による、分析のために組織サンプルのデジタル画像を処理するときに使用されるモジュールの概要を説明するフローチャートである。 幾つかの実施形態による、一連の画像タイルを共にスティッチングする方法の概要を説明するフローチャートである。 幾つかの実施形態による、一連の画像タイルを共にスティッチングする方法の概要を説明するフローチャートである。 幾つかの実施形態による、或るグリッドの画像タイル間のオーバーラップを示す図である。 幾つかの実施形態による、M×Nシリーズの画像タイル間のオーバーラップを示し、本明細書の一実施形態によるスキャン方向をさらに示す図である。 幾つかの実施形態による、トップNCCピークを示すプロットである。 幾つかの実施形態による積分画像の概念を示す図である。 幾つかの実施形態による積分画像の概念を示す図である。 幾つかの実施形態による、多重解像度フレームワーク内でNCCスコアを計算する方法の概要を説明するフローチャートである。 幾つかの実施形態による、左右画像タイル対の間のタイルオーバーラップおよびタイルシフトを示す図である。 幾つかの実施形態による、トップ・ボトム画像タイル対の間のタイルオーバーラップおよびタイルシフトを示す図である。
本開示の特徴の全体的な理解のために、図面に対して参照が行われる。図面において、同様の参照数字は、同一の要素を識別するために全体に使用されている。本開示は、本開示の特定のデバイスおよび方法に関連して以降で述べられることになるが、そのような特定のデバイスおよび方法に本開示を限定することが意図されないことが理解されるであろう。逆に、添付特許請求項によって規定される本開示の趣旨および範囲内に含まれてもよい、全ての代替物、修正物、および等価物をカバーすることが意図される。
本明細書で使用するとき、単数形用語「1つの(a)」、「1つの(an)」、および「その(the)」は、文脈が別段に明確に示さない限り、複数の指示対象(referent)を含む。同様に、語「または(or)」は、文脈が別段に明確に示さない限り、「および(and)」を含むことを意図される。用語「含む(includes)」は、包含的に規定され、それにより、「AまたはBを含む(includes A or B)」は、A、B、または、AおよびBを含むことを意味する。
用語「備えている(comprising)」、「含んでいる(including)」、「有している(having)」、および同様なものは、交換可能に使用され、同じ意味を有する。同様に、「備える(comprises)」、「含む(includes)」、「有する(has)」、および同様なものは、交換可能に使用され、同じ意味を有する。特に、用語のそれぞれは、「備えている」の一般的な米国特許法の規定に矛盾しない、と規定され、したがって、「少なくとも以下(at least the following)」を意味するオープンな用語であると解釈され、また、さらなる特徴、制限、態様などを排除しないことを同様に意図される。そのため、例えば、「コンポーネントa、b、およびcを有するデバイス(a device having components a、b、and c)」は、デバイスが少なくともコンポーネントa、b、およびcを含むことを意味する。同様に、フレーズ:「ステップa、b、およびcを含む方法(a method involving steps a、b、and c)」は、方法が少なくともコンポーネントa、b、およびcを含むことを意味する。さらに、ステップおよびプロセスが、特定の順序で、本明細書で概要を説明される場合があるが、順序付けするステップおよびプロセスが変動する場合があることを当業者は認識するであろう。
本明細書で使用するとき、多重画像の文脈で使用される「組み合わせる(combining)」または「スティッチングする(stitching)」は、或る有限のオーバーラップ領域を有する2つの画像を実質的にシームレスに接合することを指す。語「融合する(fuse)」または「融合させる(fusing)」は、スティッチングプロセスを指すために同義的に使用される。幾つかの実施形態において、2つの画像は、一度に接合されるが、より多くの画像が、プロセスを繰返すことによって接合され得る。
本明細書で使用するとき、用語「画像レジストレーション(image registration)」は、一般に、1つまたは複数の画像を基準画像の座標系に変換するプロセスを指す。
本明細書で使用するとき、用語「ピクセル(pixel)」は、画像が分割され得る最小セグメントを指す。入力画像の受信されるピクセルは、輝度(intensity)、明度(lightness)、明るさ(brightness)、またはその何らかの数学的変換によって規定される値に関連付けられる場合がある。
本明細書で使用するとき、用語「テンプレート(template)」は、或る画像内で規定されるエリア(領域)を指す。画像スティッチングの文脈で、テンプレートは、通常、スティッチングされる2つの画像のオーバーラップエリア内の或る領域の一部または全てを含む。画像スティッチング方法の一部として、第1の窓から選択されるテンプレート、「テンプレート窓(template window)」は、テンプレートに最も類似する画像をターゲット窓内で検索することによって、第2の窓、「ターゲット窓(target window)」とマッチングされる。テンプレート窓およびターゲット窓は、通常、第1および第2の画像が互いにオーバーラップする共通エリアまたは「オーバーラップ領域(overlap region)」を含む。
本明細書で使用するとき、用語「タイル(tile)」は、全体画像または全体スライドの一部分に対応する単一画像を指す。幾つかの実施形態において、「タイル」は、全スライドスキャンの或る領域または(x,y)ピクセルディメンション(例えば、300ピクセル×300ピクセル)を有する関心エリアを指す。例えば、M列のタイルおよびN行のタイルに分割された全体画像を考える。ここで、M×Nモザイク内の各タイルは、全体画像の一部分を含む、すなわち、ロケーションM1、N1のタイルは、画像の第1の部分を含み、一方、ロケーションM3、N4のタイルは、画像の第2の部分を含み、第1の部分と第2の部分は異なる。幾つかの実施形態において、タイルはそれぞれ、同じディメンション(ピクセルサイズ×ピクセルサイズ)を有する。
本明細書で使用するとき、用語「空白」は、組織は全く存在しないが、ガラスのみが存在する、スキャンされた顕微鏡スライドの領域を指す。これらのロケーションにおいて、スキャンされた画像は、ガラスに対応する領域において「白色(white)」に見えることになる。実際には、ガラス領域についての輝度値は、スキャンのための白色点設定に対応することになる。例えば、白色点が250に設定される場合、ガラス領域は、250のピクセル輝度値を有することになる。
概要
本開示は、隣接する画像タイル対の間の導出された空間的関係、例えば、x方向とy方向の両方におけるタイルのオーバーラップおよびシフト(図9Aおよび図9B参照)に基づいて画像を共にスティッチングする方法を対象とする。局所的レジストレーションソリューションに到達するとき、本開示は、隣接する画像タイル対の予想オーバーラップ領域内の全てのピクセルを比較する。空間的関係を、ランタイム時に損なうことなく計算できることを保証するために、本明細書で開示される方法は、多重解像度フレームワークを使用し、隣接する画像タイル対間で使用されるコスト関数は、その対の2つの画像間の予想共通領域のグレースケール表現の間の正規化相互相関スコアである。さらに、本明細書で開示される方法は、適切な瞬間が予め計算されるように積分画像をさらに利用し、それにより、正規化相互相関ピークは、減少した時間で見出すことができる。実際には、隣接するタイル画像間の全ての予想共通領域についての正規化相互相関スコアが、2つの画像の第1および第2の瞬間の予め計算された値を使用することによって「迅速に(quickly)」計算され得ると出願人等は思う。最後に、空間的関係が導出されると、空間的関係および正規化相互相関スコア(すなわち、信頼値)は、大域的重み付き最小2乗ソルバーにおいて使用できるため、全てのタイルについての最良ロケーションが、決定され、同じグリッド上に設置され、特に、多くのデータを含まない領域において、スティッチングアーチファクトエラーの低減を可能にする。
本明細書で開示される幾つかの例示的な実施形態は、顕微鏡スライドスキャナーから採取される画像を共にスティッチングすることを参照するが、本明細書で述べるプロシージャが、より一般的に適合することができ、したがって、任意の供給源(例えば、デジタルカメラを含む任意の画像取得手段)からの画像を共にスティッチングするために適用することができることを当業者は理解するであろう。したがって、特定の実施形態は、試料担持顕微鏡スライドの、取得された画像タイルの文脈における或る値(例えば、画像タイルオーバーラップおよびシフト値、標準偏差値、正規化相互相関スコア)の計算を開示する場合があるが、本明細書で述べるプロシージャは、供給源によらず、任意のシリーズの画像タイルからこれらの値を計算するために使用される場合がある。さらに、幾つかの特定の例は、特定のプロセスに従ってスライドをスキャンする(例えば、画像タイルを、第1列を下に採取し、右にシフトする、画像タイルを、第2列を上に採取し、右にシフトする、など)特定の顕微鏡スライドスキャナーを参照する場合があるが、これらの特定の例は、単に例証のためであり、本開示を制限することを意図されない(例えば、反対方向にあるいはスキャニングの全く異なる方法またはパターンでスキャンするスキャナーが使用される場合があり、当業者は、本明細書で開示される技法を特定のタイプのスキャナーまたはそれらのオペレーションモードに適用できることになる)。
デジタル病理学システム
試料を分析するためのコンピュータベース試料分析器10が図1に示される。コンピュータベース試料分析器10は、撮像装置12(例えば、試料担持顕微鏡スライドをスキャンするための手段を有する装置)およびコンピュータ14を備えることができ、それにより、撮像装置12およびコンピュータは、(例えば、直接的にまたはネットワーク20を通じて間接的に)通信可能に共に結合することができる。他のコンピュータデバイスまたはシステムを利用することができること、および、本明細書で述べるコンピュータシステムが、さらなるコンポーネント、例えば、試料分析器、顕微鏡、または撮像システム、自動化スライド調製機器などに通信可能に結合することができることを当業者は理解するであろう。これらのさらなるコンポーネントの一部および利用することができる種々のコンピュータは、本明細書でされに述べられる。
概して、撮像装置12(または、メモリに記憶された予めスキャンされた画像を含む他の画像供給源)は、限定することなく、1つまたは複数の画像取得デバイスを含み得る。画像取得デバイスは、限定することなく、カメラ(例えば、アナログカメラ、デジタルカメラなど)、光学部品(例えば、1つまたは複数のレンズ、センサフォーカスレンズ群、顕微鏡対物レンズなど)、撮像センサ(例えば、電荷結合デバイス(CCD:charge-coupled device)、相補的金属酸化物半導体(CMOS:complimentary metal-oxide semiconductor)画像センサ、または同様なもの)、写真フィルム、または同様なものを含み得る。デジタル実施形態において、画像取得デバイスは、オンザフライ・フォーカシング(on-the-fly focusing)を示すために協働する複数のレンズを含み得る。画像センサ、例えば、CCDセンサは、試料のデジタル画像を取得し得る。幾つかの実施形態において、撮像装置12は、明視野撮像システム、マルチスペクトル撮像(MSI:multispectral imaging)システム、または蛍光顕微システムである。デジタル化された組織データは、例えば、アリゾナ州ツーソン(Tucson,Ariz.)のVENTANA MEDICAL SYSTEMSによるiSCAN COREO(商標)または他の適した撮像機器によって生成することができる。さらなる撮像デバイスおよびシステムは、本明細書でさらに述べられる。
図1および図2を参照すると、コンピュータシステム14は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、または同様なもの、デジタル電子回路要素(circuitry)、ファームウェア、ハードウェア、メモリ210、コンピュータ記憶媒体210、コンピュータプログラム(例えば、プログラムはメモリまたは記憶媒体内に記憶される)、プロセッサ220(プログラム式プロセッサを含む)、および/または、同様なものを含み得る。図1に示すコンピューティングシステム14は、ディスプレイデバイス16およびエンクロージャ18を有するコンピュータを備えることができる。コンピュータシステムは、(ローカルにサーバー上に、または、別のネットワーク接続されたデバイス上に)デジタル画像を2値形態で記憶し得る。デジタル画像は、ピクセルのマトリクスに同様に分割され得る。ピクセルは、ビット深度で規定される1つまたは複数のビットのデジタル値を含み得る。
やはり図1を参照して、ネットワーク20は、幾つかの実施形態において、撮像装置12およびコンピュータシステム14を相互接続する。ネットワーク20は、限定することなく、1つまたは複数のゲートウェイ、ルーター、ブリッジ、その組み合わせ、または同様なものを含むことができる。ネットワーク20は、ユーザーにとってアクセス可能であり、コンピュータシステム14が利用し得る情報を送信し受信するために使用され得る、1つまたは複数のサーバーおよび1つまたは複数のウェブサイトを含むことができる。サーバーは、限定することなく、情報(例えば、デジタル画像、アルゴリズム、染色プロトコル、比較評価のためのカットオフ値、または同様なもの)を記憶するための1つまたは複数の関連するデータベースを含むことができる。ネットワーク20は、伝送制御プロトコル(TCP:Transmission Control Protocol)、ユーザーデータグラムプロトコル(UDP:User Datagram Protocol)、および他のデータプロトコルを使用するデータネットワークを含むことができるが、それに限定されない。幾つかの実施形態において、コンピュータデバイスまたはシステムは、ディスプレイ出力、または、ユーザー、オペレータ、あるいは下流の器具またはプロセスにデータ/出力を提供する他の手段をさらに備える。
図2は、現在開示されているワークフロー内で利用される種々のモジュールの概要を提供する。幾つかの実施形態において、コンピュータデバイス14またはコンピュータ実装式方法は、1つまたは複数のプロセッサ220および少なくとも1つのメモリ210を備え、少なくとも1つのメモリ210は、少なくとも1つのメモリ210は、1つまたは複数のモジュール(例えば、モジュール211~モジュール214)内の命令を1つまたは複数のプロセッサに実行させるために、1つまたは複数のプロセッサが実行するための非一時的コンピュータ可読命令を記憶する。代替的に、命令は、非一時的コンピュータ可読媒体210またはコンピュータ使用可能媒体に記憶することができる。幾つかの実施形態において、非一時的コンピュータ可読媒体は、一時的伝搬信号を除いて全てのコンピュータ可読媒体を備えることができる。
図3を参照すると、本開示は、コンピュータ実装式方法を提供し、コンピュータ実装式方法は、画像採取および/または画像処理モジュールを実行するステップ(ステップ250);採取された画像間の空間的関係を決定するために局所的レジストレーションモジュールを実行するステップ(ステップ251);および、採取された画像を、決定された空間的関係を使用して互いに対して配置するために大域的配置モジュールを実行するステップ(ステップ252)を含む。幾つかの実施形態において、コンピュータ実装式方法は、配置データを使用して種々の画像をシームレスに組み合わせるために、画像スティッチングおよび/または画像ブレンディングモジュールを実行するステップをさらに含む。もちろん、各モジュール内で使用するために述べられる命令、アルゴリズム、およびフィルターの任意のものが、採取される画像のタイプ、使用される画像スキャナーのタイプ、スキャナーのオペレーションモード、および/または調査される試料のタイプに基づいて適合または変更することができることを当業者は認識するであろう。さらなるモジュールをワークフローに組み込むことができることを当業者は同様に理解するであろう。例えば、関心エリア検出モジュールは、顕微鏡スライド上に存在する関連する組織領域を決定するために使用することができる。
図4は、現在開示されているワークフローの方法の全体的な概要を提供するフローチャートを述べる。概して、方法は、複数のスキャンされた画像、例えば、スキャンされた顕微鏡スライドに関する画像タイルを受信する(ステップ300)こと;任意選択で、複数のグレースケール画像タイルを提供するために複数のスキャンされた画像タイルをグレースケールに変換する(ステップ310)こと;全ての隣接するグレースケール画像タイル対の間の空間的関係を決定する(ステップ320)こと;任意の2つの隣接するグレースケール画像タイル対の間のマッチングの信頼性に基づいて、決定された空間的関係を調整する(ステップ330)こと;および、相関スコア(本明細書で述べる)が重みとして利用される、重み付き最小2乗法を使用して、スキャンされたタイル画像を互いに対して配置することを含む。
画像採取および/または処理モジュール
初期ステップとして、また、図3を参照して、コンピュータシステムは、(例えば、画像を取得するために)画像採取モジュール201および/または(例えば、画像を予め処理するために)画像処理モジュール11を実行する(ステップ250)。採取されるとおよび/または処理されると、複数の画像は、局所的レジストレーションモジュール212に提供され、それにより、隣接する画像タイル対の間の空間的関係を導出することができる(ステップ320)。
幾つかの実施形態において、画像は、本明細書で述べるように、試料担持顕微鏡スライドの画像データを取得することが可能な顕微鏡または他の器具から採取される。幾つかの実施形態において、画像は、画像タイルをスキャンすることが可能なスキャナーなどの2Dスキャナーを使用して採取される。幾つかの実施形態において、特定の焦点距離または拡大率で連続する「スナップショット(snapshot)」の取得を概して可能にするスキャナーが使用される。
顕微鏡スライド画像タイル
幾つかの実施形態において、複数の受信された画像は、試料担持顕微鏡スライド上の少なくとも関心領域の異なる部分に対応する一連の画像タイルである。幾つかの実施形態において、オーバーラップは、各画像タイル対の間、例えば、水平画像タイル対の間または垂直画像タイル対の間に存在する。画像スティッチングがよりよく促進され、試料担持顕微鏡スライドのどの領域も見落とされないように、画像間に少なくともある程度のオーバーラップを設けることが望ましい(図5A参照)。成功裏のスティッチングのために必要とされるまたは推奨されるオーバーラップの量は、隣接する画像タイル対の間のオーバーラップ領域内で選択されるテンプレート内などで、マッチング領域および/またはピクセルの種々の数学的属性を比較するために、本明細書で開示する方法についての任意のオーバーラップ領域内のマッチングピクセルの間で変動する。
概して、「タイル張り画像(tiled image)」アーキテクチャーによって顕微鏡スライド全体をスキャンするために(図5A参照)、スライドは、XおよびYにおいて並進され(焦点軸はZにある)、画像が採取される間、各フレームロケーションで一時停止する。
本明細書で述べるワークフローについての入力として提供される特定のオペレーションモードまたは画像タイルのタイプに限定されることなく、幾つかの実施形態において、試料担持顕微鏡スライドのスキャニングは、タイルごとに起こり、スキャンは、列ごとに行われ、タイルがアクセスされる方向は1列ごとに反転される。こうして、図5Bの4×4(M×N)タイルを参照すると、第1の列の場合、タイルは下方向に採取される。図5Bは、第1の列内のタイルの間に、トップ・ボトムフレーム対の間で垂直オーバーラップおよび水平シフトが存在することを示す。垂直オーバーラップが、スキャニング中にどの領域も見落とされないことを保証することを当業者は理解するであろう。第1の列のタイルの全てが完全に整列しているわけではなく、第1の列のタイルの間で、x軸に沿ってそれら自身に対するシフト(例えば、トップ・ボトムタイル対の間のx-yシフト(例えば、このシフトは約20ミクロン~約30ミクロンである場合があるが、この量は変動する場合がある))が存在することを当業者は同様に理解するであろう。いかなる特定の理論に束縛されるものではないが、機械的器具の移動の一般的な性質および/またはモーターの振動を含む種々の因子によってこれが引起される場合があると思われる。
第1の列(4つのタイル)が取得されると、モーターは、その後、第2の列内のタイルが採取されるようにスライドを上に移動させる。図5Bは、トプ・ボトムタイル対の間にオーバーラップが存在することをやはり示す。隣接する列内にあるが同じ水平行内のタイル間の左右オーバーラップが同様に存在する場合がある。いかなる特定の理論に束縛されるものではないが、タイル間のy軸に沿うシフトが、幾つかのスキャナーを制御するモーターの一定速度の変化によって同じ行内でかつ隣接する列の間で存在する場合があると思われる。どの領域も見落とさないことを保証するため、少なくとも或るオーバーラップ(水平に)は、隣接する列内の同じ行に属するタイル間で意図的に採取される。幾つかの実施形態において、隣接する列内にあるが同じ行に属するタイル間のyシフトは、約500ミクロン~約700ミクロンのオーダーである。幾つかの実施形態において、このyシフトは、トップ・ボトムタイル対が単一列のスキャニング中に考慮されるとき、xシフトより重要である。
幾つかの実施形態において、全スライドスキャンの組織試料の関心エリア(AOI:area of interest)は、当業者に知られているように、コンピュータシステム上でAOIモジュールを実行することによって最初に見出される。AOI検出モジュールは、幾つかの実施形態において、確率マップであって、各ピクセルが、ガラスと比較してどれくらい確かに組織に属するかを示す、確率マップを返送する。AOIを決定するさらなる方法は、同時係属中の出願、国際公開第2016/120463号に記載され、その開示は、参照によりその全体を本明細書に組み込まれる。
グレースケールへの変換
幾つかの実施形態において、複数の受信された画像は、グレースケールに変換されて、複数のグレースケール画像タイルを提供する(ステップ310)。幾つかの実施形態において、その方法は、RGBカラー画像からグレースケール画像を抽出することであり、そうする技法は、当業者に知られている。幾つかの実施形態において、ルミナンス(明るさ)チャネルが利用される(そして、クロミナンス(カラー)チャネルは利用されない、なぜならば、2つの隣接する画像領域が比較されるとき、カラーチャネル間においてよりも、ルミナンスチャネル間により多くの対応が存在することが予想されることになるからである)。
代替の実施形態において、グレースケール画像の代わりに、LABカラー空間内のルミナンスチャネルまたはYCbCr空間内のYチャネルのような同様のチャネルを利用することができる。
局所的レジストレーションモジュール
概して、局所的レジストレーションモジュール212は、隣接する画像タイル対間の、すなわち、全ての水平画像タイル対間および全ての垂直画像タイル対間の、空間的関係、変位、または幾何学的形成を推定する(ステップ320)ために使用される。幾つかの実施形態において、局所的レジストレーションモジュール212は、2つの隣接する画像タイル間の最良マッチング領域であって、第1の方向にオーバーラップおよび第1の方向に垂直な第2の方向にシフトが存在する。最良マッチング領域を見出すために使用される。幾つかの実施形態において、局所的レジストレーションモジュール212は、隣接する画像タイル対間の空間的関係(例えば、タイルオーバーラップおよびタイルシフトの値)、隣接する画像タイル対間の考えられる最良マッチングについての正規化相互相関スコア、および、隣接する画像タイル対間のマッチング領域について計算される標準偏差スコアを出力する。
幾つかの実施形態において、局所的レジストレーションモジュール212は、隣接する画像タイル対の第1の画像の予想オーバーラップ領域内の全てのピクセルを利用し、そのピクセルを、同じ隣接する画像タイル対の第2の画像の対応する予想オーバーラップ領域内の全てのピクセルとマッチングさせる。「完全検索」が、非常に類似する領域間の、すなわち、隣接する画像タイル対の予想オーバーラップ領域間の微妙な差を検出するのを助け得ると本出願人等は考える。
単純な実装態様において、隣接する画像の第1の画像と第2の画像との間の考えられる全てのオーバーラップ領域を考えることができる。簡単なマッチング法は、第1の画像と第2の画像の両方についてグレースケース画像表現を考え、同じサイズの2つのグレースケール画像間の、ピクセルごとの平均絶対輝度差を計算することであり得る。しかしながら、そのような方法は、しばしば、高い計算コストがかかる。したがって、本明細書でさらに述べるように、多重解像度フレームワーク内で正規化相互相関(NCC)を使用して空間的関係を計算することによって、第1および第2の隣接する画像タイルの間のオーバーラップ領域内で考えられる全てのマッチングピクセルを依然として考慮しながら、計算コストが低減され得ることを出願人等は意外にも発見した。さらに、積分画像の利用によって計算コストがさらに低減され得ることを出願人等は発見した。積分画像の利用の実装形態は本明細書で同様に述べられる。
幾つかの実施形態において、局所的レジストレーションモジュールは、図9Aに示すように、水平タイル対の間のオーバーラップおよびシフトの決定を可能にする。ここで、オーバーラップ=dx(x軸に沿う)であり、シフト=dy(y軸に沿う)である。幾つかの実施形態において、局所的レジストレーションモジュールは、垂直タイル対の間のオーバーラップおよびシフトの決定を可能にする。ここで、オーバーラップ=dy(y軸に沿う)であり、シフト=dx(x軸に沿う)である。したがって、局所的レジストレーションモジュールのタスクは、全てのM(N-1)の水平画像タイル対についての(dx,dy)および全てのN(M-1)の垂直画像タイル対についての(dx,dy)を計算することである。本明細書で述べるNCCは、全ての(dx,dy)関係を計算するために使用され得る。本明細書の例1および例2は、左右画像タイル対間およびトップ・ボトム画像タイル対間の空間的関係を決定するさらなる方法を示す。
正規化相互相関を計算するための多重解像度フレームワーク
幾つかの実施形態において、正規化相互相関(NCC)は、隣接する画像タイルのオーバーラップ領域を比較するために使用される。正規化相互相関は、画像のマッチング部分を必要とし、したがって、2つのオブジェクト間の類似度(ここでは、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する画像内のマッチングしたピクセル)を確立する多くの用途で広く使用される技法である。
より具体的には、正規化相互相関は、画像内のパターンまたはオブジェクトの発生を見出すために使用されるプロセスである。これは、通常、ミーン(mean)を引き、標準偏差で割ることによって、全てのステップで行われるため、結果は、ゼロミーンおよび単位変動を有する。NCCのピークを見出すために、1つの画像内の或るブロックが、指定された範囲にわたってシフトされ、NCCは、各シフトについて決定される。すなわち、テンプレート、部分画像f(x,y)を有するt(x,y)の相互相関は、
Figure 0007128203000001
である。ここで、nはt(x,y)およびf(x,y)内のピクセルの数であり、
Figure 0007128203000002
はfの平均であり、σはfの標準偏差である。関数解析学用語において、これは、2つの正規化ベクトルのドット積(dot product)と考えられ得る。すなわち、
F(x,y)=f(x,y)-f および T(x,y)=t(x,y)-t
である場合、上記合計は、
Figure 0007128203000003
に等しい。ここで、<・,・>は内積であり、||・||はLノルムである。そのため、fおよびtが実行列である場合、それらの正規化相互相関は、単位ベクトルFとTとの間の角度のコサインに等しく、したがって、Fが、正のスカラーで乗算されたTに等しい場合でその場合にのみ1である。
図6は、正規化相互相関から生じる表面プロットの斜視図を示す。相互相関行列のピーク600が、部分画像が最良に相関する場所で起こることを当業者は理解するであろう。
多重解像度アプローチは、局所的レジストレーション(ステップ210)の頑健性および効率を改善するために適用され得る。実際には、また、図8を参照すると、局所的レジストレーションプロシージャは、(NCCスコアに基づいて)隣接する画像タイルの予想オーバーラップ領域のマッチングされた領域を位置特定するために、「おおまかな推定量(course estimate)」として低解像度特徴を使用し(ステップ440およびステップ441)、その後、おおまかな推定量を「微調整する(fine tune)」または「洗練する」ために、高解像度特徴を使用し得る(ステップ442およびステップ443)。例えば、8の係数でダウンサンプリングされた第1および第2の隣接するタイル画像が考えられると仮定する(ステップ440)。その後、(8のダウンサンプリング係数で得られる(x,y)シフトに基づいて)予想される最良にマッチングする画像領域を有するテンプレート画像が考えられ(ステップ441)、その後、4のダウンサンプリング係数でこれらの領域が共に考えられる(ステップ442)。次に、(4のダウンサンプリング係数で得られる(x,y)シフトに基づいて)予想される最良にマッチングする画像領域を有するテンプレート画像が考えられ、その後、2のダウンサンプリング係数でこれらの領域が共に考えられる(ステップ443)。このプロセスは、フル解像度、すなわち、第1および第2の画像のオリジナル解像度で得られる(x,y)シフトで終わるまで繰返される。適した多重解像度アプローチは、M.Unser、A.Aldroubi、およびM. Eden「The L2-polynomial spline pyramid」IEEE Trans. Pattern Anal. Mach. Intell.15、364-379 1993によってさらに記載され、その開示は、参照によりその全体を本明細書に組み込まれる。
幾つかの実施形態において、局所的レジストレーションは、低解像度サブサンプリング画像を使用して最初に実施することができ、それにより、低解像度サブサンプリング画像内の全てのピークについてのNCCスコアが決定され得る(ステップ440)。幾つかの実施形態において、第1および第2の低解像度サブサンプリング画像内の全てのピークのロケーションは、NCCドメイン内にあると考えられる(ステップ441)。低解像度サブサンプリング画像内で、正確なピークロケーションを計算することができず、したがって、多重解像度フレームワーク内のNCCスコアの計算が進行するにつれて、複数のロケーションが保持され洗練されることを当業者は理解するであろう(ステップ441、ステップ442、およびステップ443)。ここで、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する第1および第2の低解像度サブサンプリング画像は、所定のダウンサンプリング係数によってオリジナル解像度からダウンサンプリングされる。
低解像度サブサンプリング画像が任意のダウンサンプリング係数によってオリジナル解像度からダウンサンプリングされる場合があることを当業者は理解するであろう。幾つかの実施形態において、低解像度サブサンプリング画像は少なくとも8の係数によってダウンサンプリングされる。他の実施形態において、低解像度サブサンプリング画像は少なくとも16の係数によってダウンサンプリングされる。さらに他の実施形態において、低解像度サブサンプリング画像は少なくとも32の係数によってダウンサンプリングされる。さらなる実施形態において、低解像度サブサンプリング画像は6から48に及ぶ係数によってダウンサンプリングされる。
幾つかの実施形態において、或る予め規定された閾値を満たすピークのロケーションは、さらなる評価のために保持される、すなわち、ロケーション洗練のために保持される。幾つかの実施形態において、予め規定された閾値は所定のNCCスコア閾値である場合がある。他の実施形態において、予め規定された閾値は、返送された全ての画像スコアを考慮してトップNCCスコアの予め規定されたパーセンテージである場合がある。例えば、それらのピークについてのNCCスコアがトップNCCスコアの10%以内にあるピークのロケーションのみが保持される場合がある。
予め規定された閾値を満たすピークなどのピークのロケーションは、その後、次のより高い解像度で考えられ、それにより、ピークのロケーションは、その解像度で洗練することができる、例えば、ピークのロケーションは、x、y空間内で+/-1ピクセルによって洗練することができる。例えば、第1および第2の低解像度サブサンプリング画像が8の係数でダウンサンプリングされた場合、次のより高い解像度サブサンプリング画像は、オリジナル画像と比較して4の係数でダウンサンプリングすることができる(ステップ442)。このプロセスは、その後、次のより高い解像度、例えば、2の係数でのダウンサンプリングに順次伝播され、ついには、NCCスコアは、1というダウンサンプリング係数で考えられる、すなわち、オリジナル解像度で考えられる(ステップ443およびステップ444)。
最終ピークロケーションは、1というダウンサンプリング係数で最大NCCスコアを生成するピークによって与えられる(ステップ444)。この段階で、オーバーラップ領域間の標準偏差が記録される。左画像内の最も右の50列および右画像内の最も左の50列がオーバーラップする左右タイル対があると仮定する。その後、左画像内の最も右の50列について、また同様に、右画像内の最も左の50列について標準偏差が計算される。これらの2つの量の最小を、2の窓についての標準偏差と見なすことができる。
第1の例として、所与の解像度(例えば、8の係数でのダウンサンプリング)のマッチングが複数のピークをもたらすことが仮定され、(正規化相互相関スコアを考慮して)トップピークの少なくとも90%のスコアを有する全てのピークが考えられる。10のピークが、1/8ダウンスケーリングを使用して位置特定されると仮定する。NCCスコアは、その後、1/4ダウンスケーリングを使用して全ての10のピークについて考えられる(各ピークの周りの3×3窓が考えられる)。NCCスコアは、その後、1/2ダウンスケーリングを使用して(やはり、各ピークの周りの3×3窓を考える)、またやはり、1のスケール係数を使用して全ての10のピークについて考えられる。各マッチング領域について、相関スコア、また同様に、2つのマッチング領域内の最小標準偏差が記録される。最終レジストレーションソリューションは、オリジナル解像度におけるNCCスコアを考えながら、一番トップの相関ピークによって与えられる。本明細書でより詳細に述べるように、標準偏差スコアは、マッチングが、信頼性がないときを示すため有用である。
別の例によれば、隣接するグレースケール画像タイル対のオーバーラップ領域に対応する第1および第2の低解像度サブサンプリング画像が得られ、第1および第2の低解像度サブサンプリング画像は、8のダウンサンプリング係数でダウンサンプリングされた。マッチングピークのロケーションが、この解像度で(21,30)=(dx,dy)において見出されたと仮定する。この例のために、サブサンプリング画像の各セット内の単一ピークのみが考えられるが、複数のピークが、上記例で述べたように、サブサンプリング画像の各セット内で見出される場合があることを当業者は理解するであろう。
(21,30)で見出されるピークのロケーションは、その後、一連の順次解像度が高くなるサブサンプリング画像を使用して洗練することができる。例えば、次のより高い解像度、すなわち、オリジナル解像度画像と比較すると4のダウンサンプリング係数での(21,30)のピークを考えると、ピークは、(212,302)ポイントの周りの3×3窓内でNCCスコアを考慮した後、((212+/-1),(302))に存在することができる。この例のために、ピークは、NCCスコアを考慮した後、(41,61)に位置特定されたと仮定する。
(41,61)のピークは、その後、次のより高い解像度サブサンプリング画像、すなわち、オリジナル解像度画像と比較すると2のダウンサンプリング係数でダウンサンプリングされた画像において考えられる。このピークは、その後、(412,612)ポイントの周りの3×3窓内でNCCスコアを考慮した後、((412+/-1),(612))で位置特定することができる。この例のために、ピークは、NCCスコアを考慮した後、(83,121)に位置特定されたと仮定する。
(83,121)のピークは、その後、次のより高い解像度サブサンプリング画像、すなわち、オリジナル解像度画像と比較すると1というダウンサンプリング係数でダウンサンプリングされた画像において考えられる。このピークは、その後、(832,1212)ポイントの周りの3×3窓内でNCCスコアを考慮した後、((832+/-1),(1212))に位置特定することができる。この例のために、ピークは、NCCスコアを考慮した後、(167,243)に位置特定されたと仮定する。(167,243)のこのロケーションは、保持される空間ロケーションであることができる(やはり、このロケーションが、考えられる全てのロケーションの最も高いNCCスコアを返送したと思われると仮定する)。
積分画像
幾つかの実施形態において、NCCスコアは積分画像を使用して計算される。幾つかの実施形態において、計算複雑度を低減するために、2つの隣接する画像のオーバーラップ領域間のNCCスコアは、積分画像を使用して計算することができ、それにより、任意の計算コストまたは複雑度は少なくとも部分的に低減される。
「合計エリアテーブル(summed area table)」としても知られる積分画像は、グリッドの長方形サブセット内の他の総合計を迅速かつ効率的に生成するためのデータ構造およびアルゴリズムである。概して、積分画像は、原点として役立つトップ左ポイントおよびボトム左ポイントによって形成される長方形の面積を計算するために使用される。より具体的には、積分画像は、画像についての中間表現であり、画像のグレースケールピクセル値の合計を含む。したがって、合計エリアテーブル内の任意のポイント(x,y)の値は、(x,y)を含んでその上でかつ(x,y)を含んでその左の全てのピクセルの合計である。図7Aを参照すると、(x,y)のピクセル値は、点線ブロックエリアに対応するピクセルの総合計(total sum)を示す。したがって、Iintg(0,0)は座標(0,0)のピクセル値を示し、Iintg(幅-1,高さ-1)は、所与の画像の全てのピクセルの総合計を示す。
そのような積分画像を通して、そのエリアの4つの頂点に対応するピクセル値の合計および引き算を使用することによって、要求されるエリア内のピクセルの総合計を得ることが可能である。例えば、図7Bの点線ブロックエリアに対応するピクセルの総合計(total sum)は、以下で規定する式を通して4つの頂点(x,y)、(x,y)、(x,y)、および(x,y)のピクセル値を使用することによって得られ得る。
intg(x,y)+Iintg(x,y)-Iintg(x,y)-Iintg(x,y
2つの画像窓XおよびYがあり、両者の間の正規化相互相関NCC(X,Y)が計算される、と仮定する。
NCC(X,Y)={Dot(X,Y)-sum(X).sum(Y)/N}/{sqrt(sum(X2)/N-(sum(X)/N)2).sqrt(sum(Y2)/N-(sum(Y)/N)2)}であることが示される。
ここで、Dot(X,Y)は、2つの画像行列XとYとの間の内積であり、XおよびYは、XおよびY内の各ピクセルを2乗した後に得られる画像である。
そのため、第1および第2の瞬間が、考えられる全てのオーバーラップ画像位置について利用可能である場合、任意の部分窓内のミーンおよび標準偏差が効率的に計算されるように、(画像および2乗画像を使用して)積分画像が計算され得る。
100×100画像(X)がある、と仮定する。(11,11)から(90,90)まで、画像部分窓X’にわたって画像および2乗画像の合計を計算することが必要とされる、と仮定する。今や、X’内の全てのピクセルを合計する代わりに、積分画像Iが計算される:
(x,y)=sum{1<=i<=x,1<=j<=y}X(i,j)
第1の瞬間に基づく積分画像が計算されると、Xの部分窓にわたる合計を計算するために、以下の式が使用される:
sum of X(i,j){x1<=i<=x2,y1<=j<=y2}=I(x,y)-I(x-1,y-1)
同様に、画像部分窓にわたる画像ピクセルの2乗の合計を計算するために、積分画像Iが計算される:
(x,y)=sum{1<=i<=x,1<=j<=y}(i,j)(ここで、X(i,j)=X(i,j)X(i,j))
第2の瞬間に基づく積分画像が計算されると、Xの部分窓にわたる合計を計算するために、以下の式が使用される:
sum of X(i,j){x1<=i<=x2,y1<=j<=y2}=I(x,y)-I(x-1,y-1)
そのため、(検討中の両方の画像について)積分画像IおよびIが計算されると、NCC(X,Y)を得るために計算することが必要とされる唯一の量は:
Dot(X,Y)=sum{1<=i<=M1,1<=j<= N1}X(i,j)Y(i,j)
であり、ここで、XおよびYは共にM1xN1画像である。
大域的配置モジュール
全ての隣接するグレースケール画像タイル対の間の空間的関係が、局所的レジストレーションモジュール212によって決定される(ステップ320)と、大域的配置モジュール213は、スキャンされたタイル画像を互いに対して配置する(ステップ340)ために使用される。幾つかの実施形態において、大域的配置は、正則化器(regularizer)として働き、局所的レジストレーションが、(例えば、空白マッチングに対して空白が存在する領域において)失敗したか、または、成功するのに不十分なデータを有した場合を補償する。
空間的関係の調整
幾つかの実施形態において、また、画像タイルを設置する前に、決定された空間的関係が調整される(ステップ330)。幾つかの実施形態において、空間的関係は、任意の2つの隣接するグレースケール画像タイル対の間のマッチングの信頼性に基づいて調整される。ここで、用語「信頼性(reliability)」は、任意の所与の領域内でマッチングする少数のピクセルが存在する場合がある、または、その領域が十分に高いコントラストを持たない、すなわち、低コントラストである場合があることを指す。幾つかの実施形態において、任意の2つの隣接するグレースケール画像タイル対の間の空間的関係が、信頼性があると考えられるか否かの判定は、2つの隣接するグレースケール画像タイル対におけるマッチング領域から標準偏差値を導出すること、および、その標準偏差値を標準偏差閾値と比較することを含む。
試料担持顕微鏡スライドのスキャンの文脈で、信頼性がないマッチングは、空白を含むエリアの間で、すなわち、組織は全く存在しないが、ガラスのみが存在する領域において起こる場合があり、スキャンされた画像は、基材に対応する領域において白く見えることになる。本明細書で述べるように、これらの事例において、基材領域についての輝度値は、スキャンについて白色点設定に対応することになる。例えば、白色点が250に設定される場合、基材領域は、250のピクセル輝度値を有することになる。空白領域がほぼ同じ輝度値を有するため、空白についての標準偏差が低いことを当業者は認識することになるであろう。一方、予想マッチング領域が内容物(組織スライドの場合の組織など)を有するとき、標準偏差が比較的高いことになることが期待されることになる。
本明細書で述べるように、隣接するグレースケール画像タイル対の間の空間的関係は、タイルオーバーラップおよびタイルシフトを含むことができる。幾つかの実施形態において、調整は、信頼性がないと見なされるグレースケール画像タイル対について、それぞれ、決定されたタイルオーバーラップおよびシフト値の代わりに、平均(average)オーバーラップ値または平均オーバーラップシフト値を割り当てることであることができる。他の実施形態において、調整は、信頼性がないと見なされるグレースケール画像タイル対に対するより低い信頼スコアの割り当てであることができる。
本明細書で述べるプロシージャに従って顕微鏡スライドをスキャンする文脈で、また、図5Bに示すように、ボトム・トップタイル対間のオーバーラップは、スキャナーの自然な移動が上下に列方向であるため、しばしば重要である。一方、左右タイル対が考えられるとき、同じ行内のタイル間のxオーバーラップは、2つの連続する列についてのガラススライドの相対的移動に応じて重要でない場合がある。これを考慮すると、幾つかの実施形態において、標準偏差とNCCベーススコアは共に、左右マッチングが有効であるときを検出するために使用される。例えば、予想マッチング領域が主に非空白である有効マッチングの場合、標準偏差およびNCCスコアは高いことになる。同様に、ボトム・トップタイル対の場合、マッチング領域が主に空白からなるときを示すために標準偏差が使用される。
NCCスコアが範囲[-1,1]内に存在することを当業者は認識するであろう。例えば、幾つかの閾値:δ1=0.01(NCCが<=δ1であるとき、NCCベースマッチングにおいて低い信頼度が得られる)およびδ2=0.02(NCCが>δ1であるが<=δ2であるとき、NCCベースマッチングにおいて中程度の信頼度が得られる)を経験的に決定することができる。同様に、dx、dy、信頼度、および標準偏差値が計算されるとき、RGB画像のグレースケール表現を考えることができる。タイル対内の各タイルにおけるマッチング領域から計算される標準偏差値の最大値が或る閾値(例えば、σ1=10)を超えるとき、そのタイル対についてのマッチング領域が主に空白からなる(したがって、信頼性がない)可能性が高い。計算されたdx、dy値を使用することが望まれないタイル対の例として、マッチングがより信頼性があり、共通領域の標準偏差が十分に高い(例えば、>10)タイルのみが考えられる。
ボトム・トップタイル対の場合、NCCベースマッチングを通して計算される(dx,dy)値は、不変のままである場合がある。NCCベースマッチングが、信頼性がないと考えられるとき、マッチングの信頼スコアは、低い値に減少する。例えば、マッチング領域が主に空白からなるとき、NCCベースマッチングスコアが高く、標準偏差が低い場合がある。結果として、(dx,dy)ソリューションは、マッチングが、主に1つのタイル内の空白から隣接するタイル内の空白までであるため、不正確である場合がある。したがって、より高い信頼度は、この(dx,dy)ソリューションに割り当てられる場合、全体的な大域的配置に悪い影響を及ぼす場合がある。したがって、改善策は、より低い信頼スコアをこのソリューションに割り当てることによって、この(dx,dy)ソリューションにより低い重要性を割り当てることである。より低い信頼度を割り当てるためのサンプルソリューションは、例3、本明細書に示される。
次に、左右タイル対をマッチングさせる場合が考えられる。マッチング領域が主に空白からなる、隣接する左右タイル対の場合、タイル間の(dx-オーバーラップおよびdy-シフト)値を近似するために左右画像対から得られる平均(dx,dy)値が使用される。
左右タイル対をマッチングさせることに関して、対応するNCCスコアが高い場合、また同様に、対応する標準偏差スコアが十分に高い場合、対マッチングは信頼性があると見なされる。幾つかの実施形態において、「NCCスコアが高い(NCC score is high)」と言われるとき、NCCスコアは、0.25などの[-1,1]の間の中間値より高いことが示唆される。例として、標準偏差値は、値が20より大きいときに「十分に高い(high enough)」とすることができる。この例において、このことは、オーバーラップ領域が、非空白領域である可能性があることを意味することになる。マッチングが、信頼性がないとき、大域的配置についての正しいソリューションが、全てのこれらの左右タイル対についての良好な開始(dx,dy)値を必要とすることが経験的に見出された。幾つかの実施形態において、局所的マッチングが失敗するとき、本明細書でさらに述べるように、全行/列について、dx、dyが平均dx、dyで置換される。これらの平均値は、良好な初期化の例である。タイル対が、正のdy列に属するか、負のdy列に属するかに応じて、平均(dx,dy)値が使用される。所与の列について、全ての左右タイル対は、dyについて同じ指向性を有する;同様に、この指向性は、代替の列について交番する;すなわち、10の列が考えられる場合、これらの10の列についてのdy値の符号は、+、-、+、-、+、-、+、-、+、-、または、-、+、-、+、-、+、-、+、-、+であり得る。したがって、また、この特定の文脈において、dy(yシフト)値は、列1、3、5、…(奇数列)について同じ方向を有すると予想される;同様に、偶数列は、逆方向を有すると予想される。平均(dx,dy)値を割り当てるためのサンプルソリューションは、例4、本明細書に示される。
大域的配置のための重み付き最小2乗ベースソリューション
画像タイル対の間の空間的関係の最適調整(ステップ330)に続いて、重み付き最小2乗ソルバーが使用されて、導出された空間的関係に基づいてタイル配置を決定する(ステップ340)。幾つかの実施形態において、重み付き最小2乗ソルバーは、導出されたNCCスコアを重みとして利用する。
重み付き最小2乗は、応答値が予測子値の組み合わせにわたって異なる程度の変動性を有するとき、モデルパラメータの値を推定するのに有用である。線形および非線形最小2乗回帰と違って、重み付き最小2乗回帰は、プロセス変数の間の関係を記述するために使用される特定のタイプの関数に関連しない。代わりに、重み付き最小2乗は、モデル内のランダムエラーの挙動を反映する;また、重み付き最小2乗は、パラメータが線形または非線形である関数と共に使用され得る。重み付き最小2乗は、各データポイントに関連する特別の非負定数または重みをフィッティング基準内に組み込むことによって働く。重みのサイズは、関連する観測に含まれる情報の精度を示す。パラメータ推定量を見出すために重み付きフィッティング基準を最適化することは、重みが、最終パラメータ推定量に対する各観測の寄与を決定することを可能にする。幾つかの実施形態において、局所的レジストレーションモデルを用いて導出されたNCCスコアは、重み付き最小2乗解析における重みとして使用される。
重み付き最小2乗パラメータ推定において、通常の最小2乗の場合と同様に、回帰関数におけるパラメータβ0、β1、…の未知の値は、観測される応答間の2乗偏差とモデルの機能部分の合計を最小にするパラメータ推定量についての数値を見出すことによって推定される。しかしながら、最小2乗と違って、重み付き最小2乗基準内の各項は、データセット内の各観測が最終パラメータ推定量にどれほど影響を及ぼすかを決定する更なる重みwiを含む。パラメータ推定量を得るために最小にされる重み付き最小2乗基準は、
Figure 0007128203000004
である。
配置ソリューションの場合、幾つかの実施形態において、以下の仮定を行うことができる:
2つのフレームL(左)およびR(右)を仮定する、ここで、フレーム間の共通x交差部はdxであり、RはLの上のdy単位である;
(Lx,Ly)がLのトップ左角である場合、R(Rx,Ry)のトップ左角は次の通りである:
Rx=Lx+(幅-dx)(xは左から右に増加する)
Ry=Ly+(-dy)(yはトップからボトムに増加する)
タイルの間のMの行およびNの列について、M(N-1)のそのような対が得られる。
トップ画像(T)およびボトム画像(B)を考える。ここで、共通y交差部はdyであり、Tは、Bの右にdx単位のところに位置する;
(Tx,Ty)がTのトップ左角である場合、Bのトップ左角R(Bx,By)は:
Bx=Tx-dx;By=Ty+(高さ-dy)
として与えられる。
タイルのMの行およびNの列によって、トップ・ボトム画像のN(M-1)のそのような対が存在する。そのため、左右およびトップ・ボトム対を考慮してM(N-1)+M(N-1)線形方程式が得られる;未知数の数はMNタイルロケーションである(トップ左タイルロケーションが基準として使用され得る);そのため、冗長な方程式が存在し、可能である場合、非常に低い標準偏差を有する方程式を廃棄することができる。幾つかの実施形態において、NCCスコアが重みとして利用される重み付き最小2乗が使用される。Matlabにおいて、関数は、「lscov」(既知共分散を使用する最小2乗)である。
例5は、上述した重み付き最小2乗アプローチを使用するタイル配置を決定する方法を示す。
本開示の実施形態を実施するための他のコンポーネント
本開示のコンピュータシステムは、組織試料に対して1つまたは複数の調製プロセスを実施し得る試料処理装置に結び付けることができる。調製プロセスは、限定することなく、試料を脱パラフィンすること、試料を調節すること(例えば、細胞調節)、試料を染色すること、抗原賦活(antigen retrieval)を実施すること、免疫組織化学染色(標識化を含む)または他の反応を実施すること、および/またはインサイチューハイブリダイゼーション(例えば、SISH、FISHなど)染色(標識化を含む)または他の反応、ならびに、顕微鏡検査、微小分析、質量分析法、または他の分析法のために試料を調製するための他のプロセスを実施することを含み得る。
試料は組織サンプルを含み得る。組織サンプルは、ターゲットがその中にまたはその上に存在し得る、任意の液体、半個体、または個体物質(または材料)であり得る。特に、組織サンプルは、生物学的サンプルまたは生物学的組織から得られる組織サンプルであり得る。組織は、有機体内で同様の機能を果たす相互接続された細胞の集合体であり得る。幾つかの例において、生物学的サンプルは、人被験者などの動物被験者から得られる。生物学的サンプルは、任意の個体または流体サンプルであることができ、任意の個体または流体サンプルは、限定することなく、とりわけ細菌、酵母、原生動物、およびアメーバなどの単細胞有機体、多細胞有機体(植物または動物など、健康なまたは見かけは健康な人被験者、または、がんなどの、診断されるまたは調査される状態または疾病を患う人患者からのサンプルを含む)を含む任意の生きている有機体から得られる、それによって排出される、またはそれによって分泌される。例えば、生物学的サンプルは、例えば、血漿、血清、尿、胆汁、腹水、唾液、脳脊髄液、水様液、または硝子体液から得られる生物学的流体、あるいは、任意の身体分泌物、漏出液、滲出液(例えば、膿瘍、または、任意の他の感染または炎症部位から得られる流体)、または関節(例えば、正常関節または疾病を患う関節)から得られる流体であり得る。生物学的サンプルは、任意の器官または組織(腫瘍生検などの生検または部検試料を含む)から得られるサンプルで同様にあり得る、または、任意の細胞、組織、または器官によって調節された細胞(初代細胞か、培養細胞)または媒体を含み得る。幾つかの例において、生物学的サンプルは核抽出液である。或る例において、サンプルは、開示される細胞ペレットセクションサンプルのうちの1つのサンプルなどの品質管理サンプルである。他の例において、サンプルは試験サンプルである。例えば、試験サンプルは、細胞、組織、または被験者から得られる生物学的サンプルから調製される細胞ペレットセクションである。一例において、被験者は、危険な状態にある、または、特定の状態または疾病にかかった被験者である。幾つかの実施形態において、試料は胸部組織である。
処理装置は、試料に対して固定液を適用し得る。固定液は、架橋剤(アルデヒド、例えば、ホルムアルデヒド、パラホルムアルデヒド、およびグルタルアルデヒド、ならびに、非アルデヒド架橋剤など)、酸化剤(例えば、金属イオンおよび四酸化オスミウムおよびクロム酸などの錯体)、タンパク質変性剤(例えば、酢酸、メタノール、およびエタノール)、未知メカニズムの固定液(例えば、塩化水銀、アセトン、およびピクリン酸)、コンビネーション試薬(例えば、カルノア固定液、メタカン、ブアン液、B5固定液、ロスマン液、およびジェンダー液)、マイクロ波、および種々雑多な固定液(例えば、排除体積固定および蒸気固定)を含み得る。
試料がパラフィンに埋め込まれたサンプルである場合、サンプルは、適切な脱パラフィン用流体(複数可)を使用して脱パラフィンされ得る。廃棄物リムーバが脱パラフィン流体(複数可)を取除いた後、任意の数の物質が、試料に連続して適用され得る。物質は、前処理(例えば、タンパク質架橋、エクスポーズ核酸(expose nucleic acid)など)、変性、ハイブリダイゼーション、洗浄(例えば、ストリンジェンシーウォッシュ)、検出(例えば、プローブに対する可視またはマーカー分子のリンク)、増幅(例えば、タンパク質、遺伝子などを増幅すること)、対比染色、カバースリッピング、または同様なことのためのものであり得る。
試料処理装置は、広範囲の物質を試料に適用し得る。物質は、限定することなく、染色剤、プローブ、試薬、リンス、および/またはコンディショナーを含む。物質は、流体(例えば、気体、液体、または気体/液体混合物)または同様なものであり得る。流体は、溶剤(例えば、極性溶剤、非極性溶剤など)、溶液(例えば、水性溶液または他のタイプの溶液)、または同様なものであり得る。試薬は、限定することなく、染色剤、湿潤剤、抗体(例えば、モノクロナール抗体、ポリクロナール抗体など)、抗原回復流体(例えば、水性または非水性ベース抗原賦活化溶液、抗原回復緩衝液など)、または同様なものを含み得る。プローブは、検出可能標識またはリポーター分子に付着した、孤立核酸または孤立合成オリゴヌクレオチドであり得る。標識は、放射性同位元素、酵素基質、余因子、リガンド、化学発光剤または蛍光剤、ハプテン、および酵素を含み得る。
試料処理装置は、Ventana Medical Systems,Inc.によって販売されているBENCHMARK XT器具およびSYMPHONY器具などの自動化装置であり得る。Ventana Medical Systems,Inc.は、自動化分析を実施するためのシステムおよび方法を開示する幾つかの米国特許の譲受人であり、幾つかの米国特許は、米国特許第5,650,327号、第5,654,200号、第6,296,809号、第6,352,861号、第6,827,901号、および第6,943,029号、ならびに、米国公開特許出願第20030211630号および第20040052685号を含み、それらの特許はそれぞれ、参照によりその全体を本明細書に組み込まれる。代替的に、試料は、手作業で処理され得る。
試料が処理された後、ユーザーは、試料担持スライドを撮像装置まで輸送し得る。本明細書で使用される撮像装置は、明視野イメージャースライドスキャナーである。1つの明視野イメージャーは、Ventana Medical Systems,Inc.によって販売されているiScan Coreo(商標)明視野スキャナーである。自動化実施形態において、撮像装置は、「IMAGING SYSTEM AND TECHNIQUES」という名称の国際特許出願第PCT/US2010/002772号(特許公開第WO/2011/049608号)に開示される、または、「IMAGING SYSTEMS, CASSETTES, AND METHODS OF USING THE SAME」という名称の、2011年9月9日に出願された米国特許出願第61/533,144号に開示されるデジタル病理学デバイスである。国際特許出願第PCT/US2010/002772号および米国特許出願第61/533,144号は、参照によりその全体を組み込まれる。他の実施形態において、撮像装置は、顕微鏡に結合されたデジタルカメラを含む。
撮像システムまたは装置は、マルチスペクトル撮像(MSI:multispectral imaging)システムまたは蛍光顕微システムであることができる。本明細書で使用される撮像システムはMSIである。MSIは、概して、病理学的試料の分析に、画像のスペクトル分布に対するアクセスをピクセルレベルで提供することによるコンピュータ化顕微鏡ベース撮像システムを装備させる。種々のマルチスペクトル撮像システムが存在するが、これらのシステムの全てに共通であるオペレーショナル態様は、マルチスペクトル画像を形成する能力である。マルチスペクトル撮像システムは、電磁スペクトルにわたって特定の波長でまたは特定のスペクトル帯域幅で画像を取得する撮像システムである。これらの波長は、光学フィルターによって、または、例えば、赤外線(IR)などの可視光範囲の範囲を超える波長の電磁放射を含む所定のスペクトル成分を選択することが可能な他の器具の使用によって選び出すことができる。
MSIは、光学撮像システムを含むことができ、その一部は、所定の数Nの離散的光帯域を規定するために調節可能であるスペクトル選択性システムを含む。光学システムは、広帯域光源によって透過照明される組織サンプルを光学検出器上で撮像するように適合することができる。一実施形態において、例えば顕微鏡などの拡大システムを含むことができる光学撮像システムは、光学システムの単一光学出力と全体的に空間的に整列した単一光学軸を有する。システムは、異なる離散的スペクトル帯域で画像が採取されることを保証するためなどで、スペクトル選択性システムが(例えば、コンピュータプロセッサによって)調整されるまたは調節されるため、組織の画像のシーケンスを形成する。装置は、ディスプレイをさらに含むことができ、ディスプレイにおいて、採取された画像のシーケンスから組織の少なくとも1つの視覚的に知覚可能な画像が現れる。スペクトル選択性システムは、回折格子などの波長分散要素、薄膜干渉フィルターなどの光学フィルターの集合体、または、ユーザー入力またはプリプログラム式プロセッサのコマンドに応答して、サンプルを通して検出器に向かう光源から透過する光のスペクトルから特定の通過帯域を選択するように適合した任意の他のシステムを含むことができる。
代替の実装態様、スペクトル選択性システムは、Nの離散的スペクトル帯域に対応する幾つかの光学出力を規定する。このタイプのシステムは、光学システムから出力される透過光を取込み、識別されたスペクトル帯域内のサンプルを、この識別されたスペクトル帯域に対応する光学経路に沿って検出器システム上で撮像するように、この光出力の少なくとも一部分をNの空間的に異なる光学経路に沿って空間的に再び方向付ける。
本明細書で述べる主題およびオペレーションの実施形態は、デジタル電子回路要素(circuitry)で、本明細書で開示する構造およびそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、またはハードウェアで、あるいは、それらの1つまたは複数の組み合せで実装され得る。本明細書で述べる主題の実施形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置が実行するための、または、データ処理装置のオペレーションを制御するための、コンピュータ記憶媒体上で符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。本明細書で述べるモジュールの任意のモジュールは、プロセッサ(複数可)によって実行されるロジックを含むことができる。「ロジック(Logic)」は、本明細書で使用するとき、プロセッサのオペレーションに影響を及ぼすために適用することができる命令信号および/またはデータの形態を有する任意の情報を指す。ソフトウェアは、ロジックの例である。
コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基材、ランダムまたはシリアルアクセスメモリアレイまたはデバイス、あるいは、それらの1つまたは複数の組み合わせであり得る、または、その中に含まれ得る。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成される伝搬信号において符号化されるコンピュータプログラム命令のソースまたは行先であり得る。コンピュータ記憶媒体は、1つまたは複数の別個の物理的コンポーネントまたは媒体(例えば、複数のCD、ディスク、または他の記憶デバイス)で同様にあり得る、または、その中に含まれ得る。本明細書で述べるオペレーションは、1つまたは複数のコンピュータ可読記憶媒体上に記憶される、または、他のソースから受信されるデータに対してデータ処理装置が実施するオペレーションとして実装され得る。
用語「プログラム式プロセッサ(programmed processor)」は、例として、プログラマブルマイクロプロセッサ、コンピュータ、システム・オン・チップ(system on a chip)、または複数のもの、あるいは上記の組み合わせを含む、データを処理するための、全ての種類の装置、デバイス、および機械を包含する。装置は、専用ロジック回路要素、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはACIS(特定用途向け集積回路)を含み得る。装置は、ハードウェアに加えて、問題のコンピュータプログラムについて実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム・ランタイム環境、仮想マシン、またはそれらの1つまたは複数の組み合わせを構成するコードを同様に含み得る。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャーなどの種々の異なるコンピューティングモデルインフラストラクチャーを実現し得る。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイル型またはインタープリター型言語、宣言型または手続き型言語を含む任意の形態のプログラミング言語で書くことができ、コンピュータプログラムは、独立型プログラムとして、あるいは、モジュール、コンポーネント、サブルーチン、オブジェクト、またはコンピューティング環境で使用するのに適する他のユニットとして、を含む任意の形態で配備され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応することができるが、対応する必要はない。プログラムは、問題のプログラムに専用の単一ファイルで、または、複数の協調式ファイル(例えば、1つまたは複数のモジュール、サブプログラム、またはコードの複数の部分を記憶するファイル)で他のプログラムまたはデータ(例えば、マークアップ言語文書に記憶された1つまたは複数のスクリプト)を保持するファイルの一部分に記憶され得る。コンピュータプログラムは、1つのコンピュータ上で、1つのサイトに位置する、または、複数のサイトにわたって分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるために配備され得る。
本明細書で述べるプロセスおよびロジックフローは、入力データに作用し、出力を生成することによってアクションを実施する1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実施され得る。プロセスおよびロジックフローは、専用ロジック回路要素、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)として同様に実装され得る装置によって同様に実施され得る。
コンピュータプログラムの実行に適するプロセッサは、例によれば、汎用と専用の両方のマイクロプロセッサおよび任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。概して、プロセッサは、読出し専用メモリか、ランダムアクセスメモリか、または両方からの命令およびデータを受信することになる。コンピュータの本質的な要素は、命令に従ってアクションを実施するためのプロセッサならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。概して、コンピュータは、同様に、データを記憶するための1つまたは複数の大容量記憶デバイス、例えば、磁気ディスク、光磁気ディスク、または光ディスクからデータを受信するか、そこへデータを転送するか、または両方を行うために、それを含む、または、それに動作可能に結合されることになる。しかしながら、コンピュータはそのようなデバイスを持つ必要はない。さらに、コンピュータは、別のデバイス、例えば、2、3例を挙げると、携帯電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、または可搬型記憶デバイス(例えば、ユニバーサルシリアルバス(USB)フラッシュドライブ)に埋め込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適するデバイスは、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイス;磁気ディスク、例えば、内部ハードディスクまたは取り外し可能ディスク;光磁気ディスク;ならびに、CD-ROMおよびDVD-ROMディスクを含む全ての形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、専用ロジック回路要素によって補完され得る、または、それに組み込まれ得る。
ユーザーとの相互作用を可能にするために、本明細書で述べる主題の実施形態は、ユーザーに情報を表示するための、ディスプレイデバイス、例えば、LCD(液晶ディスプレイ)、LED(発光ダイオード)ディスプレイ、またはOLED(有機発光ダイオード)ディスプレイ、ならびに、ユーザーがそれによって入力をコンピュータに提供し得る、キーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールを有するコンピュータ上に実装され得る。幾つかの実装態様において、タッチスクリーンが使用されて、情報を表示し、ユーザーからの入力を受信し得る。他の種類のデバイスが使用されて、同様にユーザーとの相互作用を可能にし得る;例えば、ユーザーに提供されるフォードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックであり得る;また、ユーザーからの入力は、音響、音声、または触覚入力を含む任意の形態で受信され得る。さらに、コンピュータは、ユーザーによって使用されるデバイスに文書を送出し、そのデバイスから文書を受信することによって;例えば、ウェブブラウザから受信される要求に応答して、ユーザーのクライアントデバイス上でウェブページをウェブブラウザに送出することによって、ユーザーと相互作用し得る。
本明細書で述べる主題の実施形態は、コンピューティングシステムにおいて実装されることができ、コンピューティングシステムは、バックエンドコンポーネント、例えば、データサーバーか、ミドルウェアコンポーネント、例えば、アプリケーションサーバーか、フロントエンドコンポーネント、例えば、本明細書で述べる主題の実装態様とユーザーがそれを通して相互作用し得るグラフィカルユーザーインタフェースまたはウェブブラウザを有するクライアントコンピュータか、または、そのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの1つまたは複数の組み合わせを含む。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)、およびピア・トゥー・ピアネットワーク(例えば、アドホックピア・トゥー・ピアネットワーク)を含む。例えば、図1のネットワーク20は、1つまたは複数のローカルエリアネットワークを含み得る。
コンピューティングシステムは、任意の数のクライアントおよびサーバーを含み得る。クライアントおよびサーバーは、概して、互いに遠隔であり、通常、通信ネットワークを通して相互作用する。クライアントおよびサーバーの関係は、コンピュータプログラムがそれぞれのコンピュータ上で実行され、互いにクライアント・サーバーの関係を有することによって生じる。幾つかの実施形態において、サーバーは、(例えば、クライアントデバイスと相互作用するユーザーにデータを表示し、ユーザーからユーザー入力を受信するために)データ(例えば、HTMLページ)をクライアントデバイスに送信する。クライアントデバイスで生成されたデータ(例えば、ユーザー相互作用の結果)は、サーバーにおいてクライアントデバイスから受信され得る。

次に続く例の全ては、M×Nタイル(M行およびN列)を有する全スライドスキャンを仮定する。
例1-左右画像タイル対についての、空間ロケーション、NCCスコア、および標準偏差値の決定
入力:M×Nタイル;左右タイル対の間のx軸に沿うオーバーラップはx1<=dx<=x2である;右タイルに適用されると、右タイルを左タイルに整列させることになるyシフトは-ymax<=dy<=ymaxで変動し得る。
出力:M×(N-1)の左右画像対の場合、各対(i,j)について計算される:
dxLR(i,j):左タイル(i番目の行、j番目の列)と右タイル(i番目の行、(j+1)番目の列)との間のx軸に沿うオーバーラップ
dyLR(i,j):上記で述べたタイル対間のy軸に沿うシフト:dyLR(i,j)が正である場合、右タイルを左タイルに整列させるために、右タイルが下にシフトされなければならないことが意味される
confLR(i,j):上記で述べた左右タイル対についてのマッチング領域間のNCCが考えられるときのNCCスコア
stdLR(i,j):左と右の両方のタイルのためのマッチング領域について計算される、標準偏差の最大が考えられるときの標準偏差スコア
方法:
FORi=1:M//行インデックス(row index)
FORj=1:M//列インデックス(col index)
左タイル(i番目の行、j番目の列)および右タイル(i番目の行、(j+1)番目の列)の考えられる全てのマッチング領域の間のNCCを計算する、x1<=dx<=x2およびymin<=dy<=ymaxを仮定する(すなわち、右タイルの仮定される下方変位について左右マッチングを考える)
左タイル(i番目の行、j番目の列)および右タイル(i番目の行、(j+1)番目の列)の考えられる全てのマッチング領域の間のNCCを計算する、x1<=dx<=x2および-ymax<=dy<=-yminを仮定する(すなわち、右タイルの仮定される上方変位について左右マッチングを考える)
右タイルの垂直変位がない場合を考える必要がないようにするために、dyの小さい値(例えば、ymin=40ピクセル)が使用される。左タイルと右タイルとの間の非常に小さいオーバーラップを考えることは、NCCスコアが計算されるときに数値不安定性につながり得る(スコアが、非常に少数のピクセルにわたって計算されるため)。ゾーン-ymax<=dy<=-yminを回避しながら、NCCが計算されると、より意味のあるNCCスコアを返す。
END FOR//FOR 列=1:N-1
END FOR//FOR 行=1:M
条件1:1番目の列は正のdyを有し、一方、2番目の列は負のdyを有する:
S1=(全てのM×(N-1)のタイル対セットを考慮するNCCスコア)の平均(条件1の場合)
条件2:1番目の列は負のdyを有し、一方、2番目の列は正のdyを有する:
S2=(全てのM×(N-1)のタイル対セットを考慮するNCCスコア)の平均(条件2の場合)
S1>=S2である場合(If)、条件1が有効である
そうでなければ(Else) 条件2が有効である
出力:条件1が有効か、条件2が有効かに応じて、dxLR(i,j)、dyLR(i,j)、confLR(i,j)、stdLR(i,j)(1<=i<=M、1<=j<=N)を返す
例2-トップ・ボトム画像タイル対についての、空間ロケーション、NCCスコア、および標準偏差値の決定
入力:M×Nタイル;ボトム・トップタイル対の間のy軸に沿うオーバーラップはy1<=dy<=y2である;トップタイルに適用されると、トップタイルをボトムタイルに整列させることになるxシフトは-xmax<=dx<=xmaxで変動し得る。
出力:(M-1)×Nのボトム・トップ画像対の場合、各対(i,j)について計算される:
dyLR(i,j):トップタイル(i番目の行、j番目の列)とボトムタイル((i+1)番目の行、j番目の列)との間のy軸に沿うオーバーラップ
dxBT(i,j):上記で述べたボトム・トップタイル対の間のx軸に沿うシフト:dx(i,j)が正である場合、トップタイルをボトムタイルに整列させるために、トップタイルが右にシフトされなければならないことが意味される
confBT(i,j):上記で述べた左右タイル対についてのマッチング領域間のNCCが考えられるときのNCCスコア
stdBT(i,j):トップとボトムの両方のタイルのためのマッチング領域について計算される、標準偏差の最大が考えられるときの標準偏差スコア
方法:
FOR j=1:N//列インデックス
FOR i=1:M-1//行インデックス
トップタイル(i番目の行、j番目の列)およびボトムタイル(i+1番目の行、j番目の列)の考えられる全てのマッチング領域の間のNCCを計算する、y1<=dy<=y2およびxmin<=dx<=xmaxを仮定する
END FOR//FOR 行=1:M-1
END FOR//FOR 列=1:N
出力:dxBT(i,j)、dyBT(i,j)、confLR(i,j)、stdBT(i,j)(1<=i<=M、1<=j<=N)を返す
例3-より低い信頼度をトップ・ダウン画像タイル対に割り当てるための方法
For j=1:N//列インデックス
For j=1:M-1//行インデックス
stdBT(i,j)<σ1の場合、
confBT(i,j)=δ
end if//end if:
end for//行インデックス
end for//列インデックス
例4-平均オーバーラップおよびシフト値を左右画像タイル対に割り当てるための方法
ここで、Avgdxodd(i)は、タイルがi番目の行にあると共に、左タイルが奇数の列に存在するときの、左右タイル対についての平均オーバーラップである。同様に、Avgdyodd(i)は、タイルがi番目の行にあると共に、左タイルが奇数の列内に存在するときの、左右タイル対についての平均yシフトである。
------------------------------------------
For i=1:M
Avgdxodd(i)={dxLR(i,j)、1<=j<=N}の平均
Avgdyodd(i)={dyLR(i,j)、1<=j<=N}の平均
Avgdxeven(i)={dxLR(i,j)、2<=j<=N}の平均
Avgdxeven(i)={dyLR(i,j)、2<=j<=N}の平均
End for
------------------------------------------
以下のモジュールは、左右タイル対について(dx,dy)値ならびにNCCベース信頼値がどのように更新されるかを述べる。
------------------------------------------
For j=1:2:N//ここで、左タイルが奇数列にある場合が考えられる
For i=1:M//ここで、全ての行にわたって反復される
stdLR(i,j)<σかつconfLR(i,j)>δである場合、
//修正は必要とされない
そうでなければ(Else)
dxLR(i,j)=Avgdxodd(i,j)
dyLR(i,j)=Avgdyodd(i,j)
confLR(i,j)=δ
End if
End for//行にわたる反復の終了
End for//奇数列にわたる反復の終了
------------------------------------------
For j=2:2:N//ここで、左タイルが偶数列にある場合を考える
For i=1:M//ここで、全ての行にわたって反復する
stdLR(i,j)>σかつconfLR(i,j)>δ
//修正は必要とされない
Else
dxLR(i,j)=Avgdxeven(i,j)
dyLR(i,j)=Avgdyeven(i,j)
confLR(i,j)=δ
End if
End for//行にわたる反復の終了
End for//偶数列にわたる反復の終了
------------------------------------------
例5-重み付き最小2乗ソリューション
タイルのM×Nセットについて、全てのタイルについて(x,y)トップ左ロケーションが計算される必要がある。基準ポイントとして、(0,0)を(1,1)番目のタイルのトップ左角であると仮定する。(F(i,j),F(i,j))が(i,j)タイルのためのトップ左角についての(x,y)座標であるとする。Htが1タイル画像についての行の数(高さ)を示し、Wdが1タイル画像についての列の数(幅)を示すとする。
------------------------------------------
以下は、左から右へのタイルマッチングからの(dx,dy)値が、タイル(x,y)位置を決定するためにどのように使用されるかを示す。
For i=1:M//行インデックス
For j=1:N-1//列インデックス
(i,j+1)=F(i,j)+(Wd-dxLR(i,j))
(i,j+1)=F(i,j)-(dyLR(i,j))
End for//列インデックス
End for//行インデックス
------------------------------------------
------------------------------------------
以下は、ボトムからトップへのタイルマッチングからの(dx,dy)値が、タイル(x,y)位置を決定するためにどのように使用されるかを示す。
For j=1:N//列インデックス
For j=1:M-1//行インデックス
(i+1,j)=F(i,j)+(-dxBT(i,j))
(i+1,j)=F(i,j)+(Ht-dyBT(i,j))
End for//行インデックス
End for//列インデックス
------------------------------------------
Fx項とdx項との間のマッピングを考慮して、以下の式が得られる。
AX=D(ここで、Wは既知であり、Dは観測ベクトルであり、Xは決定される)
ここで、Xは(M×N)×1ベクトル(未知変数:全てのタイルのトップ左のx座標を含む)であり;
Dは、(M×(N-1)+N×(M-1))×1ベクトルであり(左右対の場合、dxオーバーラップ、および、トップ・ボトム対の場合、dxシフト);
Aは、(M×(N-1)+N×(M-1))×(M×N)行列である。
X=[Fx(1,1)Fx(1,2)Fx(1,3)…Fx(1,N)Fx(2,1)Fx(2,2)…Fx(2,N)…Fx(M,N)](そのため、Xは、各画像タイルについてトップ左角のX座標を示し、タイルは行方向であると考えられる)
そのため、X=Fx(ceil(i/N),mod(i/N))//iがNの倍数であるとき、mod(i/N)がNで置換される
表記の使用に関するノート:mがnの倍数である場合、mod(m,n)=n(かつ非ゼロ)
D=「(dxLR(1,1)-Wd)(dxLR(1,2)-Wd)dxLR(1,3)-Wd)…(dxLR(M,N-1)-Wd)dxBT(1,1)dxBT(2,1)dxBT(3,1)…dxBT(M-1,1)dxBT(1,2)dxBT(2,2)dxBT(3,2)…dxBT(M-1,N)」
そのため、Dにおいて、左右マッチングベースのdx項は、最初に行方向に考えられ、ボトム・トップマッチングベースのdx項は、次に列方向に考えられる。
=dxLR(ceil(i/(N-1)),mod(i,N-1))-Wd
//iがN-1の倍数であるとき、mod(i,N-1)がN-1(1<=i<=){M×(N-1)}で置換される
=dxBT(mod((i-(M×(N-1))),M-1),ceil((i-(M×(N-1)))/(M-1));
{M×(N-1)+1}<=i<={M×(N-1)+N×(M-1)}の場合
行列Aは、疎行列であり、非ゼロ項のみは次の通りである:
W内の第1のM×(N-1)行は、M{(N-1)×(N-1)}ブロック行列からなり、各ブロック行列は、主対角線上に1を、また、対角線のすぐ右の全ての要素について-1を有する。
------------------------------------------
For 1<=i<={M×(N-1)}
A(i,i)=1
A(i,i+1)=-1
End for
------------------------------------------
------------------------------------------
For {M×(N-1)+1}<=i<={M×(N-1)+N×(M-1)}
考慮中の列(column_being_considered)=ceil((i-(M×(N-1)))/(M-1))
考慮中の行(row_being_considered)=mod((i-(M×(N-1))),(M-1))
A(i,N×{考慮中の行-1}+考慮中の列)=1
A(i,N×{考慮中の行-1}+考慮中の列+N)=-1
End for
------------------------------------------
今や、線形最小2乗の形態でセットアップされた問題が得られる。ここで、未知数の数は(M×N)であり、式の数は{M×(N-1)+N×(M-1)}である。そのように、未知数より多い式が得られ、Xについて解くため三角形形態のA行列を得るためにQR分解が使用される。
今や、重み付き最小2乗において、重みが各式に関連付けられる。ここで、各式は、dx項(dxLRまたはdxBT)を考える:そのように、各dx項が、対応するNCCベース信頼スコアに関連付けられる。
そのため、最終目標は、J=(D-AX)W(D-AX)を最小にすることである;
したがって、Xopt=arg min{(D-AX)W(D-AX)}
である。
ここで、Wは、(M×(N-1)+N×(M-1))×(M×(N-1)+N×(M-1))の正方行列であり、非ゼロ対角線項のみを有する;
ここで、
W(i,i)=confLR(ceil(i/(N-1)),mod(i,N-1));1<=i<={Mx(N - 1)}
および for {M(N-1)+1|}<=i<={M(N-1)+N(M-1)}
W(i,i)=confBT(mod((i-(M(N-1))),M-1),ceil((i-(M(N-1)))/(M-1)))
について解かれると、Fについて解くために、同様の重み付き最小2乗ベース公式が使用され得る。上記で述べたように、トップ左タイルのトップ左角が原点と見なされる。
したがって、全ての他のx-y座標は、トップ左タイルのトップ左角を基準に考えられる。
------------------------------------------
原点X=Fx(1,1)
原点Y=Fy(1,1)
For i=1:M//行インデックス
For j=1:N-1//列インデックス
(i,j)=F(i,j)-原点X
(i,j)=F(i,j)-原点X
End for//For j=1:N-1
End for//For i=1:M
------------------------------------------
本明細書において参照される、および/または、出願データシートにおいて挙げられる、米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、おび非特許出願の全ては、参照によりその全体を本明細書に組み込まれる。実施形態の態様は、必要である場合、修正されて、種々の特許、出願、および公開の概念を使用し、それにより、なおさらなる実施形態を提供する。
これは、例示的な実施形態の説明を結論付ける。本開示は幾つかの例証的な実施形態を参照して述べられたが、本開示の原理の趣旨および範囲内に入ることになる多数の他の修正形態および実施形態が、当業者によって考案され得ることが理解されるべきである。より詳細には、妥当な変形および修正は、本開示の趣旨から逸脱することなく、上記開示、図面、および添付特許請求項の範囲内で、サブジェクト組み合わせ配置構成のコンポーネント部品および/または配置構成において可能である。コンポーネント部品および/または配置構成における変形および修正に加えて、代替的使用は、同様に、当業者に明らかであろう。

Claims (31)

  1. 1つまたは複数のプロセッサを備えるコンピューティングデバイスによって、試料担持スライドのタイル画像をスティッチングするコンピュータ実装式方法であって、
    (a)前記1つまたは複数のプロセッサが、前記試料担持スライドの各タイル画像についてグレースケールタイル画像を導出すること、
    (b)前記1つまたは複数のプロセッサが、隣接するグレースケールタイル画像の対の間の空間的関係を決定するために局所的レジストレーションを実施することであって、前記空間的関係は、多重解像度フレームワーク内で計算される正規化相互相関(NCC)スコアを使用して決定される、局所的レジストレーションを実施すること、および、
    (c)前記1つまたは複数のプロセッサが、全てのスキャンされたタイル画像を互いに対して位置決めするために大域的配置を実施することを含み、前記大域的配置は、全ての隣接するグレースケールタイル画像の間の決定された前記空間的関係と、重みとしての前記NCCスコアとを利用する、重み付き最小2乗によって決定される、
    方法。
  2. 前記1つまたは複数のプロセッサは、隣接するグレースケールタイル画像の各対についての前記空間的関係、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、前記第1および第2の低解像度サブサンプリング画像は、隣接するグレースケールタイル画像対のオーバーラップ領域から導出される、候補空間的関係を計算すること(ii)順次解像度が高くなるサブサンプリング画像において前記候補空間的関係を洗練すること、および、(iii)オリジナル解像度の前記隣接するグレースケールタイル画像対の前記オーバーラップ領域において最も高いNCCスコアを有する洗練された前記候補空間的関係を、決定された前記空間的関係として選択すること、によって決定る、請求項1に記載の方法。
  3. 前記1つまたは複数のプロセッサは、前記第1および第2の低解像度サブサンプリング画像間の前記候補空間的関係、前記第1および第2の低解像度サブサンプリング画像のNCCドメインにおいてピークのロケーションを決定することによって導出る、請求項2に記載の方法。
  4. 前記1つまたは複数のプロセッサは、前記候補空間的関係であって、前記候補空間的関係のピークロケーションが予め規定されたNCC閾値を満たす、前記候補空間的関係保持る、請求項3に記載の方法。
  5. 前記予め規定されたNCC閾値は、トップNCCスコアの予め規定されたパーセンテージである、請求項4に記載の方法。
  6. 前記1つまたは複数のプロセッサは、記候補空間的関係、前記NCCドメインにおいて各ピークの更新されたロケーションを決定することによって洗練、各ピークの前記ロケーションの更新、順次解像度が高くなるサブサンプリング画像の対内で実施、順次解像度が高くなるサブサンプリング画像の各対は、前記隣接するグレースケールタイル画像対の前記オーバーラップ領域に対応する、請求項3に記載の方法。
  7. 順次解像度が高くなるサブサンプリング画像の各対は、直近下位の解像度のサブサンプリング画像と比較して、1というダウンサンプリング係数に達するまでの、ダウンサンプリング係数の所定の減少を含む、請求項6に記載の方法。
  8. 前記ダウンサンプリング係数の変化は、2から4に及ぶ、請求項7に記載の方法。
  9. 前記第1および第2のサブサンプリング画像は、第1の解像度を提供するために第1のダウンサンプリング係数を有し、ここで、順次解像度が高くなるサブサンプリング画像の第1の対は、前記第1の解像度の2倍の解像度である解像度を有する、請求項6に記載の方法。
  10. 前記1つまたは複数のプロセッサは、前記NCCスコア、全てのサブサンプリング画像解像度について、積分画像を使用して計算る、請求項6に記載の方法。
  11. 前記1つまたは複数のプロセッサは、前記NCCスコア、少なくとも1つのサブサンプリング画像解像度について、積分画像を使用して計算る、請求項6に記載の方法。
  12. 前記1つまたは複数のプロセッサは、前記NCCスコア、予め計算された積分画像を使用して計算る、請求項1に記載の方法。
  13. 前記1つまたは複数のプロセッサが、前記隣接するグレースケールタイル画像対においてマッチング領域間の標準偏差を計算するステップをさらに含む、請求項2に記載の方法。
  14. 隣接するグレースケールタイル画像間の前記空間的関係は、タイルオーバーラップおよびタイルシフトである、請求項1に記載の方法。
  15. 前記1つまたは複数のプロセッサは、タイルシフトおよびタイルオーバーラップの値、全ての水平タイル画像対および全ての垂直タイル画像対について計算る、請求項14に記載の方法。
  16. 前記1つまたは複数のプロセッサが、隣接するグレースケールタイル画像対の間の前記タイルオーバーラップおよびタイルシフトの値信頼性があるか否かを判定することをさらに含む、請求項14に記載の方法。
  17. 前記タイルオーバーラップおよびタイルシフトの値信頼性があるか否かを判定することは、前記1つまたは複数のプロセッサが、前記隣接するグレースケールタイル画像対におけるマッチング領域から導出される標準偏差を標準偏差閾値と比較することを含み、前記タイルオーバーラップおよびタイルシフトの値は、前記標準偏差が前記標準偏差閾値より小さい場合、信頼性がない、請求項16に記載の方法。
  18. 前記タイルオーバーラップおよびタイルシフトの値が、信頼性がないと判定される場合、(i)前記1つまたは複数のプロセッサが、平均オーバーラップおよび平均シフトの値をタイルオーバーラップおよびタイルシフトの値としてそれぞれ割り当てること、または、(ii)前記1つまたは複数のプロセッサが、より低い信頼スコアを、前記信頼性がない隣接するグレースケールタイル画像に割り当てることを含む、請求項17に記載の方法。
  19. 前記1つまたは複数のプロセッサは、平均オーバーラップ値および平均シフト値、左右タイル画像について、それぞれ、タイルオーバーラップおよびタイルシフトの値として割り当てる、請求項14に記載の方法。
  20. 前記1つまたは複数のプロセッサが、より低い信頼スコア、信頼性がないトップ・ボトムタイル画像に割り当てる、請求項14に記載の方法。
  21. 各サブサンプリング画像は、隣接するグレースケールタイル画像対の前記対の1つのグレースケール画像から、前記1つまたは複数のプロセッサが導出したクロッピングされた画像である、請求項2に記載の方法。
  22. 前記1つまたは複数のプロセッサが、計算されたタイル画像配置に基づいて前記タイル画像の全てを共にスティッチングするステップをさらに含む、請求項1に記載の方法。
  23. 前記空間的関係はタイルオーバーラップおよびタイルシフトを含み、左右タイル画像対について、前記1つまたは複数のプロセッサは、前記左右タイル画像対の左タイルと前記左右タイル画像対の右タイルとの間のx軸に沿うオーバーラップについてタイルオーバーラップを導出し、前記左右タイル画像対の間のy軸に沿うシフトについてタイルシフトを導出る、請求項1に記載の方法。
  24. 前記タイルシフトが正値を有する場合、前記右タイルは、前記タイルと整列するように、下方にシフトされるべきである、請求項23に記載の方法。
  25. 前記空間的関係はタイルオーバーラップおよびタイルシフトを含み、トップ・ボトムタイル画像対について、前記1つまたは複数のプロセッサは、前記トップ・ボトムタイル画像対のトップタイルと前記トップ・ボトムタイル画像対のボトムタイルとの間のy軸に沿うオーバーラップについてタイルオーバーラップを導出し、前記トップ・ボトムタイル画像対の間のx軸に沿うシフトについてタイルシフトを導出る、請求項1に記載の方法。
  26. 前記タイルシフトが正値を有する場合、前記トップタイルは、前記ボトムタイルと整列するように、右にシフトされるべきである、請求項25に記載の方法。
  27. 前記1つまたは複数のプロセッサが、関心領域識別を実施することをさらに含む、請求項1に記載の方法。
  28. 1つまたは複数のプロセッサを備えるコンピューティングデバイスによって、試料担持スライドのタイル画像をスティッチングするコンピュータ実装式方法であって、(a)前記1つまたは複数のプロセッサが、隣接するタイル画像のオーバーラップ領域内でマッチングピクセルを識別するために局所的レジストレーションモジュールを実行することであって、前記局所的レジストレーションは、前記隣接するタイル画像の前記オーバーラップ領域において最良正規化相互相関(NCC)スコアをもたらす空間的関係として表現され、前記正規化相互相関(NCC)スコアは多重解像度フレームワーク内で計算される、局所的レジストレーションモジュールを実行すること、および、(b)前記1つまたは複数のプロセッサが、全てのタイル画像を互いに対して位置決めするために大域的配置モジュールを実行することを含む、
    方法。
  29. 前記1つまたは複数のプロセッサは、隣接するグレースケールタイル画像の各対についての空間的関係、(i)第1および第2の低解像度サブサンプリング画像において予想マッチング領域間の候補空間的関係を計算することであって、前記第1および第2の低解像度サブサンプリング画像は、隣接するタイル画像対のオーバーラップ領域から導出される、候補空間的関係を計算すること(ii)順次解像度が高くなるサブサンプリング画像において前記候補空間的関係を洗練すること、および、(iii)オリジナル解像度の前記隣接するタイル画像対の前記オーバーラップ領域において最も高いNCCスコアを有する洗練された前記候補空間的関係を、決定された前記空間的関係として選択すること、によって決定る、請求項28に記載の方法。
  30. 1つまたは複数のプロセッサおよび少なくとも1つのメモリを備えるコンピューティングデバイスであって、前記少なくとも1つのメモリは、請求項1~29のいずれか一項に記載の方法をコンピューティングデバイスに実施させるために、前記1つまたは複数のプロセッサが実行するための非一時的コンピュータ可読命令を記憶する、コンピューティングデバイス。
  31. コンピュータ実行可能命令を記憶する非一時的コンピュータ可読媒体であって、コンピューティングデバイスの1つまたは複数のプロセッサによって前記コンピュータ実行可能命令が実行されると、請求項1~29のいずれか一項に記載の方法を前記コンピューティングデバイスに実施させる、非一時的コンピュータ可読媒体。
JP2019555778A 2017-04-14 2018-04-06 スティッチングのための局所的タイルベースレジストレーションおよび大域的配置 Active JP7128203B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762485818P 2017-04-14 2017-04-14
US62/485,818 2017-04-14
PCT/EP2018/058807 WO2018189039A1 (en) 2017-04-14 2018-04-06 Local tile-based registration and global placement for stitching

Publications (2)

Publication Number Publication Date
JP2020517017A JP2020517017A (ja) 2020-06-11
JP7128203B2 true JP7128203B2 (ja) 2022-08-30

Family

ID=62002115

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019555778A Active JP7128203B2 (ja) 2017-04-14 2018-04-06 スティッチングのための局所的タイルベースレジストレーションおよび大域的配置

Country Status (5)

Country Link
US (1) US11769223B2 (ja)
EP (1) EP3610451B1 (ja)
JP (1) JP7128203B2 (ja)
CN (1) CN110494891B (ja)
WO (1) WO2018189039A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110494891B (zh) 2017-04-14 2023-11-28 文塔纳医疗***公司 用于拼接的基于分块的局部配准以及全局放置
EP3884259A1 (en) 2018-11-20 2021-09-29 Ventana Medical Systems, Inc. Methods and systems for preparing and analyzing cellular samples for morphological characteristics and biomarker expression
CN110475123B (zh) * 2019-08-30 2021-08-03 杭州图谱光电科技有限公司 一种用于显微镜视频流的手动实时拼接方法
CN110753217B (zh) * 2019-10-28 2022-03-01 黑芝麻智能科技(上海)有限公司 色彩平衡方法和装置、车载设备以及存储介质
JP7424076B2 (ja) * 2020-01-29 2024-01-30 株式会社リコー 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
CN111626933B (zh) * 2020-05-14 2023-10-31 湖南国科智瞳科技有限公司 一种精准、快速的显微图像拼接方法及***
CN111935417B (zh) * 2020-07-02 2021-12-14 清华大学 基于多尺度相机阵列的分级视频拼接方法及装置
CN114071010B (zh) * 2020-07-30 2024-05-24 华为技术有限公司 一种拍摄方法及设备
CN112102307B (zh) * 2020-09-25 2023-10-20 杭州海康威视数字技术股份有限公司 全局区域的热度数据确定方法、装置及存储介质
US11941878B2 (en) 2021-06-25 2024-03-26 Raytheon Company Automated computer system and method of road network extraction from remote sensing images using vehicle motion detection to seed spectral classification
US11915435B2 (en) * 2021-07-16 2024-02-27 Raytheon Company Resampled image cross-correlation
CN113724307B (zh) * 2021-09-02 2023-04-28 深圳大学 基于特征自校准网络的图像配准方法、装置及相关组件
CN113706433B (zh) * 2021-10-28 2022-02-08 千乘镜像(北京)科技有限公司 一种图片合成方法、装置、电子设备及存储介质
JP2023159649A (ja) * 2022-04-20 2023-11-01 株式会社Screenホールディングス 画像取得装置および画像取得方法
WO2023248141A1 (en) * 2022-06-22 2023-12-28 Wyss Center For Bio And Neuro Engineering Image compression and analysis
WO2024054980A1 (en) * 2022-09-09 2024-03-14 Genentech, Inc. Identification of duplication of sample images of tissue slices
CN116579927B (zh) * 2023-07-14 2023-09-19 北京心联光电科技有限公司 一种图像拼接方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348159A (ja) 1999-06-01 2000-12-15 Ricoh Co Ltd 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体
JP2004184240A (ja) 2002-12-03 2004-07-02 Topcon Corp 画像測定装置、画像測定方法、画像処理装置
US20140355892A1 (en) 2013-05-31 2014-12-04 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20160140746A1 (en) 2013-07-22 2016-05-19 Olympus Soft Imaging Solutions Gmbh Method for creating a microscope image and method for operating a microscope

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5595707A (en) 1990-03-02 1997-01-21 Ventana Medical Systems, Inc. Automated biological reaction apparatus
CA2323463A1 (en) * 1994-11-14 1996-05-23 Sarnoff Corporation Mosaic based image processing system and method for processing images
DE69942975D1 (de) 1998-02-27 2011-01-05 Ventana Med Syst Inc Automatisierter molekularer pathologieapparat mit unabhängigen objektträgerwärmern
US20030211630A1 (en) 1998-02-27 2003-11-13 Ventana Medical Systems, Inc. Automated molecular pathology apparatus having independent slide heaters
US6582962B1 (en) 1998-02-27 2003-06-24 Ventana Medical Systems, Inc. Automated molecular pathology apparatus having independent slide heaters
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7095905B1 (en) * 2000-09-08 2006-08-22 Adobe Systems Incorporated Merging images to form a panoramic image
US7006707B2 (en) * 2001-05-03 2006-02-28 Adobe Systems Incorporated Projecting images onto a surface
US7861169B2 (en) * 2001-11-19 2010-12-28 Ricoh Co. Ltd. Multimedia print driver dialog interfaces
US20060247863A1 (en) * 2005-04-28 2006-11-02 Bui Huy A Optimizing maldi mass spectrometer operation by sample plate image analysis
CA2507174C (en) * 2005-05-13 2013-07-16 Semiconductor Insights Inc. Method of registering and aligning multiple images
WO2008118886A1 (en) * 2007-03-23 2008-10-02 Bioimagene, Inc. Digital microscope slide scanning system and methods
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
BR112012009241A2 (pt) 2009-10-19 2020-09-01 Ventana Medical Systems,Inc. ''dispositivio para obter uma imagem focada de um especime,método,meio legível por computador,dispositivo para um estagio de microscópio,dispositivo para cache de lâmina,dispositivopara varredura de lâmina e método para varrer a lâmina''
US20110115896A1 (en) * 2009-11-19 2011-05-19 Drexel University High-speed and large-scale microscope imaging
WO2012015732A1 (en) * 2010-07-26 2012-02-02 Siemens Corporation Global error minimization in image mosaicking using graph laplacians and its applications in microscopy
JP5743710B2 (ja) * 2011-05-19 2015-07-01 キヤノン株式会社 撮像装置およびその制御方法
AU2011205087B2 (en) * 2011-07-29 2014-09-25 Canon Kabushiki Kaisha Multi-hypothesis projection-based shift estimation
JP2013058124A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、及びプログラム
US8698901B2 (en) * 2012-04-19 2014-04-15 Hewlett-Packard Development Company, L.P. Automatic calibration
CN103679636B (zh) * 2013-12-23 2016-08-31 江苏物联网研究发展中心 基于点、线双重特征的快速图像拼接方法
EP3251088B1 (en) 2015-01-31 2019-07-31 Ventana Medical Systems, Inc. Systems and methods for area-of-interest detection using slide thumbnail images
CN110494891B (zh) 2017-04-14 2023-11-28 文塔纳医疗***公司 用于拼接的基于分块的局部配准以及全局放置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348159A (ja) 1999-06-01 2000-12-15 Ricoh Co Ltd 画像合成処理方法、撮像装置、画像縮小処理方法及び記録媒体
JP2004184240A (ja) 2002-12-03 2004-07-02 Topcon Corp 画像測定装置、画像測定方法、画像処理装置
US20140355892A1 (en) 2013-05-31 2014-12-04 Samsung Electronics Co., Ltd. Image processing method and apparatus
US20160140746A1 (en) 2013-07-22 2016-05-19 Olympus Soft Imaging Solutions Gmbh Method for creating a microscope image and method for operating a microscope

Also Published As

Publication number Publication date
US20200043134A1 (en) 2020-02-06
WO2018189039A1 (en) 2018-10-18
CN110494891A (zh) 2019-11-22
CN110494891B (zh) 2023-11-28
EP3610451B1 (en) 2021-09-29
EP3610451A1 (en) 2020-02-19
JP2020517017A (ja) 2020-06-11
US11769223B2 (en) 2023-09-26

Similar Documents

Publication Publication Date Title
JP7128203B2 (ja) スティッチングのための局所的タイルベースレジストレーションおよび大域的配置
US11836950B2 (en) Quality metrics for automatic evaluation of dual ISH images
US10755406B2 (en) Systems and methods for co-expression analysis in immunoscore computation
JP7425145B2 (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
US11657503B2 (en) Computer scoring based on primary stain and immunohistochemistry images related application data
US11164316B2 (en) Image processing systems and methods for displaying multiple images of a biological specimen
US10628658B2 (en) Classifying nuclei in histology images
US11715557B2 (en) Automatic assay assessment and normalization for image processing
US8131476B2 (en) System and method for co-registering multi-channel images of a tissue micro array
US20220148176A1 (en) Quantitation of Signal in Stain Agrregates
Antoranz et al. COLLAGE: COnsensus aLignment of muLtiplexing imAGEs
Arzhaeva et al. Mosaicing of microscope images in the presence of large areas with insufficient information content

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220818

R150 Certificate of patent or registration of utility model

Ref document number: 7128203

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150