JP7241723B2 - 免疫スコアを計算するためのシステム及び方法 - Google Patents

Description

（関連出願との相互参照）
２０１４年９月３日に出願された米国仮特許出願第６２／０４５４８４号の優先権をここに主張し、その内容の全体を出典明示により援用する。
（分野）
本発明は、生体検体において視野を自動的に同定することに関する。より詳細には、本発明は、腫瘍細胞を包含する画像内の領域に対して視野（ＦＯＶ）を自動的に同定するための撮像システムに関する。

幾つかの免疫細胞、例えばＢ細胞又はＴ細胞は、様々なタイプの腫瘍に浸潤し、更なる腫瘍発達に効果を有することが知られている。一方で、免疫細胞による破壊を回避する能力は、多くのがん型の重要な特徴であると考えられている。免疫細胞の効果は、がん型に依存しうる。浸潤する免疫細胞のタイプ、例えばＴ細胞、Ｂ細胞又はマクロファージと、浸潤の度合いは、腫瘍進行に影響を及ぼしうる。従って、免疫細胞による腫瘍組織の浸潤に関する状況特異的情報が、特定の患者に対する腫瘍発達の予後を判断するために使用されうる。

通常は、免疫スコアの計算において、科学者は、同じ組織塊中の例えば複数のタンパク質又は核酸等を検出又は定量するために隣接する連続組織切片を染色することを含むシンプレックスアッセイあるいは一片の組織を染色することを含むマルチプレックスアッセイを使用する。利用可能な染色スライドを用いて、免疫学的データを腫瘍組織サンプルから推定することができる。このデータは、結腸直腸がんの患者の生存を予測するために使用することができ、重要な予後の役割を実証することが報告されている。顕微鏡スライドの解釈プロセスとデジタル病理ワークフローの双方において、専門の読み取り者がスライドを顕微鏡下で検討する。専門の読み取り者は、更なる腫瘍発達の予測を行うために、スキャンされ又はデジタル化されたスライドの画像をモニターから読み取りうる。しかしながら、スライドの腫瘍の特定の浸潤パターンが与えられた場合、予後のそのような手動による主観的評価は再現性がない。むしろ、それは非常に主観的であり、読み取り者に偏っている。結果として、腫瘍細胞スライドの手動検査に基づく腫瘍進行の予測は、病理学者毎に変わる傾向があり、再現性がない。

また、免疫スコアを計算する多くの方法は、腫瘍の外側のリンパ球の活性を考慮していない。米国特許出願公開第２０１４０１８５８９１Ａ１号（発明の名称：同時位置合わせ画像の画像解析とデータマイニングの最適化による画像ベース診断検査の作成（Generating Image-Based Diagnostic Tests By Optimizing Image Analysis and Data Mining Of Co-Registered Images））は、隣接する組織切片の組合せ画像における重複する特徴から生成されるヒートマップを利用してがんの再発の可能性を予測する画像ベース試験の診断検査を開示している。しかしながら、該方法は、腫瘍の細胞数に適用可能と思われる。従って、計算は、同定された腫瘍領域内の細胞活性又は細胞数に限定され、腫瘍領域外の細胞活動の活性を考慮していない。固形がんに罹患している患者の生存期間を予測する方法（Methods for Predicting the Survival time of a Patient Suffering from a Solid Cancer）と題された米国特許出願公開第２０１３０２０３６１４Ａ１号は、結腸がんの患者の生存期間の予測方法を開示しており、結腸がん腫瘍の浸潤縁を考慮すると思われる。しかしながら、米国特許出願第２０１３０２０３６１４Ａ１号に開示された方法は、結腸直腸がんに関連していることが分かっている細胞に対するものであり、一貫した予後を生み出す方法論を促進するデジタル撮像法は提示していないようである。

この明細書において引用される特許又は特許出願を含む全ての参考文献は、出典明示によりここに援用される。何れの参考文献も先行技術を構成するとも又は当該技術分野における一般的な常識の一部を形成するとも認めるものではない。

本発明は、腫瘍細胞を包含するメラノーマのデジタル画像中の領域に対して視野（ＦＯＶ）を自動的に同定するための撮像システム、方法、及び装置に関する。更なる態様では、本発明は、前記視野を使用する免疫スコア計算のためのコンピュータ実装方法及びシステムに関する。

独立請求項において特定されているＦＯＶ同定及び／又は免疫スコア計算のための改良された方法及びシステムを提供することが本発明の目的である。本発明の実施態様は、従属請求項に記載される。本発明の実施態様は、相互に排他的でない場合、互いに自由に組み合わせることができる。

一態様では、本発明は、自動免疫スコア計算方法に関する。該方法は、画像解析システムのプロセッサによって実行され、
－ 複数のマーカー画像をメモリから読み取るステップであって、各マーカー画像の画素（ピクセル）強度が前記マーカー画像を生成するために使用されたスライド上の各免疫細胞マーカーの量に対応し、前記複数のマーカー画像の各々が異なる免疫細胞マーカーに対応するステップと；
－ 入力画像を処理することによって腫瘍画像を計算するステップであって、前記入力画像が前記複数のマーカー画像によって示される組織切片と同じ組織切片を示すか、又は前記複数のマーカー画像によって示される前記組織切片の一つに隣接する組織切片を示し、前記腫瘍画像が一又は複数の腫瘍に含まれる腫瘍細胞を選択的に示すステップと；
－ 前記腫瘍画像内の一又は複数の領域を同定するステップであって、同定された各領域は、前記一又は複数の腫瘍の一つの内部又は周辺の複数の所定のがん型特異的領域の一つに属するステップと；
－ 前記腫瘍画像と前記マーカー画像のうちの２つ以上を、腫瘍画像とマーカー画像のうちの該２つ以上が異なる座標系に由来する場合、共通座標系に位置合わせするステップ（９６６）と
を含む。例えば、マーカー画像がシンプレックス染色アプローチ法によって異なる組織スライドから得られる場合には、マーカー画像は異なる座標系に由来しうる。
前記プロセッサは、前記２つ以上のマーカー画像の各々について、前記マーカー画像内の一又は複数の視野を、
－ ａ）前記マーカー画像内のマッピングされた領域の各々を前記マーカー画像の視野として使用すること；又は
－ ｂ）画素強度値が前記マーカー画像内の強度極大値であり、前記共通座標系における前記腫瘍画像の前記同定された領域のうちの一つの内部に位置する画素域を同定するために前記マーカー画像を処理し；前記同定された画素域を前記マーカー画像の前記視野として使用すること
によって同定する。

前記方法は、免疫スコアを計算し、それによって前記２つ以上の位置合わせをしたマーカー画像の全視野から得られた画像情報を入力として選択的に使用することを更に含む。
これは、例えば、がん治療法への応答、無病生存期間及び全生存期間に対する効果に関して、正確な予後を可能にする免疫スコアを計算することができるように、一又は複数のデジタル画像を処理するための再現可能な方法が提供されるという利点を有しうる。

従って、一又は複数の免疫細胞マーカーで染色された組織スライドを手動で検査し評価するのとは対照的に、本発明の実施態様は、同じ（又は同様の）デジタル画像と対応する腫瘍組織スライドに対して同じ（又は同様の）免疫スコアを再現可能な形で計算することを可能にする。従って、再現性とまた予後の質が向上する。腫瘍発達を予測する従来のアプローチ法は、免疫浸潤を測定するための一貫性のない組織領域選択基準、異なる定性的及び定量的基準に基づいているところ、本発明の実施態様は、免疫スコアを計算する明確かつ再現可能な方法を提供することを可能にする。

特に有益な態様では、免疫スコア計算の基礎である視野（ＦＯＶ）は、客観的基準（強度極大値）に基づいて選択される。よって、前記ＦＯＶに基づく免疫スコアの計算と例えば免疫細胞の計数などの全ての中間ステップは、再現可能な形で実施される。

実施態様によれば、画像解析システムのプロセッサは、２つ以上の選択されたマーカー画像の各々における自動的に同定された各ＦＯＶにおいて、自動細胞検出アルゴリズムによって免疫細胞をカウントする。異なった型の免疫細胞の最終カウントは、マーカー画像が由来する組織切片の免疫スコアを計算するために使用される。この免疫スコアは、医師が患者の予後を判断するのを助けうる。

実施態様によれば、前記免疫スコアの計算は、
－ 前記２つ以上の位置合わせされたマーカー画像の各々内の前記視野の各々に対して、
・ 前記マーカー画像の画素強度情報に細胞検出アルゴリズムを適用し、前記視野内の全ての検出された細胞を自動的にカウントし、
・ 検出された細胞の免疫細胞型を決定し、
・ 前記視野内の免疫細胞密度を決定し、及び／又は
・ 前記共通座標系における前記視野が属する前記腫瘍画像の前記領域の領域タイプを決定し、細胞数、細胞型及び／又は細胞密度情報に前記決定された領域タイプを割り当てるステップと、
－ 前記２つ以上のマーカー画像の全視野の細胞数、細胞型、密度及び／又は割り当てられた領域タイプ情報を処理するステップであって、前記免疫スコアの高さが、同定された領域内の免疫細胞の密度と相関するステップと
を含む。

免疫応答が高い場合、細胞は一緒にクラスター化し、前記領域は高い免疫細胞密度を示す一方、免疫応答が低い場合、細胞はより散乱し、前記領域は低い免疫細胞密度を有する。一般に、高い免疫スコアと強い免疫応答が正の予測因子であり、すなわち、そのような知見はがんが治療される可能性を高めうる。

免疫スコアの計算の再現性が更に高まるので、腫瘍内又は腫瘍周辺の所定の腫瘍領域における免疫細胞型、それらの各カウント及びそれらの細胞密度の自動同定が有益でありうる。前記特徴の各々は、再現可能で客観的な基準に基づいて自動的に同定される。

実施態様によれば、免疫細胞型は、マーカー画像が対応するバイオマーカー型に由来する。例えば、特定の免疫細胞型の免疫細胞が多量の特定のタンパク質（バイオマーカー）を典型的に発現する一方、他の免疫細胞型がそうでない場合、前記バイオマーカーが選択的に染色され得、前記染色によって発せられるカラーシグナルが、マルチプレクス画像の各カラーチャンネル又は各シンプレックス画像内にキャプチャーされうる。前記染色の発せられたカラーシグナルの強度は、前記免疫細胞によって発現されたバイオマーカーの量に相関し、よって、前記マーカー画像が得られたスライドの任意の領域における前記特定の免疫細胞型の免疫細胞の数と密度に相関するであろう。

例えば、免疫細胞マーカーは、Ｂ細胞又はＴ細胞のような特定の免疫細胞型に特異的でありうる。実施態様によれば、マーカー画像が得られるマーカーの少なくとも幾つかは、ＣＤ抗原（ＣＤ：「表面抗原分類」）である。特に、前記マーカーは、前記免疫細胞型の同定を可能にするＣＤ抗原を含むか、又は該ＣＤ抗原からなりうる（以下の表を参照）。

免疫細胞分布と患者のアウトカムの相関を調査するための自動化された再現可能なアプローチが提供されるので、前記特徴は有利な場合がある。文献（Galon, J.等: Type, Density, and Location of Immune Cells Within Human Colorectal Tumors Predict Clinical Outcome. Science 313(5795), 1960-1964 (2006)）では、各免疫細胞型の母分布が患者の臨床的アウトカムに相関している場合があることが研究されている。しかしながら、個々の免疫細胞型の分布のマニュアル評価の主観性のために、そのようなアプローチの妥当性及び再現性は限られている。従って、本発明の実施態様は、特定のタイプの相関研究をより再現性のある形で繰り返すことを可能にし、そのような研究の結果の精度を高めることができる。

例えば、慢性炎症及びＭ２マクロファージの存在は、腫瘍増殖及び広がりに都合がよい。リンパ球はランダムに分布しているわけではなく、特定の領域に位置している。ナチュラルキラー細胞は間質に見出され、腫瘍細胞とは接触していない。これらの細胞は、逆に、増殖する腫瘍の浸潤周縁部と腫瘍床に隣接する三次リンパ系構造に主に見出される。Ｔ細胞は浸潤周縁部に位置している場合はあるが、腫瘍核にも見出すことができる。免疫細胞の分布は異なるがん型の間で変わる。Ｔ細胞の全サブセットは、メラノーマ、結腸直腸がん、頭頸部がん、及び非小細胞肺がんにおける腫瘍の核及び浸潤周縁部に存在する。結腸直腸がんでは、高密度のＣＤ４＋メモリーＴ細胞及びＣＤ８＋メモリーＴ細胞を伴う２つのＭｏｒｓｅの割合は局所的な腫瘍浸潤に伴って減少し、すなわち、Ｔ４期の腫瘍ではＴ１期の腫瘍よりも密度が低い。ＣＤ８＋Ｔ細胞の密度は、腎細胞がんの予後不良と相関するようである。（Fridman W. H等, “the immune context in human tumors: impact on clinical outcome”, Nature Reviews | Cancer, April 2012）。

実施態様によれば、前記免疫細胞マーカーは免疫細胞型を選択的に示す。免疫細胞型は、例えば、Ｔ細胞、Ｂ細胞又はマクロファージの一つである。前記免疫スコアの計算は、画像解析システムによって、同定された細胞型の各々について別個に視野内の細胞数を決定すること、及び／又は細胞密度を決定することを含む。例えば、細胞の計数は、個々のマーカー画像において同定された視野内で実施されうる。あるいは、細胞の計数は、統合された視野（「最終的なＦＯＶ」とも称される）を生成するために複数のマーカー画像の視野を重ね合わせて統合し；統合された視野を各マーカー画像にマッピングし戻し；前記個々のマーカー画像にマッピングされた統合視野内の細胞をカウントすることによって、実施されうる。統合ステップは、例えば、異なるマーカー画像の重ねられたＦＯＶのＵＮＩＯＮ又はＩＮＴＥＲＳＥＣＴ操作でありうる。

また、前記免疫スコアの計算は、画像解析システムによって、細胞数及び／又は細胞密度と、前記免疫スコアを計算するために前記視野が配される領域のタイプとに、細胞型及びがん型特異的規則を適用することを含む。

前記規則は、例えば、Ｊａｖａ又はＣ＃プログラムのようなソフトウェアモジュール又はプログラムのプログラムロジックとして、あるいはデータベース管理システム内のストアドプロシージャのセットとして実装されうる。

これは、異なる型のがんでは腫瘍細胞クラスターのサイズと分布が変わりうるので有利な場合がある。従って、腫瘍内部領域、腫瘍周辺領域及び／又は異なるタイプの転移及び他の形態の腫瘍細胞クラスターのサイズと形状は、がん型に依存しうる。腫瘍画像内の前記領域を同定するためにがん型特異的規則を提供することにより、より正確な免疫スコアを計算することができる。

優先的には、前記規則あるいは少なくとも前記規則によって評価される閾値は、プログラムロジックを再コンパイル又は再デプロイする必要なしに、ユーザインタフェースを介して人間のユーザによって編集されうる。

これは、更なる免疫細胞型の自動同定をサポートし、及び／又は免疫細胞型及び／又は特定のがん型の腫瘍の予後に関連する腫瘍関連領域をより正確に同定するように規則を適合させるように、システムの人間のオペレータが、追加の規則を容易に追加し、又は既存の規則によって評価される基準及び／又は閾値を変更しうるので、有利な場合がある。

実施態様によれば、ｂ）に従う視野の同定は、
－ 前記マーカー画像にローパスフィルタを適用して、ローパスフィルタ処理された画像を得るステップと、
－ 前記ローパスフィルタ処理された画像に極大値フィルタを適用して、前記マーカー画像のヒートマップを取得するステップであって、前記ヒートマップの極大値が画素強度極大値を示し、前記ヒートマップの画素の強度値が前記画素によって表されるスライド域におけるマーカーの密度を示すステップと、
－ 前記ヒートマップ内で最も高い画素強度値を有するか又はその画素強度値が閾値を上回るヒートマップ内の画素域の数（Ｋ）を同定するステップと、
－ 前記マーカー画像の視野として前記同定された画素域を使用するステップと
を含む。

例えば、最高強度値を有する上位Ｋ個の画素域が、マーカー画像内の同定された各領域から選択される。Ｋは０より大きい任意の整数でありうる。Ｋの典型的な例は、３、５、１０、１５又は２０である。Ｋ＝３で、マーカー画像が４つの同定された領域を含む場合、マーカー画像は１２個のＦＯＶを含みうる（あるいは最大強度値を有するＫ個の画素域が所定の閾値よりも大きい強度値を有することが必要とされる場合はより少ない）。各画素域の強度値は、前記画素域内の全画素の平均強度値、例えば算術平均又はメディアンを計算することによって決定することができる。各ＦＯＶのサイズは、強度極大値を構成する画素域内の強度値に依存しうる。例えば、ＦＯＶのサイズは、閾値に基づいた形で決定され得、不規則なサイズを有しうる。あるいは、各ＦＯＶは、予め定まった形状、例えば強度極大値に属する画素を完全にカバーする円又は正方形を有しうる。

最も高い強度値を有するＫ個の画素域だけを使用することは、ノイズと染色アーチファクトの影響が低減されるので有利な場合がある。極大値は、各マーカー画像のマーカーを特異的に染色するために使用される色素によって引き起こされる可能性が非常に高い。従って、免疫スコアの計算は、実は細胞ではなく染色アーチファクトであるマーカー画像内の細胞をカウントすることによって損なわれない。

実施態様によれば、前記腫瘍画像内の前記領域の同定は、
－ 強度値が閾値を上回る腫瘍画像内の画素ブロブを同定するステップと、
－ 前記画素ブロブの各々の一又は複数の特徴を同定するステップであって、前記特徴が前記画素ブロブの直径、前記画素ブロブの形状、及び／又は前記画素ブロブの前記腫瘍画像内の最も近い隣接画素ブロブまでの距離のうちの少なくとも一つを含むステップと、
－ 前記画素ブロブの前記決定された一又は複数の特徴に
・ 複数の所定のがん型特異的な腫瘍内領域タイプのうちのどの一つに前記画素ブロブが属するかを決定し、前記一又は複数の腫瘍の一つの中の同定された領域として前記同定された画素ブロブを使用し、
・ 前記同定された腫瘍内領域を、同定された腫瘍内領域のタイプに依存する所定の距離だけ、それぞれ拡張することによって、前記腫瘍画像内の前記画素ブロブの近傍の更なる画素領域を同定し、
・ 前記同定された更なる画素領域を、前記一又は複数の腫瘍の周辺に位置する前記腫瘍画像内の同定された領域として使用するために
がん型特異的規則を適用するステップと、
を含む。

また、画像解析システムは、前記同定された領域の各々に、同定された領域が属する所定のがん特異的領域タイプの一つを示すラベルを割り当てることができる。

これは、腫瘍の様々な領域、例えば、腫瘍内領域、腫瘍周辺領域、微小転移やマクロ転移の内部又は周辺に属する腫瘍領域等が、がん特異的な形で動的に同定されるので、有利な場合がある。該規則は、特定のがんの腫瘍細胞クラスターの典型的なサイズと形状に適合させることができ、それにより、様々な型の免疫細胞による腫瘍とその周辺の浸潤をより正確に決定することが可能になる。

実施態様によれば、前記複数の所定のがん型特異的領域は、
－ 微小転移：第１の閾値より大きく第２の閾値未満の直径を有する腫瘍画像内の領域；
－ 微小転移の周辺：微小転移の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第３の閾値によって定義される領域；
－ マクロ転移：前記第２の閾値より大きい直径を有する腫瘍画像内の領域；
－ マクロ転移の周辺：マクロ転移の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第４の閾値によって定義される領域；
－ 孤立した腫瘍細胞クラスター：第１の閾値未満の直径を有する腫瘍画像内の領域；
－ 孤立した腫瘍細胞クラスターの群：互いに第５の閾値内にある孤立した腫瘍細胞クラスターの群を含む腫瘍画像内の領域；
－ 孤立した腫瘍細胞クラスターの群の周辺：孤立した腫瘍細胞クラスターの群の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第６の閾値によって定義される領域
の一又は複数を含む。

実施態様によれば、前記がん型はメラノーマである。次の閾値は、メラノーマに関連するか又はメラノーマに浸潤する免疫細胞を同定するために優先的に使用される。
－ 第１の閾値：０．２ｍｍ；
－ 第２の閾値：０．７ｍｍ；
－ 第３の閾値：０．２ｍｍ；
－ 第４の閾値：０．２ｍｍ；
－ 第５の閾値：０．５ｍｍ；及び／又は
－ 第６の閾値：０．２ｍｍ。

実施態様によれば、前記がん型はメラノーマであり、前記２つ以上のマーカーは、ＣＤ３、ＣＤ８、ＦｏｘＰ３及びＣＤ２０のうちの２つ以上である。

例えば、前記腫瘍画像は、全スライド画像でありうる。各マーカー画像はまた全スライド画像又はその一部でありうる。

実施態様によれば、前記方法は、前記腫瘍画像内の前記領域の各々にラベルを割り当てるステップであって、各ラベルが前記領域のタイプを示すステップと、前記領域の前記ラベルを前記共通座標系から前記マーカー画像の各々の座標系に移して戻すステップとを含む。例えば、前記ラベルは、「微小転移」、「マクロ転移」、「微小転移の周辺」、又は「マクロ転移の周辺」等の一又は複数でありうる。

実施態様によれば、前記入力画像からの前記腫瘍画像の前記計算は、
－ 前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが由来する画像から組織マスクを計算するステップを含み、例えば、前記組織マスクは、その強度値が閾値を下回り、及び／又はそのコンテキストがその画素が組織外の領域を表すことを示す全ての画素がマスクされたＨ＆Ｅ染色組織切片の画像に由来するマスクであってもよく、組織は腫瘍細胞並びに正常細胞を含み得；
－ ノイズ低減マーカー画像を生成するために前記マーカー画像又はその派生物に前記組織マスクを適用するステップを含み、従って、前記組織マスクは、処理速度を増加させ、ノイズ及び染色アーチファクトを除去するために、組織の外側の画素を除去しうる。

実施態様によれば、前記方法は、画像解析システムによって、ノイズ低減組織画像から腫瘍マスクを計算し、腫瘍細胞を選択的に示す腫瘍画像を生成するために前記ノイズ低減組織画像に腫瘍マスクを適用することを含む。例えば、前記腫瘍マスクは、その強度値が閾値を下回り、及び／又はそのコンテキストがその画素が腫瘍細胞ではない領域又は細胞を表すことを示す全ての画素がマスクされたＨ＆Ｅ画像又は腫瘍細胞特異的染色で染色された同じか隣接する組織切片のデジタル画像から得られるマスクであってもよく、よって、実施態様によれば、前記腫瘍画像は、腫瘍細胞に由来する強度情報のみを含み、免疫細胞の強度情報を欠いていてもよい。

前記特徴は、免疫スコアの計算の精度を高めることができるので有利でありうる。

実施態様によれば、前記方法は、ノイズ低減マーカー画像からヒートマップを計算し、前記ヒートマップ内の極大値を同定することを含む。前記方法は、最も高い強度値を有する強度極大値のものとして視野を同定するために極大値に強度閾値アルゴリズムを適用することを更に含む。

実施態様によれば、前記方法は、
－ 前記画像解析システムによって、前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが得られた画像から、輝度画像であって、その中の各画素にそのＲ、Ｇ及びＢ強度値から得られた輝度値が割り当てられた輝度画像を生成し、
－ 前記画像解析システムによって、輝度分散画像であって、その中の各画素に前記画素の近傍における輝度の分散を示すデータ値が割り当てられた輝度分散画像を生成し、
－ 前記画像解析システムによって、近傍における輝度の分散を示す割り当てられたデータ値が輝度変動閾値を下回る全画素をマスクする、閾値フィルタ処理された２値画像を生成するために、前記輝度分散画像に閾値フィルタを適用し、低輝度変動の画素領域を非組織領域としてマスキングするために前記閾値フィルタ処理された２値画像を前記組織マスクとして使用する
ことによって前記組織マスクを生成することを更に含む。

実施態様によれば、前記方法は、
－ 前記画像解析システムによって、前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが得られた画像から、輝度メディアン画像であって、その中の各画素に前記画素の近傍の画素輝度値のメディアンを示すデータ値が割り当てられた輝度メディアン画像を生成するステップと、
－ 前記画像解析システムによって、近傍における輝度のメディアンを示すその割り当てられたデータ値がメディアン輝度閾値を上回る全画素をマスクする、更なる閾値フィルタ処理された２値画像を生成するために、輝度メディアン画像に閾値フィルタを適用するステップと、
前記組織マスクを提供するために前記閾値フィルタ処理された２値画像と前記更なる閾値フィルタ処理された２値画像を組み合わせるステップであって、前記組織マスクが低輝度変動の画素領域を非組織領域としてマスキングし、例えば高輝度値を有するアーチファクトをマスクするために、メディアン輝度閾値を上回るメディアン輝度を持つ画素領域をマスキングするステップと
を更に含む。

実施態様によれば、前記方法は、腫瘍組織切片を含む単一の多重スライドにカラーアンミキシング手順を適用することによって前記マーカー画像を生成するステップであって、各カラーチャンネルが前記免疫細胞マーカーの一つに対応するステップを含む。あるいは、前記方法は、複数の隣接する腫瘍組織切片の一つをそれぞれが含み、前記免疫細胞マーカーの異なる一つによってそれぞれ染色されている複数の単一染色スライドの各々から画像を取ることによってマーカー画像を生成するステップを含む。

実施態様によれば、前記方法は、ユーザインタフェースを提供することを更に含む。

幾つかの実施態様によれば、前記ユーザインタフェースは、ユーザが前記２つ以上のマーカー画像を選択できるように構成されている。前記視野の前記位置合わせは、ユーザによって選択されたマーカー画像に対して選択的に実行される。

オーバーレイの形態で画面上に表示されうる２つ以上のマーカー画像をユーザが特に選択することを可能にすることは、例えば、同じ型の免疫細胞を相関させ、それを示していると思われる２つ以上の免疫細胞マーカーが同じ腫瘍領域内の共通座標系に実際に位置しているか否かをユーザがチェックすることを可能にするので、有利な場合がある。加えて、又は代替的に、前記オーバーレイ画像は、様々な腫瘍の状況における複数の異なる免疫細胞型の位置を表示し、示しうる。

加えて又は代替的に、前記ユーザインタフェースは、ユーザが前記腫瘍領域タイプの２つ以上を選択することを可能にし、ＦＯＶの同定は、選択された２つ以上の腫瘍領域タイプの腫瘍領域に対して選択的に実行される。

加えて又は代替的に、前記ユーザインタフェースは、前記２つ以上のマーカー画像の前記視野と前記視野を含む腫瘍画像の前記領域を、前記腫瘍画像と前記２つ以上のマーカー画像のオーバーレイとして表示するように構成される。前記オーバーレイは表示画面に表示される。前記ユーザインタフェースは、ユーザが前記２つ以上のマーカー画像又はそこから生成されたヒートマップ上でズームインしズームアウトすることを可能にし、それにより前記マーカー画像と前記腫瘍画像の領域の前記表示された視野のサイズを増減させる。

幾つかの実施態様によれば、前記ユーザインタフェースは、ユーザが前記２つ以上のマーカー画像の各々の前記ヒートマップにおいて同定される画素域の数Ｋを特定することを可能にするように構成される。

前記ユーザインタフェースは、例えば、ＬＣＤモニター又はタッチスクリーン上に表示されるグラフィカルユーザインタフェースでありうる。
実施態様によれば、前記免疫スコア計算は、前記マーカー画像の二以上で同定されたＦＯＶの一又は複数における免疫細胞の数をカウントすることを含む。他の実施態様によれば、前記免疫スコア計算は、最終的なＦＯＶを生成するために、各マーカー画像内で同定されたＦＯＶをマッピングすることを含む。前記マッピングは、前記マーカー画像のＦＯＶをオーバーレイし、統合（マージング）操作、例えばＵＮＩＯＮ又はＩＮＴＥＲＳＥＣＴ操作を実施し、それによって、最終的なＦＯＶが生成された個々の元のＦＯＶを完全に又は部分的に含む最終的なＦＯＶを生成しうる。元のＦＯＶは「候補ＦＯＶ」とも称されうる。前記マッピングは、例えば、全てのマーカー画像を共通座標系に位置合わせすることによって実施され得、あるいは前記マーカー画像又はその一部を形態的類似性に基づいて整列させることによって（よって、全マーカー画像を共通座標系にマッピングすることなく）実施されうる。前記画像解析システムによって最終的なＦＯＶを計算した後、前記最終ＦＯＶは、個々のマーカー画像の座標系にマッピングされる。前記最終的なＦＯＶは、各マーカー画像内の元のＦＯＶと通常は重複するが、同一ではない。ついで、個々のマーカー画像内の免疫細胞をカウントするために、最終的なＦＯＶ（各マーカー画像で同定された元のＦＯＶではない）が使用される。換言すれば、前記最終的なＦＯＶは、個々のマーカー画像内の免疫細胞がカウントされるＦＯＶとして使用される。前記免疫スコアは、前記マーカー画像中の（元の又はここでは最終的な）ＦＯＶ中の免疫細胞数の派生数として計算される。細胞をカウントするために最終的ＦＯＶを使用することは、全てのマーカー画像において、同じ領域（最終的ＦＯＶは元の（又は「候補」）ＦＯＶの統合又は交差から生じる）が免疫細胞数を決定するために評価されるという利点を有しうる。これは、スコア計算の精度と再現性を高め、所与の領域における免疫細胞型の相対量の計算を容易にしうる。

本発明の実施態様によれば、前記方法は、ＦＯＶのうちの一又は複数について計算された免疫細胞数及び／又は免疫細胞密度及び／又は免疫スコアと、前記ＦＯＶを含む腫瘍関連領域のタイプに関する情報とを入力として、既知の健康パラメータ、例えば無病生存期間の月と共に、機械学習アルゴリズムをトレーニングするために、入力することを含む。トレーニングされた機械学習アルゴリズムは、自動腫瘍ステージング及び腫瘍進行予後に使用される。これは、トレーニングされた分類器が、ＦＯＶを選択し、その中に含まれる免疫細胞をカウントする再現性があり非バイアスの方法のおかげで、より高い予測精度を有する予後結果を提供するので有利な場合がある。

更なる態様では、本発明は、自動免疫スコア計算のための画像解析システムに関する。前記システムは、プロセッサとメモリを備える。前記メモリは、前記プロセッサによって実行されると、前記プロセッサに、
－ 複数のマーカー画像をメモリから読み取るステップであって、各マーカー画像の画素強度は前記マーカー画像を生成するために使用されるスライド上の各免疫細胞マーカーの量に対応し、前記複数のマーカー画像の各々は異なる免疫細胞マーカーに対応するステップと、
－ 入力画像を処理することによって腫瘍画像を計算するステップであって、前記入力画像は前記複数のマーカー画像によって示される組織切片と同じ組織切片を示すか、又は前記複数のマーカー画像によって示される組織切片の一つに隣接する組織切片を示し、前記腫瘍画像は一又は複数の腫瘍に含まれる腫瘍細胞を選択的に示すステップと、
－ 前記腫瘍画像内の一又は複数の領域を同定するステップであって、各同定された領域は、前記一又は複数の腫瘍の内部又はその周辺の複数の所定のがん型特異的領域の一つに属するステップと、
－ 前記マーカー画像と前記腫瘍画像のうちの２つ以上を、前記マーカー画像と前記腫瘍画像のうちの前記２つ以上が異なる座標系に由来する場合に、共通座標系に位置合わせするステップと、
前記２つ以上のマーカー画像の各々について、前記マーカー画像内の視野を、
－ ａ）前記マーカー画像内のマッピングされた領域の各々を、前記マーカー画像の視野として使用するか、あるいは
－ ｂ）前記マーカー画像内の強度極大値であり、前記共通座標系における前記腫瘍画像の前記同定された領域のうちの一つの内部に位置する画素域を同定するために前記マーカー画像を処理し；前記同定された画素域を前記マーカー画像の前記視野として使用すること
によって同定するステップを含み、
－ 免疫スコアを計算し、それによって前記２つ以上の位置合わせされたマーカー画像の全視野から得られた画像情報を入力として選択的に使用するステップを更に含む方法を実行させる解釈可能命令を含む。

ここで使用される「免疫スコア」は、腫瘍発達の予後因子として使用することができ、腫瘍に対する生物の免疫応答の様々な特徴を示すスコア値である。

ここで使用される「マーカー」又は「バイオマーカー」は、幾つかの生物学的状態又は状況の測定可能な指標である。特に、バイオマーカーは、特異的に染色され得、細胞の生物学的特徴、例えば、細胞型あるいは細胞の生理学的状態を示すタンパク質又はペプチド、例えば表面タンパク質でありうる。免疫細胞マーカーは、哺乳動物の免疫応答に関連する特徴を選択的に示すバイオマーカーである。

ここで使用される「腫瘍」は、腫瘍細胞のクラスターである。腫瘍細胞は、腫瘍が作られた体組織の細胞と比較して異常な増殖を特徴とする。よって、腫瘍細胞は、幾つかのがん型の悪性がん細胞でありうるが、良性組織塊又は腫脹の非悪性細胞であってもよい。例えば、腫瘍は、強度値が所定の閾値を上回る画素ブロブとして自動的に同定されうる。

ここで使用される「腫瘍に関連する領域」は、腫瘍内の領域（いわゆる「腫瘍内領域」又は「腫瘍内部領域」）又は腫瘍周囲領域（すなわち、腫瘍の外側と腫瘍に直接隣接する、「腫瘍周辺」とも称される領域）である。

ここで使用される「ブロブ」又は「画素ブロブ」は、周辺領域と比較して、輝度又は色などの特性が異なるデジタル画像内の領域である。例えば、ブロブは、特定の強度値範囲を有する隣接する画素の集合でありうる。ブロブの幾つかは「オブジェクト候補」として分類されうる。ブロブは、例えば、位置についての関数の導関数に基づく微分法と、関数の極大及び極小を求めることに基づく極値に基づく方法によって検出されうる。実施態様によれば、ブロブ検出は、更なる処理のための対象領域を取得するために使用される。

ここで使用される「視野」又は「ＦＯＶ」は、更なる手動又は自動検査及び解析に使用されるデジタル画像内の領域である。ＦＯＶは、デジタル画像の幾つかの特徴を解析することによって、例えばデジタル画像の画素の強度値を評価することによって、自動的に又は手動で選択されうる。

ここで使用される「画像解析システム」は、生物学的試料、例えば組織切片を含むスライドから撮られたデジタル画像を自動的に評価する自動システムである。それは、プロセッサとメモリを備え、デジタル画像を取り込むための装置、例えばカメラ、顕微鏡又はスライドスキャナに、及び／又はデジタル画像を格納した記憶媒体に動作可能に連結される。前記画像解析システムは、免疫スコアを計算するための一又は複数のデジタル画像を解析するように構成されたデジタル電子命令を含む。よって、ここで使用される画像解析システムは「免疫スコアシステム」とも称されうる。

ここで使用される「マスク」は、デジタル画像の派生物であり、マスク内の各画素は、２進値、例えば、「１」又は「０」（あるいは「真」又は「偽」）として表される。デジタル画像に前記マスクを重ね合わせることによって、２進値のうちの特定の一つのマスク画素にマッピングされたデジタル画像の全ての画素が、デジタル画像に適用される更なる処理ステップにおいて、隠され、除かれ、又はさもなければ無視され又は除去される。例えば、元のデジタル画像から、閾値を上回る強度値を有する元の画像の全ての画素を真に、そうでなければ偽に割り当てることによりマスクを生成することができ、それにより、「偽」マスク画素が重ね合わされた全ての画素を除去するマスクをつくり出す。

更なる態様では、腫瘍領域に基づく免疫スコア計算ワークフローのためのコンピュータ実装方法が開示される。前記ワークフローは、腫瘍域又は腫瘍域の周りの領域などの領域を同定すること、全スライド画像又は全スライド画像の一部を腫瘍に関連する複数の領域に分割すること、各同定された領域内の画像中に存在する各細胞マーカー又は染色の密度に基づいてＦＯＶを選択すること、及び各ＦＯＶ内に存在する細胞の数を計算することを含む。より具体的には、本発明に係る、腫瘍領域に基づく免疫スコア計算のためのコンピュータ実装ワークフローは、ミキシングされていない多重スライド又は連続切片の複数のスライドから個々のマーカー又は染色の画像を読み取り、腫瘍マーカー画像又はヘマトキシリン及びエオシン（Ｈ＆Ｅ）染色スライドから腫瘍領域マスクを計算することを含む。各個々の腫瘍細胞クラスターのサイズと位置に基づいて、１組の関心ある領域が画定される。スライド画像（全スライド又はその一部）は、複数の領域に、すなわち、同定された領域に従って、例えば、腫瘍間領域、腫瘍周囲領域及び腫瘍内領域に分割される。図４は、複数の領域に分割されているメラノーマスライドの例を示す。マーカー間画像位置合わせアルゴリズムを使用して、異なるマーカーを伴うＩＨＣスライドの連続切片から免疫組織化学（ＩＨＣ）スライドにそれぞれ対応するマーカー画像の各々に前記領域をマッピングする。全てのマーカーが同じ座標系にあるので、マルチプレックス化スライドのアンミキシングに起因する位置合わせはマーカー画像には必要とされない。各マーカー画像のヒートマップは、単一の染色スライド又は多重スライドのミキシングされていない画像から個々のマーカー画像チャンネルにローパスフィルタを適用し、ヒートマップからの各腫瘍ベースの分類領域内の上位Ｋ個の最高強度視野を各マーカーの候補ＦＯＶとして選択することによって決定される。最後に、自動細胞計数アルゴリズムが各ＦＯＶに適用され、免疫細胞の各型に対してカウントを生成する。本発明の自動化された腫瘍領域ベースの免疫スコア計算ワークフローは、再現性があり人間の読み取り者に偏りがなく、より効率的であるという利点を有している。

本発明の実施態様に係る、自動化された腫瘍領域ベースの免疫スコア計算のためのコンピュータ実装方法は、例示目的で、メラノーマ免疫細胞の同定とメラノーマ免疫スコアの計算での使用に対して記載した。しかし、本発明に係る腫瘍領域ベースのＦＯＶ同定及び細胞計数のためのコンピュータ実装方法は、任意のタイプの生体検体画像に適用可能であり、任意の型の細胞又は細胞群に対して型、密度及び／又は位置の決定を行うことに適用可能である。

更なる態様では、本発明は、領域、例えば腫瘍域又は腫瘍域周辺の領域を同定すること、全スライド画像又は全スライド画像の一部を腫瘍に関連する複数の領域に分割すること、各同定された領域内のマーカー画像のそれぞれ一つに存在する各免疫細胞マーカー又は染色の密度に基づいてＦＯＶを選択すること、及び各ＦＯＶ内に存在する細胞の数を計算することを含む方法に関する。免疫スコア及び／又は免疫関連スコアは、各ＦＯＶにおいてカウントされた細胞に基づいて生成される。

本発明の実施態様では、システムが、染色された生体検体又は試料の画像、例えばヘマトキシリン及びエオシン（Ｈ＆Ｅ）画像中におけるメラノーマの存在又は同定に対応する画像中の位置周辺の領域（例えば、腫瘍領域）を自動的に生成する。例えば、入力画像は、本発明の実施態様に係るシステムによって受け取られるか、又は取得される。前記画像が単一染色スライドのものである場合、各マーカーの単一染色スライドのスキャン画像がワークフローで直接利用される。腫瘍マスクは、本発明の実施態様に従う腫瘍セグメンテーションアルゴリズムにより、例えば、多重画像のミキシングされていない腫瘍マーカーチャンネル、腫瘍染色を伴う単一染色スライド、及び／又はＨ＆Ｅスライドから計算される。腫瘍セグメンテーションアルゴリズムにより解析される多重画像のミキシングされていない腫瘍マーカーチャンネル、腫瘍染色を伴う単一染色スライド、及び／又はＨ＆Ｅスライドは「腫瘍画像」とも称されうる。該アルゴリズムは、例えば、画像がＨ＆Ｅ画像である場合、単一チャンネル腫瘍マーカー画像のための閾値ベースの方法又は学習ベースの方法でありうる。腫瘍クラスターの位置及び／又はサイズ情報を組み込むことによって全スライド画像（又はその一部）の領域マップが作成される。例えば、微小転移及びマクロ転移領域は腫瘍のサイズに基づいて定義され、周辺領域は腫瘍位置までのその距離に基づいて定義される。

本発明に係るシステムへの入力が、例えばＩＨＣスライドなどのスライドの連続切片のセットである場合、マーカー間画像位置合わせアルゴリズム（すなわち、複数の異なるデジタル画像を単一座標系において互いに整列させるプロセス）を使用して、ラベリングされた領域（例えば、腫瘍領域）を、異なる免疫細胞マーカーを有するＩＨＣスライドの連続切片からＩＨＣスライドの各々にマッピングする。画像がミキシングされていない場合、全てのマーカーチャンネルが同じ座標系にあるので、多重スライドのミキシングされていない画像に対しては、共通座標系の作成を必要とする位置合わせは必要とされない。個々のスライド、例えばＩＨＣスライドが連続組織切片ではない場合、位置合わせプロセス中に共通座標系の作成が必要とされる。

前記入力画像は、前記画像に手動で追加された注釈（例えば、ユーザインタフェースを介して画像に加えられた注釈、マーカーで画像に手動で注釈された後、マーカーで作成された注釈と共に再画像化されたもの）、あるいは本発明の撮像システムによって受け取られる前に画像に電子的に付加された注釈を含みうる。あるいは、本発明のシステムは、画像に自動的に注釈を付すか、又は画像が受け取られた後にユーザが入力画像に電子的に注釈を付すことを可能にする。

本発明の実施態様では、注釈は、画像が本発明のシステム又は方法に入力される前又は後に注釈が手動で又は自動的に画像に追加されるかどうかにかかわらず、メラノーマを含む領域、例えばメラノーマを含む腫瘍領域の周りに生成される。本発明の一実施態様では、画像中の関心のある領域、例えばメラノーマ腫瘍領域などの腫瘍領域の位置が参照データベースに格納され、検索され、関心のある領域の位置が、受け取られ又は取得された画像中で同定されうる。

本発明の実施態様によれば、幾つかの領域（例えば、メラノーマ腫瘍領域）が同定された後、前記一又は複数のメラノーマ領域が測定される。測定されるメラノーマ腫瘍領域又は領域群のサイズに基づいて、本発明の実施態様は、メラノーマ腫瘍領域の周囲（周辺）の更なる領域を自動的に同定する。前記更なる領域は、「拡大領域又は拡張領域」と称されうる。

本発明の実施態様では、例えば同一又は異なる色素で染色された連続組織切片の画像のような異なる画像において生成された視野が単一の画像において位置合わせされる。例えば、本発明の実施態様では、Ｈ＆Ｅ画像のＦＯＶが、ＩＨＣ画像で同定されたＦＯＶと同じ座標系又は画像において位置合わせされる。本発明の他の実施態様では、多重アッセイで染色された生体試料（例えば、組織試料）の画像に由来する個々のカラーチャンネル画像（例えば、個々のマーカーチャンネル画像）で同定されたＦＯＶが、画像の一つにおいて位置合わせされ、統合され、及び／又は同じ座標系で位置合わせされる。例えば、図１４に示されるように、例えば、５プレックススライド１４１４が基準座標系として利用され、他のスライドがそれに位置合わせされる。例えば、選択されたマーカー画像１４１０、１４１２、１４１６、１４１８（免疫細胞マーカー、例えばマーカー画像１４１０に対してはＦＰ３、マーカー画像１４１８に対してはＣＤ８にそれぞれ対応する）のＦＯＶが、ついで、整列された個々のマーカー画像から共通空間又は座標系にマッピングされ、その後、図１４に示されるように、統合ＦＯＶを得るために、ｕｎｉｏｎ及びｉｎｔｅｒｓｅｃｔｉｏｎなどのモルフォロジー処理を使用して統合される。スライドの連続切片からのスキャン画像の場合、逆位置合わせ（inverse registration）（すなわち、共通座標系をそれぞれの元のマーカー画像の元の座標系に戻して位置合わせすることを含む位置合わせ）が、共通座標系におけるＦＯＶをその各マーカー画像の元の座標系に移して戻すために必要である。ついで、全ての異なるマーカーの全てのＦＯＶに各マーカー画像を重ね合わせて、前記マーカー画像の組織コンテキストにおける各マーカーの分布を正確に示すオーバーレイ画像を提供することができる。

視野が生成された後、所定数のＦＯＶが選択されうる。選択されたＦＯＶは、注釈付きの腫瘍内部領域及び／又は腫瘍周辺の注釈付きの拡張領域にある。本発明の実施態様では、本発明のシステム及び方法は、それぞれの免疫細胞マーカーを選択的に染色する特定の染色によって標的とされる免疫細胞をカウントする。例えば、ＦＯＶが選択された後、免疫細胞マーカーによって陽性に染色された例えばＣＤ３＋、ＣＤ８＋、ＣＤ２０＋、及びＦｏｘＰ３＋染色細胞又は他の細胞が、視野の各々において画像解析システムによって自動的に計数されうる。また、実施態様によれば、腫瘍画像にマッピングされたＦＯＶ内の腫瘍画像中の腫瘍細胞は、ＦＯＶ及び／又は腫瘍領域の各々において別々にカウントされうる。領域特異的免疫細胞密度を計算するために、領域特異的腫瘍細胞数とそれぞれのマーカー陽性免疫細胞数を比較することができる。幾つかの実施態様では、特定の型の免疫細胞の密度

本発明の実施態様では、生成された細胞数を利用して免疫スコアを生成する。例えば、免疫スコア計算は、一又は複数の選択されたＦＯＶ内の細胞の数に基づいて生成される。本発明は、腫瘍の外部（すなわち、腫瘍の周辺及び／又は腫瘍に関連する浸潤縁）の免疫細胞の活性と一又は複数の腫瘍内部（すなわち、同定された一又は複数の注釈付き腫瘍の内部及び／又は境界上）の免疫細胞の活性を反映する細胞数を生成するという利点を有する。本発明の方法及びシステムは、医学的に関連するデータ、例えば、腫瘍領域だけでなく腫瘍領域の医学的に重要な周辺における細胞数を生成する、メラノーマ腫瘍サイズに対する特定の領域サイズを同定する。本発明の実施形態では、生体検体は、免疫細胞を標的とする一又は複数の色素で染色される。

更なる態様では、本発明は、
ａ）ミキシングされていない多重スライドと単一染色スライドの少なくとも一つから元の個々のマーカー画像を読み取るステップと、
ｂ）元の個々のマーカー画像の各々から組織領域マスクを計算するステップと、
ｃ）腫瘍マーカー画像から腫瘍領域マスクを計算するステップであって、腫瘍マーカー画像が全スライド画像であるステップと、
ｄ）全スライド画像の腫瘍領域に基づいてラベルを割り当てるステップと、
ｅ）個々のマーカー画像の各々にローパスフィルタを適用することによって各マーカーのヒートマップを生成するステップと、
ｆ）各領域内の各マーカーの候補ＦＯＶとして生成された各ヒートマップから高強度領域を選択するステップと、
ｇ）個々のマーカー画像の各々からの候補ＦＯＶを、それらの全てを一緒に加えるステップと、選択されたマーカー画像からのものを加えるだけのステップの少なくとも一つによって統合するステップと、
ｈ）個々のマーカー画像の各々を共通座標系に位置合わせするステップと、
ｉ）候補ＦＯＶを元の個々のマーカー画像の各々に移して戻すステップと
を含む、自動免疫スコア計算のためのコンピュータ実装ワークフローに関する。

更なる態様では、本発明は、
ａ）画像フォルダのリストをロードするステップであって、各画像フォルダが単一ケースの画像を含むステップと、
ｂ）画像の各々において全マーカーについてｔ個のヒートマップを表示するステップであって、ユーザが、ヒートマップ上で同時にズームイン及びズームアウトして画像間の対応領域を見ることができるステップと、
ｃ）前記領域のマップを表示するステップと、
ｄ）前記画像の一又は複数からＦＯＶの数に対応する入力を受け取るステップと、
ｅ）受け取ったＦＯＶを単一の画像に統合するステップと、
ｆ）受け取ったＦＯＶをユーザインタフェースに統合する単一画像を出力するステップ
を含む、自動ＦＯＶ選択のためのコンピュータ実装システムに関する。

更なる態様では、本発明は、
ａ）ミキシングされていない多重スライドと単一染色スライドの少なくとも一つから元の個々のマーカー画像を読み取るステップと、
ｂ）前記個々のマーカー画像の各々から組織領域マスクを計算するステップと、
ｃ）腫瘍マーカー画像から腫瘍領域マスクを計算するステップであって、腫瘍マーカー画像が全スライド画像であるステップと、
ｄ）全スライド画像の腫瘍領域に基づいて領域にラベルを割り当て、ラベリングされた領域を生成するステップと、
ｅ）ラベリングされた領域をＦＯＶとして指定するステップと、
ｆ）前記個々のマーカー画像の各々から前記候補ＦＯＶを、それらの全てを一緒に加えるステップと、選択されたマーカー画像からのもののみを加えるステップの少なくとも一つによって統合するステップと、
ｇ）前記個々のマーカー画像の各々を共通座標系に位置合わせするステップと、
ｈ）候補ＦＯＶを元の個々のマーカー画像の各々に移して戻すステップ
を含む、自動免疫スコア計算のためのコンピュータ実装ワークフローに関する。

本発明の実施態様に係る画像解析システムのブロック図を示す。

本発明の実施態様に係る画像解析方法のフローチャートを示す。

本発明の実施態様に係る一覧表を示す。

本発明に係る方法から得られた注釈付き腫瘍画像を示す。

本発明の実施態様に係る自動ＦＯＶ同定システムを示す。

本発明の実施態様に従ってＦＯＶを自動的に生成する流れを示す。

本発明の実施態様に従って組織マスク画像を生成する流れを示す。

本発明の実施態様に従う、全スライド画像における腫瘍領域ラベリングの例を示す。

本発明の実施態様に従う、全スライド画像における腫瘍領域ラベリングの例を示す。

本発明の実施態様に係るＦＯＶ統合方法を示す。 本発明の実施態様に従う、各領域内の細胞数を計算する例示的なワークフローを示す。

本発明の実施態様に従う、腫瘍に基づく領域のラベリングを示す例示的なＧＵＩを示す。

本発明の実施態様に従って、メラノーマ腫瘍マーカーチャンネル画像（ＭＴＣ）から計算された領域ラベルを単一の染色スライドの各マーカー画像に移す例を示す。

本発明の実施態様に従って、基準座標系として５プレックススライドを使用し、他のスライドをそれに整列させる例を示す。

本発明の実施態様に従って、免疫スコアを計算する方法を示す。

様々な腫瘍内領域及び腫瘍周囲領域における免疫細胞分布データから生成されたカプラン・マイヤー曲線を示す。

（詳細な説明）
次の詳細な説明では添付図面が参照される。異なる図面中の同じ参照番号が、同一又は類似の部材を同定する場合がある。本発明のシステム、装置、及び方法は、構造（例えば、バイオマーカーが特定の型の免疫細胞を示す）を同定するために、染色又は色素（例えば、発色色素、蛍光染色又は量子ドット）で染色された生体検体の画像に関する。単独で又は他のバイオマーカーと組み合わせて、特定の型の免疫細胞を同定するバイオマーカーの例は、ＣＤ３、ＣＤ８、ＣＤ２０、及びＦｏｘＰ３である。

例えば、ＣＤ３はＴ細胞の存在を示すバイオマーカーとして使用され得、ＦｏｘＰ３は制御性Ｔ細胞（「Ｔｒｅｇｓ」）の存在を示すバイオマーカーである。Ｈ＆Ｅ染色画像は、腫瘍（メラノーマ）細胞を同定し、それによって腫瘍画像を生成するために使用されうる。主題の開示は、拡大された領域及び／又は同定された腫瘍領域において生成される一又は複数の医学的に重要なＦＯＶを同定するためのシステム及び方法を提示する。本発明の実施態様では、画像解析システムは、腫瘍画像（腫瘍内の領域並びに腫瘍周辺の領域）内の同定された各腫瘍関連領域を注釈と関連付けた。該注釈は、腫瘍関連領域の型を示す。本発明は、一又は複数の同定された腫瘍領域の外部の細胞、並びに一又は複数の同定された腫瘍領域の細胞の関連する活性を反映する細胞数を生成するという利点を有する。本発明の方法及びシステムは、腫瘍領域を拡張する特定の量（すなわち、拡張領域）を同定し、医学的に関連するデータ、例えば免疫スコアを生成する。画像及び画像データという用語はここでは互換的に使用される。

この発明の実施態様は、ＤＡＢ及びヘマトキシリン（ＨＴＸ）染色スライド、及び／又はＩＨＣスライドの画像に関して記載しているが、本発明の方法はまた生体検体の他の画像（例えば、蛍光及び非蛍光色素又は染色（例えば発色色素）で染色された生体検体の画像）にも適用可能でありうる。色素は、例えばＣＤ３、ＣＤ８、ＣＤ２０及び／又はＦｏｘＰ３のような特定の免疫細胞型を示すバイオマーカー及び（例えば、ＩＳＨ画像に使用される）他のバイオマーカー型を選択的に同定するために使用されうる。アンミキシングとカラーデコンボリューションという用語は、ここでは交換可能に使用される。

本発明は、例示的目的のために、がん性組織に関連して記載される。しかし、本発明は、任意の生体検体、例えば組織検体又は細胞診検体に適用可能であり、及び／又は任意の疾患状態（例えば、がん性又は非がん性）の生体検体に適用可能である。更に、当業者は、実施されるステップの順序が変わりうることを認識するであろう。

図１は、本発明の一実施態様に係る、腫瘍、例えばメラノーマを包含する画像における領域に対して視野（ＦＯＶ）を自動的に同定するシステム１００、例えば画像解析システムを示す。同定されたＦＯＶは、免疫スコアを計算するために使用されうる。

システム１００は、画像、例えばマルチチャンネル画像又はマルチチャンネル画像データ（例えば、ＲＧＢ画像又はＲＧＢ画像データ及び／又はマルチスペクトル画像又はマルチスペクトル画像データ）を生成するためのソース１０１を備える。本発明を説明する目的では、ソース１０１は、少なくとも一つの（Ｈ＆Ｅ）画像と一つの（ＩＨＣ）画像を生成する。しかし、ソースは、一又は複数のＨ＆Ｅ画像、ＩＨＣ画像、及び／又は他の画像又は画像タイプ、特に様々な免疫細胞マーカーに対するマーカー画像を生成してもよい。例えば、ソース１０１は、蛍光画像を生成する蛍光顕微鏡、カメラ、光学、スキャナ、ＣＣＤ、又は撮像システム、あるいはＲＧＢ画像、マルチスペクトル画像、及び／又はＲＧＢ又はマルチスペクトル画像データを生成する明視野顕微鏡、カメラ、光学スキャナ、又は撮像システムであってもよく又はこれを含みうる。撮像システムの例は、例えば、スペクトルフィルタホイール又はバーチャルスライドスキャナー（whole slide scanner）を有する任意の蛍光顕微鏡又は明視野顕微鏡でありうる。ソース１０１は、インタフェース１０７に連結されたプロセッサ１０５によって実行される複数の処理モジュール又は論理演算を含む、メモリ１０３と通信可能状態にある。例えば、生体検体のようなサンプルは、メモリ１０３に連結された顕微鏡、カメラ、スキャナ、ＣＣＤ、又は他の光学システムによる撮像の目的でスライド又は他の基体又はデバイスにマウントされ得、検体の画像の解析が、本開示に従ってメモリ１０３に保存された複数のモジュールの一又は複数を実行するプロセッサ１０５によって実施される。解析は、検体の同定及び分析のためのものであってもよい。例えば、生物学的又は病理学的システムは、がん又は他の疾患を示すタンパク質、タンパク質断片又は他のマーカーの存在のような生物学的情報のため、あるいはゲノムＤＮＡ検出、メッセンジャーＲＮＡ検出、タンパク質検出、ウイルスの検出、遺伝子の検出等のような他の目的のために検体を分析しうる。

検体、例えば、組織検体又は細胞診検体は、一又は複数の異なる量子ドット、フルオロフォア、又は他の染色を含みうる一又は複数の異なる染色の適用によって染色されうる。例えば、蛍光スライドにおいて、異なる染色は、異なる量子ドット及び／又はフルオロフォアに対応しうる。フルオロフォアは、一又は複数のナノ結晶半導体フルオロフォア（例えば、量子ドット）を含み得、それぞれ異なる波長範囲でピーク発光応答を生成する。量子ドットは周知であり、Ｉｎｖｉｔｒｏｇｅｎ社、Ｅｖｉｄｅｎｔ Ｔｅｃｈｎｏｌｏｇｉｅｓなどから市販されている。例えば、検体は、それぞれ５６５、５８５、６０５、及び６５５ｎｍでピーク発光応答を生じる幾つかの異なる量子ドットで処理することができる。検体に適用される一又は複数のフルオロフォアは、当該分野で周知であり、その内容の全体が出典明示によりここに援用される少なくとも共有され譲渡された米国特許第８２９０２３６号に記載されている有機フルオロフォア１４（例えば、ＤＡＰＩ、テキサスレッド）でありうる。更に、典型的な検体は、染色剤、例えば量子ドット及び／又は有機フルオロフォアを含む染色剤を検体に適用する、自動化されうる染色／アッセイプラットフォームを利用して処理される。市場には、染色／アッセイプラットフォームとして使用するのに適した様々な市販製品がある。

予備的な組織処理及び染色後に、検体の一又は複数のデジタル画像が、例えば、スキャナ、ＣＣＤアレイスペクトルカメラ、あるいは材料の試料を含むスライドを画像化するために使用される他の撮像システムを介して、ソース１０１にキャプチャーされうる。試料を含むスライドは、検体に塗布された色素から発光応答を生じるように意図された波長で検体に照射するための光源に供される。量子ドットの場合、光源は広域スペクトル光源でありうる。あるいは、光源は、レーザのような狭帯域光源を含みうる。ＲＧＢ明視野画像もまたキャプチャーされうる。前記撮像システムは、例えば、デジタルカメラ、顕微鏡又は一又は複数の対物レンズを有する他の光学システム、及び光源、並びに１組のスペクトルフィルタを含みうる。異なる波長で画像を取り込むための他の技術を使用することができる。染色された生体検体を撮像するのに適したカメラプラットフォームは、当該技術分野において知られており、Ｚｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇのような会社から市販されており、このようなプラットフォームは、この主題の開示のシステム、方法及び装置における使用に容易に適合化できる。前記画像は、無線又は有線接続の何れか、例えば、ソース１０１とコンピュータ１０７との間のケーブル接続、コンピュータネットワークを介した接続、又はコンピュータ間でデジタル情報を転送するために一般に使用される任意の他の媒体を使用して、メモリ又は記憶装置１０３に供給されうる。画像はまたネットワークを介してネットワークサーバ又は記憶装置のデータベースに供給され、後でコンピュータ１０７によって取り出されうる。プロセッサ１０５とメモリ１０３の他に、コンピュータ１０７は、ユーザ入出力装置、例えばキーボード、マウス、スタイラス、及びディスプレイ／タッチスクリーンをまた含む。次の考察において説明されるように、プロセッサ１０５は、メモリ１０３に記憶されたモジュールを実行し、画像、画像又はそのような画像から得られた画像データの解析、定量分析と、コンピュータ１を操作するユーザへの定量／グラフィカル結果の表示を実施する。

実施態様によれば、メモリ１０３に格納されたモジュールは、画像取得モジュール１１１、領域同定モジュール１１３、領域分類モジュール１１５、領域生成モジュール１１７、参照又は他のデータを格納する参照データベース１１６、ＦＯＶ検出モジュール１１９、細胞計数及び／又は計算モジュール１２１、及び結果決定又は推定モジュール１２３を含む。ここで理解される「モジュール」は、プロセッサによって実行可能な命令を含むプログラムモジュールを包含する。これらのモジュールによって実行される演算は、ここに記載されたものに限定されず、モジュールの順序、配置、及び総数は変わり得、現在説明されている実施態様は単に例示目的のものである。モジュールは、ハードウェア、ファームウェア又はソフトウェア、あるいはそれらの混成体で実装されうる。

例えば、画像取得モジュール１１１は、入力画像又は画像データをソース１０１から受け取る。

前記受け取られた画像は、腫瘍特異的バイオマーカー、例えばメラノーマ細胞のマーカーが選択的に染色され、高強度値を有する画素の形態で表されるデジタル画像でありうる。よって、前記受け取られた画像は、腫瘍細胞が選択的に染色された腫瘍画像、あるいは画像解析システム１００が入力画像内の腫瘍細胞及び細胞クラスターを自動的に同定するのに十分な情報を含む組織スライドの任意の他のデジタル画像でありうる。

本発明の実施態様では、領域同定モジュール１１３は、ユーザによって入力されるか、あるいは一又は複数の腫瘍に関連する自動的に生成された位置データを受け取る。本発明の実施態様では、領域同定モジュールは、例えば、セグメンテーションアルゴリズム及び／又は閾値処理を使用して、腫瘍マスクを作成する。入力画像が単一染色スライドである場合、マーカーの単一染色スライドのスキャン画像がワークフローで直接利用される。

腫瘍マスクは、例えば、多重画像のスペクトルアンミキシングによって得られたミキシングされていない腫瘍マーカーチャンネル画像から計算される。あるいは、腫瘍画像は、本発明の実施態様に係る腫瘍セグメンテーションアルゴリズムによって腫瘍細胞が選択的に同定され強調されたＨ＆Ｅスライドを示す。利用されるセグメンテーションアルゴリズムは、例えば、画像がＨ＆Ｅ画像である場合、単一チャンネル腫瘍マーカー画像のための閾値ベースの方法又は学習ベースの方法でありうる。

本発明の実施態様では、モジュール１１３、１１５及び１１７によって得られる腫瘍内部領域の領域位置、測定データ及び／又は領域タイプのラベル（「注釈データ」）が参照データベース１１６に格納される。あるいは、受け取られた腫瘍画像は、腫瘍内部領域の腫瘍領域位置、測定データ及び／又は領域タイプのラベル（「注釈データ」）を既に含んでいても又は注釈付けされていてもよく、モジュール１１３、１１５及び１１７は、前記情報を検索及び／又は利用しうる。

本発明の実施態様では、Ｈ＆Ｅ画像において同定された腫瘍領域の位置を表す記憶データが、複数のマーカー画像、例えばマーカー特異的染色で染色されたＩＨＣスライドに由来する画像の各々にマッピングされ又は位置合わせされる。１セットの入力画像（例えば、ＩＨＣ画像）がマーカー画像として受け取られた場合、腫瘍画像として機能するＨ＆Ｅ画像内で同定された腫瘍領域の位置が、マーカー画像（及び対応するＩＨＣスライド）の各々においてマッピングされ又は位置合わせされる。本発明の例示的な実施態様では、組織領域は、ＩＨＣスライドで同定され、及び／又は他のＩＨＣスライド又はＨ＆Ｅスライド（存在する場合）でマッピングされ又は位置合わせされる。

領域同定モジュール１１３は、領域、例えば、細胞クラスター（例えば、腫瘍画像中の細胞クラスター）内とその周辺の領域を同定する。例えば、領域は、スライドの画像に対して手動又は自動で付され、領域タイプを示す注釈を割り当てられてもよい。例えば、入力画像は別の画像解析システムによって提供されてもよく、幾つかの注釈付き腫瘍領域又は腫瘍領域の位置情報を既に含んでいてもよい。本発明の実施態様では、領域同定モジュール１１３は、例えば、図６に示されるようなセグメンテーションアルゴリズム及び閾値処理プロセスを使用することによって、腫瘍画像から腫瘍マスクを自動的に作成する。本発明の実施態様では、Ｈ＆Ｅ染色された組織試料の画像において、腫瘍内及び腫瘍周辺の自動的に同定された領域が同定される。優先的には、腫瘍マスクが、腫瘍関連領域が同定される前に腫瘍画像に適用される。腫瘍マスクは、腫瘍細胞に関連しないノイズ及び画像情報を除去し、それによって、腫瘍領域を同定し注釈する際の計算資源の消費を低減する。

腫瘍関連領域の同定は、本発明の実施態様に従って、２ステップアプローチで実施される。すなわち、最初に、腫瘍内部領域同定モジュール１１３は、閾値アルゴリズムを適用することによって、又は腫瘍画像に既に含まれている注釈及び位置情報を評価することによって、腫瘍画像内の高強度値の画素ブロブを同定する。ついで、領域分類モジュール１１５は、腫瘍画像（例えば、Ｈ＆Ｅ画像又は腫瘍特異的に染色されたＩＨＣ画像）において同定された各腫瘍内部領域のサイズを測定する。本発明の例示的な実施態様では、モジュール１１５は、同定された腫瘍領域を各腫瘍領域ラベルで測定及び／又はラベリングし、同定された腫瘍内部領域の周りの境界を生成する。第２のステップでは、拡張領域生成モジュール１１７が、モジュール１１３によって同定された腫瘍内部領域の周辺の領域に対応する拡張領域位置データを生成する。例えば、領域生成モジュール１１７は、モジュール１１５（腫瘍内部領域ラベルを提供する）によって出力されたデータに基づいて拡張領域のサイズ又は直径を決定する。本発明の一実施態様では、領域生成モジュール１１７は、注釈付き腫瘍周辺の境界に対応する拡張領域をディスプレイに出力する。拡張領域は、腫瘍内部領域の周辺の領域である。

本発明の実施態様では、前記拡張領域は、視覚的境界あるいは前記拡張領域及び前記拡張領域の外側境界によって囲まれた腫瘍内部領域の周りの境界に対応するデータの形態でグラフィカルユーザインタフェース上に表示される。本発明の実施態様では、領域分類モジュール１１５によって生成された腫瘍内部領域同定モジュール１１３及び／又は領域ラベル（領域タイプの注釈とも称される）によって任意に生成された領域測定値は、参照データベースに格納され、拡張領域を同定するために領域生成モジュール１１７によって検索され利用されうる。前記モジュール１１７は、位置情報及び生成された拡張領域のタイプを、領域ラベルの形式で参照データベースに格納しうる。本発明の実施態様では、モジュール１１３、１１５、１１７によって同定された腫瘍内部領域及び腫瘍周囲領域の領域測定値及び／又は領域ラベルは、参照データベースに記憶され、検索され、前記マーカー画像（例えば、ＦＯＶが決定される一セットのＩＨＣ画像の画像）に腫瘍領域をマッピングし又は位置合わせするときにマーカー画像に移される。

本発明の実施態様では、（全スライド又はその一部を示しうる）腫瘍画像の領域マップは、腫瘍領域の位置及び／又はサイズを組み込んだ領域同定及び生成モジュール１１３、１１５、１１７によって生成される。例えば、微小転移（ミクロ転移）及びマクロ転移領域は、腫瘍のサイズに基づいて定義され、周辺領域は、腫瘍位置までのその距離に基づいて定義される。

前記ソース１０１は、異なって染色された隣接する組織切片から得られた複数のマーカー画像を取得して提供するように構成することができ、あるいは多重画像をアンミキシングすることによって得ることができる。例えば、マーカー画像は、隣接する組織切片の複数のＩＨＣスライド画像の形態で受け取られ得、各スライドは異なる免疫細胞特異的色素で染色される。

スライドの連続切片に対しては、領域同定モジュール１１３に実装された画像位置合わせアルゴリズムが、本発明の実施態様に従って使用され、ラベリングされた腫瘍関連領域を複数のマーカー画像の各々にマッピングする。マーカー画像は、例えば、異なる免疫細胞マーカーを有するＩＨＣスライドの連続切片からのＩＨＣスライドに由来する画像でありうる。

本発明の実施態様では、腫瘍関連領域（腫瘍細胞クラスターの内側及び周辺）の位置情報及び各領域ラベル（「注釈」）が参照データベースに記憶され、例えば、免疫細胞計数及び／又はスコア計算にこの情報を使用するために前記同定された領域を前記マーカー画像にマッピングするため、後で画像位置合わせモジュール５１４によって、検索及び／又は利用される。

本発明の実施態様では、Ｈ＆Ｅ画像内で同定された腫瘍領域の位置を表す記憶データが、マーカー画像の各々に又はマーカー画像の手動で選択されたサブセットにマッピングされる。（例えば各ＩＨＣ画像から得られた）マーカー画像セットが受け取られると、Ｈ＆Ｅ画像内で同定された腫瘍領域の位置が、マーカー画像の各々にマッピングされる。該マッピングは、前記マーカー画像の座標系を前記マスクされた腫瘍画像の座標系に整列させる画像位置合わせステップの後に実行されうる。本発明の例示的な実施態様では、腫瘍関連領域は、ＩＨＣスライドから得られた腫瘍画像内と、隣接する組織切片の他のＩＨＣスライド又はＨ＆Ｅスライドから得られたマーカー画像に対して同定される。

ＦＯＶ検出モジュール１１９は、腫瘍領域データと拡張領域データを受け取り、全ての又は複数の「視野」（ＦＯＶ）を自動的に同定する。本発明の一実施態様では、各マーカー画像にマッピングされた腫瘍領域と拡張腫瘍領域がＦＯＶとして使用される。他の実施態様では、ＦＯＶは、各マーカー画像内の画素群の強度に応じて、各腫瘍領域又は拡張腫瘍領域内のサブ領域として同定される。例えば、前記領域には、（ヒートマップの作成を介して）カラーが割り当てられ、生体試料のマーカー画像内の画素群（すなわち、候補ＦＯＶ）の外観及び／又は染色強度に従ってランク付けされうる。

幾つかの実施態様では、細胞の数は、特定のマーカー画像と特定の腫瘍関連領域の幾つか又は全てのＦＯＶにおいてカウントされる。幾つかの実施態様では、各腫瘍関連領域内で最も高い強度値を有するＫ個のＦＯＶ内の細胞のみがカウントされる。計数は、マーカー画像がスライド中の特定のマーカーの密度と、よって前記マーカーを介して同定可能な特定の免疫細胞の密度と相関しているならば、画素強度値を評価することによって、本発明の実施態様に従って実行される。

幾つかの他の実施態様では、上位Ｋ個のヒートマップ強度瓶が選択され、その強度値が瓶の強度範囲内にあるマーカー画像の任意の画素が、前記画素によって表される免疫細胞を自動的にカウントするために解析された画素セット内に含められる。

細胞数計算モジュール１２１は、マーカー画像にマッピングされた同定された腫瘍領域又は追加腫瘍領域内の高画素強度領域を検出する。前記高画素強度領域は、解析されたマーカー画像のマーカーを介して選択的に同定された高密度の免疫細胞を表す。本発明の実施態様では、前記ＦＯＶ検出モジュールは、所定数Ｋの同定されたＦＯＶを自動的に選択する。

本発明の実施態様では、腫瘍内領域と拡張腫瘍領域は、高強度領域から低強度領域までランク付けされ得、予め決められた数の領域が、ランク付け領域からＦＯＶとして選択され得、より高強度の領域がより低強度の領域に対してＦＯＶとして選択される。高画素強度領域は、通常は、生体検体内の高細胞密度領域に対応する。

本発明の実施態様では、細胞計数及び／又は計算モジュール１２１は、前記選択されたＦＯＶ内の細胞をカウントする。本発明の実施態様では、前記細胞計数及び／又は計算モジュールは、免疫スコア及び／又は免疫関連スコアを計算する。

例示的なコホート研究に従った組織試料中の異なる同定領域についての免疫細胞マーカーＣＤ８に対する細胞数の例を以下の表に示す。
９名の患者に対するＣＤ８レポート：

本発明の一実施態様では、結果推定モジュール１２３は、モジュール１２１から細胞数情報を受け取り、一又は複数の入力ＦＯＶに対して、免疫スコア又は免疫関連スコアを計算する。本発明の実施態様では、結果推定モジュール１２３は、細胞数及び／又は免疫スコアをユーザインタフェース又はディスプレイ、例えばコンピュータ１０７に付随するディスプレイに出力する。

例えば、上表のデータを生成するために、個々の免疫細胞マーカーＣＤ３、ＣＤ２０、ＣＤ８、ＦｏｘＰ３、及び腫瘍マーカーを用いて免疫組織化学によって９名の患者の４０のマクロ転移性メラノーマ患者試料を染色した。全スライドをｉＳｃａｎ ＨＴスキャニング装置でスキャンした。画像データを、本発明の実施態様について記載した自動ＦＯＶ及び領域検出法に従って解析し、得られた出力は、マクロ転移及び他の領域タイプの腫瘍内及び周辺領域に対する個々のカウントと面積であった。マーカーＣＤ８に対する細胞数を以下に示すが、他のマーカーＣＤ３、ＣＤ２０及びＦＰ３の細胞数及び派生の測定パラメータは、本発明の実施態様の画像解析システムによって同様に計算される（図示せず）。１を超えるスライド評価の患者に対しては、各パラメータの平均を算出した。値０．０は値として考えており、欠損データではない。各パラメータについて、患者を、メディアン未満（図１６の１６０２）とメディアンを超える（図１６の１６０１）２つの群に分けた。全生存率を切開日から測定し、Ｐ値を、ログランク検定及び他の統計学的アプローチをマーカーの細胞計数データに適用することによって計算した。統計解析の結果を、その幾つかが図１６に示される複数のカプラン・マイヤー曲線を計算するために使用した。

幾つかの実施態様によれば、図１６のカプラン・マイヤー曲線を推定するための式は、Ｓ（ｔ）＝ｔ_ｉ＜ｔ（ｎ_ｉ－ｄ_ｉ）／ｎ_ｉの積であり、ｔは時間、ｎ_ｉはｔ_ｉ直前のリスクのある患者、ｄ_ｉはｔ_ｉでの死亡数である。メディアン時間は、Ｓ（ｔ）の値が０．５０に等しくなる時間ｔである。

実施態様によれば、特定の領域における特定のタイプの免疫細胞（例えば、Ｂ細胞、Ｔ細胞及びそのサブタイプ）の絶対量又は相対量は、追加の自動的に決定された測定データ（領域のサイズ、領域内の細胞の総数又は腫瘍細胞の総数）と共に、予測された生存率を示す一又は複数のカプラン・マイヤー曲線を計算するために使用され得、及び／又は免疫スコアを計算するために使用されうる。

上述のように、モジュールは、プロセッサ１０５によって実行されるロジックを含む。ここで本開示を通じて使用される「ロジック」とは、プロセッサの演算に影響を及ぼすように適用されうる命令信号及び／又はデータの形式を有する任意の情報を指す。ソフトウェアはそのようなロジックの一例である。プロセッサの例は、コンピュータプロセッサ（処理装置）、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ及びマイクロコントローラ等である。ロジックは、メモリ又はストレージ１０３のような非一時的なコンピュータ可読媒体に格納されたコンピュータ実行可能命令から形成され得、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能／電気消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ／ＥＥＰＲＯＭ）、フラッシュメモリ等を含む。ロジックは、デジタル及び／又はアナログハードウェア回路、例えば、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ、及び他の論理演算を含むハードウェア回路をまた含みうる。ロジックは、ソフトウェアとハードウェアの組み合わせから形成されうる。ネットワーク上では、ロジックは、サーバ又はサーバの複合体上にプログラムされうる。特定のロジックユニットは、ネットワーク上の単一の論理的位置に限定されない。

本発明による一又は複数の腫瘍、例えばメラノーマ腫瘍を包含する画像内の領域に対して視野（ＦＯＶ）を自動的に同定するための例示的なシステム及び方法を図２に示す。

方法２００は、ステップ２０４において、ソースから、ＲＧＢ画像、マルチスペクトル画像、又はマルチスペクトル画像から得られた個々のカラーチャンネル画像等の入力画像を（例えば、画像取得モジュール１１１により）受け取ることを含む。例えば、本発明の実施態様では、前記入力画像は、Ｈ＆Ｅ画像又は腫瘍マーカーＩＨＣスライド画像であり、前記同定された領域（例えば、腫瘍領域）は、Ｈ＆Ｅ画像又は腫瘍マーカーＩＨＣスライドにおいて同定され又は注釈付けされる。前記受け取られた画像は腫瘍画像であり、あるいは腫瘍画像、すなわち、腫瘍細胞、例えばメラノーマ細胞を選択的にハイライトする腫瘍を生成するように処理される。図１３は、本発明に従って、（例えば、Ｈ＆Ｅスライドを介して得られた）メラノーマ腫瘍マーカーチャンネル画像（ＭＴＣ）から計算された領域ラベル、例えば領域１３１０及び１３１２を、それぞれのマーカー画像（これは、それぞれの単一の染色スライドから得られうる）に移している例を示している。

本発明の例示的な実施態様では、腫瘍内領域は、ユーザによって手動で注釈付けされるか、あるいはセグメンテーションアルゴリズム、例えば、その全体が出典明示によりここに援用される、全スライド組織セグメンテーションのための適応分類（ADAPTIVE CLASSIFICATION FOR WHOLE SLIDE TISSUE SEGMENTATION）と題されたＰＣＴ出願国際公開第２０１５／１１３８９５号に記載されているセグメンテーションアルゴリズムによって自動的に生成される。一般に、ＰＣＴ出願国際公開第２０１５／１１３８９５号は、前記組織画像内の格子点を同定し、前記格子点を複数の組織型の一つとして分類し、組織型の既知の特性のデータベースに基づいて分類された格子点を生成し、前記分類された格子点に高信頼度スコアと低信頼度スコアの少なくとも一つを割り当て、高信頼度スコアが割り当てられた格子点に基づいて既知の組織型特性のデータベースを修正し、修正されたデータベースを生成し、前記修正されたデータベースに基づいて低信頼度スコアが割り当てられた格子点を再分類して、組織をセグメント化する（例えば、画像内の組織領域を同定する）ことを含む、例えば領域の分類に関連する操作を介して、画像内の他の領域から腫瘍領域をセグメント化する。

あるいは、腫瘍内領域は、その全体が出典明示によりここに援用される、複数の色素によって染色された生体組織試料から得られた多チャンネル画像を解析するための画像処理方法及びシステム（AN IMAGE PROCESSING METHOD AND SYSTEM FOR ANALYZING A MULTI-CHANNEL IMAGE OBTAINED FROM A BIOLOGICAL TISSUE SAMPLE BEING STAINED BY MULTIPLE STAINS）と題されたＰＣＴ出願ＰＣＴ／ＥＰ２０１５０６２０１５に開示されたシステムと方法によって決定されうる。ＰＣＴ／ＥＰ２０１５０６２０１５は、単一染色画像又は多チャンネル画像（例えば、マルチプレックスアッセイで染色された生体検体の画像）の画像における腫瘍領域を同定するための方法を開示する。ＰＣＴ／ＥＰ２０１５０６２０１５は、入力画像がマルチチャンネル画像であるときアンミキシング操作を含む。一般に、図５及び図６を参照して、ＰＣＴ／ＥＰ２０１５０６２０１５は、例えば、画像取得システム５０２、１１１からの高解像度入力画像６３１のような画像を読み取り、高解像度入力画像の低解像度バージョン６３１を計算するか又は受け取り、画像取得システム１１１から複数の低解像度画像マーカー画像を読み取り（ここで、各画像マーカー画像は低解像度入力画像の単一カラーチャンネル６３２のものである）、低解像度入力画像に対応する組織領域マスクを計算することを含む演算で腫瘍領域を同定する。しかしながら、他のセグメンテーション法も本発明の他の実施態様において利用されうる。本発明の実施態様では、前記腫瘍領域は、前処理モジュール１０２のセグメンテーション又は閾値処理法又はアルゴリズムによって同定される。本発明の実施態様では、前処理モジュールは、メモリ又はストレージ１０３とは異なるコンピューティングシステム又はメモリに配される。

ステップ２０６において、例えば、腫瘍内領域又は拡張腫瘍領域を示す、画像に既に存在するか又は関連付けられている注釈又は注釈データによって、生体検体の腫瘍画像中に一又は複数の腫瘍内領域が既に存在しているかどうかが、モジュール１１３によって決定される。注釈又は注釈データが入力腫瘍画像と関連していない場合、ステップ２０８において、例えば、その全体が出典明示によりここに援用されるＰＣＴ出願国際公開第２０１５／１１３８９５号に開示された方法によって、自動的に注釈が付けられ又は腫瘍画像内に配される。本発明の他の実施態様では、ステップ２０８において、腫瘍内領域に手動で注釈が付される。

ステップ２１０において、前記同定された腫瘍内領域又は領域群が、例えば領域分類モジュール１１５によって測定され、領域測定値がストレージ又はメモリ１０３に記憶される。前記測定は、その強度値が所定の閾値を超え（腫瘍細胞及び腫瘍細胞クラスターを表すと考えられる）腫瘍画像内の画素ブロブを同定し、画素ブロブのサイズ、最大直径及び／又は形状を決定することを含みうる。ステップ２１０において取得された測定情報、例えば、腫瘍画像内の腫瘍内領域の直径、サイズ、画素数、形状、タイプ及び／又は同定された腫瘍内領域の他の特徴が、ステップ２１２において、モジュール１１７によって拡張腫瘍領域を自動的に生成するために評価される。

本発明の実施態様では、領域分類モジュール１１５は、関心のある領域をラベリングし、及び／又は測定し、ラベル及び／又は測定値が、メモリ１０３及び／又は不揮発性データベース１１６に格納される。

メラノーマに対する領域ラベリングの結果の例を図４、図８及び図９に示す。図８に示されるように、孤立性メラノーマ８１０、微小転移８１２、８１４、８１６、微小転移周辺８１８、マクロ転移８２０、及びマクロ転移周辺８２２の領域が同定される。図９において、孤立性メラノーマ９１０、孤立性メラノーマ群９１２、９１４、９１６及び孤立性メラノーマ群周辺９１８の領域が同定される。

ステップ２１２において、腫瘍画像の同定され及び／又は注釈付けされた腫瘍内領域に対して拡張領域又は拡張領域データが生成される。例えば、画像内の注釈付けされたメラノーマ腫瘍領域が拡張され、ここでは拡張領域と称される。本発明の実施態様では、例えば、腫瘍サイズ及び／又はラベリングされた腫瘍領域を、腫瘍領域境界を拡張すべき量と相関させるデータが、例えば、参照データベース１１６に格納される。例えば、図３に示されるように、メラノーマ腫瘍領域サイズを、腫瘍領域境界を拡張すべき量と相関させるデータ３００が、ルックアップテーブル形式のようなデータベースに格納される。例えば、行３０２において、（１）図４に示されるように、同定された腫瘍領域４０２にわたる直径ｄ（すなわち、注釈付けされた領域又は腫瘍の中心を通る最長距離又は長さ）が０．２ｍｍ以上０．７ｍｍ以下である場合、及び／又は（２）領域（例えば、注釈付けされた腫瘍領域）が微小転移とラベリングされている場合、元の注釈付けされた腫瘍領域からおよそ０．２ｍｍの距離離れた位置に対応する腫瘍領域に対して拡張境界領域４０４及び／又はデータが生成される。図３の表はある範囲を記載しているが、本発明の実施態様のユーザは、その利用可能な範囲から特定の境界拡張量を、特定の腫瘍サイズ及び／又はラベルに対して、割り当てて関連付ける。本発明の実施態様では、拡張境界距離は、該拡張境界距離が注釈付けされた腫瘍領域の周りの所与の位置のセット又は各点から離れた垂直距離（例えば、ユークリッド距離を計算することによって計算される）であるように生成される。而して、前記拡張境界領域は、前記注釈付き腫瘍領域と外観が類似していなければならない。

行３０４に示されるように、前記領域（例えばメラノーマ腫瘍領域）の直径４０６が０．７ｍｍより大きく、及び／又はラベリングされたマクロ転移４３０の場合、生成される拡張境界領域４０８は、およそ０．２～０．３ｍｍの間でそれを含むユーザ選択量である。行３０６に示されるように、同定された領域又は腫瘍（例えば、メラノーマ腫瘍領域）の直径が０．２ｍｍ未満であり、及び／又はラベリングされた孤立性メラノーマ４１０である場合、拡張境界領域は生成されない。行３０８に示されるように、孤立性メラノーマ群（すなわち、互いにおよそ０．５ｍｍ以内にある孤立性メラノーマの群）４１２が同定される場合、約０．２ｍｍの拡張境界領域４１４が、孤立性メラノーマ群の周りに又はそれに対して生成される。

ステップ２１４では、複数のマーカー画像及び腫瘍画像から得られた単一の多重画像が受け取られたかどうか、又は異なるスライドから取られた複数のマーカー画像が受け取られたかどうかの判定が行われる。

画像解析システムが、マーカー画像と腫瘍画像の両方が（スペクトルアンミキシングを介して）得られた単一の多重画像が受け取られたと判定する場合、ステップ２１６において、ＦＯＶが前記マーカー画像の各々において自動的に決定される。この場合、マーカー画像及び腫瘍画像を共通座標系にマッピングするための画像位置合わせアルゴリズムは、前記画像が既に共通のスライド及び座標系に由来するので実施される必要はない。

異なる組織スライドであって、隣接する組織切片を含み、異なる免疫細胞マーカーに対して選択的色素で染色されている組織スライドからそれぞれ取られた複数の画像の形態で複数のマーカー画像が受け取られる場合、画像位置合わせステップは、ステップ２０４で受け取られた複数のマーカー画像及び腫瘍画像を共通座標系に整列させるために実行される。次のステップでは、マーカー画像の各々においてＦＯＶが同定される。

何れの場合においても、本発明の実施態様によれば、前記マーカー画像の各々におけるＦＯＶの自動同定は、自動視野選択システム及び方法（AUTOMATIC FIELD OF VIEW SELECTION SYSTEMS AND METHODS）と題されたＰＣＴ／ＥＰ２０１５／０６２０１５に開示された方法を含みうるか、又は該方法によって実施されうる。ＰＣＴ／ＥＰ２０１５／０６２０１５に係る自動ＦＯＶ検出及び／又は選択方法は、例えば（図６参照）、組織領域マスク６１２を例えば低解像度入力画像から計算し、各マーカー画像のローパスフィルタリングされた画像６３４を計算するためにマーカー画像にローパスフィルタを適用し、入力画像から組織領域マスク６３３を生成し、マスクされたフィルタリング画像を計算するために組織領域マスク６３３にローパスフィルタリング画像６３４を乗算することを含む。前記マスクされたフィルタリング画像は、前記マスクされたフィルタリング画像内の複数の候補視野（ＦＯＶ）又はその派生物、例えば前記マスクされたフィルタリング画像から計算された免疫細胞マーカーのヒートマップ６３５を同定するために使用される。本発明の実施態様では、ＦＯＶは、腫瘍内領域及び／又は拡張領域の何れか一つにおいて生成される。

（００５８）幾つかの実施態様では、ヒートマップ６０８は、マスクされたフィルタリング画像から計算されうる。幾つかの実施態様では、ヒートマップ生成は、前記マスクされたフィルタリング画像に色を適用することを含み、低強度領域は青色に割り当てられ、高強度領域は黄色、橙色及び赤色に割り当てられる。任意の他の適切な色又は色の組み合わせを使用して、低及び高強度領域に割り当ててもよい。
（００５９）幾つかの実施態様では、前記組織領域マスクの生成は、図７に示される次の操作（但し、次の操作に限定されない）の一又は複数を含む：腫瘍画像及び／又はマーカー画像の一つが得られる入力画像７３６の輝度（７３７）を計算すること。入力画像は、低解像度入力画像でありうる；入力画像の画素のＲＧＢ値から輝度画像７３８を生成すること；輝度画像内の複数のサブ領域に対して輝度分散画像７４０を計算すること；輝度変動の「閾値画像」とも称されるフィルタリングされた輝度画像（７４２）を生成するために、輝度画像７３９の画素に変動性ベースの閾値フィルタ（例えば、標準偏差フィルタ）を適用すること。例えば、画像７４０内の各画素には、画素の近傍における輝度変動性を示す値をそれぞれ割り当てうる。例えば、画素の近傍における輝度の変動性を示す値は、例えば、前記画素をその中心に含む３×３画素マトリクスに対して算出された画素輝度値の標準偏差でありうる。画像７４０への閾値フィルタの適用は、例えば２．５標準偏差のような所与の閾値より高い輝度を有する画素を１に、閾値より下の画素をゼロに設定して、閾値画像７４２を生成することを含みうる。実施態様によれば、この閾値画像７４２は、組織領域内にない全ての画素をマスクするための組織マスク（又は「組織領域マスク」）として直接使用される。局所的な輝度分散が大きい画像領域は、テクスチャを有する領域を示し、スライドのそれぞれの領域が組織領域に関係することを示す。
幾つかの実施態様によれば、画像７４０及び７４２に加えて、輝度メディアン画像７４４が輝度画像７３８から計算される。例えば、メディアン輝度値が、前記画素をその中心に含む３×３画素マトリックスを同定し、前記３×３画素の各々の輝度値を決定し、前記３×３輝度値のメディアンを決定し、メディアン輝度値を、３×３画素マトリックスの中央の画素に割り当てることによって、輝度画像の各画素に対して計算される。
次に、閾値フィルタを、例えば２４０のような所与の閾値より低い輝度メディアンを有する画素を１に、閾値より上の画素をゼロに設定することによって画像７４４に適用し、それによって閾値画像７４６を生成する。而して、閾値画像７４６は、その輝度があまり高くない画素領域を示し、染色アーチファクトをフィルタリングするために使用されうる。
実施態様によれば、この閾値画像７４６は、組織マスク７４８を計算するための閾値画像７４２と組み合わされる。例えば、組織マスク７４８内の各画素は、２つの閾値画像７４２，７４６の両方のそれぞれの画素が「１」を含む場合に「１」を含み、そうでなければ、組織マスク７４８の画素は「０」に設定される。本発明の実施態様では、画像７４２又は画像７４８は、図６の組織マスク６３３として使用される。
（００６０）
幾つかの実施態様では、組織領域マスクは、高解像度入力画像から直接計算される。この場合、組織領域マスクは、フィルタリングされたマーカー画像に適用される前に、より低い解像度の画像に変換されてもよい。本発明の実施態様では、一を超える入力画像（例えば、Ｈ＆Ｅ画像及びＩＨＣ画像、又は組織の同じブロックからの組織試料の画像セット）がある場合、自動ＦＯＶ検出及び／又は選択方法は、ＰＣＴ／ＥＰ２０１５／０６２０１５に従って、例えば、低解像度入力画像から組織領域マスク（６３３）を計算し、各マーカー画像の低域フィルタリングされた画像６３４を計算し、各マーカーに対してマスクされたフィルタリング画像を生成し（ここで、マスクされたフィルタリング画像は、低域フィルタリングされた画像が乗算された組織領域マスク６３３である）、一を超える入力画像が存在する場合、各マスクされたフィルタリング画像内の複数の候補視野（ＦＯＶ）を同定し、及び入力画像上の前記複数の候補視野の統合部分を示すことを含む。本発明の実施態様では、関心のある一又は複数の領域（例えば、腫瘍領域）４１６及び／又は拡張領域４１８に対してＦＯＶが生成される。しかしながら、ＦＯＶの他の同定方法が利用されてもよい。
一セットの画像が入力を構成する場合、ステップ２１８において、前記一セットの画像が単一の多重画像からのものであるかどうかについて決定がなされる。そうである場合、ステップ２２０において、ＦＯＶが各画像において同定され、画像の一つにおいて位置合わせされる。そうでない場合、ステップ２２２において、画像セットの各画像においてＦＯＶが同定され、同定されたＦＯＶが同じ座標系において位置合わせされる。本発明の実施態様では、画像は、例えば、全スライド画像位置合わせ及びクロス画像注釈付け装置、システム及び方法（WHOLE SLIDE IMAGE REGISTRATION AND CROSS-IMAGE ANNOTATION DEVICES, SYSTEMS AND METHODSと題されたＰＣＴ出願のＰＣＴ／ＥＰ２０１４／０５４７８号に開示された方法に従って、ステップ２２０お予備２２２において位置合わせされる。しかしながら、他の位置合わせ方法を利用してもよい。本発明の実施態様では、ステップ２２４において、ＦＯＶが、ＦＯＶ内の細胞数を決定するために選択される。本発明の実施態様では、ＦＯＶは、ＰＣＴ／ＥＰ２０１５／０６２０１５に開示された方法に従って選択される。ついで、加えられたヒートマップ６３５の有無にかかわらず、低域フィルタリングされた画像６３４が極大フィルタリングされ、極大フィルタリング画像６３６が得られる。極大フィルタリング画像６３６は多くの極大値６３９を含み、図６に示されるように、ここで考えられる例では、５つの極大値５３９．１－５３９．５を含む。次に、この閾値を上回る極大値６３９．１及び６３９．４のみが閾値処理によって除去されないように、極大フィルタリング画像６３６上に閾値を適用するなどして、閾値処理が極大フィルタリング画像６３６に対して実行される。あるいは、極大値６３９がソートされたリスト内でランク付けされ、上位Ｋ個の極大値のうちの幾つかのみがリストから取り出され、ここで検討される実施態様では説明目的でＫは２であり、極大値６３９．１及び６３９．４が得られる。極大値６３９の各々は、１組の隣接画素からなる。この閾値処理は閾値画像６３７を与える。閾値処理された画像６３７内の極大値６３９．１及び６３９．４の各々は、それぞれ、各視野６４０．１及び６４０．２の位置を定めうる。実施形態に応じて、これらの視野６４０．１及び６４０．２は、これらの視野が後続の処理操作において他の視野と統合できるかどうかを試験するための候補視野であってもよい。視野６４０．１及び６４０．２の位置は、閾値化された画像６３７とその極大値によって規定される。多重スライドのアンミキシングからであり得又は単一の染色スライドからのものであってもよい異なるマーカー画像において極大座標を見つけた後、ＦＯＶが極大値付近で得られる。しかしながら、視野のコンテントは、それぞれの視野の画像解析を実行するための完全な画像情報内容を利用するために、元のマルチチャンネル画像６３１内のそれぞれの画像領域から取得される。本発明の実施態様では、ＦＯＶは、腫瘍内領域４１６及び／又は拡張領域４１８内に生成される。

本発明の実施態様では、各患者の症例に対して、異なるマーカーにわたって同じＦＯＶのセットが作成されるようにＦＯＶを統合するために、多くの可能な選択肢が存在する。例えば、マーカー画像は、例えば、図１０に示され、異なるマーカー画像１００４、１００６、１００８に対して異なるＦＯＶを有し、それらのＦＯＶを独立して解析することを含む方法によって、単一座標系に統合されうる。最終ＦＯＶ１０２０は、各マーカーからの全てのＦＯＶのｕｎｉｏｎである。前記最終ＦＯＶは、個々のマーカー画像の座標系にマッピングされ、元のＦＯＶに重なるが、元のＦＯＶと同一ではない。幾つかの実施態様では、個々のマーカー画像内の免疫細胞をカウントするために最終ＦＯＶ（及び各マーカー画像内で同定された元のＦＯＶではない）が使用される。これは、全てのマーカー画像において、同じ領域（元の（又は「候補」）ＦＯＶの統合又は交差から生じる最終ＦＯＶ）が免疫細胞数を決定するために評価されるという利点を有しうる。これは、スコア計算の精度と再現性を増大させ得、与えられた領域における免疫細胞型の相対量の計算を容易にしうる。ＦＯＶを単一座標系に結合又は統合するための別の可能な方法は、与えられた問題に対して最も重要なマーカー画像を同定し、選択されたマーカーに基づいてＦＯＶを統合することを含む。例えば、ＰＦ３及びＣＤ８がメラノーマの研究における最も重要なマーカーであると仮定する。多重スライドからのアンミキシング画像に対して、本発明に従って、ＦＯＶを統合する方法は位置合わせを必要としない。ｕｎｉｏｎ及びｉｎｔｅｒｓｅｃｔｉｏｎのような形態学的処理が、統合されたＦＯＶを得るために、候補ＦＯＶに直接適用されうる。免疫細胞計数は、上の段落に記載されたマーカー画像の元の（「候補」）ＦＯＶではなく、マーカー画像の各々における統合ＦＯＶにおいて実行されうる。スライドの連続切片からのスキャン画像の場合、位置合わせステップは、領域ラベルを取得した後に適用される。単一マーカーの全ての画像が、基準画像にアライメントされ、その後、同じ座標系に移されうる。基準座標系は、組織ブロックの中央のスライド切片又は特定のマーカーを伴うスライドでありうる。

ステップ２２６において、細胞がＦＯＶ内でカウントされる。本発明の実施態様では、細胞は、例えば、ディープラーニングに基づく自動細胞計数システム及び方法（Deep Learning Based Automatic Cell Counting System and Method）と題されたＰＣＴ出願ＰＣＴ／ＥＰ２０１５／０６１２２６とがんに対する免疫応答をスコア化するための方法、キット、及びシステム（Methods, Kits, and Systems for Scoring the Immune Response to Cancer）と題されたＰＣＴ出願ＰＣＴ／ＥＰ２０１５／０５３６４３に開示された方法によって、検出され、計数される。

本発明の実施態様では、代替的に、ＦＯＶ選択ステップは、全領域１１１２、１１１４の各々を単一のＦＯＶとして使用し、それぞれのＦＯＶとして使用される各全領域１１１２、１１１４内の細胞数を計算することを含む。図１１は、ＦＯＶ選択なしで各全領域１１１２、１１１４内の細胞数を計算するためのワークフロー例と関連ユーザインタフェースを示す。図１１に示されるように、各全領域１１１２、１１１４は単一ＦＯＶと考えられ、各領域１１１４内の全ての細胞が検出され、カウントされる。

本発明の実施態様では、ステップ２２８において、免疫スコア及び／又は免疫関連スコアが、選択されたＦＯＶでカウントされた細胞に基づいて計算される。

本発明の実施態様では、一又は複数の細胞数（例えば、免疫関連細胞及び／又はリンパ球）及び／又はスコアがディスプレイに出力される。

本発明の実施態様では、図１２に示されるように、ユーザインタフェースは、ユーザが一又は複数の画像１２１０、１２１２をロードし、領域マップ及び／又はヒートマップ１２１４、１２１６を視覚化し、表示する腫瘍領域の異なる組合せ１２１８を選択し、多数のＦＯＶを選択し、及び／又はＦＯＶを保存し、レポートをつくり出すことを可能にする。

以下、図５を参照して、本発明の実施態様に係る画像解析システムの実施態様を記載する。自動免疫スコア計算のための画像解析システム５００は、プロセッサ５０５とメモリ５１０、例えばランダムアクセスメモリＲＡＭを備える。前記メモリは、前記プロセッサによって実行されると、本発明の実施態様に対してここに記載された方法をプロセッサに実行させる解釈可能命令を含む。以下では、図１５を参照して、本発明の実施態様に係る画像解析システムの機能を説明する。

最初のステップ９４５において、プロセッサ５０５は、メモリ５１０から複数のマーカー画像６３１を読み込む。マーカー画像は、画像取得及び記憶システム５０２、例えば図１１に示されるスライドスキャン装置によってメモリに保存されている場合がある。各マーカー画像の画素強度は、前記マーカー画像を生成するために使用されるスライド上のそれぞれの免疫細胞マーカーの量に対応する。複数のマーカー画像の各々が、異なる免疫細胞マーカー、例えば図１３及び１４に示されたＣＤ３、ＣＤ２０、ＦＰ３及びＣＤ８に対応する。

更なるステップ９６０において、プロセッサ５０５は腫瘍画像を計算する。腫瘍画像は、特定のがん型の腫瘍細胞、例えばメラノーマ細胞を選択的に示す。メラノーマ細胞は、通常は、異なるサイズ及び形状の複数の腫瘍細胞クラスターの形態で腫瘍画像内に位置する。図４は、腫瘍細胞クラスター（「腫瘍」）の様々な例を示す。腫瘍画像が由来する入力画像は、例えば、腫瘍特異的マーカーに選択的に結合する染色によって加えて染色されているＨ＆Ｅ染色組織スライドの画像でありうる。腫瘍画像は、例えば、腫瘍特異的染色によって及び／又はＨ＆Ｅ染色アプローチによって染色されている組織切片スライドのデジタル画像から得ることができる。前記入力画像は、複数のマーカー画像の各々によって示された組織切片と同じ組織切片（マルチプレックスシナリオ）を示し、複数のマーカー画像の各々によって示された組織切片の一つに隣接する組織切片（シンプレックスシナリオ）を示す。シンプレックスシナリオでは、腫瘍画像は、個々のマーカー画像が由来した複数の隣接する組織切片の中央の組織切片から優先的に得られる。これは、個々のマーカー画像と一つの腫瘍画像を一つの共通座標系により正確に統合することができるため、免疫スコア計算の精度を高めうる。

更なるステップ９６２において、前記プロセッサは、腫瘍画像内の一又は複数の腫瘍内又は腫瘍周辺領域を同定する。前記領域は、例えば図４に模式図の形で、図８及び図９に注釈付きで強調表示されたデジタルマーカー画像の形で示されている。各同定された領域は、腫瘍の内部又は周辺の複数の所定の癌型特異的領域の一つに属する（図３参照）。例えば、前記プロセッサは、例えば強度閾値ベースのアプローチによって、かつ腫瘍内領域を特定のがん型に典型的な腫瘍内領域タイプに分類するための幾つかのがん型特異的規則を適用することによって、様々なサイズの２つ以上の腫瘍内領域を最初に同定しうる。続くステップでは、前記プロセッサは、前のステップで同定された２つ以上の腫瘍内領域の周辺において更なる領域を同定するために、更なるがん型特異的規則を適用しうる。腫瘍周辺領域は、腫瘍内領域の境界を、拡張腫瘍内領域のタイプ及びがん型に依存する所定の距離だけ延長することによって同定することができる。幾つかのタイプの腫瘍領域４１０は、周辺領域を欠いていてもよい。

ステップ９６４において、前記プロセッサは、２つ以上のマーカー画像のユーザ選択を受け取りうる。例えば、ユーザは、２つ以上のマーカー画像の異なる組み合わせを選択しうる。加えて、又は代替的に、ユーザは、表示される腫瘍領域タイプの異なる組合せを選択しうる。例えば、そのような選択は、図１２に示されるグラフィカルユーザインタフェースによって実施されうる。共通座標系でまだ提供されていない場合、画像解析システムが、２つ以上の選択されたマーカー画像及び腫瘍画像を、ステップ９６６において共通座標系に位置合わせする。前記ステップ９６６は、例えば全ての利用可能なマーカー画像及び腫瘍画像を共通座標系に位置合わせすることによって、ステップ９６４が実行される前に実行されてもよい。

更なるステップ９６８において、前記プロセッサ５０５は、サブ方法９７２又はサブ方法９７４の何れかを適用することによって、マーカー画像の各々において複数の視野（ＦＯＶ）を同定する。

サブ方法９７２を実行する場合、前記プロセッサは、同定された腫瘍内及び腫瘍周囲領域を共通座標系の２つ以上のマーカー画像の各々にマッピングし、各マッピングされた領域を前記マーカー画像の各ＦＯＶとして使用する。よって、腫瘍画像内で２０個の腫瘍内領域及び腫瘍周囲領域が同定された場合、２０個までのＦＯＶがマーカー画像の各々において決定される。

サブ方法９７４を実行する場合、前記プロセッサは、前記同定された腫瘍内領域及び腫瘍周囲領域を共通座標系の２つ以上のマーカー画像の各々にまたマッピングする。加えて、前記プロセッサは、マーカー画像の各々において、その画素強度値が前記解析されたマーカー画像内の強度極大値を構成する一又は複数の画素領域を同定するために、マーカー画像の各々を解析する。加えて、前記プロセッサは、同定された強度極大値が、腫瘍画像からそのマーカー画像にマッピングされたマッピング腫瘍領域の一つ内にあるかどうかをチェックする。両方の条件が満たされれば、前記同定された画素領域はそのマーカー画像のＦＯＶとして使用される。幾つかの実施態様によれば、前記プロセッサは、マーカー画像の各々について、及びマッピングされた腫瘍内領域及び腫瘍周囲領域の各々について、最高強度値を有し、かつマッピングされた領域内にある視野の数Ｋを同定する。よって、２０個の腫瘍領域が特定のマーカー画像にマッピングされ（「アラインされ」）、そのマッピングされた領域の各々において、最も高い強度値を有する３つのＦＯＶが同定される場合、前記特定のマーカー画像は、６０までの同定されたＦＯＶを含む。

実施態様によれば、同定された各腫瘍内領域又は腫瘍周囲領域には、前記領域のタイプを示す注釈又はラベルが割り当てられている。前記プロセッサは、方法９７２又は９７４で同定されたＦＯＶの各々に、ＦＯＶを含む腫瘍領域タイプを示すラベルを割り当てうる。

ステップ９７０において、前記プロセッサは免疫スコアを計算する。これにより、前記プロセッサは、２つ以上の位置合わせされたマーカー画像の全てのＦＯＶから得られた画像情報を入力として選択的に使用する。

例えば、幾つかの実施態様によれば、第１の型の免疫細胞、例えばＴ細胞の数は、そのマーカーが該第１の型の免疫細胞において選択的に発現されるマーカー画像の第１のもののＦＯＶに選択的に細胞検出及び計数アルゴリズムを適用することによってカウントすることができる。また、それぞれの腫瘍領域内の第１の型の免疫細胞の細胞密度は、第１のマーカー画像におけるそれぞれの腫瘍領域の画素強度値を評価することによって同定される。また、第２の型の免疫細胞、例えばＢ細胞の数は、そのマーカーが第２の型の免疫細胞において選択的に発現されるマーカー画像の第２のもののＦＯＶに選択的に細胞検出及び計数アルゴリズムを適用することによってカウントすることができる。また、それぞれの腫瘍領域内の第１の型の免疫細胞の細胞密度は、第２のマーカー画像におけるそれぞれの腫瘍領域の画素強度値を評価することによって同定される。細胞数及び細胞密度と場合によっては更なる特徴、例えば前記クラスター構造及びサイズ又はＦＯＶにおける総細胞数（非免疫細胞、例えば腫瘍細胞を含む）は、非常に正確で再現性のある免疫スコアを計算するがん型特異的免疫スコア計算ロジックへの入力として使用されうる。

更なる態様では、本発明の実施態様は、腫瘍領域ベースの免疫スコア計算ワークフローのためのコンピュータ実装方法及びシステムに関する。前記腫瘍領域ベースの免疫スコア計算ワークフローは、複数の腫瘍内及び腫瘍周囲領域を同定し、全スライド画像を複数の腫瘍内及び腫瘍周囲領域に分割し、各領域内のマーカー画像の一つの各免疫細胞マーカーの密度に基づいてＦＯＶを選択し、最後に各ＦＯＶの細胞数を計算することを含む。その結果、一又は複数の全スライド画像（又は一又は複数の全スライド画像の一部）を入力として自動的に取り込み、病理学者又は他の評価者によって更に解析されて、その数を免疫スコアと相関させることができるコンピュータで選択されたＦＯＶに対する細胞数を生成する、本発明に係る免疫スコア計算のためのデジタル方法が提供される。

例えば、１００未満の細胞数を免疫スコア１に、１００を超え２００未満の細胞数を免疫スコア２に、２００を超える細胞数を免疫スコア３に関連付けるために病理学者によってある範囲が設定されうる。

本発明の実施態様は、一又は複数の染色剤（例えば、フルオロフォア、量子ドット、試薬、チラミド、ＤＡＰＩ等々）で染色されている（組織試料などの生体検体を含む）スライドの画像における免疫スコア計算のための自動化された完全なワークフローを提供することを含む。

実施態様によれば、図５の画像取得手段５０２は、検出システム（例えばＣＣＤ検出システム）、スキャナ又はカメラ（例えばスペクトルカメラ）である。本発明の例示的な実施態様では、スキャナが（スライド等の基体上に配されうる）生体検体をスキャンし、画像がデジタル化画像としてシステムのメモリに保存される。保存された画像が多重画像である場合、該多重画像を個々のマーカーカラーチャンネルにアンミキシングするためにアンミキシングが実行される。アンミキシングモジュール１０４は、参照カラーマトリクスデータベース５１２から読み出して、染色のための参照カラーマトリクス、又は異なるバイオマーカーに対応する参照カラーマトリクスを取得し、該参照カラーマトリクスを使用して、多重画像をアンミキシングする。

画像が多重スライドのものである場合、カラーアンミキシングが、例えば、「画像適応的で生理学的に妥当な色分解（Image Adaptive Physiologically Plausible Color Separation）」と題され、その全体が出典明示によりここに援用される２０１４年５月２８日に出願された国際特許出願国際公開第２０１４／１９５１９３号（２０１３年６月３日出願の特許出願第６１／８３０６２０号の優先権を主張）に開示されたアンミキシング方法に従って実行される。

その全体が出典明示によりここに援用される「画像アンミキシングのためのグループスパースモデル（Group Sparsity Model for Image Unmixing）」と題された、２０１５年２月２３日に出願された国際特許出願ＰＣＴ／ＥＰ２０１５／０５３７４５（２０１４年２月２１日に出願された特許出願第６１／９４３２６５号の優先権を主張）に開示された方法を、本発明の例示的な実施態様において、アンミキシングを実行するためにまた利用して、各マーカーの画像又は画像データを得ることもできる。

画像が単一染色スライドのものである場合、各マーカーの単一染色スライドのスキャン画像がワークフローで直接利用される。

実施態様によれば、腫瘍マスクが入力画像から計算される。入力画像は、例えば、本発明に係る腫瘍セグメンテーションアルゴリズムによる、多重画像のアンミキシング腫瘍マーカーチャンネル、腫瘍染色を伴う単一染色スライド、及び／又はＨ＆Ｅスライドでありうる。前記アルゴリズムは、例えば、画像がＨ＆Ｅ画像である場合、単一チャンネル腫瘍マーカー画像のための閾値ベースの方法又は学習ベースの方法でありうる。例えば、腫瘍マスクは、腫瘍マスク計算モジュールによって計算されうる。例えば、腫瘍マスクは、特定のがん型の腫瘍細胞、例えばメラノーマ細胞を選択的に示す腫瘍画像を生成するために入力画像に適用されうる。

全スライド画像（又はその一部）の領域マップが、腫瘍画像内に腫瘍クラスターの位置及び／又はサイズ情報を組み込むことによって作成される。例えば、微小転移領域及びマクロ転移領域は、腫瘍のサイズに基づいて定義され、周辺領域は、腫瘍位置までの距離に基づいて定義される。前記情報は、領域ラベリングユニットによって腫瘍画像に含まれるラベルの形態で組み込まれうる。

スライドの連続切片に対しては、異なるマーカーを有するＩＨＣスライドの連続切片からのＩＨＣスライドの各々に腫瘍画像のラベリングされた領域をマッピングするために、マーカー間画像位置合わせアルゴリズムが、例えば位置合わせユニット５１８によって使用される。ＩＨＣスライドの各々は、マーカー画像に対応しうる。位置合わせユニットは、ラベリングされた領域を共通座標系を介してそれぞれのマーカー画像にマッピングしうる。全てのマーカーが同じ座標系にあるので、多重スライドのアンミキシング画像には位置合わせは必要とされない。

ローパスフィルタリングされたマーカー画像にカラーを割り当てることによって、個々のマーカー画像ごとに、例えばヒートマップ計算ユニット５１３によって、ヒートマップが生成される。ヒートマップは、それぞれの画素強度に従って画素を示す。画素強度は、スライド中のバイオマーカーの密度を反映し、よって、各マーカー画像又は該マーカー画像にマッピングされた腫瘍領域における免疫細胞分布の密度に対応する。例えば、ヒートマップは、より低い強度の画素に使用されるカラーとは異なった、例えばより暖かいカラーでより高い強度の画素を示すことによって（各マーカーの低密度を表す）低強度の画素から（各マーカーの高密度、よって特定の型の免疫細胞の高密度を表す）より高強度の画素を区別する。

図６は、ヒートマップ計算プロセスの一例を示す。ローパスフィルタモジュール５１４は、それぞれのローパスフィルタリングされた画像を得るために、マーカー画像の各々にローパスフィルタを適用しうる。ローパスフィルタリングされた画像に極大値フィルタが適用され、ローパスフィルタリングされた画像の極大値が得られる。その全体が出典明示によってここに援用される（２０１４年５月３０日に出願され、「免疫スコア計算における自動視野選択システム及び方法（Systems and Methods for Automatic Field of View Selection in Immune score Computation）」と題された特許出願第６２／００５２２２号の優先権を主張する）２０１５年５月２９日に出願され、「複数の色素で染色されている生体組織試料から得られた多チャンネル画像を解析するための画像処理方法及びシステム（An image processing method and system for analyzing a multi-channel image obtained from a biological tissue sample being stained by multiple stains）」と題された国際特許出願ＰＣＴ／ＥＰ２０１５／０６２０１５に開示された方法が、例示的実施態様において、ヒートマップを生成するために利用され、定義された各腫瘍内領域又は腫瘍周囲領域内の候補ＦＯＶを得ることができる。当業者には、ヒートマップを生成するための他の方法を利用してもよいことは理解されるべきである。

最も高い密度を有する上位Ｋ個の領域（ここで、Ｋはユーザによって選択された予め決められたパラメータ、例えばＫは５、１０、１５又は２０から選択されうる）が、各画像に対する候補ＦＯＶとして、ラベリングされた各腫瘍内及び腫瘍間領域内の極大フィルタリング画像から選択される。免疫応答が高い場合、細胞はクラスター化して、高密度のマーカーを示す高画素強度を有する領域を生じる一方、免疫応答が低い場合、細胞はより分散される。その結果、それぞれのマーカー画像にマッピングされた領域（及びそこから得られたヒートマップ）における画素強度は低く、よって、それぞれの領域におけるマーカー密度が低いことを示す。最終ステップとして、本発明に係る自動細胞計数アルゴリズムを各ＦＯＶに適用し、各免疫細胞型の細胞数を報告する。

図３に示されるのは、本発明の実施態様に係る領域定義である。図４は、「領域」とも称される複数の腫瘍内及び腫瘍周辺領域が自動的に同定され、それに応じて注釈付けされた腫瘍画像を示す。図３及び図４に示されるように、次の領域が定義される：
ａ． 微小転移：直径が０．２ｍｍより大きく０．７ｍｍより小さい領域
ｂ． 微小転移周辺２０４：ａの０．２ｍｍ近傍（所定の領域を取り囲む領域）の領域
ｃ． マクロ転移：直径が０．７ｍｍを超える
ｄ． マクロ転移周辺：ｃの０．２ｍｍ近傍（所定の領域を取り囲む領域）の領域
ｅ． 孤立性メラノーマ：直径が０．２ｍｍ未満
ｆ． 孤立性メラノーマ群：互いに５ｍｍ以内にあるｅの群
ｇ． 孤立性メラノーマ群周辺：上記のｆ項の０．２ｍｍ近傍（所定の領域を取り囲む領域）の領域。

領域のタイプ及び領域定義に関連するパラメータは、特定のがん型に対して経験的に、例えば本願のメラノーマデータセットに基づいて、病理学者によって決定されうる。結腸直腸がんに対しては、腫瘍周辺部（すなわち、拡張領域サイズ）には１ｍｍが適切でありうるが、これは、他の腫瘍、例えば（例えばこの特定の型の疾患の性質のため、メラノーマに関連する）リンパ節転移には適用できない。しかし、該領域及びパラメータは、異なる適用及び／又はがん型に対して変化する可能性がある。

メラノーマに対する領域ラベリングの結果の例は図４、８及び９に示される。孤立性メラノーマ、微小転移、微小転移周辺、マクロ転移、マクロ転移周辺、孤立性メラノーマ群及び／又は孤立性メラノーマ群周辺の領域が同定されている。
（１５）
図６は、入力画像６３１、例えばマーカーＦＰ３がヘマトキシリン（ＨＴＸ）と組み合わせたそれぞれのマーカー特異的単一染色剤によって染色された単一染色組織スライドから得られたデジタル画像からのマーカーＦＰ３に対応するマーカー画像のヒートマップ６３５の作成を示す。ＨＴＸは、あらゆる種類の組織又は細胞型を染色することができる非特異的染色剤である。ＨＴＸ染色情報は組織領域マスク６３３を計算するために使用される。組織領域マスクは、組織領域を同定し、バックグラウンド領域を除外することによって作成される。組織マスクは、画像内の非組織バックグラウンドノイズ、例えば非組織領域を除去するために使用される。
（１６）
ＦＰ３特異的染色によってもたらされるカラー及び強度情報は、バイオマーカーＦＰ３に対応するマーカー画像であるＦＰ３チャンネル画像６３２に含まれる。ＦＰ３チャンネル画像にローパス強度フィルタを適用することにより、ローパスフィルタリングされた画像が得られる。ローパスフィルタリングされた画像６３４の強度極大値を同定し、各カラーによって異なる強度値範囲を表すことによって、マーカーＦＰ３のヒートマップ６３５が計算される。
（１７）
実施態様によれば、ＦＯＶ（図５参照）が、同定された腫瘍内領域及び腫瘍周囲領域内のヒートマップの上位Ｋ個の最高密度領域（ホットスポットとも呼ばれる）から選択される。領域内の候補ＦＯＶを見出すための他の方法を利用してもよい。例えば、Ｋは、５、１０、１５、２０等から選択されうる。ローパスフィルタリングされた画像に、極大値フィルタが適用される。極大値は、ホットスポットのランクを生成するためにヒートマップの強度に基づいて選別され、上位Ｋ個のホットスポットが、その細胞数が決定されるＫ個のＦＯＶとして使用される。
（１８）
各患者の症例に対して、異なるマーカーにわたって同じセットのＦＯＶが使用されるようにＦＯＶを統合するためには、幾つかの可能な選択肢がある。幾つかの実施態様によれば、マーカーは、例えば、図５に示される統合ＦＯＶモジュール５１７を介して単一座標系に統合することができ、これは、一つの可能な方法であって、異なるマーカー画像に対して異なるＦＯＶを有し、それらのＦＯＶを独立して分析することを含む。最終的なＦＯＶは、各マーカー画像からの全てのＦＯＶのｕｎｉｏｎである（図１０参照）。
（１９）
他の実施態様によれば、単一座標系へのＦＯＶのインテグレーション又は統合は、所与の問題に対して最も重要なマーカーを同定し、選択されたマーカーに基づいてＦＯＶを統合することを含む。例えば、ＰＦ３及びＣＤ８は、メラノーマの研究における最も重要なマーカーとして、ＧＵＩを介してユーザによって、あるいは画像解析システムによって自動的に選択されうる。例えば、２つのマーカーは、それぞれのマーカー画像が利用可能な複数のマーカーからユーザによって選択することができる。本発明によるＦＯＶを統合する方法を以下に説明する。
（２０）
多重スライドからのミキシングされていない画像の場合、位置合わせは必要とされない。ｕｎｉｏｎ及びｉｎｔｅｒｓｅｃｔｉｏｎのようなモルフォロジー演算が、統合されたＦＯＶを得るために、候補ＦＯＶに直接適用されうる。
（２１）
スライドの連続切片からのスキャン画像の場合、位置合わせステップ９６６は、領域ラベルを取得した後に適用される。単一マーカーの全ての画像が、基準画像にアラインされ、ついで、同じ座標系に移されうる。基準座標系は、組織ブロックの中央のスライド切片であり得、又は特定のマーカーを有するスライドでありうる。基準画像は、例えば、マーカー画像の一つ又は腫瘍画像でありうる。
（２２）
図１４は、５プレックススライド１４１４を基準座標系として使用し、他のスライドと対応するマーカー画像をそれに整列させる例を示す。ついで、選択されたマーカー（例えば、ＦＰ３及びＣＤ８）のＦＯＶは、整列された個々のマーカー画像から共通の空間又は座標系にマッピングされ、ついでｕｎｉｏｎ及びｉｎｔｅｒｓｅｃｔｉｏｎのようなモルフォロジー演算を使用して統合され、統合されたＦＯＶが得られる（図１０）。スライドの連続切片からのスキャン画像の場合、統合されたＦＯＶを個々のマーカー画像の座標系に移すために、逆位置合わせ（すなわち、移された画像を整列させてその元の座標系に戻すことを伴う位置合わせ）が必要である。統合されたＦＯＶを個々のマーカー画像にマッピングし戻し、細胞数検出のために（候補ＦＯＶとも称される）マーカー画像内で同定された元のＦＯＶの代わりに統合されたＦＯＶを使用することは、よりロバストで及び／又は精確な細胞数検出方法が提供されうるので、有利でありうる。
（２３）
代替のアプローチとして、ＦＯＶ選択ステップは、腫瘍内又は腫瘍周囲全体をそれぞれの単一ＦＯＶとして取り、全領域内の細胞数を計算するように、実施される。
（２４）
最後に、各ＦＯＶにおいて細胞を同定し、計数して、各ＦＯＶにおける免疫細胞数と場合によっては総細胞数を得る。細胞検出アルゴリズムは、ラジアル対称ベースのシード検出、リング検出、又は学習ベースの検出でありうる。その全体が出典明示によりここに援用される、２０１５年５月２１日に出願され、「画像における構造及び／又はパターンを検出するためのシステム及び方法（SYSTEMS AND METHODS FOR DETECTION OF STRUCTURES AND/OR PATTERNS IN IMAGES）」と題された国際特許出願ＰＣＴ／ＥＰ２０１５／０６１２２６（２０１４年５月２３日に出願され、「細胞検出のためのディープラーニング（Deep Learning for Cell Detection）」と題された特許出願第６２／００２６３３号の優先権を主張）に開示された方法が、例示的な実施態様では、細胞を検出するために利用される。
（２５）
その全体が出典明示によりここに援用される、２０１５年５月２１日に出願され、「がんに対する免疫応答をスコア化するための方法、キット、及びシステム（METHODS, KITS, AND SYSTEMS FOR SCORING THE IMMUNE RESPONSE TO CANCER）」と題された国際特許出願ＰＣＴ／ＥＰ２０１５／０５３６４３（２０１４年２月２４日に出願され、「がんに対する免疫応答をスコア化するための方法、キット、及びシステム（Methods, Kits, and Systems for Scoring the Immune Response to Cancer）」と題された特許出願第６１／９４３９３９号の優先権を主張）に開示された方法が、例示的な実施態様では、細胞を検出するためにまた利用されうる。
（２６）
領域ラベルを生成し、ＦＯＶを選択し、細胞数を生成するという次の機能を含む画像解析システム１００が開示される。本発明の例示的な実施態様では、計算装置に関連付けられたユーザインタフェースを利用して、上記の機能を実行することができる。本発明の例示的な実施態様では、ユーザインタフェースは、ユーザが一又は複数の画像をロードし、領域マップ（図１１）及び／又はヒートマップを視覚化し、複数のＦＯＶを選択し、及び／又はＦＯＶを保存し、レポートを作成する。ここでの特許出願への言及は、先行技術の自認を構成するものではない。

本発明のシステム及び方法は、自動ＦＯＶ選択を提供し、生体検体の分析に重要であり、例えば免疫スコア又は免疫関連計算における組織分析スコアの計算に有用であることが見出された。本発明のシステム及び方法は、本発明の自動方法及びシステムが人間の読み取り者の手動での選択に依存することなくコンピュータを介して免疫スコア又は免疫関連計算値を提供することができるので、人間の読み取り者の領域発見及び手動でのＦＯＶ選択において非再現性であり偏っている等の、先行技術において知られている不具合を解消する。

本発明を如何なる理論又は機構にも限定することを望むものではないが、本発明のシステム及び方法は、再現性があり、人間の読み取り者による偏りがなく、より効率的であるという利点を提供しうる。

コンピュータは、通常は、既知の構成要素、例えば、プロセッサ、オペレーティングシステム、システムメモリ、メモリストレージ装置、入出力コントローラ、入出力装置、及び表示装置を含む。当業者であれば、コンピュータの多くの可能な構成及び構成要素があり、キャッシュメモリ、データバックアップユニット、及び多くの他の装置をまた含みうることもまた理解されよう。入力装置の例は、キーボード、カーソル制御装置（例えば、マウス）、マイクロホン、スキャナ等々を含む。出力装置の例は、表示装置（例えば、モニタ又はプロジェクタ）、スピーカ、プリンタ、ネットワークカード等々を含む。表示装置は、視覚情報を提供する表示装置を含み得、この情報は、通常は、画素のアレイとして論理的及び／又は物理的に構成されうる。入力及び出力インタフェースを提供するための様々な既知又は将来のソフトウェアプログラムの何れかを含みうるインタフェースコントローラもまた含まれうる。例えば、インタフェースは、ユーザに一又は複数のグラフィック描写を提供する「グラフィカルユーザインタフェース」（しばしばＧＵＩと称される）と一般に称されるものを含みうる。インタフェースは、通常は、関連技術の当業者に知られている選択又は入力の手段を使用してユーザ入力を受け入れることが可能である。インタフェースはまたタッチスクリーン装置であってもよい。同じ又は代替の実施態様では、コンピュータでのアプリケーションは、「コマンドラインインタフェース」（しばしばＣＬＩと称される）を含むインタフェースを使用しうる。ＣＬＩは、通常は、アプリケーションとユーザ間のテキストベースのインタラクションを提供する。通常は、コマンドラインインタフェースは、表示装置を介してテキスト行として出力を提示し入力を受け取る。例えば、幾つかの実装は、関連技術分野の当業者に知られているＵｎｉｘシェル、又はＭｉｃｒｏｓｏｆｔ．ＮＥＴフレームワークなどのオブジェクト指向型プログラミングアーキテクチャを採用するマイクロソフト・ウィンドウズ・パワーシェルなどの「シェル」と称されるものを含みうる。

関連技術分野の当業者であれば、インタフェースは、一又は複数のＧＵＩ、ＣＬＩ又はそれらの組み合わせを含みうることを理解するであろう。

プロセッサは、インテル社製のＣｅｌｅｒｏｎ、Ｃｏｒｅ、又はＰｅｎｔｉｕｍプロセッサ、サンマイクロシステムズ製のＳＰＡＲＣプロセッサ、

あるいは、ＡＭＤ社製のＡｔｈｌｏｎ、Ｓｅｍｐｒｏｎ、Ｐｈｅｎｏｍ、又はＯｐｔｅｒｏｎプロセッサ等の市販のプロセッサを含み得、あるいはプロセッサは使用可能な又は使用可能になるであろう他のプロセッサの一つであってもよい。プロセッサの幾つかの実施態様は、マルチコアプロセッサと称されるもの、及び／又はシングル又はマルチコア構成で並列処理技術を使用可能にするものを含みうる。例えば、マルチコアアーキテクチャは、通常は、２つ以上のプロセッサ「実行コア」を含む。本例では、各実行コアは、複数のスレッドの並列実行を可能にする独立したプロセッサとして実行しうる。また、関連する当業者であれば、一般に３２又は６４ビットアーキテクチャと称されるもの、あるいは現在知られているか、又は将来開発されうる他のアーキテクチャ構成でプロセッサを構成できることを理解するであろう。

プロセッサは典型的にオペレーティングシステムを実行し、該オペレーティングシステムは、例えば、マイクロソフト社のウィンドウズタイプのオペレーティングシステム；アップルコンピュータ社のＭａｃ ＯＳ Ｘオペレーティングシステム；多くの業者から入手可能なＵｎｉｘ又はＬｉｎｕｘタイプのオペレーティングシステム又はオープンソースと称されるもの；他の又は将来のオペレーティングシステム；又はそれらの幾つかの組み合わせでありうる。オペレーティングシステムは、周知の方法でファームウェア及びハードウェアとインタフェースで接続され、様々なプログラミング言語で書かれうる様々なコンピュータプログラムの機能をプロセッサが連係させ実行するのを容易にする。オペレーティングシステムは、通常はプロセッサと協働して、コンピュータの他の構成要素の機能を連係させ実行する。また、オペレーティングシステムは、スケジューリング、入出力制御、ファイル及びデータ管理、メモリ管理、及び通信制御並びに関連サービスを、全て既知の技術に従って提供する。

システムメモリは、所望の情報を格納するために使用することができ、コンピュータによってアクセスできる様々な既知の又は将来のメモリ記憶装置の何れかを含みうる。コンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術で実装される揮発性及び不揮発性の取り外し可能及び取り外しができない媒体を含みうる。例としては、一般に利用可能な任意のランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電子的消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、デジタルバーサタイルディスク

（ＤＶＤ）、磁気媒体、例えばレジデントハードディスク又はテープ、光学媒体、例えば読み取り書き込みコンパクトディスク、あるいは他のメモリ記憶装置が含まれる。メモリ記憶装置は、コンパクトディスクドライブ、テープドライブ、リムーバブルハードディスクドライブ、ＵＳＢ又はフラッシュドライブ、あるいはディスケットドライブを含む、様々な既知の又は将来の装置の何れかを含みうる。そのようなタイプのメモリ記憶装置は、通常は、それぞれ、コンパクトディスク、磁気テープ、リムーバブルハードディスク、ＵＳＢ又はフラッシュドライブ、あるいはフロッピーディスクなどのプログラム記憶媒体から読み出し、及び／又は該プログラム記憶媒体に書き込む。これらのプログラム記憶媒体、あるいは現在使用されているか、又は後で開発されうるものの何れも、コンピュータプログラム製品と考えうる。理解されるように、これらのプログラム記憶媒体は、通常は、コンピュータソフトウェアプログラム及び／又はデータを記憶する。コンピュータ制御ロジックとも呼ばれるコンピュータソフトウェアプログラムは、通常は、システムメモリ及び／又はメモリ記憶装置と共に使用されるプログラム記憶装置に格納される。幾つかの実施態様では、制御ロジック（プログラムコードを含むコンピュータソフトウェアプログラム）がそこに格納されたコンピュータ使用可能媒体を含むコンピュータプログラム製品が記載される。制御ロジックは、プロセッサによって実行されると、プロセッサにここに記載の機能を実行させる。他の実施態様では、幾つかの機能は、例えば、ハードウェア状態機械を使用して主にハードウェアで実施される。ここに記載された機能を実行するためのハードウェア状態機械の実装は、当業者には明らかであろう。入出力コントローラは、ローカルであろうとリモートであろうと、人間であろうと機械であろうと、ユーザからの情報を受け入れて処理するための様々な既知のデバイスの何れかを含むことができる。そのようなデバイスには、例えば、モデムカード、ワイヤレスカード、ネットワークインターフェースカード、サウンドカード、又は様々な既知の入力デバイスの何れかのための他のタイプのコントローラが含まれる。出力コントローラは、ローカルであろうとリモートであろうと、人間であろうと機械であろうと、ユーザに情報を提示するための様々な既知のディスプレイ装置の何れかに対するコントローラを含むことができる。現在説明されている実施態様では、コンピュータの機能要素は、システムバスを介して互いに通信する。コンピュータの幾つかの実施態様は、ネットワーク又は他のタイプの遠隔通信を使用して幾つかの機能要素と通信しうる。関連技術分野の当業者には明らかであるように、ソフトウェアで実施される場合、機器制御及び／又はデータ処理アプリケーションが、システムメモリ及び／又はメモリ記憶装置にロードされて実行されうる。機器制御及び／又はデータ処理アプリケーションの全て又は一部は、メモリ記憶装置の読み取り専用メモリ又は同様のデバイス中にまた常駐し得、そのような装置は、機器制御及び／又はデータ処理アプリケーションが初めに入出力コントローラを介してロードされることを必要としない。機器制御及び／又はデータ処理アプリケーション又はその一部は、プロセッサによって、既知の方法でシステムメモリ又はキャッシュメモリ、あるいは実行に有利なように、その両方にロードされうることは、当業者には理解されるであろう。また、コンピュータは、一又は複数のライブラリファイル、実験データファイル、及びシステムメモリに格納されたインターネットクライアントを含みうる。例えば、実験データは、一又は複数の実験又はアッセイ、例えば検出されたシグナル値、あるいは一又は複数の合成時解読（ＳＢＳ）実験又はプロセスに関連した他の値などに関関連するデータを含みうる。加えて、インターネットクライアントは、ネットワークを使用して別のコンピュータ上のリモートサービスにアクセスすることを可能にするアプリケーションを含み得、例えば、一般に「ウェブブラウザ」と称されるものを含みうる。本例では、幾つかのよく使用されるウェブブラウザには、マイクロソフト社から入手可能なマイクロソフトインターネットエクスプローラ、モジラ社からのモジラ・ファイヤーフォックス、アップルコンピュータ社からのサファリ、グーグル社からのグーグルクローム、又は当該分野で現在知られているか将来開発される他のタイプのウェブブラウザが含まれる。また、同じ又は他の実施態様では、インターネットクライアントは、生物学的応用のためのデータ処理アプリケーションのようなネットワークを介して遠隔情報へのアクセスを可能にする特殊化ソフトウェアアプリケーションを含むか、又はその要素でありうる。

ネットワークは、当業者に周知の多種多様なタイプのネットワークの一又は複数を含みうる。例えば、ネットワークは、一般にＴＣＰ／ＩＰプロトコルスイートと呼ばれるものを用いて通信しうるローカル又はワイドエリアネットワークを含みうる。ネットワークは、一般にインターネットと称される相互接続されたコンピュータネットワークの世界的システムを含むネットワークを含み得、あるいは様々なイントラネットアーキテクチャを含むこともできる。関連技術分野の当業者であれば、ネットワーク環境の一部のユーザは、一般に「ファイアウォール」と称されるもの（しばしばパケット

フィルタ、又はボーダー保護デバイスと称されることもある）を用いて、ハードウェア及び／又はソフトウェアシステムとを往来する情報トラフィックを制御することを好む場合があることをまた理解するであろう。例えば、ファイアウォールはハードウェア又はソフトウェア要素あるいはその何らかの組み合せを含み得、通常は、例えば、ネットワーク管理者等のユーザが導入したセキュリティポリシーを実施するように設計されている。

＜さらなる実施態様＞
［実施態様１］
自動免疫スコア計算方法において、画像解析システム（１００，５００）のプロセッサ（１０５，５０５）によって実行され、
－ 複数のマーカー画像（６３２）をメモリから読み取るステップであって、各マーカー画像の画素強度が前記マーカー画像を生成するために使用されたスライド上の各免疫細胞マーカーの量に対応し、前記複数のマーカー画像の各々が異なる免疫細胞マーカーに対応するステップ（９５４）と、
－ 入力画像を処理することによって腫瘍画像を計算するステップであって、前記入力画像が前記複数のマーカー画像によって示される組織切片と同じ組織切片を示すか、又は前記複数のマーカー画像によって示される前記組織切片の一つに隣接する組織切片を示し、前記腫瘍画像が一又は複数の腫瘍に含まれる腫瘍細胞を選択的に示すステップ（９６０）と、
－ 前記腫瘍画像内の一又は複数の領域（４０８，４０４，４１４，４１２，４１０，４３０，４３６，４３８）を同定するステップであって、同定された各領域が前記一又は複数の腫瘍の一つの内部又は周辺の複数の所定のがん型特異的領域の一つに属するステップ（９６２）と、
－ 前記腫瘍画像と前記マーカー画像のうちの２つ以上を、腫瘍画像とマーカー画像のうちの該２つ以上が異なる座標系に由来する場合、共通座標系に位置合わせするステップ（９６６）と、
前記２つ以上のマーカー画像の各々について、前記マーカー画像内の視野（ＦＯＶ；４１８；４１６；）を、
－ ａ）前記マーカー画像内のマッピングされた領域の各々を前記マーカー画像の視野として使用すること、又は
－ ｂ）画素強度値が前記マーカー画像内の強度極大値であり、前記共通座標系における前記腫瘍画像の前記同定された領域のうちの一つの内部に位置する画素域を同定するために前記マーカー画像を処理し（９７４）；前記同定された画素域を前記マーカー画像の前記視野（ＦＯＶ）として使用すること
によって同定するステップ（９６８）と
を含む方法であって、
免疫スコアを計算し、それによって前記２つ以上の位置合わせされたマーカー画像の全視野から得られた画像情報を入力として選択的に使用するステップ（９７０）を更に含む、方法。
［実施態様２］
前記免疫スコアの前記計算が、
－ 前記２つ以上の位置合わせされたマーカー画像の各々内の前記視野の各々に対して、
・ 前記マーカー画像の画素強度情報に細胞検出アルゴリズムを適用し、前記視野内の全ての検出された細胞を自動的にカウントし、
・ 検出された細胞の免疫細胞型を決定し、
・ 前記視野内の免疫細胞密度を決定し、及び／又は
・ 前記共通座標系における前記視野が属する前記腫瘍画像の前記領域の領域タイプを決定し、細胞数、細胞型及び／又は細胞密度情報に前記決定された領域タイプを割り当てる
ステップと、
－ 前記２以上のマーカー画像の全視野の細胞数、細胞型、密度及び／又は割り当てられた領域タイプ情報を処理するステップであって、前記免疫スコアの高さが、同定された領域内の免疫細胞の密度と相関するステップと
を含む、実施態様１に記載の方法。
［実施態様３］
前記免疫細胞マーカーが免疫細胞型を選択的に示し、前記免疫細胞型がＴ細胞、Ｂ細胞又はマクロファージの一つであり、前記免疫スコアの前記計算は、
－ 前記同定された細胞型の各々に対して別個に前記視野内の細胞数及び／又は細胞密度を決定するステップであって、細胞計数が、
・ 個々のマーカー画像において同定された前記視野内の細胞をカウントし、又は
・ 統合された視野を生成するために複数のマーカー画像の視野を重ね合わせて統合し、統合された視野を各マーカー画像にマッピングし戻し、個々のマーカー画像にマッピングされた統合視野内の細胞をカウントする
ことによって優先的に実施されるステップと、
－ 前記免疫スコアを計算するために、細胞数及び／又は細胞密度と、前記視野が配された領域のタイプとに細胞型及びがん型特異的規則を適用するステップと
を含む、実施態様１から２の何れか一項に記載の方法。
［実施態様４］
ｂ）に従う前記視野の前記同定が、
－ 前記マーカー画像（６０４）にローパスフィルタを適用して、ローパスフィルタ処理された画像を得るステップと、
－ 前記ローパスフィルタ処理された画像に極大値フィルタを適用して、前記マーカー画像のヒートマップ（６０８）を取得するステップであって、前記ヒートマップの極大値が画素強度極大値を示し、前記ヒートマップの画素の強度値が前記画素によって表されるスライド域におけるマーカーの密度を示すステップと、
－ 前記ヒートマップ内で最も高い画素強度値を有するか又はその画素強度値が閾値を上回るヒートマップ内の画素域の数（Ｋ）を同定するステップと、
－ 前記マーカー画像の視野（ＦＯＶ）として前記同定された画素域を使用するステップと
を含む、実施態様１から３の何れか一項に記載の方法。
［実施態様５］
前記腫瘍画像内の前記領域の同定が、
－ 強度値が閾値を上回る腫瘍画像内の画素ブロブを同定するステップと、
－ 前記画素ブロブの各々の一又は複数の特徴を同定するステップであって、前記特徴が前記画素ブロブの直径、前記画素ブロブの形状、及び前記画素ブロブの前記腫瘍画像内の最も近い隣接画素ブロブまでの距離のうちの少なくとも一つを含むステップと、
－ 前記画素ブロブの前記決定された一又は複数の特徴に
・ 複数の所定のがん型特異的な腫瘍内領域タイプのうちのどの一つに前記画素ブロブが属するかを決定し、前記一又は複数の腫瘍の一つの中の同定された領域（４３０，４３８，４１０，４３６）として前記同定された画素ブロブを使用し、
・ 前記同定された腫瘍内領域を、前記同定された腫瘍内領域のタイプに依存する所定の距離だけ、それぞれ拡張することによって、前記腫瘍画像内の前記画素ブロブの近傍の更なる画素領域を同定し、
・ 前記同定された更なる画素領域を、前記一又は複数の腫瘍の周辺に位置する前記腫瘍画像内の同定された領域（４０４，４０８，４１４）として使用するために
がん型特異的規則を適用するステップと
を含む、実施態様１から４の何れか一項に記載の方法。
［実施態様６］
前記複数の所定のがん型特異的領域が、
－ 微小転移（４３８）：第１の閾値より大きく第２の閾値未満の直径を有する腫瘍画像内の領域；
－ 微小転移の周辺（４０４）：微小転移の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第３の閾値によって定義される領域；
－ マクロ転移（４３０）：前記第２の閾値より大きい直径を有する腫瘍画像内の領域；
－ マクロ転移の周辺（４０８）：マクロ転移の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第４の閾値によって定義される領域；
－ 孤立した腫瘍細胞クラスター（４３６）：第１の閾値未満の直径を有する腫瘍画像内の領域；
－ 孤立した腫瘍細胞クラスターの群（４１２）：互いに第５の閾値内にある孤立した腫瘍細胞クラスターの群を含む腫瘍画像内の領域；
－ 孤立した腫瘍細胞クラスターの群の周辺（４１４）：孤立した腫瘍細胞クラスターの群の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第６の閾値によって定義される領域
の一又は複数を含む、実施態様１から５の何れか一項に記載の方法。
［実施態様７］
前記がん型がメラノーマであり、
－ 前記第１の閾値が０．２ｍｍであり、
－ 前記第２の閾値が０．７ｍｍであり、
－ 前記第３の閾値が０．２ｍｍであり、
－ 前記第４の閾値が０．２ｍｍであり、
－ 前記第５の閾値が０．５ｍｍであり；及び／又は
－ 前記第６の閾値が０．２ｍｍである、
実施態様６に記載の方法。
［実施態様８］
－ 前記腫瘍画像内の前記領域の各々にラベルを割り当てるステップであって、各ラベルが前記領域のタイプを示すステップと、
－ 前記領域の前記ラベルを前記共通座標系から前記マーカー画像の各々の座標系に移すステップと
を更に含む、実施態様１から７の何れか一項に記載の方法。
［実施態様９］
前記視野の前記同定が、
－ 前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが得られる画像（６３１；７３６）から組織マスク（６３３；７４２；７４８）を計算するステップと、
－ ノイズ低減マーカー画像を生成するために前記マーカー画像又はその派生物に前記組織マスクを適用するステップと
を含む、実施態様１から８の何れか一項に記載の方法。
［実施態様１０］
－ 前記ノイズ低減マーカー画像からヒートマップ（６３５）を計算するステップと、
－ 前記ヒートマップ内の極大値（６３９）を同定するステップと、
－ 前記視野を最も高い強度値を有する強度極大値のものとして同定するために前記極大値に強度閾値アルゴリズムを適用するステップと
を更に含む、実施態様９に記載の方法。
［実施態様１１］
－ 前記画像解析システムによって、前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが得られる画像（６３１；７３６）から輝度画像（７３８）を生成するステップであって、前記輝度画像の中の各画素にそのＲ、Ｇ及びＢ強度値から得られた輝度値が割り当てられたステップと、
－ 前記画像解析システムによって、輝度分散画像（７４０）を生成するステップであって、前記輝度画像の中の各画素に前記画素の近傍における輝度の分散を示すデータ値が割り当てられたステップと、
－ 前記画像解析システムによって、近傍における輝度の分散を示す割り当てられたデータ値が輝度変動閾値を下回る全画素をマスクする、閾値フィルタ処理された２値画像（７４２）を生成するために、輝度分散画像（７４０）に閾値フィルタを適用し、低輝度変動の画素領域を非組織領域としてマスキングするために前記閾値フィルタ処理された２値画像（７４２）を前記組織マスク（６３３）として使用するステップ
によって組織マスク（６３３；７４２；７４８）を生成することを更に含む、実施態様９又は１０に記載の方法。
［実施態様１２］
－ 前記画像解析システムによって、前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが得られる画像（６３１；７３６）から、輝度メディアン画像（７４４）であって、その中の各画素に前記画素の近傍の画素輝度値のメディアンを示すデータ値が割り当てられた輝度メディアン画像を生成するステップと、
－ 前記画像解析システムによって、近傍における輝度のメディアンを示すその割り当てられたデータ値がメディアン輝度閾値を上回る全画素をマスクする、更なる閾値フィルタ処理された２値画像（７４６）を生成するために、輝度メディアン画像（７４４）に閾値フィルタを適用するステップと、
－ 前記組織マスク（６３３；７４８）を提供するために前記閾値フィルタ処理された２値画像（７４２）と前記更なる閾値フィルタ処理された２値画像（７４６）を組み合わせるステップであって、前記組織マスクが低輝度変動の画素領域を非組織領域としてマスキングし、メディアン輝度閾値を上回るメディアン輝度を持つ画素領域をマスキングするステップと
を更に含む、実施態様１１に記載の方法。
［実施態様１３］
－ 腫瘍組織切片を含む単一の多重スライドにカラーアンミキシング手順を適用することによって前記マーカー画像を生成するステップであって、各カラーチャンネルが前記免疫細胞マーカーの一つに対応するステップ、又は、
－ 複数の隣接する腫瘍組織切片の一つをそれぞれが含み、前記免疫細胞マーカーの異なる一つによってそれぞれ染色されている複数の単一染色スライドの各々から画像を取ることによって前記マーカー画像を生成するステップ
を更に含む、実施態様１から１２の何れか一項に記載の方法。
［実施態様１４］
－ 前記画像解析システムに作動可能に連結されたユーザインターフェース（１２００）によって、前記２つ以上のマーカー画像のユーザ選択を受け取るステップであって、前記視野の位置合わせがユーザによって選択されたマーカー画像に対して選択的に実行されるステップ、及び／又は
－ 前記画像解析システムに作動可能に連結されたユーザインターフェース（１２００）によって、前記腫瘍領域タイプの２つ以上のユーザ選択を受け取るステップであって、前記ＦＯＶの同定が前記選択された２つ以上の腫瘍領域タイプの腫瘍領域内で選択的に実行されるステップ
を更に含む、実施態様１から１３の何れか一項に記載の方法。
［実施態様１５］
プロセッサ（１０５，５０５）とメモリ（１０３；５１０）を備える、自動免疫スコア計算のための画像解析システム（１００，５００）であって、前記メモリは、前記プロセッサによって実行されると、前記プロセッサに、
－ 複数のマーカー画像（６３２）をメモリから読み取るステップ（９５４）であって、各マーカー画像の画素強度は前記マーカー画像を生成するために使用されるスライド上の各免疫細胞マーカーの量に対応し、前記複数のマーカー画像の各々は異なる免疫細胞マーカーに対応するステップと、
－ 入力画像を処理することによって腫瘍画像を計算するステップ（９６０）であって、前記入力画像は前記複数のマーカー画像によって示される組織切片と同じ組織切片を示すか、又は前記複数のマーカー画像によって示される組織切片の一つに隣接する組織切片を示し、前記腫瘍画像は一又は複数の腫瘍に含まれる腫瘍細胞を選択的に示すステップと、
－ 前記腫瘍画像内の一又は複数の領域（２０２，２０４，２０６，２０８，２１０，２１２，２１４）を同定するステップ（９６２）であって、各同定された領域は前記一又は複数の腫瘍の内部又はその周辺の複数の所定のがん型特異的領域の一つに属するステップと、
－ 前記腫瘍画像と前記マーカー画像のうちの２つ以上を、前記腫瘍画像と前記マーカー画像のうちの前記２つ以上が異なる座標系に由来する場合に、共通座標系に位置合わせするステップと、
前記２つ以上のマーカー画像の各々について、前記マーカー画像内の視野（ＦＯＶ）を、
－ ａ）前記マーカー画像内のマッピングされた領域の各々を、前記マーカー画像の視野として使用するか、又は
－ ｂ）前記マーカー画像内の強度極大値であり、前記共通座標系における前記腫瘍画像の前記同定された領域のうちの一つの内部に位置する画素域を同定するために前記マーカー画像を処理し（９７４）；前記同定された画素域を前記マーカー画像の前記視野（ＦＯＶ）として使用すること
によって同定するステップ（９６８）を含み、
－ 免疫スコアを計算し（９７０）、それによって前記２つ以上の位置合わせされたマーカー画像の全視野から得られた画像情報を入力として選択的に使用するステップを更に含む方法を実行させる解釈可能命令を含む、システム。
［実施態様１６］
視野（ＦＯＶ）生成のための撮像方法において、
一又は複数の色素で染色された生体検体の画像を受け取るステップと、
前記画像内の少なくとも一の腫瘍領域を同定するステップと、
前記腫瘍領域の直径を測定するステップと、
拡張領域サイズを、前記腫瘍領域の直径を該拡張領域サイズに相関させるメモリに格納されたデータに基づいて同定するステップと、
前記拡張領域をディスプレイ上に生成するステップであって、前記拡張領域が前記腫瘍領域を包含するステップと、
前記拡張領域と前記腫瘍領域におけるＦＯＶを自動的に同定するステップと、
前記同定されたＦＯＶ中の免疫細胞をカウントするステップと、
前記ＦＯＶ中でカウントされた細胞に基づいて予後スコアを生成するステップであって、前記予後スコアが患者の臨床的アウトカムを示すステップと
を含む、方法。
［実施態様１７］
前記予後スコアをディスプレイに出力するステップ
を更に含む、実施態様１６に記載の方法。
［実施態様１８］
ミキシングされていない多重スライドと単一染色スライドのセットの少なくとも一つから個々のマーカー画像を読み取ることと、
前記個々のマーカー画像のうちの１つから組織領域マスクを計算することであって、前記組織マスクが組織含有領域を組織非含有領域から区別することと、
前記組織含有領域における腫瘍含有領域を同定することと、
前記腫瘍含有領域を測定し、各組織含有領域に対して測定サイズを生成することと、
測定されたサイズとラベルの少なくとも一つを、前記腫瘍含有領域の前記測定されたサイズに基づいて各腫瘍含有領域に関連付け、腫瘍領域特性データを生成することと、
腫瘍領域データをメモリに保存することと、
前記腫瘍領域特性データに基づいて各腫瘍含有領域の周りに拡張領域を生成して拡張腫瘍領域データを生成することと、
拡張腫瘍領域データをメモリに保存することと、
前記組織含有領域を前記個々のマーカー画像のうちの他のものにマッピングし、前記個々のマーカー画像のうちの他のものの内にマッピングされた組織領域を生成することと、
腫瘍領域特性データと前記拡張領域腫瘍データを、前記個々のマーカー画像のうちの他のものの内の前記マッピングされた組織領域と関連付けることと、
前記個々のマーカー画像の腫瘍含有領域と拡張腫瘍領域の各々においてＦＯＶを自動的に同定することと、
個々のマーカー画像を選択することと、
選択された個々のマーカー画像から同定されたＦＯＶを統合することと、
ＦＯＶ中の細胞を自動的に検出することと、
ＦＯＶ中の細胞を自動的にカウントし、カウントされた細胞に基づいて予後スコアを生成すること
を含む、自動免疫スコア計算のための撮像システム。
［実施態様１９］
前記腫瘍含有領域がラベリングされる場合、孤立性メラノーマ、微小転移、マクロ転移、及び孤立性メラノーマ群である、実施態様１８に記載のシステム。
［実施態様２０］
前記腫瘍含有領域測定値が０．７ｍｍより大きい場合、前記腫瘍含有領域はマクロ転移とラベリングされる、実施態様１８又は１９に記載のシステム。
［実施態様２１］
前記腫瘍含有領域測定値が０．２ｍｍ以上０．７ｍｍ以下である場合、前記腫瘍含有領域は微小転移とラベリングされる、実施態様１８から２０の何れか一項に記載のシステム。
［実施態様２２］
前記腫瘍含有領域が０．２ｍｍ未満である場合、孤立性メラノーマとラベリングされる、実施態様１８から２１の何れか一項に記載のシステム。
［実施態様２３］
前記腫瘍含有領域が互いに約０．５ｍｍ以内の孤立性メラノーマを含む場合、前記腫瘍含有領域は孤立性メラノーマ群とラベリングされる、実施態様１８から２２の何れか一項に記載のシステム。
［実施態様２４］
前記腫瘍含有領域測定値が０．２ｍｍ以上と０．７ｍｍ以下のうちの少なくとも一つであり、腫瘍含有領域が微小転移とラベリングされる場合、約０．２ｍｍの拡張境界領域が腫瘍含有領域の周囲に生成される、実施態様２０から２３の何れか一項に記載のシステム。
［実施態様２５］
前記腫瘍含有領域測定値が０．７ｍｍより大きい少なくとも一つであり、腫瘍含有領域がマクロ転移とラベリングされる場合、約０．２～０．３ｍｍの拡張境界領域が腫瘍含有領域の周囲に生成される、実施態様１９から２４の何れか一項に記載のシステム。
［実施態様２６］
前記腫瘍含有領域が０．２ｍｍ未満の少なくとも一つであり、孤立性メラノーマとラベリングされる場合、前記腫瘍含有領域の周囲に拡張境界領域が生成されない、実施態様２１から２５の何れか一項に記載のシステム。
［実施態様２７］
前記腫瘍含有領域が互いに約０．５ｍｍ以内の孤立性メラノーマの少なくとも一つを有し、孤立性メラノーマの腫瘍群とラベリングされる場合、約０．２ｍｍの拡張境界領域が前記腫瘍含有領域の周囲に生成される、実施態様２３から２６の何れか一項に記載のシステム。

Claims (14)

1. 自動免疫スコア計算方法であって、画像解析システム（１００，５００）のプロセッサ（１０５，５０５）によって実行され、
   － 複数のマーカー画像（６３２）をメモリから読み取ることであって、前記複数のマーカー画像はスライドスキャン装置を用いて生物学的試料の組織切片をスキャンすることにより得られ、前記複数のマーカー画像のそれぞれは、各免疫細胞マーカーを同定するために染色された組織切片を表し、且つ、前記複数のマーカー画像の各マーカー画像のピクセル強度が、前記マーカー画像から同定された前記各免疫細胞マーカーの量に対応する、読み取ること（９５４）と、
   － セグメンテーションアルゴリズムを用いて入力画像を処理して、特定の腫瘍型に対応する入力画像内の腫瘍細胞を検出することによって、腫瘍画像を計算することであって、前記入力画像が、組織切片を示すか、又は前記複数のマーカー画像によって示される前記組織切片に隣接する別の組織切片を示し、前記腫瘍画像が一又は複数の腫瘍に含まれる腫瘍細胞を選択的に同定する、計算すること（９６０）と、
   － 前記腫瘍画像内の一又は複数の領域（４０８，４０４，４１４，４１２，４１０，４３０，４３６，４３８）を同定することであって、同定された各領域が、前記一又は複数の腫瘍の一つの内部又は周辺の複数の所定のがん型特異的領域のうちの一つに属し、各所定のがん型特異的領域により、前記特定の腫瘍型に関連する領域の型が同定される、同定すること（９６２）と、
   － 前記腫瘍画像と前記複数のマーカー画像のうちの２つ以上とが異なる座標系に由来する場合、前記複数のマーカー画像のうちの前記２つ以上のマーカー画像と前記腫瘍画像とを共通座標系に登録すること（９６６）と、
   前記２つ以上のマーカー画像の各々について、前記マーカー画像内の視野（ＦＯＶ）（４１８；４１６）を、
   （ｉ）ピクセル強度値が前記マーカー画像内の局所強度最大値に相当する一又は複数のピクセル領域を同定すること；
   （ｉｉ）前記一又は複数のピクセル領域が、前記共通座標系に登録された前記腫瘍画像の前記同定された領域のうちの少なくとも一つの内部に位置すると決定すること；及び
   （ｉｉｉ）前記同定されたピクセル領域を前記マーカー画像のＦＯＶとして用いること
   によって同定すること（９６８）と、
   － 前記２つ以上のマーカー画像の前記ＦＯＶから複数の細胞を検出することであって、前記複数の細胞は、第一の細胞型に相当する、検出することと、
   － 前記複数の細胞の数及び／又は密度を決定することにより免疫スコアを計算すること（９７０）と
   を含む、方法。
2. 前記免疫スコアの前記計算が、
   － 前記２つ以上の登録されたマーカー画像の各々における前記ＦＯＶの各々について、
   ・ 前記検出された複数の細胞の免疫細胞型を決定すること、及び／又は、
   ・ 前記共通座標系における前記視野が属する前記腫瘍画像の領域の領域型を決定し、且つ、細胞数、細胞型及び／又は細胞密度情報に前記決定された領域型を割り当てること、
   － 前記２つ以上のマーカー画像の全ＦＯＶの、前記細胞数、細胞型、密度及び／又は前記割り当てられた領域型の情報を処理して免疫スコアを計算することであって、前記免疫スコアの量が、前記同定された領域内の前記複数の細胞の前記密度と相関する、計算することと
   をさらに含む、請求項１に記載の方法。
3. 前記免疫細胞マーカーが免疫細胞型を選択的に示し、前記免疫細胞型がＴ細胞、Ｂ細胞又はマクロファージの一つであり、前記免疫スコアの前記計算は、
   － 同定された免疫細胞型の各々について、前記ＦＯＶ内の前記細胞数及び／又は細胞密度を別個に決定することであって、細胞計数が、
   統合されたＦＯＶを生成するために複数のマーカー画像の前記ＦＯＶを重ね合わせて統合すること、
   前記統合されたＦＯＶを前記各マーカー画像にマッピングし戻すこと、及び
   個々の前記マーカー画像にマッピングされた、前記統合されたＦＯＶ内の細胞をカウントすること
   によって優先的に実施される、決定すること
   を含む、請求項１又は２に記載の方法。
4. ピクセル強度値が局所強度最大値に相当する前記一又は複数のピクセル領域を同定することは、
   － 前記マーカー画像にローパスフィルタを適用して、ローパスフィルタ処理された画像（６３４）を得ることと、
   － 前記マーカー画像のヒートマップ（６３５）を取得するために、前記ローパスフィルタ処理された画像に局所最大値フィルタを適用することであって、前記ヒートマップの局所最大値が局所ピクセル強度最大値を示し、前記ヒートマップの前記ピクセルの前記強度値が、前記ピクセルによって表されるスライド領域における前記マーカーの前記密度を示す、適用することと、
   － 前記ヒートマップ内で最も高いピクセル強度値を有するか又はそのピクセル強度値が閾値を上回る、前記ヒートマップ内のピクセル領域の数（Ｋ）を同定することと、
   － 前記同定されたＫ個のピクセル領域を、前記マーカー画像のＦＯＶとして使用することと
   をさらに含む、請求項１から３の何れか一項に記載の方法。
5. 前記腫瘍画像内の前記領域の前記同定が、
   － 強度値が第２の閾値を上回る、腫瘍画像内のピクセルブロブを同定することと、
   － 同定された前記ピクセルブロブのそれぞれについて、
   前記ピクセルブロブの一又は複数の特徴を同定することであって、前記一又は複数の特徴が前記ピクセルブロブの直径、前記ピクセルブロブの形状、及び前記ピクセルブロブから前記腫瘍画像内の最も近い隣接ピクセルブロブまでの距離のうちの少なくとも一つを含む、同定することと、
   前記ピクセルブロブの前記決定された一又は複数の特徴に基づいて、複数の所定のがん型特異的な腫瘍内領域型のうちのどの一つに前記ピクセルブロブが属するかを決定し、それにより、前記一又は複数の腫瘍の一つの中の前記同定された領域（４３０，４３８，４１０，４３６）の一つとして、前記同定されたピクセルブロブを使用することと、
   前記ピクセルブロブの前記決定された一又は複数の特徴に基づいて、前記同定された腫瘍内領域を、前記同定された腫瘍内領域の型に依存する所定の距離だけ、それぞれ拡張することによって、前記腫瘍画像内の前記ピクセルブロブの近傍の更なるピクセル領域を同定し、それにより、前記同定された更なるピクセル領域を、前記一又は複数の腫瘍の周辺に位置する前記腫瘍画像内の同定された領域（４０４，４０８，４１４）の一つとして使用することと
   を含む、請求項１から４の何れか一項に記載の方法。
6. 前記複数の所定のがん型特異的領域が、
   － 微小転移（４３８）：第１の閾値より大きく第２の閾値未満の直径を有する腫瘍画像内の領域；
   － 微小転移の周辺（４０４）：微小転移の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第３の閾値によって定義される領域；
   － マクロ転移（４３０）：前記第２の閾値より大きい直径を有する腫瘍画像内の領域；
   － マクロ転移の周辺（４０８）：マクロ転移の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第４の閾値によって定義される領域；
   － 孤立した腫瘍細胞クラスター（４３６）：第１の閾値未満の直径を有する腫瘍画像内の領域；
   － 孤立した腫瘍細胞クラスターの群（４１２）：互いに第５の閾値内にある孤立した腫瘍細胞クラスターの群を含む腫瘍画像内の領域；又は、
   － 孤立した腫瘍細胞クラスターの群の周辺（４１４）：孤立した腫瘍細胞クラスターの群の近傍の腫瘍画像内の領域であって、その近傍が距離閾値として作用する第６の閾値によって定義される領域
   の一又は複数を含む、請求項１から５の何れか一項に記載の方法。
7. 前記がん型がメラノーマであり、
   － 前記第１の閾値が０．２ｍｍであり、
   － 前記第２の閾値が０．７ｍｍであり、
   － 前記第３の閾値が０．２ｍｍであり、
   － 前記第４の閾値が０．２ｍｍであり、
   － 前記第５の閾値が０．５ｍｍであり；及び／又は
   － 前記第６の閾値が０．２ｍｍである、
   請求項６に記載の方法。
8. － 前記腫瘍画像内の前記同定された領域の各々にラベルを割り当てることであって、各ラベルが前記領域の前記型を示すこと；および
   － 前記領域の前記ラベルを前記共通座標系から前記２つ以上のマーカー画像の各々の座標系に移すこと
   を更に含む、請求項１から７の何れか一項に記載の方法。
9. 前記ＦＯＶの前記同定が、
   － 前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが由来する画像（６３１；７３６）から組織マスク（６３３；７４２；７４８）を計算することであって、組織マスクは、背景ノイズに相当する特定の画像のピクセルを非表示にするか、さもなければフィルタリングして除外するように構成される、計算すること、及び、
   － 前記マーカー画像又はその派生物に前記組織マスクを適用して、ノイズ低減されたマーカー画像を生成することと
   をさらに含む、請求項１から８の何れか一項に記載の方法。
10. － 前記画像解析システムによって、前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが得られる画像（６３１；７３６）から輝度画像（７３８）を生成することであって、前記輝度画像の中の各ピクセルに、そのＲ、Ｇ及びＢ強度値から得られた輝度値が割り当てられている、生成することと、
    － 前記画像解析システムによって、輝度分散画像（７４０）を生成することであって、前記輝度分散画像の中の各ピクセルに、前記ピクセルの近傍における輝度の分散を示すデータ値が割り当てられている、生成することと、
    － 前記画像解析システムによって、近傍における輝度の分散を示す割り当てられたデータ値が輝度変動閾値を下回る全ピクセルをマスクする、閾値フィルタ処理された２値画像（７４２）を生成するために、輝度分散画像（７４０）に閾値フィルタを適用することと、
    － 低輝度変動のピクセル領域を非組織領域としてマスクするために前記閾値フィルタ処理された２値画像（７４２）を前記組織マスク（６３３）として使用することと
    によって前記組織マスク（６３３；７４２；７４８）がさらに生成される、請求項９に記載の方法。
11. － 前記画像解析システムによって、前記マーカー画像及び／又は前記腫瘍画像の少なくとも一つが得られる画像（６３１；７３６）から、輝度メディアン画像（７４４）を生成することであって、前記輝度メディアン画像の中の各ピクセルに、前記ピクセルの近傍のピクセルの輝度値のメディアンを示すデータ値が割り当てられている、生成することと、
    － 前記画像解析システムによって、近傍における輝度のメディアンを示すその割り当てられたデータ値がメディアン輝度閾値を上回る全ピクセルをマスクする、更なる閾値フィルタ処理された２値画像（７４６）を生成するために、輝度メディアン画像（７４４）に閾値フィルタを適用することと、
    － 前記組織マスク（６３３；７４８）を提供するために前記閾値フィルタ処理された２値画像（７４２）と前記更なる閾値フィルタ処理された２値画像（７４６）を組み合わせることであって、前記組織マスクが低輝度変動のピクセル領域を非組織領域としてマスキングし、メディアン輝度閾値を上回るメディアン輝度を持つピクセル領域をマスクする、組み合わせることと
    を更に含む、請求項１０に記載の方法。
12. － 腫瘍組織切片を含む単一の多重スライドにカラーアンミキシング手順を適用することによって前記マーカー画像を生成することであって、各カラーチャンネルが前記免疫細胞マーカーの一つに対応する、生成すること、
    を更に含む、請求項１から１１の何れか一項に記載の方法。
13. － 前記画像解析システムに作動可能に連結されたユーザインターフェース（１２００）によって、前記２つ以上のマーカー画像のユーザ選択を受け取ることであって、前記視野の登録が、ユーザによって選択されたマーカー画像に対して選択的に実行される、受け取ること、及び／又は
    － 前記画像解析システムに作動可能に連結された前記ユーザインターフェース（１２００）によって、腫瘍領域型の２つ以上の、別のユーザ選択を受け取ることであって、前記ＦＯＶの同定が前記選択された２つ以上の腫瘍領域型の腫瘍領域内で選択的に実行される、受け取ること
    を更に含む、請求項１から１２の何れか一項に記載の方法。
14. プロセッサ（１０５，５０５）とメモリ（１０３；５１０）を備える、自動免疫スコア計算のための画像解析システム（１００，５００）であって、前記メモリは、前記プロセッサによって実行されると、
    － 複数のマーカー画像（６３２）をメモリから読み取ること（９５４）であって、前記複数のマーカー画像は、スライドスキャン装置を使用して生物学的試料の組織切片をスキャンすることによって得られ、前記複数のマーカー画像のそれぞれは、各免疫細胞マーカーを同定するために染色された前記組織切片を表し、前記複数のマーカー画像の各マーカー画像のピクセル強度は、前記マーカー画像から同定された前記各免疫細胞マーカーの量に対応する、読み取ることと、
    － セグメンテーションアルゴリズムを用いて入力画像を処理して、特定の腫瘍型に対応する前記入力画像内の腫瘍細胞を検出することによって、腫瘍画像を計算すること（９６０）であって、前記入力画像は前記組織切片を示すか、又は前記複数のマーカー画像によって示される前記組織切片に隣接する別の組織切片を示し、前記腫瘍画像は、一又は複数の腫瘍に含まれる前記腫瘍細胞を選択的に同定することと、
    － 前記腫瘍画像内の一又は複数の領域（４０８，４０４，４１４，４１２，４１０，４３０，４３６，４３８）を同定すること（９６２）であって、各同定された領域は前記一又は複数の腫瘍のうちの一つの内部又はその周辺の複数の所定のがん型特異的領域の一つに属し、各所定のがん型特異的領域により、特定の腫瘍型に関連する領域の型が同定される、同定することと、
    － 前記腫瘍画像と前記複数のマーカー画像のうちの２つ以上が異なる座標系に由来する場合に、前記複数のマーカー画像のうちの該２つ以上のマーカー画像と前記腫瘍画像とを共通座標系に登録すること（９６６）と、
    － 前記２つ以上のマーカー画像の各々について、前記マーカー画像内の視野（ＦＯＶ）（４１８；４１６）を、
    （ｉ）ピクセル強度値が前記マーカー画像内の局所強度最大値に相当する一又は複数のピクセル領域を同定すること；
    （ｉｉ）前記一又は複数のピクセル領域が、前記共通座標系に登録された前記腫瘍画像の前記同定された領域のうちの少なくとも一つの内部に位置すると決定すること；及び
    （ｉｉｉ）前記同定されたピクセル領域を前記マーカー画像のＦＯＶとして用いること
    によって同定すること（９６８）と、
    － 前記２つ以上のマーカー画像の前記ＦＯＶから複数の細胞を検出することであって、前記複数の細胞は、第一の細胞型に相当する、検出することと、
    － 前記複数の細胞の数及び／又は密度を決定することにより免疫スコアを計算すること（９７０）と
    を含む方法を前記プロセッサに実行させる解釈可能な命令を含む、システム。
    

Images