JP7197584B2 - デジタル病理学分析結果の格納および読み出し方法 - Google Patents

Description

[0001]本願は、２０１７年１２月６日に出願された米国仮特許出願第６２／５９５，１４３号の出願日の利益を主張するものであり、そのすべての開示内容が参照により本明細書に組み込まれる。

本願発明の一実施例は、例えば、デジタル病理学分析結果の格納および読み出し方法に関する。

[0002]デジタル病理学は、コンピュータ画面上で解釈可能なデジタル画像へと病理組織または病理細胞のガラススライド全体をスキャンすることを伴う。これらの画像は後で、画像処理アルゴリズムによる処理または病理学者による解釈がなされることになる。組織切片（実質的に透明）を検査するため、細胞成分に選択的に結び付く色付き組織化学的ステインを用いて組織切片が作成される。臨床医またはコンピュータ支援診断（ＣＡＤ）アルゴリズムによる着色または染色細胞構造の使用によって、疾患の形態学的マーカを識別するとともに、これに応じた治療を進める。アッセイを観察することによって、疾患の診断、処置への反応の評価、および疾患と闘う新たな医薬品の開発といった多様なプロセスが可能になる。

[0003]免疫組織化学的（ＩＨＣ）スライド染色は、組織切片の細胞中のタンパク質を識別するのに利用可能であるため、生物組織中のがん細胞および免疫細胞等、さまざまな種類の細胞の研究に広く用いられている。このため、免疫反応研究の場合に、がん細胞中の免疫細胞（Ｔ細胞またはＢ細胞等）の異なる発現のバイオマーカの分布および局在を理解する研究においては、ＩＨＣ染色が使用され得る。たとえば、腫瘍は、免疫細胞の浸潤物を含むことが多く、これが腫瘍の成長を防止する場合もあれば、腫瘍の増殖を優先させる場合もある。

[0004]特に顕微鏡下で観察した場合に形態学的に悪性と見られる細胞中の遺伝学的異常または発がん遺伝子の増幅等の状態の有無の確認には、ｉｎ－ｓｉｔｕハイブリダイゼーション（ＩＳＨ）を使用可能である。ＩＳＨでは、標的遺伝子配列または転写物に対してアンチセンスの標識ＤＮＡまたはＲＮＡプローブ分子を採用することにより、細胞または組織サンプル内の目標とする核酸標的遺伝子を検出または位置特定する。ＩＳＨは、ガラススライド上に固定された細胞または組織サンプル中の所与の標的遺伝子へと特にハイブリダイズ可能な標識核酸プローブに対して、当該細胞または組織サンプルを曝露することにより実行される。複数の異なる核酸タグで標識済みの複数の核酸プローブに対して細胞または組織サンプルを曝露することにより、複数の標的遺伝子を同時に分析可能である。発光波長が異なる標識を利用することにより、単一の標的細胞または組織サンプルに対して、１回のステップで同時多色分析が実行され得る。

本願発明の一実施例は、例えば、デジタル病理学分析結果の格納および読み出し方法に関する。

[0005]本開示は、とりわけ、不規則形状を有する生体（たとえば、線維芽細胞またはマクロファージ）と関連付けられたデータを分析および格納する自動化システムおよび方法に関する。また、本開示は、中解像度（ｍｉｄ－ｒｅｓｏｌｕｔｉｏｎまたはｍｅｄｉｕｍ－ｒｅｓｏｌｕｔｉｏｎ）分析手法すなわち類似特性（たとえば、染色強度、染色有無、および／または質感）を有するピクセルを「副領域」にグループ化する手法を用いて、生体と関連付けられたデータを分析および格納する自動化システムおよび方法に関する。

[0006]デジタル病理学においては、ガラススライドに搭載され、バイオマーカの識別のために染色された生物標本（たとえば、組織標本）から画像が取得される。生物学的サンプルは、高倍率の顕微鏡下で評価すること、または、関心生体を検出して分類するデジタル病理学アルゴリズムによって自動的に分析することが可能である。たとえば、関心物体としては、細胞、血管、腺、組織領域等が可能である。如何なる導出情報も、データベースに格納されて後で読み出されるようになっていてもよく、当該データベースは、関心生物学的構造の有無、空間的関係、および／または染色の特性の統計値を含んでいてもよい。当業者には当然のことながら、明確に区別された細胞（たとえば、腫瘍細胞または免疫細胞）の分析結果の格納および読み出しは、比較的容易である。このような細胞は、各細胞の中心位置の点により表され、データベースに格納され得るためである（たとえば、図４参照）。同様に、サイズおよび形状が明確に定義された生体（たとえば、血管）は、簡単な外形により表され、この外形の座標がデータベースに格納されて、後で読み出しおよび／または別途分析が行われ得る（本明細書においては、「ポリゴン」または「ポリゴン輪郭」とも称する）。

[0007]一方、一部の関心生物学的構造（たとえば、線維芽細胞またはマクロファージ）は、不規則形状を有する。この種の細胞のグループは、互いの周りまたは他の細胞の周りに延びている場合がある（図５参照）。結果として、観察者または自動化アルゴリズムによって個別に、これら不規則形状の細胞を正確に識別するのは、困難な場合が多い。その代わりに、これらの細胞は、個々の細胞の識別なく、それぞれの染色細胞質または膜の局在のみによって識別されることが非常に多い。

[0008]このような不規則形状の構造は、高解像度分析を用いて分析および格納可能と考えられるが、このような手法では、相当のコンピュータリソース（演算時間および／または格納のリソース）が必要になることが多い。実際、関心生物学的構造のすべてのピクセル情報（たとえば、すべてのピクセルの分析結果）を格納する高解像度分析手法は、消費するソフトウェアおよびハードウェアリソース（たとえば、情報を処理または表示するメモリおよびプロセッサ）があまりにも多く、結局のところ、特定の生体に関して意味ある結果を提供できないと考えられる。

[0009]このような不規則構造は、低解像度分析を用いて分析することも可能と考えられ、このような低解像度データ表現では、複数の個々の細胞を単一のオブジェクトへと「一括化」して、データベースに格納するようにしてもよい。一例として、図６Ａおよび図６Ｂは、望ましくない領域の「孔」（青緑色、６４０）を除外して一群の関連細胞を囲む大きなポリゴン外形（赤色、６３０）により表される腫瘍（黄色、６２０）および線維芽細胞（紫色、６１０）について染色されたＩＨＣ画像の一例を示している。本例においては、さまざまな特徴（たとえば、形状、サイズ、染色強度等）を有する多くの個々の細胞を含み得る大きな領域（赤色外形、６３０）に対して、分析結果が平均化される。たとえば、図６Ｂに関しては、外形規定されたＦＡＰ陽性面積が９２８．１６μｍ^２で、計算された線維芽細胞活性化タンパク質（ＦＡＰ）陽性平均強度は０．２６を有する。このように大きなピクセル面積領域における平均強度を所与として、０．２６という平均強度は、この画像においてＦＡＰ陽性全体を示すとともに代表するには粗すぎる。任意特定の理論に縛られることを望むことなく、この低解像度分析手法は、格納結果が下流処理において後で利用される場合には、精度の低下につながり得ると考えられる。このため、このような染色細胞の不均質性により、この方法は、このような関心生物学的構造の領域の実際の詳細を局所的に提示しないと考えられる。

[00010]上述の高解像度および低解像度分析方法とは対照的に、本開示は、中解像度分析手法を用いて、画像特性（たとえば、質感、強度、または色のうちの少なくとも１つ）が類似する複数の副領域へと画像をセグメント化することにより、不規則形状の細胞に対応するデータを導出するシステムおよび方法を提供する。

[00011]上記を考慮して、本開示の一態様は、少なくとも１つのステインを有する生物標本の画像から導出された画像分析データを格納する方法であって、（ａ）画像から、１つまたは複数の特徴測定基準を導出するステップと、（ｂ）画像を複数の副領域にセグメント化するステップであり、各副領域が、染色有無、染色強度、または局所質感のうちの少なくとも１つにおいて実質的に均一なピクセルを含む、ステップと、（ｃ）複数のセグメント化副領域に基づいて、複数の表現オブジェクトを生成するステップと、（ｄ）複数の表現オブジェクトそれぞれを導出特徴測定基準と関連付けるステップと、（ｅ）関連付け導出特徴測定基準と併せて、各表現オブジェクトの座標をデータベースに格納するステップと、を含む、方法である。当業者には当然のことながら、少なくともステップ（ａ）および（ｂ）は、如何なる順序で実行されるようになっていてもよい。いくつかの実施形態において、画像を複数の副領域にセグメント化するステップは、スーパーピクセルを導出することを含む。いくつかの実施形態において、スーパーピクセルは、ピクセルを局所ｋ平均クラスタリングでグループ化し、（ｉｉ）連結成分アルゴリズムを用いて小さな分離領域を大きな最近接スーパーピクセルへと統合することにより導出される。任意特定の理論に縛られることを望むことなく、（副領域としての）スーパーピクセルは、それぞれが知覚的に矛盾のない単位となるように、すなわち、スーパーピクセル中のすべてのピクセルの色および質感が均一となり得るように、知覚的に意味あるものと考えられる。いくつかの実施形態において、連結成分標識化では、画像をスキャンし、ピクセル連結度に基づいて、そのピクセルを成分へとグループ化する。すなわち、連結成分のすべてのピクセルが類似のピクセル強度値を共有し、何らかの方法で互いに連結されている。

[00012]いくつかの実施形態において、画像を複数の副領域にセグメント化するステップは、サンプリンググリッドを画像に重ね合わせることであり、サンプリンググリッドが、所定のサイズおよび形状を有する非重畳エリアを規定する、ことを含む。いくつかの実施形態において、副領域は、Ｍ×Ｎのサイズを有し、Ｍが、５０ピクセル～１００ピクセルの範囲であり、Ｎが５０ピクセル～およそ１００ピクセルの範囲である。

[00013]いくつかの実施形態において、表現オブジェクトは、所定の染色強度閾値を満たす副領域の外形を含む。いくつかの実施形態において、表現オブジェクトは、種子点を含む。いくつかの実施形態において、種子点は、複数の副領域それぞれの重心を演算することにより導出される。いくつかの実施形態において、導出特徴測定基準は、染色強度であり、各生成表現オブジェクト外形内のすべてのピクセルの平均染色強度が演算される。いくつかの実施形態において、導出特徴測定基準は、発現スコアであり、各生成副領域内のエリアに対応する平均発現スコアが複数の生成表現オブジェクトと関連付けられる。いくつかの実施形態において、この方法は、データベースから、格納座標および関連付け特徴測定基準データを読み出すステップと、読み出しデータを画像に投影するステップとをさらに含む。いくつかの実施形態において、対応する副領域内の分析結果（たとえば、強度、面積）は、当該副領域のピクセルデータを表す平均ピクセル測定結果の形態で格納可能である。

[00014]いくつかの実施形態において、生物学的サンプルは、膜ステインにより染色される。いくつかの実施形態において、生物学的サンプルは、膜ステインおよび核ステインにより染色される。いくつかの実施形態において、生物学的サンプルは、少なくともＦＡＰにより染色され、１つまたは複数の導出特徴測定基準が、ＦＡＰ染色強度またはＦＡＰ百分率正値性の少なくとも一方を含む。いくつかの実施形態においては、副領域内のすべてのピクセルに関して、平均ＦＡＰ百分率正値性が計算される。いくつかの実施形態においては、副領域内のすべてのピクセルに関して、平均ＦＡＰ染色強度が計算される。いくつかの実施形態において、サンプルは、ＦＡＰおよびＨ＆Ｅにより染色される。いくつかの実施形態において、サンプルは、ＦＡＰならびに別の核もしくは膜ステインにより染色される。

[00015]いくつかの実施形態において、入力として受信された画像は最初、画像チャネル画像（たとえば、特定のステインの画像チャネル画像）へと分離される。いくつかの実施形態においては、画像分析に先立って、関心領域が選択される。

[00016]本開示の別の態様は、少なくとも１つのステインを含む生物学的サンプルの画像から、不規則形状の細胞に対応するデータを導出するシステムであって、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）１つまたは複数のプロセッサに結合されたメモリであり、１つまたは複数のプロセッサにより実行された場合に、（ａ）画像から、１つまたは複数の特徴測定基準を導出することと、（ｂ）画像内の複数の副領域を生成することであり、各副領域が、色、輝度、および／または質感から選択される類似特質を備えたピクセルを有する、ことと、（ｃ）複数の生成副領域に基づいて、一連の表現オブジェクトを演算することと、（ｄ）画像からの１つまたは複数の導出特徴測定基準を一連の演算表現オブジェクトそれぞれの計算座標と関連付けることと、を含む動作を１つまたは複数のプロセッサに実行させるコンピュータ実行可能命令を格納した、メモリと、を備えた、システムである。いくつかの実施形態において、副領域は、（ｉ）隣り合うピクセル、（ｉｉ）知覚的に意味ある類似の特性（たとえば、色、輝度、および／または質感）を有するピクセル、および（ｉｉｉ）生物学的特性（たとえば、生物学的構造、生物学的構造の染色特性、細胞特性、細胞のグループ）に関して実質的に均質なピクセルをグループ化することによって形成される。いくつかの実施形態において、副領域のピクセルは、関心生体（たとえば、不規則形状の細胞であり、線維芽細胞およびマクロファージが挙げられるが、これらに限定されない）に関して、類似の特性および記述統計値を有する。

[00017]いくつかの実施形態において、画像を複数の副領域にセグメント化することは、スーパーピクセルを導出することを含む。いくつかの実施形態において、スーパーピクセルは、グラフベースの手法または勾配上昇ベースの手法の一方を用いて導出される。いくつかの実施形態において、スーパーピクセルは、ピクセルを局所ｋ平均クラスタリングでグループ化し、（ｉｉ）連結成分アルゴリズムを用いて小さな分離領域を大きな最近接スーパーピクセルへと統合することにより導出される。

[00018]いくつかの実施形態において、表現オブジェクトは、所定の染色強度閾値を満たす副領域の外形を含む。いくつかの実施形態において、表現オブジェクトは、種子点を含む。いくつかの実施形態において、このシステムは、１つまたは複数の導出特徴測定基準および関連付け計算表現オブジェクトの座標をデータベースに格納する命令をさらに含む。いくつかの実施形態において、１つまたは複数の導出特徴測定基準は、百分率正値性、Ｈスコア、または染色強度から選択される少なくとも１つの発現スコアを含む。いくつかの実施形態において、不規則形状の細胞に対応するデータは、画像内の関心領域に対して導出される。いくつかの実施形態において、関心領域は、医療専門家によりアノテーションされた画像のエリアである。

[00019]本開示の別の態様は、不規則形状を有する生体と関連付けられたデータを分析する命令を格納した非一時的コンピュータ可読媒体であって、命令が、（ａ）生物学的サンプルの画像から１つまたは複数の特徴測定基準を導出する命令であり、生物学的サンプルが、少なくとも１つのステインを含む、命令と、（ｂ）類似特質を有するピクセルのグループ化によって画像を一連の副領域に分割する命令であり、特質が、色、輝度、および／または質感から選択される、命令と、（ｃ）一連の分割副領域に基づいて、複数の表現オブジェクトを演算する命令と、（ｄ）画像からの１つまたは複数の導出特徴測定基準を複数の演算表現オブジェクトそれぞれの計算座標と関連付ける命令と、を含む、非一時的コンピュータ可読媒体である。

[00020]いくつかの実施形態において、画像を一連の副領域に分割することは、スーパーピクセルを演算することを含む。いくつかの実施形態において、スーパーピクセルは、正規化カットアルゴリズム、凝集型クラスタリングアルゴリズム、クイックシフトアルゴリズム、ターボピクセルアルゴリズム、または単純線形反復クラスタリングアルゴリズムのうちの１つを用いて演算される。いくつかの実施形態において、スーパーピクセルは、単純反復クラスタリングを用いて生成され、スーパーピクセルサイズパラメータが、およそ４０ピクセル～およそ４００ピクセルに設定され、稠密度パラメータが、およそ１０～およそ１００に設定される。いくつかの実施形態において、スーパーピクセルは、ピクセルを局所ｋ平均クラスタリングでグループ化し、（ｉｉ）連結成分アルゴリズムを用いて小さな分離領域を大きな最近接スーパーピクセルへと統合することにより演算される。

[00021]いくつかの実施形態において、生物学的サンプルは、少なくともＦＡＰにより染色され、１つまたは複数の導出特徴測定基準が、ＦＡＰ染色強度またはＦＡＰ百分率正値性の少なくとも一方を含む。いくつかの実施形態においては、副領域内のすべてのピクセルに関して、平均ＦＡＰ百分率正値性が計算される。いくつかの実施形態においては、副領域内のすべてのピクセルに関して、平均ＦＡＰ染色強度が計算される。いくつかの実施形態において、表現オブジェクトは、ポリゴン外形および種子点の少なくとも一方を含む。いくつかの実施形態において、メモリは、１つまたは複数の導出特徴測定基準および関連付け計算表現オブジェクトの座標をデータベースに格納する命令を含む。いくつかの実施形態において、メモリは、格納情報を生物学的サンプルの画像に投影する命令をさらに含む。

[00022]本出願人らは、本明細書に記載のシステムおよび方法が、関心物体ごとに単一の位置または外形では規定不可能な生体の分析結果を格納する改良されたソリューションを提供することを示した。さらに、本出願人らは、本明細書に記載のシステムおよび方法が、ピクセルレベルの高解像度分析手法と比較して、分析結果を格納する格納空間を低減可能であると考える。特定のピクセルおよびその周りのピクセルの分析結果が一体的に副領域に格納され、副領域中のピクセルが類似の特性または特質（たとえば、色、輝度、質感）を有するためである。さらに、本出願人らは、数千個のピクセルから、分析結果の読み出しおよび報告の大幅な高速化を可能にするより少数で扱いやすい数の副領域へと、生成副領域が画像の複雑性を低減可能であることから、上記システムおよび方法が演算上効率的であると考える。また、本出願人らは、分析結果の格納および表現に対して、副領域が小さ過ぎることも大き過ぎることもないため、表現上効率的であるとも考える。最後に、本出願人らは、特に低解像度分析手法と比較して、本明細書に開示のシステムおよび方法が精度を向上可能であると考える。生成副領域は、大領域表現からの情報の格納と比較して、生物学的に関連する関心物体の特性または統計学的情報を記述するためである（すなわち、副領域は、染色有無、染色強度、および質感が可能な限り均一なピクセルを含む）。上記および他の利点については、本明細書において別途説明される。

[00023]本開示の特徴の全般的な理解のため、図面を参照する。図面全体を通して、同一要素の識別には、同じ参照番号を使用している。

[00024]いくつかの実施形態に係る、画像取得デバイスおよびコンピュータシステムを具備する代表的なデジタル病理学システムを示した図である。 [00025]いくつかの実施形態に係る、デジタル病理学システムまたはデジタル病理学ワークフローにおいて利用し得るさまざまなモジュールを示した図である。 [00026]いくつかの実施形態に係る、生成副領域によって画像分析データおよび関連する画像分析データを導出するさまざまなステップを示したフローチャートである。 [00027]いくつかの実施形態に係る、高レベル解像度での肝臓がん細胞のデジタル病理学画像の一例を示した図であって、画像分析処理および分類の後、分析結果を（たとえば、細胞の中心に位置付けられたアノテーションポイント（赤色＝陽性染色腫瘍細胞（４１０）、緑色＝陰性染色腫瘍細胞（４２０））として）データベースから格納および読み出しを行って表示可能であり、各アノテーションポイントが読み出し情報（たとえば、関心生物学的構造の有無、空間的関係、および染色の特性の記述統計値）を含み得る、図である。 [00028]図５Ａは、異なる外観（たとえば、細胞の不規則なサイズ、形状、および境界）と形態学的に異質な線維芽細胞の外観であって、正常な線維芽細胞を示した図である。図５Ｂは、異なる外観（たとえば、細胞の不規則なサイズ、形状、および境界）と形態学的に異質な線維芽細胞の外観を示した図である。図５Ｃは、異なる外観（たとえば、細胞の不規則なサイズ、形状、および境界）と形態学的に異質な線維芽細胞の外観であって、正常な活性化線維芽細胞のヘマトキシリンおよびエオシン染色（Ｈ＆Ｅ）画像を示した図である。図５Ｄは、異なる外観（たとえば、細胞の不規則なサイズ、形状、および境界）と形態学的に異質な線維芽細胞の外観であって、活性化線維芽細胞のヘマトキシリンおよびエオシン染色（Ｈ＆Ｅ）画像を示した図である。 [00029]図６Ａは、腫瘍細胞と関連付けられた線維芽細胞の免疫組織化学（ＩＨＣ）の一例を示した図であって、線維芽細胞（６１０）が紫色に染色され、腫瘍（６２０）が黄色に染色され、線維芽細胞が他の細胞に接触するとともに、他の細胞の反対側または周囲に延びた非常に不規則な形状を有し得る、図である。 [00030]図６Ｂは、青緑色の陽性線維芽細胞発現および除外領域（孔、６４０）を備えたエリアの低解像度ポリゴン外形（赤色、６３０）の一例を示した図である。 [00031]本明細書に記載の中解像度手法を用いた画像データと関連付けし得る単純な形状（たとえば、円形）の副領域（７１０）を示した図である。 [00032]ＩＨＣ画像上で線維芽細胞領域のＳＬＩＣを用いて生成されたスーパーピクセルの一例を示した図である。 [00033]腫瘍細胞（８３０）が黄色に染色され、線維芽細胞（８４０）が紫色に染色された高倍率の元のＩＨＣ画像を示した図である。 [00034]いくつかの実施形態に係る、規則化パラメータの調整前の正方形に類似して見えるスーパーピクセルの最初の形状を示した図である。 [00035]いくつかの実施形態に係る、ＳＬＩＣアルゴリズムの規則化パラメータが調整されたスーパーピクセルの最終表現を示した図である。 [00036]いくつかの実施形態に係る、関心領域（線維芽細胞領域）に属する副領域（ここでは、スーパーピクセル）のポリゴン外形（黒色、９１０）を示した図である。 [00037]いくつかの実施形態に係る、関心生体（線維芽細胞）に属する副領域（スーパーピクセル）のポリゴン外形（黒色、９２０）および中心種子（緑色ドット、９３０）を示した図である。 [00038]線維芽細胞（１０１０）用の線維芽細胞活性化タンパク質（ＦＡＰ）により紫色に染色され、上皮腫瘍（１０２０）用のパンサイトケラチン（ＰａｎＣＫ）により黄色に染色された頭頚部がん組織の全スライドＩＨＣ画像の一例を示した図である。 [00039]データベースに格納可能な線維芽細胞領域に属するスーパーピクセル（青色、１０３０）の分析結果が付与されたポリゴン外形の一例を示した図である。 [00040]データベースに格納可能な線維芽細胞領域に属するスーパーピクセル（赤色、１１４０）の分析結果が付与された中心種子の一例を示した図である。 [00041]全スライドスーパーピクセルから読み出されたＦＡＰ強度のヒストグラムプロットの一例を示した図である。 [00042]いくつかの実施形態に係る、領域選択のステップを示したフローチャートである。 [00043]生物学的サンプルの画像内の６つの異なるアノテーション形状および領域を示した図である。 [00044]（ｉ）高解像度分析手法および（ｉｉ）本明細書に記載の例示的な中解像度（副領域）手法を用いて決定されたＦＡＰ＋面積間のＦＡＰ陽性面積の割合の一致を示した図である。

[00045]別段の明確な指定のない限り、２つ以上のステップまたは動作を含む本明細書に請求の如何なる方法においても、そのステップまたは動作の順序は、当該ステップまたは動作が列挙された順序に必ずしも限定されないことが了解されるものとする。

[00046]本明細書において、単数の用語「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上の別段の明確な指定のない限り、複数の指示対象を含む。同様に、単語「または（ｏｒ）」は、文脈上の別段の明確な指定のない限り、「および（ａｎｄ）」を含むことが意図される。用語「含む（ｉｎｃｌｕｄｅｓ）」は、「ＡまたはＢを含む（ｉｎｃｌｕｄｅｓ Ａ ｏｒ Ｂ）」がＡ、Ｂ、またはＡおよびＢを含むことを意味するように、包含的に定義される。

[00047]本明細書および特許請求の範囲において、「または（ｏｒ）」は、上記定義の「および／または（ａｎｄ／ｏｒ）」と同じ意味を有することが了解されるものとする。たとえば、リストにおいて項目を分離する場合、「または（ｏｒ）」または「および／または（ａｎｄ／ｏｒ）」は、包含的であるものと解釈され、多数または一覧の要素と、任意選択として付加的なリスト外の項目と、のうちの少なくとも１つを包含し、また、２つ以上を包含することも可能であるものとする。「～のうちの１つだけ（ｏｎｌｙ ｏｎｅ ｏｆ）」もしくは「～のうちのちょうど１つだけ（ｅｘａｃｔｌｙ ｏｎｅ ｏｆ）」等の別段の明確な指定がなされた用語または特許請求の範囲において使用される「～から成る（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」という用語のみ、多数または一覧の要素のうちのちょうど１つの要素の包含を表す。一般的に、本明細書における用語「または（ｏｒ）」は、「ｅｉｔｈｅｒ」、「ｏｎｅ ｏｆ」、「ｏｎｌｙ ｏｎｅ ｏｆ」、または「ｅｘａｃｔｌｙ ｏｎｅ ｏｆ」等の排他的な用語が先行する場合に排他的な選択肢（すなわち、「一方または他方であるが、両方ではない（ｏｎｅ ｏｒ ｔｈｅ ｏｔｈｅｒ ｂｕｔ ｎｏｔ ｂｏｔｈ）」）を示す旨の解釈のみがなされるものとする。特許請求の範囲において使用される「～から本質的に成る（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」は、特許法の分野において使用される場合の通常の意味を有するものとする。

[00048]用語「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「有する（ｈａｖｉｎｇ）」等は、区別なく使用され、同じ意味を有する。同様に、「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「有する（ｈａｓ）」等は、区別なく使用され、同じ意味を有する。具体的に、これらの用語はそれぞれ、「備える（ｃｏｍｐｒｉｓｉｎｇ）」の米国特許法における一般的な定義と矛盾なく定義されているため、「少なくとも以下の（ａｔ ｌｅａｓｔ ｔｈｅ ｆｏｌｌｏｗｉｎｇ）」を意味するオープンな用語として解釈され、また、付加的な特徴、限界、態様等を除外しないものと解釈される。このため、たとえば「構成要素ａ、ｂ、およびｃを有するデバイス（ａ ｄｅｖｉｃｅ ｈａｖｉｎｇ ｃｏｍｐｏｎｅｎｔｓ ａ， ｂ， ａｎｄ ｃ）」は、当該デバイスが少なくとも構成要素ａ、ｂ、およびｃを具備することを意味する。同様に、表現「ステップａ、ｂ、およびｃを含む方法（ａ ｍｅｔｈｏｄ ｉｎｖｏｌｖｉｎｇ ｓｔｅｐｓ ａ， ｂ， ａｎｄ ｃ）」は、当該方法が少なくともステップａ、ｂ、およびｃを含むことを意味する。さらに、本明細書においては、ステップおよびプロセスが特定の順序で説明される可能性があるものの、当業者であれば、ステップおよびプロセスの順序が変動し得ることが認識されよう。

[00049]本明細書および特許請求の範囲において、表現「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」は、一覧の１つまたは複数の要素を参照して、要素一覧における要素のうちのいずれか１つまたは複数から選択される少なくとも１つの要素を意味するが、要素一覧に具体的に掲載されたありとあらゆる要素のうちの少なくとも１つを必ずしも含まず、また、要素一覧における要素の如何なる組み合わせも除外しないことが了解されるものとする。また、この定義によれば、表現「少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ）」が参照する要素一覧内で具体的に識別された要素と関係するか否かに関わらず、これらの要素以外の要素が任意選択として存在し得る。このため、非限定的な一例として、「ＡおよびＢのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」（または同等に、「ＡまたはＢのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」もしくは「Ａおよび／またはＢのうちの少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」）は、一実施形態において、少なくとも１つ（任意選択として、２つ以上）のＡ（Ｂは存在せず（任意選択として、Ｂ以外の要素を含む））、別の実施形態において、少なくとも１つ（任意選択として、２つ以上）のＢ（Ａは存在せず（任意選択として、Ａ以外の要素を含む））、さらに別の実施形態において、少なくとも１つ（任意選択として、２つ以上）のＡおよび少なくとも１つ（任意選択として、２つ以上）のＢ（任意選択として、他の要素を含む）等を表し得る。

[00050]本明細書において、用語「生物学的サンプル（ｂｉｏｌｏｇｉｃａｌ ｓａｍｐｌｅ）」（本明細書においては、用語「生物標本（ｂｉｏｌｏｇｉｃａｌ ｓｐｅｃｉｍｅｎ）」もしくは「標本（ｓｐｅｃｉｍｅｎ）」と区別なく使用される）または「組織サンプル（ｔｉｓｓｕｅ ｓａｍｐｌｅ）」（本明細書においては、用語「組織標本（ｔｉｓｓｕｅ ｓｐｅｃｉｍｅｎ）」と区別なく使用される）は、ウイルスを含む任意の有機体から得られた生体分子（タンパク質、ペプチド、核酸、脂質、糖質、またはこれらの組み合わせ等）を含む任意のサンプルを表す。有機体の他の例としては、哺乳類（たとえば、ヒト、猫、犬、馬、牛、および豚等の家畜動物、ならびにマウス、ラット、および霊長類等の実験動物）、昆虫、環形動物、クモ形類動物、有袋動物、爬虫類、両生類、バクテリア、および菌類が挙げられる。生物学的サンプルには、組織サンプル（たとえば、組織切片および組織の針生検標本）、細胞サンプル（たとえば、パップ塗抹標本もしくは血液塗抹標本等の細胞学的塗抹標本または顕微解剖により得られた細胞のサンプル）、または細胞分画、細胞片、もしくは細胞小器官（たとえば、細胞を溶解させ、遠心分離等によって細胞成分を分離したもの）を含む。生物学的サンプルの他の例としては、血液、血清、尿、***、糞便物質、脳脊髄液、間質液、粘液、涙、汗、膿、（たとえば、外科生検もしくは針生検により得られた）生検組織、乳頭吸引液、耳垢、母乳、膣液、唾液、スワブ（口腔スワブ等）、または第１の生物学的サンプルから導出された生体分子を含む任意の物質が挙げられる。特定の実施形態において、本明細書における用語「生物学的サンプル（ｂｉｏｌｏｇｉｃａｌ ｓａｍｐｌｅ）」は、被験者から得られた腫瘍またはその一部から作成されたサンプル（均質化または液化サンプル）を表す。

[00051]本明細書において、用語「バイオマーカ（ｂｉｏｍａｒｋｅｒ）」または「マーカ（ｍａｒｋｅｒ）」は、何らかの生物学的状態または条件の測定可能なインジケータを表す。特に、バイオマーカは、特に染色可能で、細胞の生物学的特徴（たとえば、細胞の種類または細胞の生理学的状態）を示すタンパク質またはペプチド（たとえば、表面タンパク質）であってもよい。免疫細胞マーカは、哺乳類の免疫反応に関する特徴を選択的に示すバイオマーカである。バイオマーカは、疾患もしくは病気の処置に対する身体の反応の決定または被験者が疾患もしくは病気に罹りやすくされているかの判定に用いられるようになっていてもよい。がんに関して、バイオマーカは、体内のがんの有無を示す生物学的物質を表す。バイオマーカは、腫瘍から分泌される分子またはがんの存在に対する身体の具体的反応であってもよい。がんの診断、予後診断、および疫学には、遺伝子バイオマーカ、後成的バイオマーカ、プロテオームバイオマーカ、グリコミックバイオマーカ、および撮像バイオマーカを使用可能である。このようなバイオマーカは、血液または血清等の非侵襲的に収集された生体液において検査され得る。複数の遺伝子およびタンパク質ベースのバイオマーカが患者ケアにおいてすでに使用されており、ＡＦＰ（肝臓がん）、ＢＣＲ－ＡＢＬ（慢性骨髄性白血病）、ＢＲＣＡ１／ＢＲＣＡ２（乳がん／卵巣がん）、ＢＲＡＦ Ｖ６００Ｅ（黒色腫／大腸がん）、ＣＡ－１２５（卵巣がん）、ＣＡ１９．９（膵臓がん）、ＣＥＡ（大腸がん）、ＥＧＦＲ（非小細胞肺がん）、ＨＥＲ－２（乳がん）、ＫＩＴ（消化管間質系腫瘍）、ＰＳＡ（前立腺特異抗原）、Ｓ１００（黒色腫）、その他多くが挙げられるが、これらに限定されない。バイオマーカは、（早期がんを識別する）診断法および／または（がんの進行の予想ならびに／または特定の処置に対する被験者の反応および／もしくはがんの再発の可能性の予測を行う）予後診断法として有用と考えられる。

[00052]本明細書において、用語「画像データ（ｉｍａｇｅ ｄａｔａ）」は、本明細書における理解の通り、光学センサまたはセンサアレイ等によって生物学的組織サンプルから取得された生の画像データまたは前処理された画像データを含む。特に、画像データは、ピクセル行列を含んでいてもよい。本明細書において、用語「免疫組織化学（ｉｍｍｕｎｏｈｉｓｔｏｃｈｅｍｉｓｔｒｙ）」は、抗体等の特定の結合剤との抗原の相互作用を検出してサンプル中の抗原の有無または分布を決定する方法を表す。サンプルは、抗体－抗原結合を可能にする条件下で抗体と接触される。抗体－抗原結合は、抗体に接合された検出可能な標識による検出（直接検出）または主抗体と特異的に結合する副抗体に接合された検出可能な標識による検出（間接検出）が可能である。本明細書において、「マスク（ｍａｓｋ）」は、デジタル画像の派生語であって、マスクの各ピクセルが２進値（たとえば、「１」もしくは「０」（または、「真」もしくは「偽」））として表される。デジタル画像に前記マスクを重ねることにより、デジタル画像に適用される別途処理ステップにおいては、２進値のうちの特定の１つのマスクピクセルにマッピングされたデジタル画像のすべてのピクセルが隠蔽、削除、あるいは無視またはフィルタリング除去される。たとえば、真あるいは偽の閾値を上回る強度値を元の画像のすべてのピクセルに割り当て、「偽」でマスクされたピクセルが重なるすべてのピクセルを除去することによって、元のデジタル画像からマスクが生成され得る。「マルチチャネル画像」は、本明細書における理解の通り、異なるスペクトル帯における蛍光あるいは検出可能性によってマルチチャネル画像のチャネルのうちの１つを構成する特定の蛍光染料、量子ドット、色原体等によって、核および組織構造等の異なる生物学的構造が同時に染色される生物学的組織サンプルから得られたデジタル画像を含む。

[00053]概要
[00054]本出願人らは、たとえば線維芽細胞またはマクロファージ等、不規則形状を有する生体の分析結果をデータベース等の非一時的メモリに格納するシステムおよび方法を開発した。分析結果は、データベースまたはメモリから後で読み出され、他の下流プロセスにおいてさらに分析または使用されるようになっていてもよい。また、分析結果は、入力画像または他の導出画像に投影されるようになっていてもよいし、他の手段により視覚化されるようになっていてもよい。また、本開示は、（たとえば、単純形状のサイズの増減またはスーパーピクセルアルゴリズムのパラメータの調整によって）生成副領域のサイズを調整可能とすることによって、調整可能な詳細レベルでの分析結果の格納および報告を容易化し得る。このことは、関心グローバル領域からの平均的な分析結果が保存される本明細書に記載の低解像度分析手法と比較して、効率および精度を向上可能であると考えられる。

[00055]本明細書に別途記載の通り、開示のシステムおよび方法は、局所的に類似する小さな領域（副領域）を用いて分析結果を格納する中解像度分析手法に基づく。副領域としては、単純形状（たとえば、円形、正方形）も可能であるし、複雑形状（たとえば、スーパーピクセル）も可能であり、スライド全体にまたがる各小領域の局所的な分析結果を格納するのに利用される。本中解像度手法により規定される副領域は、類似（または、均質）の特性（たとえば、染色有無（すなわち、特定のステインの有無）、染色強度（すなわち、ステインの相対強度（または、量））、局所質感（すなわち、画像または画像の選択領域における色または強度の空間的配置に関する情報））を有するピクセルをグループ化して、不規則形状の物体の識別を可能にする。いくつかの実施形態において、中解像度手法における副領域は、およそ５０～およそ１００ピクセルの範囲のサイズまたはおよそ２，５００ピクセル^２～およそ１０，０００ピクセル^２のピクセル面積を有する。当然のことながら、副領域は、如何なるサイズを有していてもよく、このサイズは、実施される分析の種類および／または調査される細胞の種類に基づいていてもよい。

[00056]当業者には当然のことながら、中レベル手法は、本明細書に記載の高解像度分析手法と低解像度分析手法との間にあるため、データが副領域レベルで収集されるとともに、副領域は、低解像度手法における関心領域よりも比例的に小さく、また、高解像度分析手法におけるピクセルよりも明らかに大きい。「高解像度分析」は、画像データがピクセルレベルまたは実質的にピクセルレベルで取り込まれることを意味する。一方、「低解像度分析」は、少なくとも５００ピクセル×５００ピクセルのサイズを有する領域または２５０，０００ピクセル^２より大きなサイズを有するエリア等、領域レベル分析を表す。当業者には当然のことながら、低解像度分析手法は、多くの生体（たとえば、複数の不規則形状の細胞）を包含することになる。

[00057]本開示は、線維芽細胞またはマクロファージ等、不規則な形状および／またはサイズを有する生体の分析および格納を表し得る。本開示は、線維芽細胞またはマクロファージに限定されず、サイズまたは形状が十分に規定されていない任意の生体へと拡張可能であることが了解されるものとする。

[00058]線維芽細胞に関して、これは、動物の組織において細胞外基質およびコラーゲンで構成された構造骨組または間質を構成する細胞である。これらの細胞は、動物において最も一般的な種類の結合組織であり、創傷治癒に重要である。線維芽細胞は、さまざまな形状およびサイズのほか、活性化および非活性化の形態となる（たとえば、図５Ａ～図５Ｄ参照）。線維芽細胞が活性化形態である（接尾辞「ｂｌａｓｔ」が代謝的に活性な細胞を表す）一方、線維化関連細胞は、低活性と考えられる。ただし、線維芽細胞および線維化関連細胞の両者が異なるものとして指定されず、単に線維芽細胞と称する場合もある。線維芽細胞は、粗面小胞体の豊富さおよび相対的に大きなサイズによって、線維化関連細胞から形態学的に区別可能である。さらに、線維芽細胞は、それぞれの隣接細胞と接触すると考えられ、これらの接触は、分離細胞の形態を歪ませ得る付着と考えられる。本明細書に提示の中解像度分析手法は、これらの形態学的差異を考慮することができ、線維芽細胞、マクロファージ、および他の不規則な生体に関する情報を格納するのに最適と考えられる。

[00059]図１には、いくつかの実施形態に係る、標本を撮像および分析するデジタル病理学システム２００を示している。デジタル病理学システム２００は、撮像装置１２（たとえば、標本を載せた顕微鏡スライドをスキャンする手段を有する装置）およびコンピュータ１４を備えることにより、撮像装置１２およびコンピュータが一体的に（たとえば、ネットワーク２０を介して直接または間接的に）通信可能に結合されていてもよい。コンピュータシステム１４には、デスクトップコンピュータ、ラップトップコンピュータ、タブレット等、デジタル電子回路、ファームウェア、ハードウェア、メモリ、コンピュータ記憶媒体、コンピュータプログラムもしくは命令セット（たとえば、プログラムがメモリまたは記憶媒体に格納されている場合）、１つもしくは複数のプロセッサ（プログラムされたプロセッサを含む）、ならびにその他任意のハードウェア、ソフトウェア、もしくはファームウェアモジュール、またはこれらの組み合わせを含み得る。たとえば、図１に示されるコンピュータシステム１４は、表示装置１６および筐体１８を有するコンピュータを備えていてもよい。コンピュータは、２進形態のデジタル画像を（メモリ内など、ローカルに、サーバ、または別のネットワーク接続デバイスに）格納可能である。また、デジタル画像は、行列状のピクセルへと分割可能である。ピクセルは、ビット深度により規定された１つまたは複数のビットのデジタル値を含み得る。当業者には当然のことながら、他のコンピュータデバイスまたはシステムが利用されるようになっていてもよく、また、本明細書に記載のコンピュータシステムは、付加的な構成要素（たとえば、標本分析装置、顕微鏡、他の撮像システム、自動化スライド作成機器等）に対して通信可能に結合されていてもよい。これらの付加的な構成要素および利用可能な種々コンピュータ、ネットワーク等の一部については、本明細書において別途説明される。

[00060]一般的に、撮像装置１２（または、予備スキャン画像がメモリに格納された他の画像源）としては、１つまたは複数の画像取り込み装置が挙げられるが、これに限定されない。画像取り込み装置には、カメラ（たとえば、アナログカメラ、デジタルカメラ等）、光学素子（たとえば、１つまたは複数のレンズ、センサ焦点レンズ群、顕微鏡対物レンズ等）、撮像センサ（たとえば、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ等）、写真フィルム等を含み得るが、これらに限定されない。デジタルの実施形態において、画像取り込み装置は、オンザフライフォーカシングを証明するように協働する複数のレンズを具備し得る。画像センサ（たとえば、ＣＣＤセンサ）が標本のデジタル画像を取り込み可能である。いくつかの実施形態において、撮像装置１２は、明視野撮像システム、マルチスペクトル撮像（ＭＳＩ）システム、または蛍光顕微鏡システムである。デジタル化された組織データは、たとえばＶＥＮＴＡＮＡ ＭＥＤＩＣＡＬ ＳＹＳＴＥＭＳ，Ｉｎｃ．（Ｔｕｃｓｏｎ、Ａｒｉｚｏｎａ）によるＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴスキャナ等の画像スキャンシステムまたは他の好適な撮像機器により生成されるようになっていてもよい。付加的な撮像デバイスおよびシステムについては、本明細書において別途説明される。当業者には当然のことながら、撮像装置１２により取得されるデジタルカラー画像は従来、原色ピクセルで構成され得る。各色付きピクセルは、それぞれ同数のビットを含む３つのデジタル成分上でコード化可能であり、各成分が原色（一般的には、赤色、緑色、または青色で、用語「ＲＧＢ」成分としても表される）に対応する。

[00061]図２は、上記開示のデジタル病理学システムにおいて利用されるさまざまなモジュールの概要を示している。いくつかの実施形態において、デジタル病理学システムは、１つもしくは複数のプロセッサ２０３ならびに少なくとも１つのメモリ２０１を有するコンピュータデバイス２００またはコンピュータ実装方法を採用しており、少なくとも１つのメモリ２０１は、１つまたは複数のプロセッサによる実行によって、１つまたは複数のモジュール（たとえば、モジュール２０２および２０５～２０９）における命令（または、格納データ）を１つまたは複数のプロセッサに実行させる非一時的コンピュータ可読命令を格納している。

[00062]図２および図３を参照して、本開示は、たとえば線維芽細胞またはマクロファージ等、不規則形状を有する生体の分析および／またはデータベース等の非一時的メモリへの分析結果の格納を行うコンピュータ実装方法を提供する。この方法は、たとえば（ａ）画像取得モジュール２０２を動作させて、マルチチャネル画像データ（たとえば、１つまたは複数のステインにより染色された生物学的サンプルの取得画像）を生成または受信するステップ（ステップ３００）と、（ｂ）画像分析モジュール２０５を動作させて、取得画像内の特徴から１つまたは複数の測定基準を導出するステップ（ステップ３１０）と、（ｃ）セグメント化モジュール２０６を動作させて、取得画像を複数の副領域にセグメント化するステップ（ステップ３２０）と、（ｄ）表現オブジェクト生成モジュール２０７を動作させて、副領域を識別するポリゴン、中心種子、または他のオブジェクトを生成するステップ（ステップ３３０）と、（ｅ）標識化モジュール２０８を動作させて、１つまたは複数の導出測定基準を生成表現オブジェクトと関連付けるステップ（ステップ３４０）と、（ｆ）表現オブジェクトおよび関連する測定基準をデータベース２０９に格納するステップ（ステップ３５０）とを含んでいてもよい。当業者には当然のことながら、ワークフローには、付加的なモジュールまたはデータベースが組み込まれていてもよい。たとえば、画像処理モジュールの動作によって、特定のフィルタを取得画像に適用するようにしてもよいし、組織サンプル内の特定の組織学的および／または形態学的構造を識別するようにしてもよい。また、関心領域選択モジュールの利用によって、分析する画像の特定の部分を選択するようにしてもよい。同様に、分離モジュールの動作によって、特定のステインまたはバイオマーカに対応する画像チャネル画像を提供するようにしてもよい。

[00063]画像取得モジュール
[00064]いくつかの実施形態において、デジタル病理学システム２００は、最初のステップとして、図２を参照するに、画像取得モジュール２０２を動作させて、１つまたは複数のステインを有する生物学的サンプルの画像または画像データを取り込む。いくつかの実施形態において、受信または取得画像は、ＲＧＢ画像またはマルチスペクトル画像（たとえば、多重化明視野および／または暗視野画像）である。いくつかの実施形態において、取り込まれた画像は、メモリ２０１に格納される。

[00065]画像または画像データ（本明細書においては、区別なく使用される）は、実時間等で撮像装置１２により取得されるようになっていてもよい。いくつかの実施形態において、画像は、本明細書に記載の通り、標本を載せた顕微鏡スライドの画像データを取り込み可能な顕微鏡等の器具から取得される。いくつかの実施形態において、画像は、画像タイルをスキャンし得るような２ＤスキャナまたはＶＥＮＴＡＮＡ ＤＰ ２００スキャナ等のラインごとに画像をスキャン可能なラインスキャナを用いて取得される。あるいは、画像は、事前に取得（たとえば、スキャン）され、メモリ２０１に格納された（または、この点に関して、ネットワーク２０経由でサーバから読み出された）画像であってもよい。

[00066]生物学的サンプルは、１つまたは複数のステインの適用により染色されていてもよく、結果として画像または画像データは、１つまたは複数のステインそれぞれに対応する信号を含む。このため、本明細書に記載のシステムおよび方法は、単一のステイン（たとえば、ヘマトキシリン）の推定または正規化が可能であるが、生物学的サンプル内のステインの数に制限はない。実際、生物学的サンプルは、任意のカウンタステインの追加または包含として、２つ以上のステインの多重アッセイにおいて染色されていてもよい。

[00067]当業者には当然のことながら、生物学的サンプルは、異なる種類の核および／または細胞膜バイオマーカに対して染色されるようになっていてもよい。さまざまな目的に適したステインの選定において組織構造を染色するとともにガイドする方法は、たとえばＳａｍｂｒｏｏｋ ｅｔ ａｌ．「Ｍｏｌｅｃｕｌａｒ Ｃｌｏｎｉｎｇ：Ａ Ｌａｂｏｒａｔｏｒｙ Ｍａｎｕａｌ（分子クローニング：実験室マニュアル）」，Ｃｏｌｄ Ｓｐｒｉｎｇ Ｈａｒｂｏｒ Ｌａｂｏｒａｔｏｒｙ Ｐｒｅｓｓ（１９８９）およびＡｕｓｕｂｅｌ ｅｔ ａｌ．「Ｃｕｒｒｅｎｔ Ｐｒｏｔｏｃｏｌｓ ｉｎ Ｍｏｌｅｃｕｌａｒ Ｂｉｏｌｏｇｙ（分子生物学における現在の慣習）」，Ｇｒｅｅｎｅ Ｐｕｂｌｉｓｈｉｎｇ Ａｓｓｏｃｉａｔｅｓ ａｎｄ Ｗｉｌｅｙ－Ｉｎｔｅｒｓｃｉｅｎｃｅｓ（１９８７）に記載されており、それぞれの開示内容が参照により本明細書に組み込まれる。

[00068]非限定的な一例として、いくつかの実施形態においては、線維芽細胞活性化タンパク質（ＦＡＰ）を含む１つまたは複数のバイオマーカの存在に対して、組織サンプルがＩＨＣアッセイにおいて染色される。線維芽細胞の細胞株におけるＦＡＰの過剰発現は、悪性挙動を促進すると考えられる。腫瘍微小環境の必須成分であり、がん関連線維芽細胞（ＣＡＦ）として指定されることが多い間質線維芽細胞は、増殖、血管形成、侵入、残存、および免疫抑制等の複数のメカニズムによって、腫瘍形成および進行を促進し得ることが示されている。任意特定の理論に縛られることを望むことなく、がん細胞が間質線維芽細胞を活性化させるとともにＦＡＰの発現を誘発し、これががん細胞の増殖、侵入、および移動に影響を及ぼすと考えられる。ＦＡＰは、***、肺、結腸直腸、卵巣、膵臓、および頭頚部を含む人間の上皮細胞がんの９０％にて、反応性間質線維芽細胞に激しく発現すると考えられる。このため、腫瘍の臨床的挙動に対して、ＦＡＰの量が重要な予後診断を提示する可能性が最も高い（これは、導出後に生成副領域または表現オブジェクトと関連付け可能なある種の測定基準の一例である）。

[00069]色原体ステインとしては、ヘマトキシリン、エオシン、ファストレッド、または３，３’－ジアミノベンジジン（ＤＡＢ）が挙げられる。また、当業者には当然のことながら、任意の生物学的サンプルが１つまたは複数のフルオロフォアにより染色されるようになっていてもよい。いくつかの実施形態において、組織サンプルは、主ステイン（たとえば、ヘマトキシリン）により染色される。いくつかの実施形態においては、特定のバイオマーカについて、組織サンプルがＩＨＣアッセイにおいて染色される。また、サンプルは、１つまたは複数の蛍光染料により染色されるようになっていてもよい。

[00070]通常の生物学的サンプルは、ステインを当該サンプルに適用する自動染色／アッセイプラットフォームにおいて処理される。市場には、染色／アッセイプラットフォームとしての使用に適した多様な商品が存在しており、一例として、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．（Ｔｕｃｓｏｎ、ＡＺ）のＤｉｓｃｏｖｅｒｙ（商標）製品がある。また、カメラプラットフォームとしては、明視野顕微鏡（Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．のＶＥＮＴＡＮＡ ｉＳｃａｎ ＨＴまたはＶＥＮＴＡＮＡ ＤＰ ２００スキャナ等）または１つもしくは複数の対物レンズおよびデジタル撮像装置を有する任意の顕微鏡が挙げられる。さまざまな波長で画像を取り込む他の技術が用いられるようになっていてもよい。当技術分野においては、染色された生物標本の撮像に適した別のカメラプラットフォームが知られており、Ｚｅｉｓｓ、Ｃａｎｏｎ、Ａｐｐｌｉｅｄ Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ等の企業から市販されている。また、このようなプラットフォームは、本開示のシステム、方法、および装置における使用に対して容易に適応可能である。

[00071]いくつかの実施形態において、入力画像は、組織領域のみが画像中に存在するようにマスクされる。いくつかの実施形態においては、非組織領域を組織領域からマスクするように組織領域マスクが生成される。いくつかの実施形態においては、組織領域を識別するとともに、背景領域（たとえば、撮像源からの白色光のみが存在する場所等、サンプルのないガラスに対応する全スライド画像の領域）を自動的または半自動的に（すなわち、最小限のユーザ入力で）除外することによって、組織領域マスクが形成されるようになっていてもよい。当業者には当然のことながら、非組織領域の組織領域からのマスキングのほか、組織マスキングモジュールは、特定の組織種または腫瘍が疑われる領域に属するものとして識別された組織の一部等、必要に応じて他の関心エリアをマスクするようにしてもよい。いくつかの実施形態においては、入力画像において非組織領域から組織領域をマスクすることにより組織領域マスキング画像を生成するのにセグメント化技術が用いられる。好適なセグメント化技術としては、先行技術から既知のものがある（「Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（デジタル画像処理）」，Ｔｈｉｒｄ Ｅｄｉｔｉｏｎ，Ｒａｆａｅｌ Ｃ．Ｇｏｎｚａｌｅｚ，Ｒｉｃｈａｒｄ Ｅ．Ｗｏｏｄｓ，ｃｈａｐｔｅｒ １０，ｐａｇｅ ６８９および「Ｈａｎｄｂｏｏｋ ｏｆ Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ（医用画像ハンドブック）」，Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ａｎａｌｙｓｉｓ，Ｉｓａａｃ Ｎ．Ｂａｎｋｍａｎ Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，２０００，ｃｈａｐｔｅｒ ２参照）。いくつかの実施形態においては、画像中のデジタル化組織データとスライドとの識別に画像セグメント化技術が利用されるが、この場合、組織が前景に、スライドが背景に対応する。いくつかの実施形態においては、構成要素が全スライド画像中の関心エリア（ＡｏＩ）を演算することにより、分析される背景の非組織エリアの量を制限しつつ、ＡｏＩ中のすべての組織領域を検出する。たとえば、組織データと非組織または背景データとの境界を決定するのに、広範な画像セグメント化技術（たとえば、ＨＳＶカラーベース画像セグメント化、Ｌａｂ画像セグメント化、平均シフトカラー画像セグメント化、領域拡張、レベル設定法、高速マーチング法等）が使用され得る。また、構成要素は、セグメント化に少なくとも部分的に基づいて、組織データに対応するデジタル化スライドデータの部分の識別に使用可能な組織前景マスクを生成可能である。あるいは、構成要素は、組織データに対応しないデジタル化スライドデータの部分の識別に用いられる背景マスクを生成可能である。

[00072]この識別は、エッジ検出等の画像分析動作によって可能となり得る。画像（たとえば、非組織領域）中の非組織背景ノイズを除去するのに、組織領域マスクが用いられるようになっていてもよい。いくつかの実施形態において、組織領域マスクの生成には、輝度が所与の閾値を上回るピクセルが１に設定され、閾値を下回るピクセルが０に設定されて、組織領域マスクが生成されるように、低分解能入力画像の輝度の演算、輝度画像の生成、輝度画像への標準偏差フィルタの適用、フィルタリング輝度画像の生成、およびフィルタリング輝度画像への閾値の適用といった動作のうちの１つまたは複数を含む（ただし、これらの動作に限定されない）。組織領域マスクの生成に関する付加的な情報および例については、「Ａｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｍｅｔｈｏｄ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ａｎａｌｙｚｉｎｇ ａ Ｍｕｌｔｉ－Ｃｈａｎｎｅｌ Ｉｍａｇｅ Ｏｂｔａｉｎｅｄ ｆｒｏｍ ａ Ｂｉｏｌｏｇｉｃａｌ Ｔｉｓｓｕｅ Ｓａｍｐｌｅ Ｂｅｉｎｇ Ｓｔａｉｎｅｄ ｂｙ Ｍｕｌｔｉｐｌｅ Ｓｔａｉｎｓ（複数のステインにより染色される生物学的組織サンプルから得られたマルチチャネル画像を分析する画像処理方法およびシステム）」という名称のＰＣＴ／ＥＰ／２０１５／０６２０１５に開示されており、そのすべての開示内容が参照により本明細書に組み込まれる。

[00073]いくつかの実施形態においては、画像または画像データを取得すべき生物学的サンプルの部分（たとえば、線維芽細胞の濃度が高い関心領域）を選択するのに、関心領域識別モジュールが用いられるようになっていてもよい。図１３は、いくつかの実施形態に係る、領域選択のステップを示したフローチャートである。ステップ４２０において、領域選択モジュールは、識別された関心領域または視野を受信する。いくつかの実施形態において、関心領域は、本開示のシステムまたは本開示のシステムに対して通信可能に結合された別のシステムのユーザにより識別される。あるいは、他の実施形態において、領域選択モジュールは、ストレージ／メモリから関心領域の箇所または識別情報を読み出す。いくつかの実施形態において、ステップ４３０に示されるように、領域選択モジュールは、たとえばＰＣＴ／ＥＰ２０１５／０６２０１５に記載の方法によって、視野（ＦＯＶ）または関心領域（ＲＯＩ）を自動的に生成するが、そのすべての開示内容が参照により本明細書に組み込まれる。いくつかの実施形態において、関心領域は、画像中または画像のいくつかの所定基準または特質に基づいてシステムにより自動的に決定される（たとえば、３つ以上のステインにより染色された生物学的サンプルの場合は、ステインを２つだけ含む画像のエリアを識別する）。ステップ４４０において、領域選択モジュールは、ＲＯＩを出力する。

[00074]画像分析モジュール
[00075]いくつかの実施形態においては、入力として受信された画像内の特徴から、特定の測定基準（たとえば、ＦＡＰ陽性面積、ＦＡＰ陽性強度）が導出される（ステップ３００）（図３参照）。導出測定基準は、本明細書において生成される副領域と相関されるようになっていてもよく（ステップ３２０、３３０、および３４０）、また、測定基準（または、その平均、標準偏差等）および副領域の場所が一体としてデータベースに格納され（ステップ３５０）、後々の読み出しおよび／または下流処理が行われるようになっていてもよい。本明細書に記載の手順およびアルゴリズムは、線維芽細胞および／もしくはマクロファージからの測定基準の導出を含めた、さまざまな種類の細胞もしくは細胞核からの測定基準の導出、および／もしくはさまざまな種類の細胞もしくは細胞核の分類を行うように構成されていてもよい。

[00076]いくつかの実施形態において、測定基準は、入力画像内の核の検出ならびに／または検出核（検出核の周りの画像パッチ等）および／もしくは細胞膜（当然のことながら、入力画像内で利用されるバイオマーカによって決まる）からの特徴の抽出によって導出される。他の実施形態においては、細胞膜染色、細胞質染色、および／または（たとえば、膜染色エリアと非膜染色エリアとを識別するための）強調染色を分析することによって、測定基準が導出される。本明細書において、用語「細胞質染色（ｃｙｔｏｐｌａｓｍｉｃ ｓｔａｉｎｉｎｇ）」は、細胞の細胞質領域の形態学的特質を有するパターンに配置されたピクセル群を表す。本明細書において、用語「膜染色（ｍｅｍｂｒａｎｅ ｓｔａｉｎｉｎｇ）」は、細胞膜の形態学的特質を有するパターンに配置されたピクセル群を表す。本明細書において、用語「強調染色（ｐｕｎｃｔａｔｅ ｓｔａｉｎｉｎｇ）」は、細胞の膜エリアに散らばったスポット／ドットとして現れる局在化した染色強度が格納されたピクセル群を表す。当業者には当然のことながら、細胞の核、細胞質、および膜は、特質が異なるため、異なる染色の組織サンプルが異なる生物学的特徴を明らかにし得る。実際、当業者には当然のことながら、細胞表面の特定の受容体は、膜または細胞質に対して局在化した染色パターンを有し得る。このため、「膜」染色パターンは、「細胞質」染色パターンとは分析的に異なる。同様に、「細胞質」染色パターンおよび「核」染色パターンも分析的に異なる。たとえば、間質細胞はＦＡＰにより強く染色され得るが、腫瘍上皮細胞はＥｐＣＡＭにより強く染色され、一方、サイトケラチンはＰａｎＣＫにより染色され得る。このため、画像分析中は、異なるステインの利用によって、異なる細胞腫が差別化および区別されるようになっていてもよく、また、異なる測定基準が導出されるようになっていてもよい。

[00077]１つまたは複数のステインを有する生物学的サンプルの画像中の核、細胞膜、および細胞質の識別および／またはスコアリングを行う方法については、米国特許第７，７６０，９２７号（「’９２７特許」）に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。たとえば、’９２７特許は、バイオマーカにより染色された生物組織の入力画像中の複数のピクセルを同時に識別する自動化方法であって、細胞質および細胞膜ピクセルの同時識別のための入力画像の前景における複数のピクセルの第１の色平面を考慮するステップであり、入力画像が、当該入力画像の背景部分を除去するとともに当該入力画像のカウンタ染色成分を除去するように処理済みである、ステップと、デジタル画像の前景において細胞質と細胞膜のピクセル間の閾値レベルを決定するステップと、である場合に、前景からの選択ピクセルおよびその８つの隣接ピクセルを用いて、同時に、選択ピクセルがデジタル画像における細胞質ピクセルであるか、細胞膜ピクセルであるか、または遷移ピクセルであるかを、決定閾値レベルを用いて決定するステップと、を含む、方法を記載する。さらに、’９２７特許は、選択ピクセルおよびその８つの隣接ピクセルを用いて同時に決定するステップが、選択ピクセルとその８つの隣接ピクセルとの積の平方根を決定することと、積を決定閾値レベルと比較することと、比較に基づいて、細胞膜用の第１のカウンタ、細胞質用の第２のカウンタ、または遷移ピクセル用の第３のカウンタをインクリメントすることと、第１のカウンタ、第２のカウンタ、または第３のカウンタが所定の最大値を超えているかを判定し、超えている場合は、所定の最大値を超えたカウンタに基づいて、選択ピクセルを分類することと、を含む旨を記載する。核のスコアリングのほか、’９２７特許は、それぞれ演算細胞質ピクセル体積指標、細胞質ピクセル中央値強度、膜ピクセル体積、および膜ピクセル中央値強度等に基づく細胞質および膜のスコアリングに関する例を提供する。

[00078]膜、核、および他の関心細胞特徴の識別および／またはスコアリングを行う別の方法がＰＣＴ公開ＷＯ２０１７／０３７１８０（「’１８０公開」）に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。さらに、’１８０公開は、膜染色の領域が細胞質染色および／または強調染色と混合された場合の生物学的サンプル中の関心検体の膜染色を定量化する方法を記載する。これを実現するため、’１８０公開は、（Ａ）検体染色パターンに基づいて、組織または細胞学的サンプルのデジタル画像を複数の異なる領域にセグメント化するステップであり、複数の領域が、少なくとも１つの複合染色領域すなわち少なくとも１つの第２の生物学的区画中の検体陽性染色と混合された第１の生物学的区画中の検体陽性染色を有する画像の領域を含み、前記第１の生物学的区画および前記少なくとも１つの第２の生物学的区画が、分析的に異なる、ステップと、（Ｂ）ステップ（Ａ）とは別個に、候補生物学的区画すなわち少なくとも第１の生物学的区画に対応するデジタル画像中のピクセルクラスタを識別するステップと、（Ｃ）ステップ（Ａ）および（Ｂ）とは別個に、検体染色に対応するピクセルクラスタを高強度ビン、低強度ビン、および背景強度ビンにセグメント化することによって検体強度マップを生成するステップと、（Ｄ）複合染色領域内の候補生物学的区画を検体強度マップからの適当なビンと整合させて、各複合染色領域の分析的に関連する部分を識別するステップと、（Ｅ）複合染色領域の分析的に関連する部分における検体染色を定量化するステップと、によって、分析的に異なる生物学的区画の検体染色と染色が混合された領域（たとえば、（ｉ）瀰漫性膜染色が細胞質染色と混合された領域または（ｉｉ）瀰漫性膜染色が強調染色と混合された領域）における生物学的区画の検体染色を定量化する方法を記載する。そして、区画または染色強度定量化のエリアが決定され得るように、任意の識別区画中のピクセルを定量化可能である。また、’１８０公開は、膜固有発現レベルのスコアリングを記載する。

[00079]いくつかの実施形態において、スコアリングは、分類された核に関して実行され、特定のバイオマーカの百分率正値性測定基準またはＨスコア測定基準が得られる。核を識別することによって、対応する細胞が識別され得る。他の実施形態においては、関連する核それぞれを周囲の染色膜と関連付けることによって、細胞がスコアリングされる。核の周りの染色膜の有無に基づいて、たとえば非染色（核の周りに染色膜が見つからない）、部分染色（細胞の核の一部が染色膜に囲まれる）、または完全染色（核の全体が染色膜に囲まれる）として細胞が分類されるようになっていてもよい。

[00080]いくつかの実施形態においては、最初に候補核を識別した後、腫瘍核と非腫瘍核とを自動的に区別することによって、腫瘍核が自動的に識別される。当技術分野においては、組織の画像中の候補核を識別する多くの方法が知られている。たとえば、放射対称に基づく方法であって、本明細書に記載の通り、Ｒｕｉｆｒｏｋ ｅｔ ａｌ．により記述されたカラーデコンボリューションを用いて取得されたヘマトキシリン画像チャネルまたはバイオマーカ画像チャネル等に対して、同じく本明細書に記載の通り、Ｐａｒｖｉｎ ｅｔ ａｌ．の放射対称に基づく方法を適用することにより自動候補核検出が実行され得る。例示的な一実施形態においては、本発明の譲受人に譲渡された同時係属特許出願ＷＯ２０１４／１４００８５Ａ１に記載の通り、放射対称に基づく核検出動作が使用され、そのすべての内容が参照により本明細書に組み込まれる。他の方法が米国特許出願公開第２０１７／０１４０２４６号に記載されており、その開示内容が参照により本明細書に組み込まれる。

[00081]候補核は、識別された後、腫瘍核を他の候補核から区別するように別途分析される。他の候補核は、（たとえば、リンパ球核および間質核の識別によって）さらに分類されるようになっていてもよい。いくつかの実施形態においては、学習済みの教師あり分類器が腫瘍核の識別に適用される。たとえば、学習済み教師あり分類器は、核の特徴に関するトレーニングによって腫瘍核を識別した後、テスト画像において候補核を腫瘍核または非腫瘍核として分類するように適用される。任意選択として、学習済み教師あり分類器は、別途トレーニングによって、リンパ球核および間質核等、異なるクラスの非腫瘍核を区別するようにしてもよい。いくつかの実施形態において、腫瘍核の識別に用いられる学習済み教師あり分類器は、ランダムフォレスト分類器である。たとえば、ランダムフォレスト分類器のトレーニングは、（ｉ）腫瘍および非腫瘍核のトレーニングセットを生成し、（ｉｉ）それぞれの核の特徴を抽出し、（ｉｉｉ）抽出した特徴に基づいて腫瘍核と非腫瘍核とを区別するようにランダムフォレスト分類器をトレーニングすることによって行われ得る。そして、トレーニングしたランダムフォレスト分類器の適用により、テスト画像において、核を腫瘍核および非腫瘍核に分類するようにしてもよい。任意選択として、ランダムフォレスト分類器は、別途トレーニングによって、リンパ球核および間質核等、異なるクラスの非腫瘍核を区別するようにしてもよい。

[00082]いくつかの実施形態において、入力として受信された画像は、核中心（種子）の検出および／または核のセグメント化を行うように処理される。たとえば、当業者に共通して既知の技術を用いた放射対称投票に基づいて核中心を検出する命令が与えられるようになっていてもよい（Ｐａｒｖｉｎ，Ｂａｈｒａｍ，ｅｔ ａｌ．「Ｉｔｅｒａｔｉｖｅ ｖｏｔｉｎｇ ｆｏｒ ｉｎｆｅｒｅｎｃｅ ｏｆ ｓｔｒｕｃｔｕｒａｌ ｓａｌｉｅｎｃｙ ａｎｄ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｏｆ ｓｕｂｃｅｌｌｕｌａｒ ｅｖｅｎｔｓ（構造的特徴の推定および細胞内事象の特性化のための反復投票）」，Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ １６．３（２００７）：６１５－６２３（すべての開示内容が参照により本明細書に組み込まれる）参照）。いくつかの実施形態においては、放射対称を用いた核の検出によって核の中心が検出された後、細胞中心の周りのステインの強度に基づいて核が分類される。たとえば、画像内で画像の大きさが演算されるようになっていてもよく、選択領域内の大きさの合計を加算することによって、各ピクセルにおける１つまたは複数の投票が蓄積される。核の実際の場所を表す領域中の局所中心を見つけるのに、平均シフトクラスタリングが用いられるようになっていてもよい。放射対称投票に基づく核検出は、カラー画像強度データに対して実行され、核が、サイズおよび偏心度が変動する楕円形状の斑点であるという推測的な領域知識を明示的に使用する。これを実現するため、入力画像中の色強度と併せて、画像勾配情報も放射対称投票に使用され、適応セグメント化プロセスとの組み合わせによって、細胞核の正確な検出および位置特定を行う。本明細書において、「勾配（ｇｒａｄｉｅｎｔ）」は、たとえば特定のピクセルを囲むピクセル集合の強度値勾配を考慮することにより前記特定ピクセルに対して計算されたピクセルの強度勾配である。各勾配は、デジタル画像の２つの直交エッジによってｘ軸およびｙ軸が規定される座標系に対して、特定の「配向」を有していてもよい。たとえば、核種子検出には、細胞核の内側に存在すると仮定され、細胞核の位置特定の開始点として機能する点として種子を規定することを伴う。第１のステップでは、放射対称に基づく高堅牢な手法を用いて細胞核に類似する楕円形状の斑点、構造を検出することにより、各細胞核と関連付けられた種子点を検出する。放射対称手法は、カーネルベースの投票手順を用いることにより、勾配画像上で動作する。投票カーネルを通じて投票を蓄積した各ピクセルを処理することによって、投票応答行列が生成される。カーネルは、当該特定ピクセルにおいて演算された勾配方向、最大および最小核サイズの予想範囲、ならびに投票カーネル角度（通常、［π／４，π／８］の範囲）に基づく。結果としての投票空間において、所定の閾値よりも高い投票値を有する極大の場所は、種子点として保存される。無関係な種子については、後続のセグメント化または分類プロセスにおいて破棄されるようになっていてもよい。

[00083]当業者に既知の他の技術を用いて核が識別されるようになっていてもよい。たとえば、Ｈ＆ＥまたはＩＨＣ画像の一方の特定の画像チャネルから画像の大きさが演算されるようになっていてもよく、また、特定された大きさの周りの各ピクセルには、当該ピクセルの周りの領域内の大きさの合計に基づく多くの投票が割り当てられていてもよい。あるいは、平均シフトクラスタリング演算の実行によって、核の実際の場所を表す投票画像内の局所中心を見つけるようにしてもよい。他の実施形態においては、核セグメント化の使用により、形態学的演算および局所閾値化を介した当該核の現在既知の中心に基づいて、核全体をセグメント化するようにしてもよい。さらに他の実施形態においては、モデルベースのセグメント化の利用によって、核を検出するようにしてもよい（すなわち、トレーニングデータセットから核の形状モデルを学習し、これを先行知識として用いることにより、テスト画像において核をセグメント化する）。

[00084]いくつかの実施形態において、核はその後、それぞれについて個別に演算された閾値を用いてセグメント化される。たとえば、核領域のピクセル強度が変動すると考えられることから、識別された核の周りの領域におけるセグメント化には、大津法が用いられるようになっていてもよい。当業者には当然のことながら、大津法は、クラス内分散を最小限に抑えることにより最適な閾値を決定するのに用いられるが、当業者には既知である。より具体的に、大津法は、クラスタリングベースの画像閾値化すなわちグレーレベル画像の２値画像への減縮を自動的に実行するのに用いられる。アルゴリズムは、画像が二峰性ヒストグラムに従う２クラスのピクセル（前景ピクセルおよび背景ピクセル）を含むものと仮定する。そして、（ペアワイズ２乗距離の合計が一定であるため）２つのクラスの結合散布（クラス内分散）が最小または等価になるように分離する最適な閾値を計算することによって、それぞれのクラス内分散が最大となる。

[00085]いくつかの実施形態において、これらのシステムおよび方法は、非腫瘍細胞の核を識別する画像中の識別核のスペクトルおよび／または形状の特徴を自動的に分析することを含む。たとえば、第１のステップにおいては、第１のデジタル画像中で斑点が識別されるようになっていてもよい。本明細書において、「斑点（ｂｌｏｂ）」としては、たとえば一部の特性（たとえば、強度またはグレー値）が一定であるか、または、所定の値範囲内で変動するデジタル画像の領域が可能である。ある意味では、斑点中のすべてのピクセルが互いに類似すると考えられる。たとえば、デジタル画像上の位置の関数の導関数に基づく差分法および極値に基づく方法を用いて斑点が識別されるようになっていてもよい。核斑点は、おそらくは第１のステインにより染色された核によって生成されたことをピクセルおよび／または外形状が示す斑点である。たとえば、斑点の放射対称の評価によって、当該斑点を核斑点として識別すべきか、その他任意の構造（たとえば、染色アーチファクト）として識別すべきかを判定することも可能である。たとえば、斑点が非常に長い形状であり、放射対称ではない場合、前記斑点は、核斑点としてではなく、染色アーチファクトとして識別されるようになっていてもよい。本実施形態によれば、「核斑点」と識別された斑点は、候補核として識別され、前記核斑点が核を表すかを判定するようにさらに分析可能なピクセル集合を表していてもよい。いくつかの実施形態においては、任意の種類の核斑点が「識別核」として直接使用される。いくつかの実施形態においては、識別核または核斑点にフィルタリング演算が適用されて、バイオマーカ陽性腫瘍細胞に属さない核を識別するとともに、識別済みの核一覧から前記識別非腫瘍核を除去するか、または、最初から前記核を識別核一覧に追加しない。たとえば、識別核斑点の付加的なスペクトルおよび／または形状の特徴の分析によって、核または核斑点が腫瘍細胞の核であるか否かを判定するようにしてもよい。たとえば、リンパ球の核は、他の組織細胞（たとえば、肺細胞）の核よりも大きい。腫瘍細胞が肺組織に由来する場合は、正常な肺の細胞核の平均的なサイズまたは直径よりもはるかに大きな最小サイズまたは直径のすべての核斑点を識別することによって、リンパ球の核が識別される。リンパ球の核に関する識別核斑点は、識別済みの核の集合から除去（すなわち、「フィルタリング除去」）されるようになっていてもよい。非腫瘍細胞の核のフィルタリング除去によって、この方法の精度は向上し得る。バイオマーカによれば、ある程度までは非腫瘍細胞もバイオマーカを表し得るため、腫瘍細胞に由来しない第１のデジタル画像において強度信号を生成可能である。腫瘍細胞に属さない核を識別して、識別済みの核全体からフィルタリング除去することにより、バイオマーカ陽性腫瘍細胞を識別する精度が向上し得る。上記および他の方法が米国特許出願公開第２０１７／０１０３５２１号に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。いくつかの実施形態においては、種子が検出されたら、局所適応閾値化方法が用いられるようになっていてもよく、検出中心周りの斑点が生成される。いくつかの実施形態においては、他の方法が具現化されるようになっていてもよく、たとえば、マーカベースの分水嶺アルゴリズムの使用によって、検出核中心周りの核斑点を識別することも可能である。上記および他の方法が同時係属出願ＰＣＴ／ＥＰ２０１６／０５１９０６（ＷＯ２０１６／１２０４４２として公開）に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。

[00086]このシステムは、少なくとも１つの画像特質測定基準および少なくとも１つの形態測定基準を使用して、画像内の特徴が関心構造に対応するかを判定することができる（「特徴測定基準」と総称する）。画像特質測定基準（画像内の特徴から導出）としては、たとえば色、色バランス、強度等が挙げられる。形態測定基準（画像内の特徴から導出）としては、たとえば特徴サイズ、特徴色、特徴配向、特徴形状、特徴（たとえば、隣り合う特徴）間の関係または距離、別の解剖学的構造に対する特徴の関係または距離等が挙げられる。本明細書に記載の通り、分類器のトレーニングには、画像特質測定基準、形態測定基準、および他の測定基準を使用可能である。画像特徴から導出される測定基準の具体例が以下に示される。

[00087]（Ａ）形態特徴から導出される測定基準
[00088]本明細書において、「形態特徴（ｍｏｒｐｈｏｌｏｇｙ ｆｅａｔｕｒｅ）」は、たとえば核の形状または寸法を示す特徴である。任意特定の理論に縛られることを望むことなく、形態特徴は、細胞またはその核のサイズおよび形状に関する何らかの不可欠な情報を提供すると考えられる。たとえば、核斑点もしくは種子に含まれるピクセルまたは核斑点もしくは種子を囲むピクセルに対してさまざまな画像分析アルゴリズムを適用することにより、形態特徴が演算され得る。いくつかの実施形態において、形態特徴としては、面積、短軸および長軸の長さ、周長、半径、中実性等が挙げられる。

[00089]（Ｂ）外観特徴から導出される測定基準
[00090]本明細書において、「外観特徴（ａｐｐｅａｒａｎｃｅ ｆｅａｔｕｒｅ）」は、たとえば核の識別に用いられる核斑点もしくは種子に含まれるピクセルまたは核斑点もしくは種子を囲むピクセルのピクセル強度値を比較することにより特定の核に対して演算された特徴であって、比較されるピクセル強度が異なる画像チャネル（たとえば、背景チャネル、バイオマーカの染色のためのチャネル等）から導出される。いくつかの実施形態において、外観特徴から導出される測定基準は、異なる画像チャネルから演算されたピクセル強度および勾配の大きさの百分位数値（たとえば、１０番目、５０番目、および９５番目の百分位数値）から演算される。たとえば、まず初めに、関心核を表す核斑点内の画像チャネル（たとえば、ＨＴＸ、ＤＡＢ、輝度という３つのチャネル）の複数のＩＣそれぞれのピクセル値のＸ百分位数値（Ｘ＝１０、５０、９５）の数Ｐが識別される。外観特徴測定基準を演算することは、導出された測定基準が核領域の特性を表すほか、核の周りの膜領域も表し得るため、好都合と考えられる。

[00091]（Ｃ）背景特徴から導出される測定基準
[00092]「背景特徴（ｂａｃｋｇｒｏｕｎｄ ｆｅａｔｕｒｅ）」は、たとえば細胞質中の外観および／もしくはステイン有無を示す特徴ならびに当該背景特徴が画像から抽出された核を含む細胞の細胞膜特徴である。たとえば、核斑点または核を表す種子を識別し、識別さされた細胞集合に直接隣り合うピクセルエリア（たとえば、核斑点境界周りの２０ピクセル（およそ９ミクロン）厚のリボン）を分析することにより、この核を有する細胞に直接隣り合うエリアと一体的に、当該細胞の細胞質および膜中の外観およびステイン有無を取り込むことによって、デジタル画像に示される核および対応する細胞の背景特徴および対応する測定基準が演算され得る。これらの測定基準は、核外観特徴に類似するが、それぞれの核境界周りのおよそ２０ピクセル（およそ９ミクロン）厚のリボンにおいて演算されるため、識別核を有する細胞に直接隣り合うエリアと一体的に、当該細胞の細胞質および膜中の外観およびステイン有無が取り込まれる。任意特定の理論に縛られることを望むことなく、リボンサイズが選択されるのは、核の識別に有用な情報の提供に使用可能な核周りの十分な量の背景組織エリアを当該リボンが取り込むと考えられるためである。これらの特徴は、Ｊ．Ｋｏｎｇ，ｅｔ ａｌ．「Ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｆｒａｍｅｗｏｒｋ ｆｏｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ ｎｕｃｌｅｉ ｉｎ ｄｉｇｉｔａｌ ｍｉｃｒｏｓｃｏｐｙ ｉｍａｇｉｎｇ： Ａｎ ａｐｐｌｉｃａｔｉｏｎ ｔｏ ｄｉｆｆｕｓｅ ｇｌｉｏｍａｓ（デジタル顕微鏡撮像における核の分類のための包括的枠組み：瀰漫性グリオーマへの適用）」，ＩＳＢＩ，２０１１，ｐｐ．２１２８－２１３１に開示の特徴と類似しており、そのすべての開示内容が参照により本明細書に組み込まれる。これらの特徴は、周囲の組織が（Ｈ＆Ｅ染色組織サンプル等における）間質であるか上皮であるかを判定するのに使用可能と考えられる。また、任意特定の理論に縛られることを望むことなく、これらの背景特徴は、組織サンプルが適当な膜染色剤により染色される場合に有用な膜染色パターンを取り込むと考えられる。

[00093]（Ｄ）色から導出される測定基準
[00094]いくつかの実施形態において、色から導出される測定基準としては、色比率Ｒ／（Ｒ＋Ｇ＋Ｂ）または色主成分が挙げられる。他の実施形態において、色から導出される測定基準としては、各色の局所統計値（平均／中央値／分散／標準偏差）および／または局所画像ウィンドウ中の色強度相関が挙げられる。

[00095]（Ｅ）強度特徴から導出される測定基準
[00096]ある特定の特性値を有する隣り合う細胞群は、病理組織学的スライド画像において表されるグレーの色付き細胞の黒白の色調間に設定される。色特徴の相関がサイズクラスのインスタンスを規定するため、これら色付き細胞の強度は、その周囲の暗色細胞のクラスタから影響を受ける細胞を決定する。質感特徴の例がＰＣＴ公開ＷＯ２０１６／０７５０９５に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。

[00097]（Ｆ）空間特徴
[00098]いくつかの実施形態において、空間特徴としては、細胞の局所密度、２つの隣り合う検出細胞間の平均距離、および／または細胞からセグメント化領域までの距離が挙げられる。

[00099]（Ｇ）核特徴から導出される測定基準
[000100]当業者には当然のことながら、測定基準は、核特徴からも導出され得る。このような核特徴の演算は、Ｘｉｎｇ ｅｔ ａｌ．「Ｒｏｂｕｓｔ Ｎｕｃｌｅｕｓ／Ｃｅｌｌ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ ｉｎ Ｄｉｇｉｔａｌ Ｐａｔｈｏｌｏｇｙ ａｎｄ Ｍｉｃｒｏｓｃｏｐｙ Ｉｍａｇｅｓ： Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｒｅｖｉｅｗ（デジタル病理学・顕微鏡画像における堅牢な核／細胞検出およびセグメント化：包括的レビュー）」，ＩＥＥＥ Ｒｅｖ Ｂｉｏｍｅｄ Ｅｎｇ ９，２３４－２６３，Ｊａｎｕａｒｙ ２０１６に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。当然のことながら、特徴の演算の基礎としては、当業者に既知の他の特徴も考慮および使用され得る。

[000101]特徴測定基準の導出後は、特徴の単独での使用またはトレーニングデータとの併用によって（たとえば、トレーニング中は、当業者に既知の手順に従って観察専門家により与えられるグランドトゥルース識別情報と併せて、例示的な細胞が提示される）、核または細胞を分類するようにしてもよい。いくつかの実施形態において、このシステムは、バイオマーカごとのトレーニングセットまたは基準スライドセットに少なくとも部分的に基づいてトレーニングされた分類器を具備し得る。当業者には当然のことながら、バイオマーカごとの分類器のトレーニングには、さまざまなスライドセットを使用可能である。したがって、単一のバイオマーカに対して、トレーニング後に単一の分類器が得られる。また、当業者には当然のことながら、異なるバイオマーカから得られる画像データ間にはばらつきがあるため、異なるバイオマーカごとに異なる分類器をトレーニングすることによって、未知のテストデータに対するより優れた性能を保証することができ、テストデータのバイオマーカ種が把握されることになる。トレーニング対象の分類器は、スライド解釈に対して、たとえば組織の種類、染色プロトコル、および他の関心特徴におけるトレーニングデータのばらつきの最良の取り扱い方法に少なくとも部分的に基づいて選択可能である。

[000102]いくつかの実施形態において、分類モジュールは、サポートベクターマシン（「ＳＶＭ」）である。一般的に、ＳＶＭは分類技術であって、非線形の場合のカーネルにより非線形入力データセットが高次元線形特徴空間に変換される統計的学習理論に基づく。任意特定の理論に縛られることを望むことなく、サポートベクターマシンは、カーネル関数Ｋによって、２つの異なるクラスを表すトレーニングデータセットＥを高次元空間に投影すると考えられる。この変換データ空間においては、クラス分離を最大化するようにクラスを分離する平坦線（識別超平面）が生成され得るように、非線形データが変換される。その後、Ｋによってテストデータが高次元空間に投影され、超平面に対する位置に基づいて分類される。カーネル関数Ｋは、データが高次元空間に投影される方法を規定する。

[000103]他の実施形態においては、ＡｄａＢｏｏｓｔアルゴリズムを用いて分類が実行される。ＡｄａＢｏｏｓｔは、多くの弱い分類器を組み合わせて強い分類器を生成する適応アルゴリズムである。弱い分類器と考えられる個々の質感特徴Φｊ（ｊ∈｛１，・・・，Ｋ｝）それぞれについて確率密度関数を生成するのに、トレーニング段階において病理学者により識別された画像ピクセル（たとえば、特定のステインを有するピクセルまたは特定の組織種に属するピクセル）が用いられる。その後、ベイズの定理の使用によって、Φｊごとに、弱い学習器を構成する尤度シーンＬｊ＝（Ｃｊ，１ｊ∈｛１，・・・，Ｋ｝）を生成する。これらがＡｄａＢｏｏｓｔアルゴリズムにより結合されて、強い分類器Πｊ＝ΣＴｉ＝１αｊｉｌｊｉとなるが、すべてのピクセルｃｊ∈Ｃｊについて、Πｊ（ｃｊ）は、ピクセルｃｊがクラスωＴに属する結合尤度であり、αｊｉは、特徴Φｉのトレーニング中に決定される重みであり、Ｔは、反復回数である。

[000104]いくつかの実施形態においては、導出ステイン強度値、特定の核の数、または他の分類結果の使用によって、百分率正値性またはＨスコア等のさまざまなマーカ発現スコア（本明細書においては、用語「発現スコア」と区別なく使用される）を決定するようにしてもよい（すなわち、分類特徴から、発現スコアが計算されるようになっていてもよい）。スコアリング方法は、本発明の譲受人に譲渡された２０１３年１２月１９日出願の同時係属特許出願ＷＯ２０１４／１０２１３０Ａ１「Ｉｍａｇｅ ａｎａｌｙｓｉｓ ｆｏｒ ｂｒｅａｓｔ ｃａｎｃｅｒ ｐｒｏｇｎｏｓｉｓ（乳がん予知のための画像分析）」および２０１４年３月１２日出願のＷＯ２０１４／１４００８５Ａ１「Ｔｉｓｓｕｅ ｏｂｊｅｃｔ－ｂａｓｅｄ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ａｕｔｏｍａｔｅｄ ｓｃｏｒｉｎｇ ｏｆ ｄｉｇｉｔａｌ ｗｈｏｌｅ ｓｌｉｄｅｓ（デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム）」においてさらに詳しく記載されており、それぞれのすべての内容が参照により本明細書に組み込まれる。たとえば、バイオマーカ陽性腫瘍細胞／バイオマーカ陽性非腫瘍細胞の数に少なくとも部分的に基づいて、スコア（たとえば、ホールスライドスコア）を決定可能である。いくつかの実施形態においては、検出された核斑点ごとに、平均斑点強度、色、および幾何学的特徴（検出核斑点の面積および形状等）が演算されるようになっていてもよく、核斑点が腫瘍核および非腫瘍細胞の核に分類される。識別核出力の数は、腫瘍核の計数により示される通り、ＦＯＶにおいて検出されたバイオマーカ陽性腫瘍細胞の総数に対応する。

[000105]いくつかの実施形態においては、この場合もＦＡＰによる染色に関して、特徴測定基準が導出されるとともに、ＦＡＰ陽性または陰性細胞（たとえば、ポジティブまたはネガティブ染色の間質細胞）の割合（たとえば、百分率正値性発現スコア）が明らかとなり得るように分類器がトレーニングされる。いくつかの実施形態においては、腫瘍細胞の１０％以下の染色エリアにスコア０が割り当てられ、腫瘍細胞の１１％超～２５％以下のエリアに１が割り当てられ、腫瘍細胞の２６％超～５０％以下のエリアに２が割り当てられ、腫瘍細胞の５１％超のエリアに３が割り当てられるようになっていてもよい。染色強度に関しては、ゼロ／弱染色（ネガティブ制御）にスコア０が割り当てられ、ネガティブ制御レベルよりも明らかに強い弱染色に１が割り当てられ、中程度の強度の染色に２が割り当てられ、強染色に３が割り当てられるようになっていてもよい。いくつかの実施形態においては、３以上の最終スコアがＦＡＰの陽性発現を示すものと認識されていてもよい。

[000106]セグメント化モジュール
[000107]中解像度分析手法では、生物学的に意味ある関心領域を取り込むように規定された入力画像内の副領域を生成するセグメント化アルゴリズムを採用する。画像分析モジュール２０５による入力画像からの測定基準の導出（ステップ３１０）の後には、セグメント化生成モジュール２０６の利用によって、入力画像を複数の副領域にセグメント化する（ステップ３２０）。

[000108]いくつかの実施形態においては、単一のチャネル画像（たとえば、分離ＦＡＰ画像中の「紫色」チャネル）上でセグメント化が実行される。分離方法は、当業者に既知である（たとえば、Ｚｉｍｍｅｒｍａｎｎ「Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｌｉｎｅａｒ Ｕｎｍｉｘｉｎｇ ｉｎ Ｌｉｇｈｔ Ｍｉｃｒｏｓｃｏｐｙ（光学顕微鏡法におけるスペクトル撮像および線形分離）」，Ａｄｖ Ｂｉｏｃｈｅｍ Ｅｎｇｉｎ／Ｂｉｏｔｅｃｈｎｏｌ（２００５）９５：２４５－２６５およびＣ．Ｌ．Ｌａｗｓｏｎ ａｎｄ Ｒ．Ｊ．Ｈａｎｓｏｎ「Ｓｏｌｖｉｎｇ ｌｅａｓｔ ｓｑｕａｒｅｓ Ｐｒｏｂｌｅｍｓ（最小２乗問題の解法）」，Ｐｒｅｎｔｉｃｅ Ｈａｌｌ，１９７４，Ｃｈａｐｔｅｒ ２３，ｐ．１６１に線形分離が記載されており、そのすべての開示内容が参照により本明細書に組み込まれる）。本明細書においては、他の分離方法が開示される（Ｒｕｉｆｏｋ ｅｔ． ａｌ．「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｈｉｓｔｏｃｈｅｍｉｃａｌ ｓｔａｉｎｉｎｇ ｂｙ ｃｏｌｏｒ ｄｅｃｏｎｖｏｌｕｔｉｏｎ（カラーデコンボリューションによる組織化学的染色の定量化）」，Ａｎａｌ Ｑｕａｎｔ Ｃｙｔｏｌ Ｈｉｓｔｏｌ．２００１ Ａｕｇ；２３（４）：２９１－９（すべての開示内容が参照により本明細書に組み込まれる）も参照）。

[000109]いくつかの実施形態において、生成された副領域は、所定のサイズまたは画像処理アルゴリズム内に指定の範囲（たとえば、本明細書に記載の通り、ＳＬＩＣスーパーピクセル生成アルゴリズムのパラメータ）内のサイズを有する入力画像のエリアの情報を取り込む。

[000110]いくつかの実施形態において、入力画像は、所定の形状、サイズ、面積、および／または間隔を有する副領域にセグメント化される。たとえば、副領域（７１０）は、図７に示されるように、長円形、円形、正方形、長方形等であってもよい。いくつかの実施形態において、長円形、円形、正方形、または長方形の副領域は、５０ピクセル～およそ１００ピクセルの範囲のサイズを有していてもよいし、類似の特性または特質（たとえば、色、輝度、および／または質感）を有するピクセル群が選択されるように、その他何らかのサイズを有していてもよい。いくつかの実施形態において、副領域は、重なり合わず、サンプリンググリッドを介して生成されるようになっていてもよい。本明細書において、用語「サンプリンググリッド（ｓａｍｐｌｉｎｇ ｇｒｉｄ）」は、均一間隔で画像に重ね合わされ、最終的には画像内の点に重ならない点を位置特定するのに用いられる水平線および垂直線のネットワークに関する。いくつかの実施形態においては、水平線および垂直線により確立された任意数の隣り合う位置が画像セグメントの規定に用いられるようになっていてもよい。いくつかの実施形態において、副領域は、分析用の関連領域の代表サンプル（たとえば、不規則形状の細胞が支配的な特徴であるエリア）を取り込むように画像全体に分布する。

[000111]他の実施形態において、入力画像は、グローバル閾値化フィルタ、局所適応閾値化フィルタ、形態学的演算、および分水嶺変換等、一連のアルゴリズムを画像に適用することによってセグメント化される。これらのフィルタは、順次動作するようになっていてもよいし、当業者が必要と考える任意の順序で動作するようになっていてもよい。当然のことながら、所望の結果が実現されるまで、任意のフィルタが反復的に適用されるようになっていてもよい。いくつかの実施形態においては、入力画像への第１のフィルタの適用によって、（無染色または略無染色の組織サンプル中の領域に対応する）白色の画像領域の除去等、核を有する可能性が低い領域を除去する。いくつかの実施形態において、これは、グローバル閾値化フィルタを適用することによって実現される。いくつかの実施形態において、グローバル閾値化は、（たとえば、グレースケールチャネルに類似する）第１の主成分チャネル上で演算された中央値および／または標準偏差に基づく。グローバル閾値を求めることによって、核が存在しない可能性が高い無染色または略無染色の領域を表す任意の白色画像領域が破棄され得ると考えられる。その後、画像へのフィルタの適用によって、アーチファクト（たとえば、小さな斑点、小さな切れ目、他の小さな物体）の選択的な除去および／または孔の充填を行う。いくつかの実施形態においては、形態学的演算子の適用によって、アーチファクトの除去および／または孔の充填を行う。いくつかの実施形態においては、入力として導入される２値画像（たとえば、先行するフィルタリングステップの結果としての２値画像）に基づいて、距離に基づく分水嶺が適用される。

[000112]いくつかの実施形態において、入力画像は、スーパーピクセルにセグメント化される。スーパーピクセルアルゴリズムは、知覚的に意味あるエンティティを表す多くのセグメント（ピクセル群）へと画像を分割すると考えられる。各スーパーピクセルは、低レベルグループ化プロセスによって得られ、知覚的に矛盾のない単位を有する。すなわち、スーパーピクセルに含まれる生体中のすべてのピクセルが染色有無（たとえば、スーパーピクセルに存在するピクセルが特定種のステインのものである）、染色強度（たとえば、ピクセルが一定の相対強度値または値の範囲を有する）、および質感（たとえば、ピクセルが色または強度に関する特定の空間配置を有する）について可能な限り均一である。各スーパーピクセルの局所分析結果は、デジタル病理学画像上に分析結果を表すように格納および報告可能である。

[000113]スーパーピクセルは、色、輝度、および質感等の特質が類似するピクセルの集まりである。画像は、ピクセルの複数の組み合わせ特質を含み、元画像のエッジ情報を保存可能な一定数のスーパーピクセルで構成可能である。単一のピクセルと比較して、スーパーピクセルは、豊富な特質情報を含み、画像の後処理の複雑性を大幅に低減するとともに、画像セグメント化の速度を大幅に向上可能である。また、スーパーピクセルは、小さな近傍モデルによる確率の推定および決定にも有用である。

[000114]スーパーピクセルアルゴリズムは、ピクセルを類似サイズの意味ある原子領域へとグループ化する方法である。任意特定の理論に縛られることを望むことなく、スーパーピクセルは、画像内の重要な境界に位置することが多く、顕著な物体特徴を含む場合には基準外または一意の形状を帯びる傾向にあることから、効果的と考えられる。中解像度分析における情報の取得および格納の要望と矛盾することなく、スーパーピクセルは、ピクセルレベルとオブジェクトレベルとの間に位置付けられ、画像オブジェクトを包括的に表すことなく、知覚的に意味あるピクセル群を表すことによって、ピクセルよりも多くの情報をもたらす。スーパーピクセルは、短い演算時間で画像を過剰セグメント化する画像セグメント化の一形態と理解され得る。スーパーピクセルの外形は、画像中のほとんどの構造が保護されるため、自然な画像境界に十分従うことが分かっている。各ピクセルではなく各スーパーピクセルについて画像特徴が演算されることから、後続の処理タスクは、複雑性および演算時間が抑えられる。このため、スーパーピクセルは、画像セグメント化等のオブジェクトレベルでの分析の前処理ステップとして有用と考えられる。

[000115]任意特定の理論に縛られることを望むことなく、スーパーピクセルは、たとえば色または形状が類似する特質を有する稠密かつ均一なピクセル群を形成することによって、画像を過剰セグメント化すると考えられる。過去には、複数のスーパーピクセル手法が開発されている。これらは、（ｉ）グラフベースの手法および（ｉｉ）勾配上昇ベースの手法に分類可能である。グラフベースの手法においては、各ピクセルがグラフ中のノードと考えられる。すべてのノード対間には、それぞれの類似性に比例するエッジ重みが規定される。そして、グラフ上に規定されるコスト関数の公式化および最小化によって、スーパーピクセルセグメントを抽出する。勾配上昇ベースの手法においては、特徴空間へのピクセルの反復的なマッピングによって、クラスタを表す高密度領域を描く。各反復は、各クラスタの精緻化によって、収束までにより優れたセグメント化を得る。

[000116]正規化カット、凝集型クラスタリング、クイックシフト、およびターボピクセルアルゴリズム等、多くのスーパーピクセルアルゴリズムが開発されている。正規化カットアルゴリズムは、輪郭および質感キューを使用し、分割境界のエッジ上に規定されるコスト関数を最小化することによって、全ピクセルのグラフを再帰的に分割する。これにより、非常に規則的で、視覚的に快いスーパーピクセルが得られる（Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ「Ｎｏｒｍａｌｉｚｅｄ ｃｕｔｓ ａｎｄ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ（正規化カットおよび画像セグメント化）」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，（ＰＡＭＩ），２２（８）：８８８－９０５，Ａｕｇ ２０００（すべての開示内容が参照により本明細書に組み込まれる）参照）。Ａｌａｓｔａｉｒ Ｍｏｏｒｅ，Ｓｉｍｏｎ Ｐｒｉｎｃｅ，Ｊｏｎａｔｈａｎ Ｗａｒｒｅｌｌ，Ｕｍａｒ Ｍｏｈａｍｍｅｄ，ａｎｄ Ｇｒａｈａｍ Ｊｏｎｅｓ「Ｓｕｐｅｒｐｉｘｅｌ Ｌａｔｔｉｃｅｓ（スーパーピクセル格子）」，ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ），２００８は、より小さな垂直または水平領域へと画像を分割する最適経路またはシームを見つけることによって、グリッドに従うスーパーピクセルを生成する方法を記載する。最適経路は、グラフカット法を用いることにより見つかる。（Ｓｈａｉ Ａｖｉｄａｎ ａｎｄ Ａｒｉｅｌ Ｓｈａｍｉｒ「Ｓｅａｍ ｃａｒｖｉｎｇ ｆｏｒ ｃｏｎｔｅｎｔ－ａｗａｒｅ ｉｍａｇｅ ｒｅｓｉｚｉｎｇ（内容を意識した画像サイズ調整のためのシームカービング）」，ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ （ＳＩＧＧＲＡＰＨ），２６（３），２００７（開示内容が参照により本明細書に組み込まれる）参照）。クイックシフト（Ａ．Ｖｅｄａｌｄｉ ａｎｄ Ｓ．Ｓｏａｔｔｏ「Ｑｕｉｃｋ ｓｈｉｆｔ ａｎｄ ｋｅｒｎｅｌ ｍｅｔｈｏｄｓ ｆｏｒ ｍｏｄｅ ｓｅｅｋｉｎｇ（モード探索のためのクイックシフトおよびカーネル方法）」，Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＥＣＣＶ），２００８（開示内容が参照により本明細書に組み込まれる）参照）は、モード探索セグメント化方式を使用する。これは、ｍｅｄｏｉｄ ｓｈｉｆｔ手順を用いてセグメント化を初期化する。その後、Ｐａｒｚｅｎ密度推定値を増大させる最も近い隣接点へと特徴空間の各点を移動させる。ターボピクセル法では、レベルセットベースの幾何学的フローを用いて、一組の種子位置を徐々に拡張させる（Ａ．Ｌｅｖｉｎｓｈｔｅｉｎ，Ａ．Ｓｔｅｒｅ，Ｋ．Ｋｕｔｕｌａｋｏｓ，Ｄ．Ｆｌｅｅｔ，Ｓ．Ｄｉｃｋｉｎｓｏｎ，ａｎｄ Ｋ．Ｓｉｄｄｉｑｉ「Ｔｕｒｂｏｐｉｘｅｌｓ： Ｆａｓｔ ｓｕｐｅｒｐｉｘｅｌｓ ｕｓｉｎｇ ｇｅｏｍｅｔｒｉｃ ｆｌｏｗｓ（ターボピクセル：幾何学的フローを用いた高速スーパーピクセル）」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＰＡＭＩ），２００９（開示内容が参照により本明細書に組み込まれる）参照）。幾何学的フローは、画像平面上でスーパーピクセルを規則的に分布させることを目的として、局所的な画像勾配に依拠する。ターボピクセルスーパーピクセルは、他の方法と異なり、均一なサイズ、稠密性、および境界追従を有するように制約される。スーパーピクセルを生成するさらに他の方法については、Ｒａｄｈａｋｒｉｓｈｎａ Ａｃｈａｎｔａ「ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ Ｃｏｍｐａｒｅｄ ｔｏ Ｓｔａｔｅ－ｏｆ－ｔｈｅ－ａｒｔ（最新技術との比較によるＳＬＩＣスーパーピクセル）」，Ｊｏｕｒｎａｌ ｏｆ Ｌａｔｅｘ Ｃｌａｓｓ Ｆｉｌｅｓ，Ｖｏｌ．６，Ｎｏ．１，Ｄｅｃｅｍｂｅｒ ２０１１に記載されている（そのすべての開示内容が参照により本明細書に組み込まれる）。

[000117]単純線形反復クラスタリング（ＳＬＩＣ）と称するスーパーピクセルアルゴリズムが導入されているが、これは、最先端のスーパーピクセル法と比較して、境界追従および効率の両者において優れている。ＳＬＩＣには、２つのステップがある。第１には、局所ｋ平均クラスタリング（ＫＭＣ）法によってピクセルをグループ化することによりスーパーピクセルを生成するが、その距離は、データおよび空間距離と統合されたユークリッド距離として測定される。第２には、連結成分アルゴリズム（ＣＣＡ）の使用によって、生成された微小分離領域を最も近い大きなスーパーピクセルとして統合することにより除去する。

[000118]ｋ平均クラスタリングは、ｎ個の観察結果をｋ個のクラスタに分割することを目的としており、各観察結果は、平均に最も近いクラスタに属して、クラスタのプロトタイプとして機能する。連結成分標識化は、画像をピクセルごとに（上から下、左から右に）スキャンし、連結ピクセル領域すなわち同じ強度値Ｖの集合を共有する隣り合うピクセルの領域を識別することによって機能する（２値画像の場合はＶ＝｛１｝であるが、グレーレベル画像において、Ｖは、ある範囲の値を取る（たとえば、Ｖ＝｛５１、５２、５３、・・・、７７、７８、７９、８０｝））。連結成分標識化は、２値画像またはグレーレベル画像に対して機能し、連結度の異なる尺度が可能である。ただし、以下では、２値入力画像および８連結度を仮定する。連結成分標識化の演算子は、Ｖ＝｛１｝となる点ｐ（ここで、ｐは、スキャンプロセスの任意の段階で標識化されるピクセルを示す）まで、行に沿って移動することにより画像をスキャンする。これが真の場合は、スキャン中に通過済みのｐの４つの隣接ピクセル（すなわち、（ｉ）ｐの左方、（ｉｉ）上方、ならびに（ｉｉｉおよびｉｖ）２つの上側対角関係の隣接ピクセル）を検査する。この情報に基づいて、ｐの標識化を以下のように行う。４つの隣接ピクセルがすべて０の場合は、新たなラベルをｐに割り当て、隣接ピクセルが１つだけＶ＝｛１｝の場合は、そのラベルをｐに割り当て、隣接ピクセルが２つ以上Ｖ＝｛１｝の場合は、ラベルのうちの１つをｐに割り当てて、同等物を書き留める。

[000119]スキャンの完了後は、同等ラベル対が同等物クラスに格納され、一意のラベルが各クラスに割り当てられる。最終ステップとして、画像に第２のスキャンがなされるが、この間は、その同等物クラスに割り当てられたラベルによって各ラベルが置き換えられる。表示のため、各ラベルは、異なるグレーレベルまたは色であってもよい。

[000120]ＳＬＩＣは、スーパーピクセルの生成のためのｋ平均の適応であるが、２つの重要な差異がある。（ｉ）スーパーピクセルのサイズに比例した領域に探索空間を制限することによって、最適化における距離計算の回数が劇的に少なくなる（これによって、スーパーピクセルの数ｋとは無関係に、ピクセル数の複雑性が線形に小さくなると考えられる）。（ｉｉ）重み付け距離尺度が色と空間近接性とを組み合わせると同時に、スーパーピクセルのサイズおよび稠密度を制御する（Ａｃｈａｎｔａ，ｅｔ ａｌ．「ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ Ｃｏｍｐａｒｅｄ ｔｏ Ｓｔａｔｅ－ｏｆ－ｔｈｅ－Ａｒｔ Ｓｕｐｅｒｐｉｘｅｌ Ｍｅｔｈｏｄｓ（最先端のスーパーピクセル法との比較によるＳＬＩＣスーパーピクセル）」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．３４，Ｎｏ．ｌ１，Ｎｏｖｅｍｂｅｒ ２０１２（すべての開示内容が参照により本明細書に組み込まれる）参照）。

[000121]ＳＬＩＣでは、ＣＩＥＬＡＢ色空間のＬ＊ａ＊ｂ値ならびにそれぞれのｘ座標およびｙ座標により規定される５Ｄ空間における画像ピクセルを考慮する。５Ｄ空間におけるピクセルは、画像平面における色類似性および近接性を統合した適応ｋ平均クラスタリングに基づいてクラスタリングされる。このクラスタリングは、Ｌ＊ａ＊ｂ空間における色類似性（ｄｃ）およびｘ、ｙ空間におけるピクセル近接性（ｄｓ）を測定した距離尺度Ｄに基づく。後者は、スーパーピクセルの数（ｋ）で除した画像ピクセルの総数の平方根を規定するグリッド間隔（Ｓ）によって正規化される。スーパーピクセルの稠密性および規則性は、定数ｍによって制御される。このパラメータは、空間距離（ｄｃ）とスペクトル距離（ｄｓ）との間の重み付け基準として機能する。ｍが大きいほど空間近接性の重みが増え、画像中のスペクトル外形に対する境界の追従が低下したより稠密なスーパーピクセルが得られる。

[000123]ＳＬＩＣアルゴリズムは、以下のように適用され得る。Ｎ_ｐを所与の画像（または、その関心部分もしくは領域）のピクセル数とし、ｋを生成するスーパーピクセル数とする。次に、ＳＬＩＣアルゴリズムの主要なステップは、以下の通りである。

[000124]（１）クラスタ中心を初期化する。規則的なグリッド上のｋ個のクラスタ中心を

ピクセルだけ離隔させた後、３×３近傍において勾配が最小の位置まで、これらのクラスタ中心を移動させる。任意特定の理論に縛られることを望むことなく、これは、スーパーピクセルの中心をエッジに設定しないようにするとともに、ノイズの多いピクセルにスーパーピクセルの種子を設定する機会を減らすためと考えられる。

[000125]（２）ピクセルを割り当てる。局所ＫＭＣによって、局所探索空間における最も近いクラスタ中心に各ピクセルを指定する。
[000126]（３）クラスタ中心を更新する。対応するクラスタにおける全ピクセルの平均として、各クラスタ中心を設定する。

[000127]（４）クラスタが変化しなくなるまで、または、別の所与の基準が満たされるまで、ステップ（２）および（３）を繰り返す。
[000128]（５）後処理。分離領域のサイズが最小サイズＳ_ｍｉｎ未満の場合は、ＣＣＡの使用により、分離領域を近くのスーパーピクセルに再度割り当てる。

[000129]ＳＬＩＣ法のステップ（２）においては、局所ＫＭＣが適用されるが、この場合は、探索エリアがその場所を網羅する最も近いクラスタ中心と各ピクセルが関連付けられる。従来のＫＭＣにおいて、各クラスタ中心の探索エリアは、全画像であるため、画像中の各クラスタ中心からすべてのピクセルまでの距離が計算される。ただし、局所ＫＭＣにおいては、クラスタ中心の探索空間が局所的な２Ｓ×２Ｓ正方形領域に限定される。したがって、ＳＬＩＣでは、各クラスタ中心からその探索エリア内のピクセルまでの距離しか演算しない。

[000130]局所ＫＭＣにおいては、クラスタリングにおいてユークリッド距離が使用される。ｚ_ｉを空間位置が（ｘ_ｉ，ｙ_ｉ）のｉ番目のクラスタ中心のデータとする。ｚ_ｊを当該中心の探索エリア内のピクセルの強度とする。そして、このピクセルと中心との間の統合距離は、以下の通りである。

[000132]ここで、ｄ_ｆ＝｜ｚ_ｉ－ｚ_ｊ｜および

はそれぞれ、強度およびピクセルと中心との間の距離であり、ｍは、統合距離Ｄ_Ｉに対するｄ_ｆおよびｄ_ｓの相対的な寄与を重み付けする正則化パラメータである。ｍが大きくなることは、ｄ_ｓがｄ_ｆよりも有意であることを示す。これら２つの距離の寄与を直接記述する同等の統合距離Ｄ_Ｉは、以下により与えられ得る。

[000134]ここで、Ｎ_ｆは全画面の平均強度であり、ｗ∈［０，１］は正則化パラメータである。これに関連して、ｗおよび（１－ｗ）はそれぞれ、正規化強度とＤ_Ｉにおける各空間距離との比である。

[000135]いくつかの実施形態において、ＳＬＩＣアルゴリズムのパラメータｋは、略等しいサイズのスーパーピクセルの数を指定する。いくつかの実施形態において、稠密度パラメータｍは、スーパーピクセルの均質性と境界追従とのトレードオフを制御するように設定可能である。任意特定の理論に縛られることを望むことなく、稠密度パラメータを変更することによって、規則的な形状のスーパーピクセルが非質感領域に生成され、高度に不規則なスーパーピクセルが質感領域に生成され得ると考えられる。この場合も、任意特定の理論に縛られることを望むことなく、パラメータｍは、色類似性と空間近接性との間の相対的重要性の重み付けを可能にすると考えられる。ｍが大きい場合は、空間近接性がより重要であり、結果としてのスーパーピクセルがより稠密となる（すなわち、面積対周長比が小さくなる）。ｍが小さい場合は、結果としてのスーパーピクセルが画像境界に対してより緊密に追従するものの、サイズおよび形状は不規則になる。

[000136]いくつかの実施形態においては、スーパーピクセルのサイズおよび稠密度の両パラメータが調整される。いくつかの実施形態においては、およそ４０ピクセル～およそ４００ピクセルの範囲のスーパーピクセルサイズが使用される。他の実施形態においては、およそ６０ピクセル～およそ３００ピクセルの範囲のスーパーピクセルサイズが使用される。さらに他の実施形態においては、およそ７０ピクセル～およそ２５０ピクセルの範囲のスーパーピクセルサイズが使用される。さらに別の実施形態においては、およそ８０ピクセル～およそ２００ピクセルの範囲のスーパーピクセルサイズが使用される。

[000137]いくつかの実施形態において、稠密度パラメータは、およそ１０～およそ１００の範囲である。他の実施形態において、稠密度パラメータは、およそ２０～およそ９０の範囲である。他の実施形態において、稠密度パラメータは、およそ４０～およそ８０の範囲である。他の実施形態において、稠密度パラメータは、およそ５０～およそ８０の範囲である。

[000138]図８Ａは、本明細書に記載の通り、ＳＬＩＣを用いて生成されたスーパーピクセルの一例を示しており、重畳および間隙なく、関心領域の位置特定された特質に適するようにスーパーピクセルがセグメント化されている。さらに、各スーパーピクセル副領域は、バイオマーカ発現の存在の局所強度（８１０）および方向（８２０）に応じて、特定の最終形状を有する。このため、スーパーピクセルは、このような関心生物学的構造に対して知覚的に意味がある。図８Ｂ、図８Ｃ、および図８Ｄはそれぞれ、高倍率の元のＩＨＣ画像、スーパーピクセル生成プロセスの初期化、および局所的に均質な最終スーパーピクセルを示しており、それぞれの形状の規則性は、上述の通り、ＳＬＩＣアルゴリズムの技術的パラメータによって調整済みである。

[000139]表現オブジェクト生成モジュール
[000140]副領域生成モジュールによって副領域が生成された（ステップ３２０）後は、モジュール２０７を用いて、副領域ごとに表現オブジェクトまたは関心点が決定される（ステップ３３０）。いくつかの実施形態において、表現オブジェクトは、関心細胞または関心細胞群（たとえば、線維芽細胞またはマクロファージ）に関する副領域またはスーパーピクセルの外形である。他の実施形態において、表現オブジェクトは、種子点である。本明細書に記載の通り、本開示の目的は、類似の染色有無、染色強度、および／または局所質感を有する副領域に基づいて関心細胞（不規則形状の細胞）を特性化するとともに、これらの均質特性の副領域を自動的にデータベースに保存することである。表現オブジェクトまたはその座標は、生成副領域を格納する１つの方法である。図９Ａおよび図９Ｂは、関心生体を含むスーパーピクセルのポリゴン外形および中心種子の例を提供する。

[000141]いくつかの実施形態においては、色または質感が異なる副領域を分離するとともに、画像中の支配的なエッジと一致する境界を形成するアルゴリズムが利用されるため、関心生体（たとえば、線維芽細胞またはマクロファージ等、サイズまたは形状が不規則な細胞）を表す境界が生成される。いくつかの実施形態においては、ステインを有さない副領域が除外され、閾値量のステインを含む副領域のみが表現オブジェクトとして提供されるように、閾値化アルゴリズム（たとえば、大津法、平均クラスタリング等）がステインチャネル画像に適用されるようになっていてもよい。いくつかの実施形態においては、閾値パラメータ（たとえば、病理学専門家により提供される閾値染色パラメータ）を用いて、副領域の２値マスクが生成されるようになっていてもよい。いくつかの実施形態においては、（ｉ）関心物体を表す可能性が低い副領域が（ｉｉ）関心物体を有する細胞を表す副領域から分離されるように画像を強化するように設計された一連のフィルタを適用することによって、セグメント化が実現される。アーチファクトの除去、小さな斑点の除去、小さな切れ目の除去、孔の充填、および大きな斑点の分割のため、付加的なフィルタが選択的に適用されるようになっていてもよい。

[000142]いくつかの実施形態においては、ステインチャネルの２値画像中の（無染色または略無染色の組織サンプル中の領域に対応する）白色の画像領域の除去等によって、不規則形状の細胞を識別する副領域を有する可能性が低い領域が除去される。いくつかの実施形態において、これは、グローバル閾値化フィルタを適用することによって実現される。閾値化は、強度が何らかの閾値（ここでは、グローバル閾値）を上回るか下回る場合に、値１または０をすべてのピクセルに割り当てることによって、強度画像（Ｉ）を２値画像（Ｉ’）へと変換するのに用いられる方法である。言い換えると、強度値に応じてピクセルを分割するのに、グローバル閾値化が適用される。いくつかの実施形態において、グローバル閾値化は、（たとえば、グレースケールチャネルに類似する）第１の主成分チャネル上で演算された中央値および／または標準偏差に基づく。グローバル閾値を求めることによって、不規則形状の細胞が存在しない可能性が高い無染色または略無染色の領域を表す任意の白色画像領域が破棄され得ると考えられる。

[000143]いくつかの実施形態においては、ＦＡＰステインに関して、１）紫色チャネルを分離し、２）紫色チャネルの閾値化によってＦＡＰ陽性領域を識別し、３）紫色チャネルに対してスーパーピクセルセグメント化を適用し、４）特徴測定基準をスーパーピクセルオブジェクトに付与することによって、境界が形成され得る。いくつかの実施形態において、ＦＡＰ陽性領域の有無は、病理学者から得られたグランドトゥルースに基づいてトレーニングされた教師あり生成ルールを用いて識別されるようになっていてもよい。いくつかの実施形態においては、画像のトレーニングセット上での閾値の識別等によって、ＦＡＰ陽性閾値パラメータが病理学者により供給されるようになっていてもよい。そして、この閾値パラメータを用いることにより、２値マスクが生成されるようになっていてもよい。これらの方法は、Ａｕｒａｎｕｃｈ Ｌｏｒｓａｋｕｌ ｅｔ ａｌ．「Ａｕｔｏｍａｔｅｄ ｗｈｏｌｅ－ｓｌｉｄｅ ａｎａｌｙｓｉｓ ｏｆ ｍｕｌｔｉｐｌｅｘ－ｂｒｉｇｈｔｆｉｅｌｄ ＩＨＣ ｉｍａｇｅｓ ｆｏｒ ｃａｎｃｅｒ ｃｅｌｌｓ ａｎｄ ｃａｒｃｉｎｏｍａ－ａｓｓｏｃｉａｔｅｄ ｆｉｂｒｏｂｌａｓｔｓ（がん細胞およびがん関連線維芽細胞に関する多重化－明視野ＩＨＣ画像の自動全スライド分析）」，Ｐｒｏｃ．ＳＰＩＥ １０１４０，Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１７：Ｄｉｇｉｔａｌ Ｐａｔｈｏｌｏｇｙ，１０１４００７（２０１７／０３／０１）に詳しく記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。

[000144]いくつかの実施形態においては、副領域の境界がトレースされる。たとえば、副領域の外部境界のほか、副領域の内側または間の「孔」の外部境界をトレースするアルゴリズムが提供されていてもよい。いくつかの実施形態において、副領域の境界は、ｂｗｂｏｕｎｄａｒｉｅｓと称するｍａｔｌａｂ関数を用いて境界トレースを形成することにより生成される（ｈｔｔｐｓ：／／ｗｗｗ．ｍａｔｈｗｏｒｋｓ．ｃｏｍ／ｈｅｌｐ／ｉｍａｇｅｓ／ｒｅｆ／ｂｗｂｏｕｎｄａｒｉｅｓ．ｈｔｍｌ）。

[000145]境界形成の後、境界トレースは、ｘ、ｙ座標から成るポリゴン外形に変換される。トレース境界のｘ、ｙ座標は、メモリまたはデータベースに格納されるようになっていてもよく、たとえば、副領域オブジェクトのトレース境界の全ピクセルの行および列座標が決定および格納されるようになっていてもよい。

[000146]いくつかの実施形態においては、各副領域の重心または質量中心の計算または演算によって、種子点が導出される。当業者には、不規則なオブジェクトの重心を決定する方法が既知である。計算後は、副領域の重心の標識化ならびに／または種子のｘ、ｙ座標のメモリもしくはデータベースへの格納が行われる。いくつかの実施形態において、重心または質量中心の位置は、入力画像に重ね合わされていてもよい。

[000147]標識化モジュール
[000148]セグメント化モジュール２０６を用いて副領域が生成され、モジュール２０７を用いて表現オブジェクトが演算された後は、標識化モジュール２０８を用いて、画像分析モジュール２０２から導出された測定基準等（ステップ３１０）、表現オブジェクトのアノテーション、標識化、またはデータとの関連付けがなされる（ステップ３３０）。標識化モジュール２０８は、本明細書に記載の通り、データを格納する非一時的メモリであるデータベース２０９を生成するようにしてもよい。いくつかの実施形態において、データベース２０９は、入力として受信された画像、任意のポリゴンおよび／もしくは種子点の座標、ならびに画像分析による任意の関連データもしくはラベルを格納する（図１１参照）。

[000149]この点に関しては、画像のセグメント化副領域ごとに、データベクトルが格納されるようになっていてもよい。たとえば、任意の表現オブジェクトおよび関連する画像分析データを含めて、副領域ごとに、データベクトルが格納されるようになっていてもよい。一例として、データ点「ａ」、「ｂ」、および「ｃ」が表現オブジェクトの座標であり、「ｘ」、「ｙ」、および「ｚ」が画像分析により導出された測定基準（または、特定の副領域に対応する測定基準の平均）である場合、データベースは、［ａ，ｂ，ｃ，ｘ，ｙ，ｚ］^１、［ａ，ｂ，ｃ，ｘ，ｙ，ｚ］^２、［ａ，ｂ，ｃ，ｘ，ｙ，ｚ］^Ｎといったデータベクトルを格納することになる。ここで、Ｎは、セグメント化モジュール２０６により生成された副領域の数である。

[000150]いくつかの実施形態において、画像分析モジュールからのデータは、画像内の個々のピクセルを表す。当業者には当然のことながら、特定の副領域内のすべてのピクセルのデータは、平均化によって、副領域内のピクセルデータの平均値を与え得る。たとえば、個々のピクセルはそれぞれ、一定の強度を有していてもよい。特定の副領域におけるすべてのピクセルの強度は、平均化によって、当該副領域の平均ピクセル強度を与え得る。当該副領域の当該平均ピクセルは、当該副領域の表現オブジェクトと関連付けられていてもよく、また、当該データが一体としてメモリに格納されていてもよい。

[000151]ＦＡＰによる染色に関して、ＦＡＰ陽性面積は、別の特徴／測定結果がスーパーピクセルオブジェクトに付与され得る。ＦＡＰ陽性面積は、設定閾値を上回るＦＡＰ強度を有するピクセルの合計を参照する。閾値の選択については、Ａｕｒａｎｕｃｈ Ｌｏｒｓａｋｕｌ ｅｔ ａｌ．「Ａｕｔｏｍａｔｅｄ ｗｈｏｌｅ－ｓｌｉｄｅ ａｎａｌｙｓｉｓ ｏｆ ｍｕｌｔｉｐｌｅｘ－ｂｒｉｇｈｔｆｉｅｌｄ ＩＨＣ ｉｍａｇｅｓ ｆｏｒ ｃａｎｃｅｒ ｃｅｌｌｓ ａｎｄ ｃａｒｃｉｎｏｍａ－ａｓｓｏｃｉａｔｅｄ ｆｉｂｒｏｂｌａｓｔｓ（がん細胞およびがん関連線維芽細胞に関する多重化－明視野ＩＨＣ画像の自動全スライド分析）」，Ｐｒｏｃ．ＳＰＩＥ １０１４０，Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ ２０１７：Ｄｉｇｉｔａｌ Ｐａｔｈｏｌｏｇｙ，１０１４００７（２０１７／０３／０１）に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。

[000152]標識化モジュールにより格納されるデータの一例として、また、ＦＡＰバイオマーカによる生物学的サンプルの染色に関して、副領域内のＦＡＰステインの平均強度は、特定の副領域の画像分析により導出されるようになっていてもよく、また、当該ＦＡＰステイン強度は、当該副領域の任意の表現オブジェクトの座標と併せて、データベースに格納されるようになっていてもよい。同様に、画像分析によって、ＦＡＰ発現スコア等、副領域の特定の発現スコアが導出されるようになっていてもよく、また、当該副領域の当該ＦＡＰ発現スコアは、当該特定の副領域の表現オブジェクトと併せて格納されるようになっていてもよい。任意の副領域内の画像部分の平均強度スコアおよび平均発現スコアのほか、他のパラメータが格納されるようになっていてもよく、種子点間の距離、識別腫瘍細胞と不規則形状の細胞との間の距離（たとえば、腫瘍細胞と線維芽細胞との間の距離）、およびＦＡＰ陽性面積が挙げられるが、これらに限定されない。

[000153]いくつかの実施形態において、一例としては、対応するスーパーピクセル内で演算された分析結果（たとえば、平均局所強度、ポジティブ染色面積）がそれぞれの対応するポリゴン外形および種子に付与される。全スライド画像の場合は、それぞれの分析結果が付与されたこれら表現オブジェクト（たとえば、ポリゴン外形および種子）がｘｙ座標にてデータベースに格納される。図１０Ａは、線維芽細胞（１０１０）用の線維芽細胞活性化タンパク質（ＦＡＰ）により紫色に染色され、上皮腫瘍（１０２０）用のパンサイトケラチン（ＰａｎＣＫ）により黄色に染色された頭頚部がん組織の全スライドＩＨＣ画像の一例を示している。図１０Ｂおよび図１１はそれぞれ、データベースに格納可能な線維芽細胞領域に属するスーパーピクセルの分析結果が付与されたポリゴン外形および種子の例を示している。

[000154]データ読み出しまたは投影モジュール
[000155]当業者には当然のことながら、格納された分析結果および関連する生物学的特徴は、後で読み出し可能であり、データは、さまざまなフォーマット（たとえば、分析結果のヒストグラムプロット）で報告または視覚化されるようになっていてもよい。より具体的に、表現オブジェクトの座標データおよび関連する画像分析データは、データベース２０９から読み出され、別途分析に用いられるようになっていてもよい。いくつかの実施形態において、また、一例として、表現オブジェクトは、全スライド画像内またはユーザアノテーション領域中の分析結果の視覚化または報告のため、データベースから読み出し可能である。図１２に示されるように、全スライドスーパーピクセルから読み出されたＦＡＰ強度のヒストグラム中のプロットによって、関連付けまたは付与された画像分析結果を報告可能である。あるいは、全スライド画像、視野画像、または別途精査用に医療専門家によりアノテーションされた画像の一部においてデータを視覚化可能である。

[000156]本開示の実施形態を実現する他の構成要素
[000157]本開示のシステム２００は、組織標本に対して１つまたは複数の作成プロセスを実行可能な標本処理装置に接続されていてもよい。作成プロセスとしては、標本の脱パラフィン化、標本の調節（たとえば、細胞調節）、標本の染色、抗原読み出しの実行、免疫組織化学染色（標識化を含む）もしくは他の反応の実行、ならびに／またはｉｎ－ｓｉｔｕハイブリダイゼーション（たとえば、ＳＩＳＨ、ＦＩＳＨ等）染色（標識化を含む）もしくは他の反応の実行のほか、顕微鏡法、微量分析法、質量分光法、または他の分析方法のために標本を作成する他のプロセスが挙げられるが、これらに限定されない。

[000158]処理装置は、固定剤を標本に塗布可能である。固定剤としては、架橋剤（アルデヒド（たとえば、ホルムアルデヒド、パラホルムアルデヒド、およびグルタルアルデヒド）のほか、非アルデヒド架橋剤等）、酸化剤（たとえば、四酸化オスミウムおよびクロム酸等の金属イオンおよび錯体）、タンパク質変性剤（たとえば、酢酸、メタノール、およびエタノール）、メカニズムが未知の固定剤（たとえば、塩化第二水銀、アセトン、およびピクリン酸）、組み合わせ試薬（たとえば、カルノワ固定剤、メタカン、ブアン液、Ｂ５固定剤、ロスマン液、およびジャンドル液）、マイクロ波、および混合固定剤（たとえば、排除体積固定剤および蒸気固定剤）が挙げられる。

[000159]標本がパラフィンに埋め込まれたサンプルの場合、このサンプルは、適当な脱パラフィン化液を用いることにより脱パラフィン化され得る。パラフィンが除去された後は、任意数の物質が連続して標本に適用され得る。これらの物質としては、前処理用（たとえば、タンパク質架橋の逆転、核酸の曝露等）、変性用、ハイブリダイゼーション用、洗浄用（たとえば、ストリンジェンシ洗浄）、検出用（たとえば、視覚またはマーカ分子のプローブへのリンク）、増幅用（たとえば、タンパク質、遺伝子等の増幅）、カウンタ染色用、封入用等が可能である。

[000160]標本処理装置は、広範な物質を標本に適用可能である。これらの物質としては、ステイン、プローブ、試薬、洗浄液、および／または調節剤が挙げられるが、これらに限定されない。これらの物質としては、流体（たとえば、気体、液体、または気体／液体混合物）等が可能である。流体としては、溶媒（たとえば、極性溶媒、非極性溶媒等）、溶液（たとえば、水溶液または他種の溶液）等が可能である。試薬としては、ステイン、湿潤剤、抗体（たとえば、モノクローナル抗体、ポリクローナル抗体等）、抗原回復液（たとえば、水性または非水性の抗原緩衝液、抗原回復緩衝剤等）が挙げられるが、これらに限定されない。プローブとしては、検出可能な標識またはレポータ分子に付着した単離核酸または単離合成オリゴヌクレオチドが可能である。標識としては、放射性同位体、酵素基質、補因子、リガンド、化学発光または蛍光剤、ハプテン、および酵素が挙げられる。

[000161]標本処理装置としては、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．が販売するＢＥＮＣＨＭＡＲＫ ＸＴ器具およびＳＹＭＰＨＯＮＹ器具のような自動化装置が可能である。Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．は、自動分析を実行するシステムおよび方法を開示した多くの米国特許の譲受人であり、米国特許第５，６５０，３２７号、第５，６５４，２００号、第６，２９６，８０９号、第６，３５２，８６１号、第６，８２７，９０１号、および第６，９４３，０２９号、ならびに米国特許出願公開第２００３／０２１１６３０号および第２００４／００５２６８５号を含み、それぞれのすべての内容が参照により本明細書に組み込まれる。あるいは、標本は、手動で処理され得る。

[000162]標本が処理された後、ユーザは、標本支持スライドを撮像装置に移送することができる。いくつかの実施形態において、撮像装置は、明視野撮像スライドスキャナである。明視野撮像装置の１つとして、Ｖｅｎｔａｎａ Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍｓ，Ｉｎｃ．が販売するｉＳｃａｎ ＨＴ ａｎｄ ＤＰ２００（Ｇｒｉｆｆｉｎ）明視野スキャナがある。自動化された実施形態において、撮像装置は、「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ ＡＮＤ ＴＥＣＨＮＩＱＵＥＳ（撮像システムおよび技法）」という名称の国際特許出願ＰＣＴ／ＵＳ２０１０／００２７７２号（特許公開ＷＯ２０１１／０４９６０８）または２０１１年９月９日に出願された「ＩＭＡＧＩＮＧ ＳＹＳＴＥＭＳ，ＣＡＳＳＥＴＴＥＳ， ＡＮＤ ＭＥＴＨＯＤＳ ＯＦ ＵＳＩＮＧ ＴＨＥ ＳＡＭＥ（撮像システム、カセット、およびこれらの使用方法）」という名称の米国特許出願第６１／５３３，１１４号に開示されるようなデジタル病理学デバイスである。国際特許出願ＰＣＴ／ＵＳ２０１０／００２７７２および米国特許出願第６１／５３３，１１４号のすべてが参照により本明細書に組み込まれる。

[000163]撮像システムまたは装置は、マルチスペクトル撮像（ＭＳＩ）システムまたは蛍光顕微鏡システムであってもよい。ここで用いられる撮像システムは、ＭＳＩである。ＭＳＩは一般的に、ピクセルレベルで画像のスペクトル分布にアクセス可能とすることにより、コンピュータ化顕微鏡ベースの撮像システムを病理標本の分析に備える。多様なマルチスペクトル撮像システムが存在するが、これらのシステムすべてに共通する動作的態様は、マルチスペクトル画像を構成する能力である。マルチスペクトル画像とは、電磁スペクトル全体の特定の波長または特定のスペクトル帯域幅において画像データを取り込んだものである。これらの波長は、光学フィルタまたは赤外線（ＩＲ）等の可視光範囲を超える波長における電磁放射光線を含む所定のスペクトル成分を選択可能な他の器具の使用により選別されるようになっていてもよい。

[000164]ＭＳＩシステムとしては、光学撮像システムが挙げられ、その一部が、所定数Ｎの離散光帯域を規定するように調節可能なスペクトル選択システムを含む。この光学システムは、光検出器上に広帯域光源で透過照射される組織サンプルを撮像するように構成されていてもよい。光学撮像システムは、一実施形態において、たとえば顕微鏡等の拡大システムを含んでいてもよく、当該光学システムの１つの光出力と空間的に大略位置合わせされた１本の光軸を有する。このシステムは、異なる離散スペクトル帯において画像が取得されるように（たとえば、コンピュータプロセッサによって）スペクトル選択システムが調整または調節されるように、組織の一連の画像を構成する。また、この装置は、ディスプレイも含んでいてもよく、このディスプレイにおいて、取得された一連の画像から少なくとも１つの視覚的に知覚可能な組織の画像が現れる。スペクトル選択システムは、回折格子、薄膜干渉フィルタ等の一群の光学フィルタ、またはユーザ入力もしくは予めプログラムされたプロセッサのコマンドのいずれかに応答して、光源からサンプルを通じて検出器へと透過した光のスペクトルから特定の通過帯域を選択するように構成されたその他任意のシステム等、光分散要素を含んでいてもよい。

[000165]代替実施態様において、スペクトル選択システムは、Ｎ個の離散スペクトル帯に対応する複数の光出力を規定する。この種のシステムは、光学システムからの透過光出力を取り込み、識別されたスペクトル帯において、この識別されたスペクトル帯に対応する光路に沿ってサンプルを検出システム上で撮像するように、Ｎ本の空間的に異なる光路に沿って、この光出力の少なくとも一部を空間的に方向転換させる。

[000166]本明細書に記載の主題および動作の実施形態は、デジタル電子回路またはコンピュータソフトウェア、ファームウェア、もしくはハードウェア（本明細書に開示の構造およびその構造的同等物を含む）、あるいはこれらのうちの１つまたは複数の組み合わせにて実装され得る。本明細書に記載の主題の実施形態は、１つまたは複数のコピュータプログラム、すなわち、データ処理装置による実行またはデータ処理装置の動作の制御ためにコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の１つまたは複数のモジュールとして実装され得る。本明細書に記載のモジュールはいずれも、プロセッサにより実行されるロジックを含んでいてもよい。本明細書において、「ロジック（ｌｏｇｉｃ）」は、プロセッサの動作に影響を及ぼすように適用され得る命令信号および／またはデータの形態を有する如何なる情報をも表す。ソフトウェアは、ロジックの一例である。

[000167]コンピュータ記憶媒体としては、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダムもしくは順次アクセス・メモリアレイもしくはデバイス、またはこれらのうちの１つまたは複数の組み合わせも可能であるし、これらに含まれることも可能である。さらに、コンピュータ記憶媒体は、伝搬信号ではないが、人工的に生成された伝搬信号として符号化されたコンピュータプログラム命令の供給源または宛先が可能である。また、コンピュータ記憶媒体としては、１つまたは複数の別個の物理的構成要素または媒体（たとえば、複数のＣＤ、ディスク、または他の記憶装置）も可能であるし、これらに含まれることも可能である。本明細書に記載の動作は、１つまたは複数のコンピュータ可読記憶装置に格納されたデータまたは他の供給源から受信されたデータに対してデータ処理装置により実行される動作として実装され得る。

[000168]用語「プログラムされたプロセッサ」は、データを処理するためのあらゆる種類の装置、デバイス、および機械を含み、一例として、プログラム可能なマイクロプロセッサ、コンピュータ、システム・オン・チップ、またはこれらのうちの複数、もしくは組み合わせが挙げられる。装置としては、専用論理回路（たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路））が挙げられる。また、装置としては、ハードウェアのほか、対象のコンピュータプログラムのための実行環境を生成するコード（たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォーム・ランタイム環境、仮想機械、またはこれらのうちの１つもしくは複数の組み合わせを構成するコード）が挙げられる。この装置および実行環境は、ウェブサービス、分散型コンピューティング、およびグリッドコンピューティング・インフラストラクチャ等、種々異なるコンピューティングモデル・インフラストラクチャを実現することができる。

[000169]コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）は、コンパイラ型またはインタープリタ型言語、宣言型または手続き型言語等、如何なる形態のプログラミング言語でも記述可能であり、また、単体プログラムまたはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に適した他のユニット等、如何なる形態でも展開可能である。コンピュータプログラムは、ファイルシステムのファイルに対応していてもよいが、必ずしもその必要はない。プログラムは、他のプログラムもしくはデータ（たとえば、マークアップ言語文書に格納された１つまたは複数のスクリプト）を保持するファイルの一部、対象のプログラムに専用の１つのファイル、または複数の調整されたファイル（たとえば、１つもしくは複数のモジュール、サブプログラム、もしくはコードの一部を格納したファイル）に格納され得る。コンピュータプログラムは、１つのコンピュータ上または１つのサイトに位置付けられた複数のコンピュータもしくは複数のサイトに分散され、通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように展開され得る。

[000170]本明細書に記載のプロセスおよびロジックフローは、１つまたは複数のコンピュータプログラムを実行し、入力データに対する動作および出力の生成によって動作を実行する１つまたは複数のプログラム可能なプロセッサにより実行され得る。これらのプロセスおよびロジックフローは、専用論理回路（たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路））により実行され得る。また、装置は、専用論理回路（たとえば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路））として実装され得る。

[000171]コンピュータプログラムの実行に適したプロセッサとしては、一例として、汎用および専用マイクロプロセッサの両者、ならびに任意の種類のデジタルコンピュータの任意の１つまたは複数のプロセッサが挙げられる。一般的に、プロセッサは、リードオンリーメモリ、ランダムアクセスメモリ、またはその両者から命令およびデータを受信することになる。コンピュータの必須要素は、命令に従って動作を実行するプロセッサならびに命令およびデータを格納する１つもしくは複数のメモリデバイスである。また、一般的に、コンピュータは、データを格納する１つまたは複数の大容量記憶装置（たとえば、磁気、光磁気ディスク、または光ディスク）を含むか、あるいは、１つまたは複数の大容量記憶装置に対するデータの受信、送信、または両者を行うように動作結合されることになる。ただし、コンピュータは、そのようなデバイスを必ずしも有する必要がない。さらに、コンピュータは、別のデバイス（たとえば、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオもしくはビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、または携帯型記憶装置（たとえば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブ）、あるいはその他多くのデバイス）に埋め込まれ得る。コンピュータプログラム命令およびデータを記憶するのに適したデバイスとしては、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスが挙げられ、一例として、半導体メモリデバイス（たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス）、磁気ディスク（たとえば、内部ハードディスクもしくはリムーバブルディスク）、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクを含む。プロセッサおよびメモリは、専用論理回路による補完または専用論理回路への組み込みがなされ得る。

[000172]ユーザとの相互作用を可能にするため、本明細書に記載の主題の実施形態は、ユーザに情報を表示する表示装置（たとえば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）ディスプレイ、もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ）ならびにユーザがコンピュータに入力を与え得るキーボードおよびポインティングデバイス（たとえば、マウスもしくはトラックボール）を有するコンピュータ上に実装され得る。いくつかの実施態様においては、情報の表示およびユーザからの入力の受け付けにタッチスクリーンが使用され得る。また、ユーザとの相互作用を可能にするため、他の種類のデバイスも同様に使用され得る。たとえば、ユーザに提供されるフィードバックとしては、任意の形態の感覚フィードバック（たとえば、視覚的フィードバック、聴覚的フィードバック、または触覚的フィードバック）が可能であり、ユーザからの入力は、音響入力、音声入力、または触覚入力等、任意の形態で受け取られ得る。また、コンピュータは、ユーザが使用するデバイスに対する文書の送信および受信（たとえば、ウェブブラウザから受けた要求に応じてユーザのクライアントデバイス上のウェブブラウザにウェブページを送ること）によって、ユーザと相互作用可能である。

[000173]本明細書に記載の主題の実施形態は、バックエンドコンポーネント（たとえば、データサーバ）、ミドルウェアコンポーネント（たとえば、アプリケーションサーバ）、またはフロントエンドコンポーネント（たとえば、本明細書に記載の主題の一実施態様とユーザが相互作用し得るグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ）を含むコンピュータシステム、あるいは１つまたは複数のこのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせにて実現され得る。システムの構成要素は、如何なる形態または媒体のデジタルデータ通信（たとえば、通信ネットワーク）によっても相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）およびワイドエリアネットワーク（「ＷＡＮ」）、相互接続ネットワーク（たとえば、インターネット）、ならびにピア・ツー・ピアネットワーク（たとえば、アドホック・ピア・ツー・ピアネットワーク）が挙げられる。たとえば、図１のネットワーク２０は、１つまたは複数のローカルエリアネットワークを含み得る。

[000174]コンピュータシステムは、如何なる数のクライアントおよびサーバをも含み得る。クライアントおよびサーバは一般的に、互いに遠隔であって、通常は、通信ネットワークを通じて相互作用する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態においては、サーバが（たとえば、クライアントデバイスと相互作用するユーザへのデータの表示およびユーザからのユーザ入力の受け付けを目的として）クライアントデバイスにデータ（たとえば、ＨＴＭＬページ）を送信する。クライアントデバイスで生成されたデータ（たとえば、ユーザ相互作用の結果）は、サーバにおいてクライアントデバイスから受信され得る。

[000175]付加的な分離方法／任意選択的な分離モジュール
[000176]分離は、混合ピクセルの測定スペクトルが一群の構成スペクトルすなわち端成分および一組の対応する断片すなわち個体に分解されて、当該ピクセルに存在する各端成分の割合を示す手順である。具体的に、分離プロセスでは、標準型の組織およびステインの組み合わせに関して周知の基準スペクトルを用いて、ステイン固有のチャネルを抽出することにより、個々のステインの局所濃度を決定することができる。分離では、制御画像から読み出された基準スペクトルまたは観察中の画像から推定された基準スペクトルを使用するようにしてもよい。各入力ピクセルのコンポーネント信号を分離することによって、Ｈ＆Ｅ画像におけるヘマトキシリンチャネルおよびエオシンチャネルまたはＩＨＣ画像におけるジアミノベンジジン（ＤＡＢ）チャネルおよびカウンタステイン（たとえば、ヘマトキシリン）チャネル等、ステイン固有のチャネルを読み出しおよび分析可能となる。用語「分離（ｕｎｍｉｘｉｎｇ）」および「カラーデコンボリューション（ｃｏｌｏｒ ｄｅｃｏｎｖｏｌｕｔｉｏｎ）」（または、「デコンボリューション（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）」）等（たとえば、「ｄｅｃｏｎｖｏｌｖｉｎｇ」、「ｕｎｍｉｘｅｄ」）は、当技術分野において区別なく使用される。いくつかの実施形態において、多重画像は、線形分離を用いる分離モジュールによって分離される。線形分離については、たとえばＺｉｍｍｅｒｍａｎｎ「Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｌｉｎｅａｒ Ｕｎｍｉｘｉｎｇ ｉｎ Ｌｉｇｈｔ Ｍｉｃｒｏｓｃｏｐｙ（光学顕微鏡法におけるスペクトル撮像および線形分離）」，Ａｄｖ Ｂｉｏｃｈｅｍ Ｅｎｇｉｎ／Ｂｉｏｔｅｃｈｎｏｌ（２００５）９５：２４５－２６５およびＣ．Ｌ．Ｌａｗｓｏｎ ａｎｄ Ｒ．Ｊ．Ｈａｎｓｏｎ「Ｓｏｌｖｉｎｇ ｌｅａｓｔ ｓｑｕａｒｅｓ Ｐｒｏｂｌｅｍｓ（最小２乗問題の解法）」，ＰｒｅｎｔｉｃｅＨａｌｌ，１９７４，Ｃｈａｐｔｅｒ ２３，ｐ．１６１に記載されており、そのすべての開示内容が参照により本明細書に組み込まれる。線形ステイン分離においては、任意のピクセルにおける測定スペクトル（Ｓ（λ））がステインスペクトル成分の線形混合と考えられ、当該ピクセルにおいて表される個々のステインの色基準（Ｒ（λ））の割合または重み（Ａ）の合計に等しい。

[000177]Ｓ（λ）＝Ａ_１・Ｒ_１（λ）＋Ａ_２・Ｒ_２（λ）＋Ａ_３・Ｒ_３（λ）・・・Ａ_ｉ・Ｒ_ｉ（λ）
[000178]より一般的には、以下のような行列の形態で表し得る。

[000179]Ｓ（λ）＝ΣＡ_ｉ・Ｒ_ｉ（λ）またはＳ＝Ｒ・Ａ
[000180]取得されたＭ個のチャネル画像およびＮ個の個別ステインが存在する場合は、本明細書において導出される通り、Ｍ×Ｎ行列Ｒの列が最適色系であり、Ｎ×１ベクトルＡが個別ステインの割合の未知数であり、Ｍ×１ベクトルＳがピクセルにおいて測定されたマルチチャネルスペクトルベクトルである。これらの式において、各ピクセルの信号（Ｓ）は、多重画像および基準スペクトルすなわち最適色系の取得中に測定され、本明細書に記載の通りに導出される。さまざまなステインの寄与（Ａ_ｉ）は、測定スペクトルにおける各点への寄与を計算することによって決定可能である。いくつかの実施形態においては、以下一組の式を解くことにより測定スペクトルと計算スペクトルとの２乗差を最小化する逆最小２乗フィッティング手法を用いて解が得られる。

[000181]［∂Σ_ｊ｛Ｓ（λ_ｊ）－Σ_ｉＡ_ｉ・Ｒ_ｉ（λ_ｊ）｝２］／∂Ａ_ｉ＝０
[000182]この式において、ｊは検出チャネルの数を表し、ｉはステインの数に等しい。線形方程式の解では、条件付き分離によって、重み（Ａ）の合計が１になることが多い。

[000183]他の実施形態においては、２０１４年５月２８日に出願された「Ｉｍａｇｅ Ａｄａｐｔｉｖｅ Ｐｈｙｓｉｏｌｏｇｉｃａｌｌｙ Ｐｌａｕｓｉｂｌｅ Ｃｏｌｏｒ Ｓｅｐａｒａｔｉｏｎ（画像適応的な生理学的に妥当な色分離）」という名称のＷＯ２０１４／１９５１９３に記載された方法を用いて分離が実現されるが、そのすべての開示内容が参照により本明細書に組み込まれる。一般的に、ＷＯ２０１４／１９５１９３は、反復的に最適化された基準ベクトルを用いて入力画像のコンポーネント信号を分離することによる分離方法を記載する。いくつかの実施形態においては、アッセイの特質に固有の予想結果または理想的結果に対して、アッセイからの画像データの相関によって、品質測定基準が決定される。低品質画像または理想的結果に対する相関が不十分な場合は、行列Ｒの１つまたは複数の基準列ベクトルが調整され、生理学的および解剖学的要件に整合する良質の画像を相関が示すまで、調整された基準ベクトルを用いて分離が反復的に繰り返される。測定画像データに適用されて品質測定基準を決定するルールを規定するのに、解剖学的情報、生理学的情報、およびアッセイ情報が用いられるようになっていてもよい。この情報には、組織の染色方法、染色を意図した組織内構造もしくは染色を意図しなかった組織内構造、ならびに処理対象のアッセイに固有の構造、ステイン、およびマーカ間の関係を含む。反復的プロセスによって、関心構造および生物学的に関連する情報を正確に識別し、ノイズも不要なスペクトルも一切ないため分析に適した画像を生成し得るステイン固有のベクトルが得られる。基準ベクトルは、探索空間内で調整される。探索空間は、基準ベクトルがステインを表すのに取り得る値の範囲を規定する。探索空間は、既知または一般に発生する問題を含む多様な代表的トレーニングアッセイをスキャンし、当該トレーニングアッセイに対して、高品質な基準ベクトル集合を決定することにより決定されるようになっていてもよい。

[000184]他の実施形態においては、２０１５年２月２３日に出願された「Ｇｒｏｕｐ Ｓｐａｒｓｉｔｙ Ｍｏｄｅｌ ｆｏｒ Ｉｍａｇｅ Ｕｎｍｉｘｉｎｇ（画像分離のためのグループスパーシティモデル）」という名称のＷＯ２０１５／１２４７７２に記載された方法を用いて分離が実現されるが、そのすべての開示内容が参照により本明細書に組み込まれる。一般的に、ＷＯ２０１５／１２４７７２は、グループスパーシティフレームワークを用いた分離を記載しており、複数のコロケーションマーカからのステイン寄与の割合が「同一グループ」内でモデル化され、複数の非コロケーションマーカからのステイン寄与の割合が異なるグループにおいてモデル化されて、複数のコロケーションマーカの共局在化情報をモデル化グループスパーシティフレームワークに与えるとともに、グループラッソを用いてモデル化フレームワークを解くことにより、各グループ内の最小２乗解を生み出す。この最小２乗解は、コロケーションマーカの分離に対応し、グループの中で、非コロケーションマーカの分離に対応するスパース解を生み出す。さらに、ＷＯ２０１５／１２４７７２は、生物学的組織サンプルから得られた画像データを入力し、複数のステインそれぞれのステイン色を記述した基準データを電子メモリから読み出し、生物学的組織サンプルにおいて局在化可能なステインをそれぞれ含み、グループラッソ基準のためのグループをそれぞれ構成し、少なくとも１つが２以上のサイズを有するステイン群を記述したコロケーションデータを電子メモリから読み出し、基準データを基準行列として用いることにより、分離画像を得るためのグループラッソ基準の解を計算することによる分離方法を記載する。いくつかの実施形態において、画像を分離する方法は、局在化マーカからのステイン寄与の割合が単一のグループ内で割り当てられ、非局在化マーカからのステイン寄与の割合が別個のグループ内で割り当てられるグループスパーシティモデルを生成するステップと、分離アルゴリズムを用いてグループスパーシティモデルを解くことにより、各グループ内で最小２乗解を生み出すステップとを含んでいてもよい。

[000185]実施例－高解像度分析法と中解像度分析法とのＦＡＰ陽性面積の比較
[000186]以下を用いた実験によって、ＦＡＰ陽性面積の結果の精度を比較した。
[000187]１）ＦＡＰ陽性高解像度分析。この測定のため、０．４６５マイクロメートルのピクセルサイズの空間解像度にて、高倍率（２０Ｘ）で閾値化後のすべてのＦＡＰ陽性ピクセルが蓄積された。その後、関心領域のピクセルごとのＦＡＰ陽性面積として、予備アノテーション領域から選択された報告面積が求められた。

[000188]２）予備アノテーション領域において、ＦＡＰスーパーピクセルオブジェクト、種子、またはポリゴン外形のＦＡＰ陽性面積を合計することにより、本明細書に記載の中解像度分析手法を用いて測定されるＦＡＰ陽性面積が計算された。

[000189]両方法に従って、異なる形状（大小、円形、または変わった形状等）をそれぞれ有する６つの異なるアノテーションエリア（図１４参照）が分析された。図１５および以下の表に示される通り、これら２つの方法を用いて測定されたＦＡＰ陽性面積の比較結果に大きな差はなかった（Ｒ^２＝０．９９、ｐ＜０．００１）。

[000190]結論として、特定のアノテーションにおいてスーパーピクセル内で演算された面積特徴を合計した場合、その面積の合計値は、当該アノテーション内で高解像度分析手法により直接計算した面積に等しい。ＦＡＰ陽性面積の結果は、アノテーション領域が異なる形状での２つの方法（スーパーピクセルの有無）による演算には大きな差がないことを示している。

[000191]本明細書における言及および／または出願データシートにおける掲載の対象となる米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許刊行物はすべて、その全内容が参照により本明細書に組み込まれる。種々特許、出願、および公開の概念を採用する必要に応じて、さらに別の実施形態を提供するように、実施形態の態様が改良され得る。

[000192]以上、多くの例示的実施形態を参照して本開示を説明したが、本開示の原理の主旨および範囲に含まれるその他多くの改良形態および実施形態が当業者により考案され得ることが了解されるものとする。より詳細には、本開示の主旨から逸脱することなく、上記開示内容、図面、および添付の特許請求の範囲内において、主題の組み合せ構成の構成要素部品および／または配置における合理的な変形および改良が可能である。構成要素部品および／または配置における変形および改良のほか、当業者には、代替的な使用も明らかとなるであろう。

Claims (32)

1. 少なくとも１つのステインを有する生物標本の画像から導出された画像分析データを格納する方法であって、
   （ａ）前記画像から、１つまたは複数の特徴測定基準(feature metrics)を導出するステップと、
   （ｂ）前記画像を複数の副領域(sub-regions)にセグメント化するステップであり、各副領域が、染色有無、染色強度、または局所質感(local texture)のうちの少なくとも１つにおいて実質的に均一なピクセルを含み、副領域のセットの各副領域が、閾値を超えるステインの量を識別する、ステップと、
   （ｃ）前記複数の副領域の副領域のセットに対応する複数の表現オブジェクトを生成するステップであって、
   前記複数の表現オブジェクトの各々の表現オブジェクトが、(i)特定の細胞の種類を識別し、(ii)前記副領域のセットの対応する副領域からトレースされた境界から生成されたポリゴンの外形によって定義される、
   ステップと、
   （ｄ）前記複数の副領域を除外する前記画像の他の領域を除去するステップと、
   （ｅ）前記複数の表現オブジェクトそれぞれを、導出された、１つ又は複数の前記特徴測定基準と関連付けるステップと、
   （ｆ）前記関連付け導出特徴測定基準と併せて(along with)、前記複数の表現オブジェクトの各表現オブジェクトの座標をデータベースに格納するステップと、
   を含む、方法。
2. 前記画像を前記複数の副領域にセグメント化するステップが、スーパーピクセルを導出することを含む、請求項１に記載の方法。
3. 前記スーパーピクセルが、（ｉ）ピクセルを局所ｋ平均クラスタリングでグループ化し、（ｉｉ）連結成分(connected components)アルゴリズムを用いて小さな分離領域(isolated regions)を大きな最近(nearest)接スーパーピクセルへと統合することにより導出される、請求項２に記載の方法。
4. 前記画像を前記複数の副領域にセグメント化するステップが、サンプリンググリッドを前記画像に重ね合わせることであり、前記サンプリンググリッドが、所定のサイズおよび形状を有する非重畳エリアを規定する、ことを含む、請求項１～３のいずれか一項に記載の方法。
5. 前記副領域が、Ｍ×Ｎのサイズを有し、Ｍが、５０ピクセル～１００ピクセルの範囲であり、Ｎが５０ピクセル～およそ１００ピクセルの範囲である、請求項１～４のいずれか一項に記載の方法。
6. 前記特定の細胞の種類が、線維芽細胞またはマクロファージを含む、請求項１～５のいずれか一項に記載の方法。
7. 前記複数の表現オブジェクトの各々の表現オブジェクトが、更に、対応する種子点(seed points)によって識別される、請求項１～６のいずれか一項に記載の方法。
8. 前記表現オブジェクトの前記対応する種子点が、前記副領域のセットの対応する副領域として、重心を演算することにより導出される、請求項７に記載の方法。
9. 前記導出された１つ又は複数の特徴測定基準が、染色強度を含み、各生成表現オブジェクト外形内のすべてのピクセルの平均染色強度が演算される、請求項６に記載の方法。
10. 前記導出された１つ又は複数の特徴測定基準が、発現(expression)スコアを含み、各生成副領域内のエリアに対応する平均発現スコアが前記複数の生成表現オブジェクト(generated plurality of representational object)と関連付けられた、請求項１～７のいずれか一項に記載の方法。
11. 前記データベースから、前記格納座標および関連付け特徴測定基準データを読み出すステップと、前記関連付けられた特徴測定基準のデータを前記画像に投影するステップとをさらに含む、請求項１～７のいずれか一項に記載の方法。
12. 少なくとも１つのステインを含む生物学的サンプルの画像から、不規則形状の細胞に対応するデータを導出するシステムであって、（ｉ）１つまたは複数のプロセッサと、（ｉｉ）前記１つまたは複数のプロセッサに結合されたメモリであり、前記１つまたは複数のプロセッサにより実行された場合に、
    （ａ）前記画像から、１つまたは複数の特徴測定基準を導出することと、
    （ｂ）前記画像内の複数の副領域を生成することであり、各副領域が、色、輝度、および／または質感から選択される類似特性を備えたピクセルを有し、副領域のセットの各副領域が、閾値を超えるステインの量を識別することと、
    （ｃ）前記複数の副領域の副領域のセットに対応する一連の表現オブジェクトを演算することであって、
    前記一連の表現オブジェクトの各々の表現オブジェクトが、(i)特定の細胞の種類を識別し、(ii) 前記副領域のセットの対応する副領域からトレースされた境界から生成されたポリゴンの外形によって定義される、ことと、
    （ｄ）前記複数の副領域を除外する前記画像の他の領域を除去することと、
    （ｅ）前記一連の表現オブジェクトの各々に対して、前記画像から導出された前記１つ又は複数の特徴測定基準を、前記オブジェクトの位置を識別する計算座標と関連付けることと、
    を含む動作を当該システムに実行させるコンピュータ実行可能命令を格納した、メモリと、を備えた、システム。
13. 前記複数の副領域を生成することが、スーパーピクセルを導出することを含む、請求項１２に記載のシステム。
14. 前記スーパーピクセルが、グラフベースの手法または勾配上昇ベースの手法の一方を用いて導出される、請求項１３に記載のシステム。
15. 前記スーパーピクセルが、（ｉ）ピクセルを局所ｋ平均クラスタリングでグループ化し、（ｉｉ）連結成分アルゴリズムを用いて小さな分離領域を大きな最近接スーパーピクセルへと統合することにより導出される、請求項１３～１４のいずれか一項に記載のシステム。
16. 前記特定の細胞の種類が、線維芽細胞またはマクロファージを含む、を含む、請求項１２～１５のいずれか一項に記載のシステム。
17. 前記一連の表現オブジェクトの各々の表現オブジェクトが、更に、対応する種子点によって識別される、請求項１２～１６のいずれか一項に記載のシステム。
18. 前記動作が、前記１つまたは複数の導出特徴測定基準および関連付け計算表現オブジェクトの座標をデータベースに格納することをさらに含む、請求項１２～１７のいずれか一項に記載のシステム。
19. 前記導出された１つまたは複数の特徴測定基準が、百分率正値性(percent positivity)、Ｈスコア、および染色強度から選択される少なくとも１つの発現スコアを含む、請求項１２～１８のいずれか一項に記載のシステム。
20. 前記画像内の関心領域に関して、不規則形状の細胞に対応するデータが導出される、請求項１２～１９のいずれか一項に記載のシステム。
21. 前記関心領域が、医療専門家によりアノテーションされた前記画像のエリアである、請求項２０に記載のシステム。
22. 不規則形状を有する生体と関連付けられたデータを分析する命令を格納した非一時的コンピュータ可読媒体であって、前記命令が、
    （ａ）生物学的サンプルの画像から１つまたは複数の特徴測定基準を導出する命令であり、前記生物学的サンプルが、少なくとも１つのステイン(stain)を含む、命令と、
    （ｂ）類似特性を有するピクセルのグループ化によって前記画像を一連の副領域に分割する命令であり、前記類似特性が、色、輝度、および／または質感から選択され、前記一連の副領域の各副領域が、閾値を超えるステインの量を識別する、命令と、
    （ｃ）前記一連の副領域の副領域のセットに対応する複数の表現オブジェクトを演算する命令と、
    前記一連の表現オブジェクトの各々の表現オブジェクトが、(i)特定の細胞の種類を識別し、(ii) 前記副領域のセットの対応する副領域からトレースされた境界から生成されたポリゴンの外形によって定義され、
    （ｄ）前記複数の副領域を除外する前記画像の他の領域を除去するための命令と、
    （ｅ）前記複数の表現オブジェクトの各々に対して、前記画像から導出された前記１つまたは複数の特徴測定基準を、前記表現オブジェクトの位置を識別する計算座標と関連付ける命令と、
    を含む、非一時的コンピュータ可読媒体。
23. 前記画像を前記一連の副領域に分割することが、スーパーピクセルを演算することを含む、請求項２２に記載の非一時的コンピュータ可読媒体。
24. 前記スーパーピクセルが、正規化カットアルゴリズム(cuts algorithm)、凝集型(agglomerative)クラスタリングアルゴリズム、クイックシフトアルゴリズム、ターボピクセル
    アルゴリズム、または単純線形反復クラスタリングアルゴリズムのうちの１つを用いて演算される、請求項２３に記載の非一時的コンピュータ可読媒体。
25. 前記スーパーピクセルが、単純反復クラスタリングを用いて生成され、スーパーピクセルサイズパラメータが、およそ４０ピクセル～およそ４００ピクセルに設定され、稠密度パラメータが、およそ１０～およそ１００に設定された、請求項２３～２４のいずれか一項に記載の非一時的コンピュータ可読媒体。
26. 前記スーパーピクセルが、（ｉ）ピクセルを局所ｋ平均クラスタリングでグループ化し、（ｉｉ）連結成分アルゴリズムを用いて小さな分離領域を大きな最近接スーパーピクセルへと統合することにより演算される、請求項２３～２５のいずれか一項に記載の非一時的コンピュータ可読媒体。
27. 前記生物学的サンプルが、少なくとも線維芽細胞活性化タンパク質（ＦＡＰ）により染色され、前記１つまたは複数の導出特徴測定基準が、ＦＡＰ染色強度またはＦＡＰ百分率正値性の少なくとも一方を含む、請求項２２～２６のいずれか一項に記載の非一時的コンピュータ可読媒体。
28. 副領域内のすべてのピクセルに関して、平均ＦＡＰ百分率正値性が計算される、請求項２７に記載の非一時的コンピュータ可読媒体。
29. 副領域内のすべてのピクセルに関して、平均ＦＡＰ染色強度が計算される、請求項２７に記載の非一時的コンピュータ可読媒体。
30. 前記複数の表現オブジェクトの各々の表現オブジェクトが、更に、対応する種子点によって識別される、請求項２２～２６のいずれか一項に記載の非一時的コンピュータ可読媒体。
31. 前記１つまたは複数の導出特徴測定基準および関連付け計算表現オブジェクトの座標をデータベースに格納する命令をさらに含む、請求項２２～２６のいずれか一項に記載の非一時的コンピュータ可読媒体。
32. 格納情報を前記生物学的サンプルの前記画像に投影する命令をさらに含む、請求項３１に記載の非一時的コンピュータ可読媒体。

Images