JP2006526783A - 色分解および組織試料内の対象となる領域の検出 - Google Patents

Abstract

方法およびシステムならびに機械読取り可能な媒体において、画像の色が行列Ｘ＝ＡＳを用いて分解される。Ａはスペクトル定義のｎ_ｓ×ｎ_ｄ行列であり、ｓはスペクトル成分の数かつｄは画像が分解される色素の数であり、Ｓは画素毎の各色素の量のｎ_ｓ×ｌ行列であり、ｌは画素数である。行列Ｘは加法的な色モデルの特性に一致する制約を有する教師なし行列分解方法によって解くために制約され、ｎ_ｄが決定される。対象とする領域を識別するようにテクスチャが決定される。さらなる処理によって対象とする決定された領域の細胞の色素濃度を自動的に測定することができる。

Description

（関連出願の相互参照）
本出願は本願明細書に開示を援用した２００３年５月３０日に出願された米国特許仮出願第６０／４７５０７１号の優先権を主張するものである。

（発明の分野）
本発明の主題は画像中の色のデコンボリューションおよび不均一な試料中の対象となる領域の分析の自動化を実行する工程、システム、および装置に関する。

（発明の背景）
組織分析の一形態は色素で組織を染色し、染色した組織を顕微鏡スライドガラスの上に設置する工程を含む。多くの種々の理由により、この組織は２つ以上の色素で染色され得る。例えば、２種類の色素を用いて異なる２つのタンパク質を識別することができる。別の用途では、１つの色素は細胞質などの特定の細胞成分と特異的に結合し、他方の色素は核を染色し得る。次に、顕微鏡スライドガラスに照明を当て、電子画像が生成される。染色した組織のデジタルビデオ画像が生成され得る。この画像中の画素は色成分を有している。各々が画像中の異なる色のレベルを表す個々の信号を導出するためには、ビデオ信号を分解しなければならない。種々の統計学的方法を用いて色成分を処理して画像中の色の指標を得ることができる。次に、この指標をさらに処理して対象とする情報を提供することができる。この情報の手作業による処理は、病理学者にスライドを検査および評価させることによって行われてきた。他のものではなく特定の形式のスライド評価のために、自動化された分析も提供されてきた。

米国特許第６６３１２０３号は、染色した組織の画像を画像処理装置に提供する電荷結合素子（ＣＣＤ）カメラを示している。

米国特許第５９９５６４５号は、第１の色素は正常細胞によく付着するが第２の色素は癌細胞によく付着するように選択された少なくとも第１および第２の色素で分析される試料を染色する工程と、画像分光器に光学的に接続された光学素子を介して試料を分光的に画像化し、これにより試料の各画素のスペクトルを取得する工程と、スペクトルに基づき、画像中の画素の各々について第１および第２の色素の濃度を評価する工程と、濃度に基づき、試料中の癌細胞の存在を検出する工程とを含んだ癌細胞検出方法を開示している。

米国特許第６６６５４３８号は、ハイパースペクトル画像キューブが完成されるまで、遺伝的アルゴリズムおよび強力なカルマンフィルタリング法を用いて画素毎にハイパースペクトル画像データを分解する方法を開示している。

米国特許第６７２８３９６号は一般に、統計的信号処理およびその画像化への応用に関し、さらに特には、混ざり合った観察結果から独立成分を画像化するための方法および／または関連する装置に関する。独立成分分析（ＩＣＡ）の統計的および／またはニューラルコンピューティング技術は、混ざり合った画像信号から隠れたソースを分離するために使用される。

米国特許第６６９７５０９号は、撮像装置を開示している。試料、例えば、ジアミノベンジジンテトラヒドロクロライド（ＤＡＢ）で染色した細胞を含んだ組織試料の画像を生成するのに用いられる。ユーザは、画像中の記録すべき領域を選択する。選択された色の強度平均値が選択された領域の画素から決定される。選択された色は記録される色の補色であり得、ＤＡＢテストの場合は青色である。格納された較正曲線を用いて強度平均値に応答してスコアが生成される。

米国特許第６６７５１０６号は、多変量分光分析を実行することによって試料から収集された、測定されたスペクトルデータから試料の特性を決定する方法を開示している。この方法は測定されたスペクトルデータを含む二次元行列Ａを生成する工程と、行列Ａに対して重み付け操作を実行することによって重み付けされたスペクトルデータ行列Ｄを提供する工程と、Ｄ＝ＣＳ^Ｔの制約された交互最小二乗分析を実行することによって、２つの行列ＣとＳ^Ｔとの積にＤを分解する工程と（Ｃは濃度行列、Ｓはスペクトル形状行列である）、先に使用した重み付けの逆数を加えることによってＣおよびＳを逆に重み付けする工程と、ＣおよびＳを調べることによって試料の特性を決定する工程とを含み得る。

米国特許第６４２７１２６号は、ＤＮＡおよびまたは他の分子をシーケンスおよび／またはゲノタイピングする、非常に高いスループットの識別用のアドバンスドイメージングスペクトログラフシステムおよび方法を考察している。本システムは改善された電気泳動構造物を塩基配列決定用ゲル（または毛管配列）にわたって画像ラインに沿って発光スペクトル全体を記録する画像化分光光度計に統合することに基づく。本システムはスペクトル形状をマッチングさせて色素識別を改善することを含み、ほぼすべての発光スペクトルを有する色素の使用を可能にするとともに、４以上の色素の多重化を可能にする。

米国特許第６１５１４１４号は成分が負ではない行列に分解されるｎ×ｐの信号行列を利用したコードを開示している。

第１の非特異的色素および該第１の色素の色とは異なる色を有する第２の免疫組織化学的色素によって染色された組織を含んだスライドの画像の自動色分解に向けられた装置は、先行技術には全く開示されていない。免疫組織化学的色素は、例えば、癌細胞に特異性があり得る。先行技術はまた、対象となる領域、例えば、基質（例えば、脂肪組織または他の中間組織）と対抗する器官に関する免疫組織化学的色素のスペクトル中の画像を分析する方法を開示していない。さらに、先行技術は対象とする領域に対して第２の色素の色濃度を規格化して診断的重要性を有する色素指数を生成する方法を開示していない。

（発明の概要）
簡単に言うと、本発明の主題は、画素を含んだ画像にアクセスする工程と、行列Ｘ＝ＡＳを生成する工程と、付加的な色モデルの特性に一致する制約を有する教師なし（ｕｎｓｕｐｅｒｖｉｓｅｄ）行列分解方法によって、行列を制約して解く工程と、ｎ_ｄを決定する工程とを含むスペクトル分解のための方法および装置である。

別の実施形態では、本発明の主題は、プロセッサで実行されるときに、画素を含んだ画像にアクセスする工程と、付加的な色モデルの特性に一致する制約を有する教師なし行列分解方法によって、行列を制約して解く工程と、ｎ_ｄを決定する工程とから成る工程を実行するプログラムされた媒体に関する。

この方法、装置、およびプログラムされた媒体に従ってアクセスされる画像を含んだ各画素はスペクトルデータを含む。さらに、行列Ｘにおいては、Ａはｎ_ｓ×ｎ_ｄ行列のスペクトル定義であり、ｓはスペクトル成分、ｄは画像が分解される色素の数である。また、Ｓはｎ_ｓ×ｌ行列の画素毎の各色素の量であり、ｌは画素の数である。診断的重要性を有する細胞色素を自動的に測定するようにさらに処理が実行される、この方法、装置、およびプログラムされた媒体のさらなる形態をここで提供する。

本願明細書の要約部分に記載した本発明の主題の種々の実施形態の様々な態様に加えて、本発明の主題のさらなる態様、またはその好適な実施形態を以下の説明に記載する。この要約は本発明の主題の範囲を包括するものでもないし、それを決定することを意図するものでもない。

本発明の主題を達成する手段を、添付図面に関して記載した以下の説明において指摘する。

（詳細な説明）
図１は混ざり合った色を有するスライド１０の画像を生成し、かつ該画像を分析して色が混ざり合っていないデコンボリューションされた画像を提供するシステムを示すブロック図である。ある色を単にスライドのすべての組織の可視性を改善するために用いることができ、別の色は特定の疾患によって影響を受けた組織内のタンパク質に結合し得る。以下の図２を参照して、組織試料を保持するスライド１０をさらに記載する。図１のシステムは顕微鏡２０、カメラ２５、およびモニタ３２を有してよいコンピュータ３０を備える。

顕微鏡２０では、スライド１０はＸ−Ｙステージ４０によって支持される。Ｘ−Ｙステージ４０は操作者、例えば病理学者がスライド１０の選択された領域を観察することができるように２自由度に可動であるプラットフォームを備える。一般に、照明源４２はＸ−Ｙステージ４０の下に位置決めされる。照明源４２は広域スペクトルの成分波長を有するであろう白色光源である。スライド１０はタレット４５を備える焦点ステージ４４によって観察される。タレット４５は各々選択されたレベルの倍率を提供する複数の対物レンズ、例えば、４６および４７を備える。好適な一形態では、対物レンズ４６は倍率２０倍、開口数０．９５のＦｌｏｕｒ Ｎｉｋｏｎ対物レンズである。

好適な実施形態では、生の色データをカメラ２５に提供する非常に正確な手段であるので、ハイパースペクトルイメージングが用いられる。画像分光とも呼ばれるハイパースペクトルイメージングは、複数の所定のスペクトルチャネルをカバーするという点で従来のリモートセンシングとは異なる。この点では、特定の幅を有する多数の狭いスペクトルチャネルがハイパースペクトルイメージングシステムを用いて定められる。対照的に、従来の画像化は広範囲に定められたスペクトル領域を見る。好適な実施形態では、３つのチャネルが利用される。別の好適な実施形態では、９つのチャネルまたはさらに多くのチャネルが利用されてよい。チャネルはフィルタユニット５２を用いて確立される。好適な実施形態では、フィルタユニット５２は顕微鏡２０とカメラ２５との間に位置決めされる。別の場合には、フィルタユニット５２は例えば、照明源４２とスライド１０との間に位置決めされてよい。フィルタユニット５２は３層の積層を形成するように６０５ｎｍのハイパスフィルタ、５０５ｎｍのローパスフィルタ、および５０５〜５７０ｎｍのバンドパスフィルタを備える。各フィルタの「遮断」波長は５０％の出力レベルの低減を表す。

カメラ２５はコンピュータ３０に出力を提供する電荷結合素子（ＣＣＤ）カメラを含む。カメラ２５は画素のアレイを含んだ出力を提供する。ビデオサーバ５６はカメラ２５の出力を処理し、コンピュータ３０にデータを結合する。別の場合には、処理はコンピュータ３０で達成されてよい。コンピュータ３０は種々の構成要素が通信を行うデータバス６０を含む。コンピュータ３０はプログラムメモリ６２、データメモリ６４、および画像処理装置６８を含む。バス６０はモニタ３２に結合されたディスプレイデバイス７０とも通信を行う。種々の構成要素は物理的に別個の構成要素として具現化されなくてよい。種々の機能は市販のプロセッサチップの異なるサブユニットに組み合わされてよい。同じ機能を実行するコンピュータ内に構成要素を表す多数の異なる周知の様式が存在する。

図２はスライド１０上の組織試料７０の画像を示している。この組織は、基質７４および成分組織７６を含む。基質はスペクトル分布が重要な診断的意義にはならないであろう脂肪組織および結合組織を含む。ここでは、成分組織を用いてある器官または他の分化した構造体を説明する。好適な実施形態では、本発明の主題を用いて、少なくとも２つの色素で染色されかつ一方の色素が診断的意義のある色データを提供する組織が分析される。一般に、診断的意義のある色素は免疫組織化学的であろう。すなわち、その色素は特定の受容体に結合するであろう。他の形態の色素が利用されてよい。好適な実施形態では、使用される第１の色素はヘマトキシリンである。これは非特異的な青色染色を提供し、すべての組織をより可視的にする。第２の色素はある疾患によって影響を受けた組織と結合する特異的色素である。好適な実施形態では、第２の色素はジアミノベンジジン（ＤＡＢ）である。これは対象となる特定のタンパク質と結合する茶色の免疫組織化学的色素である。より具体的には、ＤＡＢは癌によって影響を受けた成分組織内のタンパク質と結合する。

スライド１０の画像が観察されるとき、青色および茶色は混ざり合う。しかし、茶色染色の程度のみが診断的意義を有する。したがって、画像内の個々の色素の成分画像を分解、すなわちデコンボリューションすることが重要である。したがって、以下にさらに記載する様式では、本発明の主題の好適な実施形態を用いて、ヘマトキシリン色素およびＤＡＢ色素の色にそれぞれ相当する図３および４の画像にスライド１０を分割する。別の形態では、図２の画像の青色染色、茶色染色、および未染色に相当する図５、６、および７の画像が生成される。デコンボリューションされた画像は操作者が評価することのできる茶色画像（図４および６）を提供する。

組織試料の茶色染色の程度を指示するようにスライド１０の分析の自動化を提供することも重要である。自動化は少なくとも２つのレベルで提供される。第１のレベルでは、各色素に相当する色で別個の画像を自動的に作ることが望ましい。この分離のため現行のアプローチは色デコンボリューションと呼ばれ、本願明細書に援用したＪ．Ｈ．Ｐｒｉｃｅ、Ｅ．Ａ．Ｈｕｎｔｅｒ、およびＤ．Ａ．Ｇｏｕｇｈの「Ｑｕａｎｔｉｆｉｃａｔｉｏｎ ｏｆ Ｈｉｓｔｏｃｈｅｍｉｃａｌ Ｓｔａｉｎｉｎｇ ｂｙ Ｃｏｌｏｒ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ」、Ａｎａｌｙｔ．Ｑｕａｎｔ．Ｃｙｔｏｌ．Ｈｉｓｔｏｌ．、２３：２９１〜２９９頁、２００１年に記載されている。この技術は操作者の手作業による画像との相互作用を必要とする。ユーザは画像を観察し、コンピュータのマウスを操作しなければならない。

第２のレベルでは、スライド１０を観察する病理学者による介入なしに疾患の存在を示す出力を生成することが望ましい。図４および６に見られるように、茶色の染色は基質７４に分散されるであろう。基質７４中の茶色の染色は診断的意義のある材料を有さない。意義のある色データの処理の自動化を提供することが望ましい。この目的のために、図８および９に示した画像分離を提供することが重要である。図８は基質７４を示し、図９は特定の組織７６を示している。図１０のフィルタは種々の方向および空間周波数に向けられた線形の空間フィルタの図示のバンクで画像をコンボルブするためのツールとして利用される。図１１は中心周辺のフィルタの拡大図を示している。

ここで一般に使用される各色素のスペクトルプロフィールは個々のスペクトル帯と合っていない。したがって、単純なフィルタリングでは各色素による染色を検出しないであろう。色素のスペクトルプロフィールは重なり合って、複数のスペクトル帯に広がり易い。使用されるスペクトルチャネルの数をｎ_ｓと呼び、使用される色素の数をｎ_ｄと呼ぶ。この例では、ｎ_ｓ＝３、ｎ_ｄ＝２である。色素の分解は（１）Ｘ＝ＡＳの形式の行列を用いて達成される。ここでＸはｎ_ｓ×ｌの列行列であり、ｌはカメラ２５によって提供される画素数であり、入力Ｘ_ｉｊはｊ番目のスペクトル帯への画像のｉ番目の画素の輝度である。Ａはｎ_ｓ×ｎ_ｄ行列のスペクトル定義である。Ｓはｎ_ｓ×ｌの画素毎の各色素の量であり、入力Ｓ_ｉｊはｊ番目の画素に対するｉ番目の色素の寄与率を示す。

本発明の主題の好適な実施形態によれば、教師なし色の混ざり合っていない行列分解法、すなわち行列分解法が選択される。ここではこの説明のために、教師なし分解法とは行列の分解の自動化を可能にする１つの方法である。教師なし解法は処理されるスペクトル成分と一致する制約を有する。この説明では、分解される色は色素によって生成される。したがって、制約は加法的な色と一致しなければならない。第１および第２の色素は互いに任意の特定のスペクトル関係を有するように制約されないので、教師なし方法は第１および第２の色素の色の特定の関係を取ることができないか、または必要とすることができない。

本発明の主題の好適な実施形態によれば、教師なし行列分解法は非負行列因子分解（ＮＭＦ）および独立成分分析（ＩＣＡ）を含むことがわかっている。このような方法の各々に必要な制約は遭遇するであろうスペクトルパラメータと一致する。ＮＭＦは各色素に対する非負の応答が存在することを必要とする。染色および画像化工程はこのような制約と一致する。

ＩＣＡ法は、生成された画像データは多数の確率的に独立した工程の重ね合わせの結果であるという制約に基づいている。組織学的染色の場合、これは各色素は他のすべての色素とは無関係に組織を染色するという仮定に相当する。この制約も一致する。

ある形式でＮＭＦ法を実行する際、Ｘは次式のようにＡおよびＳに因数分解される：

上式は制約されている。すなわち、スケール曖昧性を有する。上式の解が［Ａ，Ｓ］であると仮定すると、α≠０の場合の［αＡ，Ｓ／α］もこの問題の解である。曖昧性はユニットノルムを有するようにＡの各列を制約することによって回避される。これは各染色の比率のみが必要とされるので、行列の解に影響を及ぼさない。すなわち、成分の色素の強度は重要ではない。

以下の引用に記載されたノルムの選択は、デコンボリューションを実行するのに用いられる特定のアルゴリズムを決定する。誤差の基準としてＬ_２ノルムを用いた本願明細書にその全内容を援用したＤ．Ｄ．ＬｅｅとＨ．Ｓ．Ｓｅｕｎｇの「Ｌｅａｒｎｉｎｇ ｔｈｅ Ｐａｒｔｓ ｏｆ Ｏｂｊｅｃｔｓ Ｗｉｔｈ Ｎｏｎ−ｎｅｇａｔｉｖｅ Ｍａｔｒｉｘ Ｆａｃｔｏｒｉｚａｔｉｏｎ」、Ｎａｔｕｒｅ、４０１：７８８〜７９１頁、１９９９年に明確に記述された方法に従って行列の非負の因数分解を復元するあるアルゴリズムを実施した。この方法を用いて、図２の画像を青色色素および茶色色素のスペクトルの画像で表す図３および４の画像にそれぞれ分解した。

ＩＣＡはデータの生成の観点に基づいたものであり、データは多数の確率的に独立した工程をスーパーインポーズした結果であると仮定される。組織的染色の場合、これは各色素が他のあらゆる色素と独立して組織を染色すると仮定することに相当する。行列Ｓの行は個々の確立過程を表し、Ａの列はその相互作用を示す。好適な形態では、固有行列の結合近似の対角化（Ｊｏｉｎｔ Ａｐｐｒｏｘｉｍａｔｅ Ｄｉａｇｏｎａｌｉｚａｔｉｏｎ ｏｆ Ｅｉｇｅｎｍａｔｒｉｃｅｓ（ＪＡＤＥ））アルゴリズムを用いて、Ｘの独立成分を復元した。このアルゴリズムはデータのキュムラントテンソルの固有値分解を算出することによってＸのＩＣＡ分解を算出する。キュムラントテンソルの固有値は混合の独立成分に相当するベクトルである。ある適用例では、ｎ_ｓ＝３およびｎ_ｄ＝３を用いて行列を構成した。このようにして、青色画像、茶色画像、および未染色画像にそれぞれ相当する図５、６、および７のデコンボリューションされた画像を得た。

行列を分解する知られた一方法は主成分分析（ＰＣＡ）である。この方法は分解されていないパラメータは直交であると仮定する。１対の直交する色の例は赤色および青色である。本発明の実施形態を用いた適用例では、色素の色は一般に関連しない。したがって、ＰＣＡは本発明の実施形態に有用な教師なし行列分解法ではない。

病理学者は自動的に生成された図４または６の画像を検討することができる。さらなる形態では、免疫組織化学的色素のスペクトルの画像は自動的に分析される。対象となる領域が位置決めされる。次に、画像分析に基づいて、診断的意義を有する値が生成される。好適な形態では、基質７４内に保持される茶色色素の量は診断的意義を有さないであろうから、特定の組織７６の領域が基質から分離される。画素毎に検知された茶色色素の量が合計され、次に画像面積に関して規格化される。診断的意義の指示を提供するように、ある値が算出される。提供され得る１つの値は画像中の茶色の飽和の割合である。これはその色素に結合する疾患のある組織の量に相関するであろう。少なくとも閾値レベルの割合での画像評価がさらなる注目のために病理学者に参照されるプロトコルが設定され得る。

図１０のフィルタのセットは、６つの方向の偶数と奇数の相並びにラジアンでゼロからπまで均等に離間された４つのスケールのフィルタカーネルｆ_１を含む、フィルタバンクからなる。この図では、４０のフィルタカーネルが存在する。代替的な数のフィルタカーネルを有する代替的なフィルタバンクを使用してもよい。これはガウス導関数またはガボール関数のフィルタバンクを含む。図１０に示したこのアプローチで用いられる方向付けられたバンクは、ガウス導関数およびそのヒルベルト変換の回転されたコピーに基づく。より正確には、ｆ_１（ｘ，ｙ）＝Ｇ”σ_１（ｙ）Ｇ’σ_２（ｘ）およびｆ_２（ｘ，ｙ）はｙ軸に沿ったヒルベルト変換ｆ_１（ｘ，ｙ）に等しい。

上式中、σはスケール、ｌはフィルタのアスペクト比、Ｃは規格化定数である（第１の導関数の代わりにヒルベルト変換を用いることにより、ｆ_１およびｆ_２は正確な求積対となる）。フィルタバンクのこの放射対称の部分はガウスカーネルの差（ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ）から構成される。各フィルタはスケール不変性のために規格化されたゼロ平均およびＬ_１である。

画像中の要素の形状および大きさはこの観点で検出される。要素の大きさの変化がテクスチャを決定する。全要素の平均的大きさが、テクスチャ近隣面積とも呼ぶことができる画像パッチの大きさ、すなわち面積を定めるように選択される。テクスチャ近隣とはテクストンの集合である。テクストンとは、結合が統計的クラスタリング、例えば、Ｋ平均法によって決定されるいくつかの数のフィルタ応答の線形結合である。フィルタ応答は画素近隣をフィルタバンクでコンボリューションした結果である。画素近隣とは各画素の周囲のウィンドウである。このウィンドウは、例えば好適な実施形態では、５×５または９×９画素であってよい。隣接する画素近隣は重なり合う。対になったテクスチャの類似性がウィンドウになったテクスチャ要素のヒストグラムを比較することによって算出される。一般的な画素ｉに対するウィンドウＷ（ｉ）は画素ｉ上に中心がある半径α（ｉ）の軸に平行な正方形として定められる。

各ヒストグラムは、各テクスチャチャネル（各フィルタ応答）に対して１つであるｋ個のビンを有し。画素ｉに対するｋ番目のヒストグラムビンの値は、テクスチャ要素チャネルｋ内の画素がウィンドウＷ（ｉ）にいくつあるかを数えることによって見つけられる。このため、ヒストグラムは局所近隣においてテクスチャ要素周波数を表す。これは次のように表される。

画像中の各画素は所与の画像パッチ（テクスチャ近隣）内のフィルタ応答のヒストグラムを用いて記載することができる。画像の所与の領域内の画素のヒストグラムをその画像の画素の残りのヒストグラムと比較することによって、各画素上に中心がある画像近隣間の類似性を評価することができる。テクスチャの類似性の経験的比較のための種々の知られた方法がある。この観点での好適な実施形態は、χ^２検定を使用し次のように定められる。

上式中ｈ_ｉおよびｈ_ｊは２つのヒストグラムである。

ヒストグラムｈ_ｉおよびｈ_ｊが著しく異なっている場合、χ^２は非常に大きい。このため、類似するχ^２値を有する画像パッチは類似するテクスチャを有する。あるいは、異なる類似性尺度を用いることがきる。例えば、テクスチャヒストグラムは確率分布関数とみなすことができ、コルモゴロフ−スミノフ（Ｋｏｌｍｏｇｏｒｏｖ−Ｓｍｉｒｎｏｖ）距離を用いて比較されてよい。χ^２値が画像全体について算出され、かつ画像（基質、腺）内に種々のテクスチャが存在すると仮定すると、χ^２の値を閾値化して、画像内の異なるテクスチャに標識をつけることができる。Ｋ平均法などの統計的クラスタリング法を適用してはっきりと区別できるテクスチャの領域を見つけることができる。基質および腺組織に適用されるこのような方法の一例を図２、８、および９に示す。３チャネル画像（ＲＧＢ）から計算された平均グレースケール画像は、図１０に示すフィルタバンクをテストするために使用された。結果は期待できるものである。この用途のために特定的に設計されていない既存のフィルタが使用されると仮定すると、この方法はヒストグラム画像のセグメント化にかなり有望である。

例えば、χ^２値が図２の画像全体について算出され、かつその画像内に種々のテクスチャがあると仮定すると、比較を行ってχ^２を閾値レベルと比較して、画像内の異なるテクスチャを表す出力を提供することができる。別の場合には、Ｋ平均法などの統計的クラスタリング法を用いてはっきりと区別できるテクスチャの領域を見つけることができる。画像処理装置６８はこのようにして得られた比較値を利用して、関連するテクスチャを表すχ^２値または他の比較尺度に基づいて基質画像または特定の組織に画素を割り当てることによって、図８および９の画像を生成することができる。

例えば、茶色画像をあらわす図９の画像に関し、各画素レベルの茶色レベルの合計が生成され、規格化される。規格化は画像内の画素数に関するものであってよい。

本発明の主題の方法および装置のパフォーマンスを図１２に関して説明する。図１２は図１のコンピュータ３０に命令を提供してよい機械読取り可能な媒体も表している。機械読取り可能な媒体は、機械、例えばコンピュータによって読取り可能な形式で情報を提供、例えば、記憶かつ／または送信する任意の機構を含む。例えば、機械読取り可能な媒体には読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学式記憶媒体、フラッシュメモリデバイス、および、例えば、電気的、光学的、音響的、または他の形式の伝搬信号がある。

ここで図１２を参照すると、ブロック２００では、コンピュータ３０（図１）はビデオ画像にアクセスする。この画像はビデオサーバ５２によって提供されてよいか、またはカメラ２５がデータメモリ６４からアクセスされてよい。ブロック２０２では、画像処理装置６８は教師なし行列分解関数を利用して、利用された各色素について１つのｎ_ｄ画像を提供する。この画像はブロック２０４および２０６に示したように生成される。しかし、この図はこの順序が必要であることを示唆することを意味するものではない。この順序は逆になってよいか、またはプログラムは順序がないようにまたは順序がわからないように動作してよい。この自動化されたデコンボリューションはこの時点で完了する。

さらなる形態では、このオペレーションはブロック２１２に進み、対象となる領域、例えば、特定の組織７６の領域が決定される。ブロック２１４に示したように、上記の比較分析に基づいて、画素が基質７４または特定の組織７６を示す画像に割り当てられる。ブロック２１６では、対象とする領域の画像の色レベルの規格を実行して、対象とする領域の色の程度の割合または他の指標などの診断的意義のある値を生成する。ブロック２１８では、この値が閾値と比較される。ブロック２２０は値が閾値を満たす場合にフラッグ指標、レポート指標、または他の指標が提供される決定ブロックである。

本発明の主題の好適な実施形態は、ある条件に特異的なある色素およびスライド内の全組織の全体的可視性などの別の目的に使用される別の色素によって発生する混ざり合った染色の自動デコンボリューションを提供する。さらなる自動的な決定が対象とする領域内の色素のレベルを分析する際および診断的意義のある値を生成する際に提供される。

このように本発明の主題を記載してきたが、同主題は多数の様式で変形または変更されてよいことは明白であろう。そのような変形および変更は、本発明の主題の精神および範囲から離れたものであるとみなされるべきではなく、そのような変形および変更は添付の特許請求の範囲内に含まれることが意図される。

本発明の主題の実施形態を組み入れ、組織のスライドの画像を生成かつ分析するシステムを示すブロック図である。 各々色が異なった非特異的色素および免疫組織化学的色素で染色したスライドを示す図である。 本発明の主題の第１の実施形態で各々得られた非特異的色素および免疫組織化学的色素の「分解された」色成分を示す写真である。 本発明の主題の第１の実施形態で各々得られた非特異的色素および免疫組織化学的色素の「分解された」色成分を示す写真である。 第１および第２の色ならびに未染色の図２の分解された画像を示す写真である。 第１および第２の色ならびに未染色の図２の分解された画像を示す写真である。 第１および第２の色ならびに未染色の図２の分解された画像を示す写真である。 免疫組織化学的色素が結合した基質および特定の組織を示す画像に図４の画像を分離した写真である。 免疫組織化学的色素が結合した基質および特定の組織を示す画像に図４の画像を分離した写真である。 図４の画像から図８および９の分離を生成するのに有用な空間フィルタを示す写真である。 図４の画像から図８および９の分離を生成するのに有用な空間フィルタを示す写真である。 本発明の主題の実施形態による機械読取り可能な媒体の方法およびパフォーマンスを示すフローチャートである。

Claims (29)

1. スペクトル分解方法であって、
   各々がスペクトルデータを有する画素を含んだ画像にアクセスする工程と、
   行列Ｘ＝ＡＳを生成する工程であり、Ａはスペクトル定義のｎ_ｓ×ｎ_ｄ行列であり、ｓはスペクトル成分の数かつｄは前記画像が分解される色素の数であり、Ｓは画素毎の各色素の量のｎ_ｓ×ｌ行列であり、ｌは画素数であるような行列Ｘ＝ＡＳを生成する工程と、
   加法的な色モデルの特性に一致する制約を有する教師なし行列分解方法によって解くために前記行列Ｘを制約する工程と、
   ｎ_ｄを決定する工程とを含む方法。
2. 第１の色の対象とする領域を分解する工程をさらに含む請求項１に記載の方法。
3. 前記対象とする領域の画素の第２の色のレベルを決定する工程をさらに含む請求項２に記載の方法。
4. 前記対象とする領域の前記画素の前記第２の色のレベルの合計値を規格化し、それらを示す値を提供する工程をさらに含む請求項３に記載の方法。
5. 前記教師なし行列分解法は、両行列ＡおよびＳが非負になるように制限される非負の行列の因数分解を含む請求項１に記載の方法。
6. 前記教師なし行列分解法は、Ａの列の統計的独立性が最大化されるように独立成分分析を含む請求項１に記載の方法。
7. 前記対象とする領域を分解する工程は、方向付けられた空間フィルタを前記第１の色の前記画像に適用する工程を含む請求項２に記載の方法。
8. 前記フィルタの出力をテクストンにグループ化する工程をさらに含む請求項７に記載の方法。
9. 前記対象とする領域を分解する工程は、画像パッチ内の近隣画素からの応答を含んだ各画素に対するヒストグラムを生成し、かつ各画素上に中心がある近隣画素間の類似性を比較する工程をさらに含む請求項８に記載の方法。
10. 比較する工程は、次の画像パッチとの類似性を示す各画像パッチに対する値を生成する工程を含む請求項９に記載の方法。
11. 類似性を示す値を生成する工程は、χ^２値を生成する工程を含む請求項１０に記載の方法。
12. 所定の範囲内で類似のテクスチャを有することに基づいて、前記対象とする領域の画像をデコンボリューションされた画像から分離する工程をさらに含む請求項８に記載の方法。
13. スペクトル分解用の装置であって、
    各々がスペクトルデータを有する画素を含んだ画像を示す入力を受け取るビデオ処理装置を備え、
    前記処理装置は、Ａはスペクトル定義のｎ_ｓ×ｎ_ｄ行列、ｓはスペクトル成分の数かつｄは前記画像が分解される色素の数、Ｓは画素毎の各色素の量のｎ_ｓ×ｌ行列、ｌは画素数である行列Ｘ＝ＡＳを生成するように、加法的な色モデルの特性に一致する制約を有する教師なし行列分解方法によって解くために前記行列Ｘを制約するように、かつｎ_ｄを決定するように適合された、スペクトル分解用の装置。
14. 前記処理装置は第１の色の対象とする領域を決定する空間フィルタをさらに備える請求項１３に記載のデバイス。
15. 隣接する画像パッチの類似性を決定し、前記第１の色のレベルは診断的意義がある組織を示すテクスチャを有する領域に関する別個の画像を生成する処理装置をさらに備える請求項１４に記載のデバイス。
16. 前記別個の画像の領域に関して前記第１の色のレベルを合計かつ規格化する処理装置をさらに備える請求項１５に記載のデバイス。
17. 前記第１の色の規格化されたレベルを閾値と比較する比較回路をさらに備える請求項１６に記載のデバイス。
18. 各々がスペクトルデータを有する画素を含んだ画像にアクセスする工程と、行列Ｘ＝ＡＳを生成する工程であり、Ａはスペクトル定義のｎ_ｓ×ｎ_ｄ行列であり、ｓはスペクトル成分の数かつｄは前記画像が分解される色素の数であり、Ｓは画素毎の各色素の量のｎ_ｓ×ｌ行列であり、ｌは画素数であるような行列Ｘ＝ＡＳを生成する工程と、加法的な色モデルの特性に一致する制約を有する教師なし行列分解方法によって解くために前記行列Ｘを制約する工程と、ｎ_ｄを決定する工程とを含んだオペレーションを処理装置によって実行されるときに前記処理装置に実行させる命令を提供するコンピュータプログラムを有する機械読取り可能な媒体。
19. 第１の色の対象とする領域を分解させる命令をさらに含む請求項１８に記載の機械読取り可能な媒体。
20. 前記対象とする領域内の画素の第２の色のレベルを決定させる命令をさらに含む請求項１９に記載の機械読取り可能な媒体。
21. 前記対象とする領域内の前記画素の前記第２の色の合計値を規格化させ、かつそれを示す値を提供させる命令をさらに含む請求項２０に記載の機械読取り可能な媒体。
22. 前記教師なし行列分解方法は、両行列ＡおよびＳが非負になるように制限されるように非負の行列の因数分解を含む請求項１８に記載の機械読取り可能な媒体。
23. 前記教師なし行列分解法は、Ａの列の統計的独立性が最大化されるように独立成分分析を含む請求項１８に記載の機械読取り可能な媒体。
24. 前記対象とする領域を分解する工程は、方向付けられた空間フィルタを前記第１の色の前記画像に適用する工程を含む請求項１９に記載の機械読取り可能な媒体。
25. 前記空間的にグループ化する工程を分解する工程は、前記フィルタの出力をテクストンにグループ化する工程を含む請求項２４に記載の機械読取り可能な媒体。
26. 前記対象とする領域を分解する工程は、画像パッチ内の近隣画素からの応答を含んだ各画素に対するヒストグラムを生成し、かつ各画素上に中心がある近隣画素間の類似性を比較する工程をさらに含む請求項２５に記載の機械読取り可能な媒体。
27. 比較する工程は、次の画像パッチとの類似性を示す各画像パッチに対する値を生成する工程を含む請求項２６に記載の機械読取り可能な媒体。
28. 類似性を示す値を生成する工程は、χ^２値を生成する工程を含む請求項２７に記載の方法。
29. 所定の範囲内で類似のテクスチャを有することに基づいて、前記対象とする領域の画像をデコンボリューションされた画像から分離する工程をさらに含む請求項２５に記載の機械読取り可能な媒体。

Images