JP2019530847A5

JP2019530847A5 -

Info

Publication number: JP2019530847A5
Application number: JP2018563572A
Authority: JP
Filing date: 2017-06-09
Publication date: 2020-06-11
Anticipated expiration: 2037-06-09

Description

一態様では、本発明は、組織サンプルのデジタルモノクローム蛍光画像からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成する方法に関する。組織サンプルは、１つまたは複数の染色されたバイオマーカーを含む。染色されたバイオマーカーの各々は、それぞれの蛍光染料によって染色される。この方法は、画像処理システムによって実施され、
− 組織サンプルの蛍光画像のうちの第１の蛍光画像を受け取ることであって、第１の画像の画素強度が生体物質の存在を一般的に示す、第１の蛍光画像を受け取ること、
− 第１の画像を第１の色を有する変換後の第１の画像に変換すること、
− 染色されたバイオマーカーごとに、組織サンプルの蛍光画像のうちのそれぞれの第２の画像を受け取ることであって、各々の第２の画像の画素強度が、前記バイオマーカーを選択的に染色する蛍光染料によって放出される蛍光信号を選択的に示す、第２の画像を受け取ること、
− 第２の画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること、
− 変換後の第１の画像と１つまたは複数の第２の画像を重ね合わせて組み合わせること、
− 組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶媒体に記憶すること、ならびに／あるいは
− 組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像としてディスプレイデバイス上に表示することを含む。

実施形態によれば、この方法は、モノクローム蛍光画像の各々の輝度反転を実行してそれぞれ、輝度反転されたモノクローム蛍光画像を生成することと、輝度反転されたモノクローム蛍光画像に対して変換を実行して、それぞれ、シミュレートされた明視野像を得るために重ね合わされ組み合わされた第１の変換後の画像および第２の変換後の画像ならびに場合によっては第３の変換後の画像を生成することとをさらに含む。

輝度反転は、画素強度値が反転され、許容強度値の所与の範囲内で可能な限り小さい値、たとえば「０」を有する入力画像内の画素が、可能な限り大きい強度値、たとえば「２５５」に変換されるように、入力画像（たとえば、モノクローム蛍光画像）を変換するために実行される。許容強度値の所与の範囲内で可能な限り大きい値、たとえば「２５５」を有する入力画像内の画素が、可能な限り小さい値、たとえば「０」に変換される。したがって、明視野顕微鏡法から知られているように、モノクローム蛍光画像の黒色バックグラウンド領域または暗いバックグラウンド領域が、白色バックグラウンド領域または少なくとも明るいバックグラウンド領域に変換される。

この場合も、「Ｌ」は、使用される強度符号化方式において入力画像画素が有することが許容される可能な限り大きい強度値であり、たとえば２５５である。パラメータｇａｍｍａｐ、ｃｏｎｔｒａｓｔｐ、およびｂｒｉｇｈｔｎｅｓｓｐは、複数の「典型的な」モノクローム蛍光画像の各々の、それぞれの強度反転画像への強度反転を実行することによって、ヒューリスティックに得ることができる。複数の輝度反転画像は、複数の病理医によって検討される。入力画像の各々について、明視野像において観測される画素輝度分布を最もうまく再生する１つまたは複数の反転画像が選択される。「最良の／最も現実的な」明視野顕微鏡法輝度分布を有する選択された画像を生成するために使用されたパラメータｇａｍｍａｐ、ｃｏｎｔｒａｓｔｐ、およびｂｒｉｇｈｔｎｅｓｓｐが特定される。場合によっては、選択された「最良の」パラメータから平均ｇａｍｍａｐ、平均ｃｏｎｔｒａｓｔｐ、および平均ｂｒｉｇｈｔｎｅｓｓｐが算出される。次いで、選択され場合によっては平均されたこれらのパラメータが、強度反転を実行するためにその後分析される組織サンプルに使用される。３つのパラメータを決定するために病理医によって使用される典型的な画像は、蛍光画像を取得するために使用される組織サンプルのような同じ種類の組織を示すことが好ましいが、必ずしもそうである必要はない。ｇａｍｍａｐ、ｃｏｎｔｒａｓｔｐ、およびｂｒｉｇｈｔｎｅｓｓｐをヒューリスティックに決定することによって、明視野像内の輝度分布を極めて正確に再現する画像輝度反転技法が実現される。

たとえば、マルチスペクトル画像が受け取られることがあり、その場合、マルチスペクトル画像に対してカラーデコンボリューションアルゴリズムが適用される。このアルゴリズムは、自家蛍光信号成分を抽出し、この成分を第１の画像として記憶媒体内に記憶する。さらに、アルゴリズムは、それぞれのバイオマーカーを選択的に染色するのに使用される蛍光染料ごとに、対応する蛍光信号を抽出し、この成分を第２のモノクロームデジタル画像の１つとして記憶媒体内に記憶する。場合によっては、任意の種類の細胞の核領域を選択的に染色する蛍光染料が使用される場合、アルゴリズムは、対応する蛍光信号を抽出し、この成分を組織サンプルの任意の細胞の核領域を示すさらなるモノクロームデジタル画像として記憶媒体内に記憶し、それによって、後でシミュレートされたヘマトキシリン画像に変換される場合がある画像を提供する。

実施形態によれば、この方法は、
− この組織サンプルまたは同様の組織サンプルの自家蛍光基準スペクトルを受け取り、第１の画像を生成するためのスペクトルアンミキシングにおいて自家蛍光基準スペクトルを使用すること、あるいは
− 組織サンプルの生体物質に一般的に結合する第１の染料の第１の蛍光基準スペクトルを受け取り、前記第１の画像を生成するためのスペクトルアンミキシングにおいて受け取られた第１の蛍光基準スペクトルを使用することと、
− １つまたは複数のバイオマーカーを染色するのに使用される蛍光染料の各々の第２の蛍光基準スペクトルを受け取り、受け取られた第２の蛍光基準スペクトルの各々を１つまたは複数の第２のモノクローム画像のそれぞれのモノクローム画像の生成のために使用すること、および／あるいは
− 核領域を染色するのに使用される蛍光染料の第３の蛍光基準スペクトルを受け取り、受け取られた第３の蛍光基準スペクトルを第３の画像の生成のために使用することとをさらに含む。

実施形態によれば、染色プロトコールデータは、設定データ構造の一部である。自動サンプル染色システムが、染色プロトコールデータに結合され、染色プロトコールデータへの書込みアクセスが可能であり、サンプル染色システムが１つまたは複数のサンプルを染色するときにはいつでも、染色プロトコールデータ、特にそれぞれのバイオマーカーを染色するのに使用されるかもしくは核領域を一般的に染色するのに使用された蛍光染料の種類および／または生体物質の存在を自動的に記憶する。各生体サンプルは、染色プロトコールデータ内に記憶されたサンプルＩＤに対応するバーコードまたは別の形態のサンプル識別子を備えるスライド上に配置されてもよい。染色プロトコールデータは、新しい生体サンプルが染色されたときはいつでも、サンプルＩＤを、使用された蛍光染料および前記染料が結合するように設定されたバイオマーカーおよびその他の生体構造（これは、染料を生体構造に付着させるのに使用される抗体またはその他の形態の担体がもしあれば、そのような抗体または担体に依存する場合がある）に関連付けて記憶することによって自動的に更新される。自動化サンプル染色システムによる染色プロトコールデータの自動更新と染色プロトコールデータおよび設定データ構造の自動化された評価との組合せは有利である場合があり、その理由は、画像処理システムが、病理医が慣れ親しんだ色で生体構造を表す変換後の第１の画像、第２の画像、および第３の画像を生成するのに適した変換手順を選択することが自動的に行われるからであ

モノクロームの（すなわち、「グレースケール」）第１の画像、第２の画像、および／または第３の画像のいずれか（以下では「ソース画像」と呼ぶ）を変換後のバージョンに変換することは、当技術分野で公知の色変換方法によって実行することができ、その場合、入力画像として使用されるモノクロームデジタル画像の「色」は一般に、既定の値範囲内の強度値である。したがって、画像変換は、画像「色付け」動作として記述することもできる。

所望の明視野像色空間への画像変換を実行するための第１の例によれば、ソース画像（すなわち、蛍光モノクローム画像またはその輝度反転バージョン）内の各画素Ｐは、強度値が０から２５５の間であってもよく、８ビット値として記憶されてもよく、この場合、０は零強度を表し、２５５は全強度を表す。特定のソース画像画素Ｐは、強度値が２０１であってもよい。このタスクでは、次に、ソース画像の画素Ｐの画素強度値２０１をソース画像の変換後バージョン内の対応する画素ＴＰのＲＧＢ値に変換してもよく、この場合、変換後の画像バージョンは、エオジン染色された明視野像と「同様に見える」はずである。前記タスクを実行するには、画像処理システムによって以下の動作を実行すればよい。
− 設定データ構造にアクセスすること。設定データ構造は、明視野顕微鏡法画像におけるエオジン染色された構造に関する「典型的な」ＲＧＢ値、たとえば、Ｒｅｏｓｉｎ＝２４０、Ｇｅｏｓｉｎ＝１１７、Ｂｅｏｓｉｎ＝２４０を規定する。
− ＨＬＳ色モデルにおける変換後の画素ＴＰを算出し、それによって、変換後の画像の所望の色に関して規定された「典型的な」ＲＧＢ値を使用する。所与の例では、変換は以下のように実行することができる。
− ソース画像内の画素Ｐのグレースケール値２０１をとり、その値をソース画像の強度スケールの可能な限り大きい強度値、たとえば、２５５の割合として使用する。したがって、Ｐがグレースケール値２０１を有し、可能な限り大きい強度値が２５５である場合、変換後の「色付けされた」画像内の等価画素は以下のようになる。

モノクローム蛍光画像を特定の所望の明視野色、たとえば、ヘマトキシリンの色を有する明視野像に変換する場合、パラメータＰＲ、ＰＧ、ＰＢを非線形変換式において使用することができる。以下の公式に従って、蛍光画像内の各画素ｐｘをＲＧＢ明視野像内のそれぞれの画素ｐｘＢＦに変換するための非線形変換式。
ＲｐｘＢＦ＝２５５ｅｘｐ（−ｃｒ＊ＰＲ＊［ＦＳＴＡＩＮ＿ＩＮＴｐｘ］）
ＧｐｘＢＦ＝２５５ｅｘｐ（−ｃｇ＊ＢＲ＊［ＦＳＴＡＩＮ＿ＩＮＴｐｘ］）
ＢｐｘＢＦ＝２５５ｅｘｐ（−ｃｂ＊ＢＲ＊［ＦＳＴＡＩＮ＿ＩＮＴｐｘ］）

パラメータＦＳＴＡＩＮ＿ＩＮＴｐｘは、前記蛍光染料ＦＳＴＡＩＮに対応する蛍光画像（または輝度反転蛍光画像）内の画素ｐｘにおける（モノクローム）蛍光染料信号の強度値を示す。

さらに、非抗体結合蛍光染料を使用して、特定の細胞内コンパートメント、たとえば、核領域を染色することも可能である。たとえば、ＤＡＰＩ（アデニンおよびチミンリッチＤＮＡに優先的に結合する細胞透過性ＤＮＡ結合染料）を使用して核領域を染色することができる。蛍光ＤＡＰＩ信号を表すモノクローム画像をたとえば、ヘマトキシリンの色を自然に再現する色を有する画像に変換することができ、それによって、ＤＡＰＩ蛍光画像から「人工」ヘマトキシリン画像が生成される。

さらなる態様では、本発明は、組織サンプルのデジタルモノクローム蛍光画像からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成するための画像処理システムに関する。組織サンプルは、１つまたは複数の染色されたバイオマーカーを含む。染色されたバイオマーカーの各々は、それぞれの蛍光染料によって染色される。画像処理システムは、
− 組織サンプルの蛍光画像のうちの第１の蛍光画像を受け取ることであって、第１の画像の画素強度が生体物質の存在を一般的に示す、第１の蛍光画像を受け取ること、
− 第１の画像を第１の色を有する変換後の第１の画像に変換すること、
− 染色されたバイオマーカーごとに、組織サンプルの蛍光画像のうちのそれぞれの第２の画像を受け取ることであって、各々の第２の画像の画素強度が、前記バイオマーカーを選択的に染色する蛍光染料によって放出される蛍光信号を選択的に示す、第２の画像を受け取ること、
− 第２の画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること、
− 変換後の第１の画像と１つまたは複数の第２の画像を重ね合わせて組み合わせること、
− 組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶媒体に記憶すること、ならびに／あるいは
− 組み合わされた画像をシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像としてディスプレイデバイス上に表示することを行うように設定される。

本明細書で使用される「シミュレートされた明視野像」は、特定の画素によって表される生体物質または生体構造（たとえば、任意の種類のタンパク質、細胞核、または特定のバイオマーカー）に応じて前記画素に既定の色を割り当てる画像処理動作によって生成されるデジタル画像である。したがって、染料が一般に、その物理化学的特性を介して既定の生体構造、たとえば、酸性または塩基性の組織成分または細胞成分にリンクされるという明視野像の特性が「シミュレートされる」。場合によっては、本明細書で使用されるシミュレートされた明視野像は、典型的な明視野像のさらなる特性を有し、たとえば、黒色の（非組織）バックグラウンドに代わる明るい（非組織）バックグラウンド、および／または前記明視野像染料によって染色される生体構造と同じ種類の生体構造において、エオジン、ヘマトキシリンおよびエオジンなどの明視野像において使用される公知の染料の色を自然に再現する色を有する。画像は、「シミュレートされ」、すなわち、実際には、蛍光画像取込みデバイスによって取り込まれたモノクローム画像の組から算出される。

カラーデコンボリューションを介してマルチスペクトル画像から複数のモノクローム画像を取得することを示す図である。サンプルの複数のモノクローム画像を取得する代替方法を示す図である。画像処理パイプラインのブロック図である。複数の異なるバイオマーカーがそれぞれに異なる色の蛍光染料によって染色された蛍光画像を示す図である。蛍光画像の、シミュレートされた明視野像への変換を示す図である。画像処理システムのブロック図である。画像処理方法のフローチャートである。シミュレートされた明視野像を生成するための複数の変換後の蛍光画像の組合せを概略的に示す図である。

図１は、カラーデコンボリューションを介したマルチスペクトル画像からの複数のモノクローム画像の取得を示す。

第１の組織サンプルが用意される。たとえば、多数の癌種、たとえば、大腸癌の診断の一部として、１つまたは複数の生検サンプルが得られる。生検サンプルは、１つまたは複数の薄い組織層１０２にスライスされる。層１０２は、特定のバイオマーカー、細胞、および／または細胞小器官を選択的に染色する１つまたは複数の蛍光染料によって染色されてもよく、１つの層１０２におけるマルチスペクトル画像１０４が得られ、腫瘍を分類するのを可能にする場合があり、ならびに／あるいは臨床結果を予想することおよび／または治療推薦情報を生成することを可能にする場合がある意味のある生体医学的特徴が取り込まれる。画像取得システム、たとえば、スライドスキャナまたは顕微鏡は、複数の異なる蛍光染料のスペクトル情報を含む場合があり、スライド上の組織層１０２の自家蛍光信号を含む場合があるマルチスペクトル画像１１４を取得することがある。マルチスペクトル画像１０４は、スライド画像全体であることがあり、したがって、非常に大きい場合がある。スペクトルアンミキシング手順を適用することによって、複数のデジタル画像１０６．１−１０６．４が作成される。したがって、組織サンプル１００の同じ層１０２のモノクローム蛍光デジタル画像１０６．１〜１０６．４の組１１２が作成される。組１１２における画像のうちの少なくともいくつかは、それぞれのバイオマーカー固有の蛍光染料によって選択的に生成される強度信号に対応する場合があり、したがって、特定の生体医学的特徴、たとえば、特定のバイオマーカーの存在および分布に対応する場合がある。前記モノクローム蛍光画像のうちの少なくとも１つは、組織の自家蛍光信号を選択的に示す画像である。代替として、他の１つのモノクローム画像（「第１の画像」）（図示せず）は、細胞質バイオマーカーおよび核バイオマーカーおよび／または膜バイオマーカーを示す複数のモノクローム蛍光画像を重ね合わせて組み合わせることにより計算によって生成される。画像１０６．１〜１０６．４の各々は、モノクローム蛍光画像１０６．１−１０６．４の変換バージョンからシミュレートされた「仮想」明視野像を生成するように、たとえば図６に示された画像処理システムによって処理され分析されてもよい。

画像取得システム３０２は、マルチスペクトル画像１０４を画像処理システム３０６に供給してもよく、画像処理システム３０６は、カラーデコンボリューションを実行して第１および第２のモノクローム蛍光画像を生成し、また、画像変換動作および画像組合せ動作を実行してシミュレートされた明視野像を生成する。代替として、カラーデコンボリューションは画像取得システム３０４によってあらかじめ実行されてもよく、カラーデコンボリューション動作によって出力されるときに生成される生成されたモノクローム蛍光画像は、画像処理システム３０６からアクセスできる記憶媒体に記憶される。

図２は、組織サンプルの複数のモノクローム蛍光画像を取得する代替方法を示す。

この生検サンプルは、複数の薄い隣接する組織層１０２、１０８、１１０にスライスされる。各組織層１０２、１０８、１１０は、特定のバイオマーカー、細胞、および／または細胞小器官を選択的に染色するか、またはスライド上に含まれる任意の生体物質を非特異的に染色する蛍光染料によって染色される。各組織層は、異なる染色プロトコールによって染色されてもよく、それぞれのスライド上に移されてもよい。各層および対応する染料について、対応するモノクローム蛍光画像１０６．５−１０６．７が得られ、腫瘍を分類するのを可能にする場合があり、ならびに／あるいは臨床結果を予想することおよび／または治療推薦情報を生成することを可能にする場合がある意味のある生体医学的特徴が取り込まれる。画像取得システム、たとえばスライドスキャナまたは顕微鏡は、染色された互いに隣接する組織スライス１０２、１０８、１１０によって放出された蛍光信号を順次または並行して取り込み、それぞれのモノクローム蛍光画像を取得する。各画像１０６．５−１０６．７は、特定の蛍光染料のスペクトル情報を含んでもよく、スライド上の任意の組織または生体構造の自家蛍光信号を含んでもよい。図１に示されている例に関しては、画像は、スライド画像全体である場合があり、したがって、非常に大きくなることが多い。

さらに他の実施形態（図示せず）によれば、複数の蛍光フィルタを使用することによって組織サンプルの複数の蛍光モノクローム画像が生成される。たとえば、特定の組織スライス１０２は複数の異なる蛍光染料によって染色され、各染料は、異なる色を有し、異なるバイオマーカー、たとえば、複数の異なる細胞質タンパク質、核タンパク質、および／または膜タンパク質に結合する。それぞれの蛍光染料による蛍光信号の放出を励起させるために光源が使用されてもよい。

いくつかの例では、広域スペクトル光源が使用される。この場合、発光スペクトルが重なり合う複数の蛍光染料が励起され、様々な蛍光染料によって放出される蛍光信号が混合される可能性がある。これによって、様々なバイオマーカーに対応する信号の判別を試みるときに問題が生じることがある。いくつかの実施形態によれば、特定の蛍光染料の特徴を示し、したがって、前記蛍光染料によって染色された生体構造の特徴を示す特定のスペクトル範囲内の蛍光信号を選択的に受け取るために蛍光フィルタが使用される。使用される蛍光染料ごとにそれぞれの蛍光フィルタを使用する（各蛍光染料の蛍光発光スペクトルは既知である）ことによって、蛍光染料のうちの特定の１つに対応する蛍光信号強度を選択的に有するモノクローム蛍光画像が取得される。

画像取得装置３０４はマルチスペクトル画像１０４を取得し、マルチスペクトル画像１０４は、図１に関して説明したように、スペクトルアンミキシング手順によって複数のモノクローム蛍光画像２０２、１０６．１−１０６．４に変換される。代替として、画像取得装置３０４からマルチスペクトル画像１０４を受け取る画像処理システム３０６によってカラーデコンボリューションを実行することができる。

代替として、画像取得装置３０４は、それぞれ図２の図の説明において説明したように組織サンプルとして働く複数の隣接する組織スライスから複数のモノクローム蛍光画像２０２、１０６．５−１０６．７を直接取得する。さらなる代替実施形態によれば、画像取得装置３０４は、複数の異なる蛍光フィルタを適用することによって複数のモノクローム蛍光画像２０２、１０６．５−１０６．７を取得する。

上述の手法のいずれかに従って複数のモノクローム蛍光画像を取得した後、かつ前記画像が画像処理システム３０６によって受け取られならびに／あるいは生成された後、画像処理システム３０６は、モノクローム蛍光画像のサブセットを変換して組み合わせることを開始し、本明細書において本発明の実施形態に関して説明するようにシミュレートされた明視野像２０４を生成する。図６に示されている画像処理システム３０６の構成要素の例示的でより詳細な説明。生成されたシミュレートされた明視野像２０４は、不揮発性記憶媒体に記憶され、および／または、ディスプレイデバイス３０８上で病理医に表示される。

図６は、画像処理システム３０６のブロック図である。このシステムは、メインメモリ４１６と、１つまたは複数のプロセッサ４０２と、不揮発性記憶媒体４０４および／または画像取得システム３０４からマルチスペクトル画像および／またはモノクローム蛍光画像を受け取るためのインターフェース４１８とを備える。たとえば、インターフェース４１８は、ネットワークインターフェースであってもよく、画像取得システム３０４は、ネットワーク、たとえばインターネットを介して画像処理システム３０６に接続されてもよい。本明細書で使用される「不揮発性記憶媒体」は、パワーサイクルを受け（オフにされ、オンに戻された）後でも記憶された情報を取り出すことができる種類のメモリである。不揮発性記憶媒体の例には、読取り専用メモリ、フラッシュメモリ、強誘電ＲＡＭ（Ｆ−ＲＡＭ）、大部分の種類の磁気コンピュータ記憶デバイス（たとえば、ハードディスクドライブ、フロッピーディスク、および磁気テープ）、および光学ディスクが含まれる。

画像処理システム３０６は、ディスプレイデバイス３０８、たとえば、ＬＣＤディスプレイ、双安定ディスプレイ、または任意の他の形態の電子ディスプレイシステムに動作可能に結合される。画像処理システムの不揮発性記憶媒体４０４は、複数のデジタル命令を含んでもよく、これらの命令は、プロセッサ４０２によって解釈し実行することができ、本明細書で説明する本発明の実施形態によるシミュレートされた明視野像を生成するための画像処理方法を実施する。これらの命令は、複数の（第１、第２、および場合によっては第３の）各モノクローム蛍光画像を特定の色のそれぞれの変換後の画像に変換するための第１の命令４０６を含んでもよい。変換後の画像の色は、蛍光染料が結合した生体構造に依存する。生体構造は、特定のバイオマーカー、たとえば、細胞質、核、または細胞膜内に位置する特定のタンパク質であってもよい。

第１の画像の変換に関して、染色された生体構造は、一般的に結合する（たとえば、非特異的に結合する）蛍光染料によって染色されるかまたは複数の異なる蛍光染料によって染色された生体物質の全体であってもよく、この場合、複数の異なる蛍光染料は、シミュレートされた第１の蛍光モノクローム画像を生成するように後で組み合わされるそれぞれに異なる生体構造を対象とする。代替として、「染色された生体構造」は、実際には自家蛍光信号を放出することができるスライド上の生体物質の全体であってもよい。

存在がモノクローム蛍光画像２０２のうちのいずれかに画素強度によって示される生体構造を、前記モノクローム蛍光画像が変換される画像の色への割り当ては、記憶媒体４０４内の設定データ構造に記憶される。

命令は、バイオマーカー固有の、２つ以上の第２のモノクローム蛍光画像１０６．１−１０６．７を組み合わせることによって組織スライド上の生体物質の存在を一般的に示す第１のモノクローム画像を算出するための命令をさらに含む。

第１のステップ７０２において、画像処理システム３０６は、生体サンプル１００を含むスライド上の生体物質１０２、１０８、１１０の存在を一般的に示す第１の蛍光画像を受け取る。たとえば、第１のデジタル画像は、プロセッサ４０２が命令４０８を実行する生体サンプルによって放出された自家蛍光信号を抽出することによって実行されるカラーデコンボリューション動作によって形成されてもよい。代替として、第１のデジタル画像は、本明細書では「第２の画像」と呼ばれる、バイオマーカー固有の複数の特定のモノクローム蛍光画像を組み合わせることによって生成されてもよい。第１のデジタル画像の生成は命令４１０によって実施されてもよい。

それぞれの蛍光染料によって染色プロトコールを実行する間に１つまたは複数のバイオマーカーの各々が染色されるように、ステップ７０６および７０８が実行される。ステップ７０６において、画素強度がそのバイオマーカーの存在を選択的に示す蛍光モノクローム画像が、画像分析システム３０６によって受け取られる。その画像は、本明細書では「第２の画像」とも呼ばれる。各々の第２の画像は、たとえば、画像を記憶媒体４０４から読み取るかまたは画像取得システムからインターフェース４１８を介して受け取ることによって取り出すことができる。ステップ７０８において、たとえば、命令４０６を実行することによって、各々の第２の画像がそれぞれの変換後の第２の画像に変換される。各々の変換後の第２の画像は、他のあらゆる変換された第２の画像の第２の色とは異なる特定の第２の色を有する。第２の変換後の画像を生成するために使用される第２の色は、設定データ構造４１４に規定される。優先事項として、画像処理システム３０６は、病理医が特定の第２の色を特定のバイオマーカーに割り当てるのを可能にするグラフィカルユーザインターフェースを実装する。病理医は、様々な患者におけるそれぞれに異なる組織サンプルに対して同じ設定を使用してシミュレートされた明視野像を生成することによって、特定のバイオマーカー、たとえばＦＡＰのような特定のタンパク質が、ＦＡＰタンパク質を染色するのに使用される蛍光染料の色とは無関係に、同じ第２の色、たとえば、茶色、ＤＡＢのような色によって常に色付けられるようにしてもよい。このことは、特定のバイオマーカーをそれぞれに異なる染色キットを有する様々な研究所によって染色することができるので有利である。染色され色を再現するバイオマーカーに第２の色が依存する変換後の第２の画像を生成することによって、明視野像顕微鏡法においてある程度の経験を有する病理医は、すでに慣れ親しんでおり、病理医の生産性を向上させることができ、診断エラーを回避することができる。

図８ｂは、変換後の第１のモノクローム蛍光画像６１４と変換後の第２のモノクローム蛍光画像６１６を重ね合わせて組み合わせることによって生成されたシミュレートされた明視野像２０４．１を示す。変換後の第１の画像６１４は、カラーデコンボリューション動作を適用することによってマルチスペクトル画像から抽出された変換後の自家蛍光画像である。変換後の第１の画像は、細胞が正常な組織細胞（「間質細胞」）６０４であるかそれとも腫瘍細胞であるかにかかわらず、生体物質、たとえば組織のあらゆる細胞に含まれるタンパク質、核酸、脂肪酸の存在を一般的に示す高強度画素ブロブ６１４のクラスタを含む。変換後の第１の画像の色は、エオジンの色を自然に再現する。

変換後の第２の画像６１６は、画素強度がヒストンタンパク質（すべての種類の哺乳類細胞において発現される核マーカー）を選択的に染色する蛍光染料を示すモノクローム蛍光画像を色付けすることによって算出されている。変換後の第２の画像は、細胞が正常な組織細胞（「間質細胞」）６０４であるかそれとも腫瘍細胞６０６であるかにかかわらず、核領域を一般的に示す高強度画素ブロブ６１６のクラスタを含む。変換後の第２の画像の色は、ヘマトキシリンの色を自然に再現する。

図８ｃは、上述の変換後の第１のモノクローム蛍光画像６１４と変換後のさらなる第２のモノクローム蛍光画像６１８を重ね合わせて組み合わせることによって生成されたシミュレートされた明視野像２０４．２を示す。変換後の第２の画像６１８は、画素強度がＫｉ６７タンパク質（増殖する細胞において選択的に発現される核マーカー）を選択的に染色する蛍光染料を示すモノクローム蛍光画像を色付けすることによって算出されている。Ｋｉ６７は、激しく増殖する腫瘍細胞を検出するための腫瘍マーカーとして広く使用されている。変換後の第２の画像は、腫瘍細胞６０６の核領域を選択的に示す高強度画素ブロブ６１８のクラスタを含む。変換後の第２の画像の色は、設定データ構造内に規定されてもよく、たとえば、緑であってもよい。

図８ｄは、図８ｂに関して説明した変換後の第１のモノクローム蛍光画像６１４および変換後の第２のモノクローム蛍光画像６１６、図８ｃに関して説明した別の変換後の第２の画像６１８、ならびにさらに別の変換後の第２の画像６２０を重ね合わせて組み合わせることによって生成されたシミュレートされた明視野像２０４．３を示す。変換後の第２の画像６２０の画素強度は、免疫細胞マーカー、たとえばＣＤ３タンパク質を選択的に染色する蛍光染料を示す。ＣＤ３を検出すると、腫瘍の近傍の免疫細胞を検出することが可能になる場合がある。変換後の第２の画像６２０の色は、設定データ構造内に規定されてもよく、たとえば、ＤＡＢ−ブラウンであってもよい。

Claims

組織サンプル（１００）のデジタルモノクローム蛍光画像（１０６．１−１０６．７）からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成する方法であって、前記組織サンプルが、１つまたは複数の染色されたバイオマーカーを含み、染色された前記バイオマーカーの各々が、それぞれの蛍光染料によって染色され、前記方法が、画像処理システムによって実施され、
− 前記蛍光画像のうちの少なくとも第１の蛍光画像を生成し、染色された前記バイオマーカーの各々に関して前記蛍光画像のうちの第２の蛍光画像を生成することであって、前記第１の蛍光画像の画素強度が、生体物質の存在を一般的に示し、各々の第２の蛍光画像の画素強度が、前記バイオマーカーを選択的に染色する前記蛍光染料によって放出された蛍光信号を選択的に示し、前記第１および第２の蛍光画像の前記生成が、前記組織サンプルのマルチスペクトルデジタル画像のスペクトルアンミキシングを実行することを含み、前記生成が、
− 前記組織サンプルまたは同様の組織サンプルの自家蛍光基準スペクトルを受け取り、前記第１の蛍光画像の前記生成のための前記スペクトルアンミキシングにおいて前記自家蛍光基準スペクトルを使用するか、あるいは前記組織サンプルの生体物質に一般的に結合する第１の蛍光染料の第１の蛍光基準スペクトルを受け取り、前記第１の蛍光画像の前記生成のための前記スペクトルアンミキシングにおいて受け取られた前記第１の蛍光基準スペクトルを使用することと、
− 前記１つまたは複数のバイオマーカーを染色するために使用される第２の蛍光染料の各々の第２の蛍光基準スペクトルを受け取り、受け取られた前記第２の蛍光基準スペクトルの各々を前記１つまたは複数の第２の蛍光画像のそれぞれの第２の蛍光画像の前記生成のために使用することとをさらに含む、第１の蛍光画像および第２の蛍光画像を生成すること、
− 前記組織サンプルの前記第１の蛍光画像を受け取ること（７０２）、
− 前記第１の蛍光画像を第１の色を有する変換後の第１の画像に変換すること（７０４）、
− 染色された前記バイオマーカーごとに、前記組織サンプルの前記それぞれに作成された第２の蛍光画像を受け取ること（７０６）、
− 前記第２の蛍光画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること（７０８）、
− 前記変換後の第１の画像および前記変換後の１つまたは複数の第２の画像を重ね合わせて組み合わせること（７１０）、
− 組み合わされた前記画像を前記シミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶媒体に記憶すること（７１２）、ならびに／あるいは
− 組み合わされた前記画像を前記シミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像としてディスプレイデバイス上に表示すること（７１４）を含む方法。
前記第１の蛍光画像の画素強度は、前記組織サンプル中の生体物質によって放出される自家蛍光信号を選択的に示す、請求項１に記載の方法。
前記第１の蛍光画像の画素強度は、前記組織サンプル中の生体物質に一般的に結合する第１の蛍光染料によって放出される蛍光信号を選択的に示す、請求項１に記載の方法。
− ２つ以上の前記第２の蛍光画像の画素強度を重ね合わせて組み合わせることによって前記第１の蛍光画像を生成することであって、前記２つ以上の第２の蛍光画像が２つ以上の前記バイオマーカーに関して受け取られており、前記２つ以上のバイオマーカーが、
− １つまたは複数の細胞質バイオマーカーと、
− 場合によっては、１つまたは複数の核バイオマーカーおよび／または１つもしくは複数の膜バイオマーカーとを含む、前記第１の蛍光画像を生成することをさらに含む、請求項１に記載の方法。
前記第１の色は、エオジン染色されたサンプルの明視野像におけるエオジンの色である、請求項１から４のいずれか一項に記載の方法。
前記１つまたは複数の第２の色は、明視野顕微鏡法染料として使用される物質の色であり、前記物質は、たとえば、ジアミノベンジヂン、３−アミノ−９−エチルカルバゾール（ＡＥＣ）、４−クロロ−１−ナフトール（ＣＮ）、ｐ−フェニルンジアミンジヒドロクロリド／ピロカテコール、ファーストレッドＴＲ、ファーストブルーＢＢ、ニューフクシン、ファーストガーネットＧＢＣ、ニトロブルーテトラゾリウム（ＮＢＴ）、およびヨードニトロテトラゾリウムバイオレットを含む群から選択される、請求項１から５のいずれか一項に記載の方法。
前記１つまたは複数のバイオマーカーのうちの少なくとも１つは、核バイオマーカーであり、前記少なくとも１つのバイオマーカーに関して受け取られる前記第２の蛍光画像の前記第２の色は、ヘマトキシリン染色されたサンプルの明視野像内のヘマトキシリンの色である、請求項１から６のいずれか一項に記載の方法。
− 前記組織サンプルの前記蛍光画像のうちの第３の蛍光画像を受け取ることであって、前記第３の蛍光画像の画素強度が、核領域を選択的に染色する第３の蛍光染料によって放出される蛍光信号を選択的に示す、受け取ることと、
− 前記第３の蛍光画像を、第３の色を有する変換後の第３の画像に変換することとをさらに含み、
前記変換後の第１の画像、前記変換後の第３の画像、および前記変換後の１つまたは複数の第２の画像が重ね合わせられ組み合わされて組み合わされた前記画像を形成する、請求項１から７のいずれか一項に記載の方法。
− ２つ以上の前記第２の蛍光画像の画素強度を重ね合わせて組み合わせることによって第３の蛍光画像を生成することであって、前記２つ以上の第２の蛍光画像が、２つ以上の前記バイオマーカーに関して受け取られており、前記２つ以上のバイオマーカーが核バイオマーカーである、生成することと、
− 前記第３の蛍光画像を、第３の色を有する変換後の第３の画像に変換することとをさらに含み、
− 前記変換後の第１の画像、前記変換後の第３の画像、および前記変換後の１つまたは複数の第２の画像が重ね合わせられ組み合わされて、組み合わされた前記画像を提供する、請求項１から７のいずれか一項に記載の方法。
前記第３の色は、ヘマトキシリン染色されたサンプルの明視野像におけるヘマトキシリンの色である、請求項８または９に記載の方法。
− 前記蛍光画像の各々の輝度反転を実行してそれぞれ、輝度反転された蛍光画像を生成することをさらに含み、前記変換は、前記輝度反転された蛍光画像に対して実行され、それぞれ、シミュレートされた前記明視野像を得るために重ね合わされ組み合わされた前記変換後の第１の画像および前記変換後の第２の画像ならびに場合によっては前記変換後の第３の画像が生成される、請求項８から１０のいずれか一項に記載の方法。
− 前記マルチスペクトルデジタル画像のスペクトルアンミキシングを実行することによって前記組織サンプルの前記第３の蛍光画像を生成することと、
− 核領域を染色するために使用される前記第３の蛍光染料の第３の蛍光基準スペクトルを受け取り、受け取られた前記第３の蛍光基準スペクトルを使用して前記第３の蛍光画像を生成することとをさらに含む、請求項８から１１のいずれか一項に記載の方法。
− 前記１つまたは複数のバイオマーカーを染色するのに使用される前記第２の蛍光染料の種類を示し、場合によっては、前記生体物質を一般的に染色することおよび／または核領域を染色することに使用される前記第３の蛍光染料を示す染色プロトコールデータに画像処理システムによってアクセスすることと、
− 前記染色プロトコールデータに従って使用される前記蛍光染料に応じて、前記変換後の第１の画像、１つまたは複数の変換後の第２の画像、および場合によっては変換後の第３の画像を生成するための複数の変換手順のうちの１つを選択することとをさらに含む、請求項８から１２のいずれか一項に記載の方法。
核領域を選択的に染色する前記第３の蛍光染料は、Ｋｉ６７タンパク質に選択的に結合する蛍光染料である、請求項８に記載の方法。
前記１つまたは複数のバイオマーカーは、繊維芽細胞活性化タンパク質α（ＦＡＰ遺伝子生成物）、パンサイトケラチン、ＣＤ３４、ＣＤ３、ＣＤ４、ＣＤ８、ＣＳＦ１Ｒ、ＤＲ５、ＫＩ６７、パーフォリン、ＣＣ３を含む群から選択される、請求項７から１４のいずれか一項に記載の方法。
１つまたは複数の前記バイオマーカーは、サイトケラチンタンパク質、ＦＡＰ、アクチン、マイクロチューブリンを含む群から選択される細胞質タンパク質である、請求項７から１５のいずれか一項に記載の方法。
生体物質を一般的に染色する前記第１の蛍光染料は、
− 少なくとも前記組織サンプル中のすべての細胞の細胞質基質において分散されたタンパク質に結合する抗体に結合される蛍光染料、
− 過ヨウ素酸、
− ＢＣＥＣＦ／ＡＭ、
− アストラブルー
− ファーストグリーンＦＣＦ、
− ファロイジン−テトラメチルローダミン共役体、
− フルオレセイン−５−６−イソシイオシアネートを含む群から選択される、請求項７から１６のいずれか一項に記載の方法。
− 前記１つまたは複数の第２の蛍光染料、ならびに場合によっては前記１つまたは複数の第１の蛍光染料および／または前記第３の蛍光染料によって前記組織サンプルを染色することと、
− 蛍光画像取得システムによって前記組織サンプルのデジタル蛍光画像を取得することとをさらに含む、請求項８に記載の方法。
組織サンプル（１００）のデジタルモノクローム蛍光画像（１０６．１−１０６．７）からシミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像を生成するための画像処理システム（３０６）であって、前記組織サンプルが、１つまたは複数の染色されたバイオマーカーを含み、染色された前記バイオマーカーの各々が、それぞれの蛍光染料によって染色され、前記画像処理システムが、
− 前記蛍光画像のうちの少なくとも第１の蛍光画像を生成し、染色された前記バイオマーカーの各々に関して前記蛍光画像のうちの第２の蛍光画像を生成することであって、前記第１の蛍光画像の画素強度が、生体物質の存在を一般的に示し、各々の第２の蛍光画像の画素強度が、前記バイオマーカーを選択的に染色する前記蛍光染料によって放出された蛍光信号を選択的に示し、前記第１および第２の蛍光画像の前記生成が、前記組織サンプルのマルチスペクトルデジタル画像のスペクトルアンミキシングを実行することを含み、前記生成が、
− 前記組織サンプルまたは同様の組織サンプルの自家蛍光基準スペクトルを受け取り、前記第１の蛍光画像の前記生成のための前記スペクトルアンミキシングにおいて前記自家蛍光基準スペクトルを使用するか、あるいは前記組織サンプルの生体物質に一般的に結合する第１の蛍光染料の第１の蛍光基準スペクトルを受け取り、前記第１の蛍光画像の前記生成のための前記スペクトルアンミキシングにおいて受け取られた前記第１の蛍光基準スペクトルを使用することと、
− 前記１つまたは複数のバイオマーカーを染色するために使用される前記蛍光染料の各々の第２の蛍光基準スペクトルを受け取り、受け取られた前記第２の蛍光基準スペクトルの各々を前記１つまたは複数の第２の蛍光画像のそれぞれの第２の蛍光画像の前記生成のために使用することとをさらに含む、第１の蛍光画像および第２の蛍光画像を生成すること、
− 前記組織サンプルの前記第１の蛍光画像を受け取ること（７０２）、
− 前記第１の蛍光画像を第１の色を有する変換後の第１の画像に変換すること（７０４）、
− 染色された前記各バイオマーカーごとに、前記組織サンプルの前記それぞれに作成された第２の蛍光画像を受け取ること（７０６）、
− 前記第２の蛍光画像の各々をそれぞれの第２の色を有するそれぞれの変換後の第２の画像に変換すること（７０８）、
− 前記変換後の第１の画像および前記変換後の１つまたは複数の第２の画像を重ね合わせて組み合わせること（７１０）、
− 組み合わされた前記画像を前記シミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像として記憶媒体に記憶すること（７１２）、ならびに／あるいは
− 組み合わされた前記画像を前記シミュレートされたデジタル明視野ＩＨＣ画像またはＩＳＨ画像としてディスプレイデバイス上に表示すること（７１４）を行うように設定される画像処理システム。