JP2020529601A - 散乱補正を用いた色分離 - Google Patents

散乱補正を用いた色分離 Download PDF

Info

Publication number
JP2020529601A
JP2020529601A JP2020505305A JP2020505305A JP2020529601A JP 2020529601 A JP2020529601 A JP 2020529601A JP 2020505305 A JP2020505305 A JP 2020505305A JP 2020505305 A JP2020505305 A JP 2020505305A JP 2020529601 A JP2020529601 A JP 2020529601A
Authority
JP
Japan
Prior art keywords
dye
color
optical density
candidate
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020505305A
Other languages
English (en)
Other versions
JP7216707B2 (ja
Inventor
ニエ,ヤオ
Original Assignee
ベンタナ メディカル システムズ, インコーポレイテッド
ベンタナ メディカル システムズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベンタナ メディカル システムズ, インコーポレイテッド, ベンタナ メディカル システムズ, インコーポレイテッド filed Critical ベンタナ メディカル システムズ, インコーポレイテッド
Publication of JP2020529601A publication Critical patent/JP2020529601A/ja
Priority to JP2022192640A priority Critical patent/JP2023022233A/ja
Application granted granted Critical
Publication of JP7216707B2 publication Critical patent/JP7216707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、光散乱の効果、および、主に、光散乱が、変動する染料濃度において、検出光内のRGBチャネル信号の割合をどのように変化させるか、を考慮する色基準ベクトルを自動的に選択することによって画像内の色を分けるためのシステム及び方法を提供する。

Description

[0001]組織切片、血液、細胞培養物、および同様のものなどの生物標本の分析において、生物標本は、1つまたは複数の蛍光体または色素原で染色され、続いて、分析のためにスキャンまたは写真撮影される。スキャンから生成される信号を観察することにより、病気の診断、治療に対する反応のアセスメント、病気と闘うための新薬の開発を含む、様々なプロセスが可能になる。アッセイは、タンパク質、タンパク質断片、または標本内の他の標的物に結合する抗体に接合される蛍光体または色素原を含有する染料で処理される、人間被験者からの組織切片などの生物標本を含む。アッセイをスキャンすると、色チャネルを含む画像データの複数のチャネルが導出され、各観察チャネルが複数の信号の混合物を含む。
[0002]マルチプレックス免疫組織化学(IHC)染色は、単一の組織切片内の複数のバイオマーカの検出のための技法であり、その顕著な効率性、およびそれが含む豊富な診断情報に起因して、広く普及している。マルチプレックスIHCスライドは、複数のスライド内の単一のバイオマーカ標識に対立するものとして、1つの組織切片内の複数のバイオマーカを同時に識別するという潜在的利点を有する。したがってこれは、しばしば、がん組織の複数の特徴の同時アセスメントのために使用される。
[0003]一般的には、色分解(またはスペクトル分離)が、アッセイの1つまたは複数の観察チャネル内の特定の染料の濃度を決定するために使用される。これはまた、色解析としても知られ得る。分離プロセスは、標準タイプの組織および染料の組み合わせについてよく知られている色基準ベクトルまたは基準スペクトルを使用して個々の染料の局所的な濃度を決定するために、染料特有のチャネルを抽出する。スキャン画像の各画素は、画像値のベクトルまたは色ベクトルによって表され、各染料は、色基準ベクトルに対応する。染料の局所的な濃度は、色基準ベクトルのスケール計数によって表される。したがって、異なる濃度を有する、同じ位置にある複数の染料を含有する画素のための色ベクトルは、存在するすべての染料の基準スペクトルの線形結合である。典型的には、蛍光イメージング色チャネルは、画像ベクトルおよび基準スペクトルを直接的に提供する。明視野(透過)イメージングにおいては、染色された組織によって放出される光強度は、光学密度空間へと変換され、異なる染料の混合は、寄与する基準スペクトルの線形重み付け結合によって表される。
[0004]本開示は、デジタルパソロジーシステム、および生体試料の獲得画像を分離するための方法を対象とする。本明細書に開示されるシステムおよび方法は、光散乱の効果、および具体的には、変動する染料濃度において、光散乱が検出光内のRGBチャネル信号の割合をどのように変化させるかを考慮する。
[0005]本明細書に記されるように、組織化学的染色は、細胞および組織試料の視覚的なコントラストを増進し、細胞内に存在する特定の抗原を強調するために使用される。これは、一般的に、試料物質内に吸収色素剤を埋め込むことによって達成される。試料内の複数の特定の細胞および組織構造体を強調するために、異なるスペクトル吸収特徴を有する複数の染料が配備される(すなわち、多重化)。残念ながら、3,3’−ジアミノベンジジン(DAB)など、最も一般的に使用される色素剤の一部は、幅広く吸収する。これは、個々の染料のコントラストによって提供される診断情報を解釈しようとするときに課題を提示する。したがって、多重化された試料からの単一染料コントラストの再構成が非常に望まれている。
[0006]いかなる特定の理論にも拘束されることを望むものではないが、ランベルト−ベールの等式は、小さい染料濃度および吸収分子間の相互作用なしを仮定すると考えられる。言い換えると、R、G、Bチャネルの各々についての吸収因子が、染料濃度から独立している、光減衰に影響を与える唯一の因子であると仮定される。しかしながら、この仮定は、DABの場合は、試料処理中のDABの沈殿物形成反応に起因して、上手く成り立たない。吸収以外に、散乱もまた、光学密度値と染料量との間の非線形の関係を引き起こす光減衰プロセスに寄与する。これを考慮すると、DABは、異なる濃度で異なる着色特性を提示すると考えられる。
[0007]したがって、出願者らは、獲得したマルチスペクトル画像データを分離することに使用するための濃度依存性の染料のための最適な色基準ベクトルを選択する方法を開発しており、濃度依存性の染料のための最適な色基準ベクトルは、濃度依存性の染料のための色基準ベクトルのセットから選択され、色基準ベクトルのセット内の各色基準ベクトルが、異なる濃度レベル(例えば、1X、2X、4X、8Xなど)における濃度依存性の染料を説明するまたは特徴付ける。これに関して、出願者らは、生体試料内の濃度依存性の染料の濃度の、検出光内のR、G、Bチャネルの各々へのその寄与に対する効果を考慮する、分離のための表色系を自動的に選択する方法を開発している。そのようなものとして、本明細書に説明されるシステムおよび方法は、生体試料内の濃度依存性の染料の濃度レベルを最良に特徴付ける色基準ベクトルの選択を可能にする。出願者らは、現在説明されるシステムおよび方法を用いた分離が、生体試料内の染料の濃度を考慮しない他の分離方法と比較して、より正確な濃度依存性の染料強度を提供するということを示している。
[0008]したがって、本開示の1つの態様は、生物標本の画像を分離する方法あって、(a)少なくとも第1の染料および第2の染料で染色された生物標本の画像を獲得するステップであって、第1の染料および第2の染料の少なくとも一方が濃度依存性の染料である、獲得するステップと、(b)獲得画像内の画素強度値から、R、G、B色空間内の各チャネルについての合計光学密度値を導出するステップと、(c)第1の染料および第2の染料の各々のための一連の色基準ベクトルを獲得するステップであって、任意の濃度依存性の染料について、複数の濃度基準ベクトルが獲得され、複数の濃度依存性の染料色基準ベクトルのセット内のそれぞれ個々の濃度依存性の染料色基準ベクトルが、異なる濃度レベルにおける濃度依存性の染料を特徴付ける、獲得するステップと、(d)第1の染料および第2の染料色基準ベクトルから一連の候補表色系を導出するステップであって、各候補表色系が、第1の染料および第2の染料色基準ベクトルを含み、各候補表色系が、一連の獲得色基準ベクトルからの第1の染料および第2の染料色基準ベクトルの異なる対合を含む、導出するステップと、(e)一連の候補表色系から最適な表色系を選択するステップであって、最適な表色系が、(i)各候補色空間について再構成誤差を演算すること、および(ii)最小再構成誤差を有する候補色空間を決定することによって選択される、選択するステップと、(f)選択した最適な表色系を使用して獲得画像を分離するステップとを含む方法である。いくつかの実施形態において、各候補表色系は異なり、各候補表色系が、濃度依存性の染料のための異なる色基準ベクトルを含む。
[0009]いくつかの実施形態において、第1の染料は、濃度依存性の染料(例えば、DAB)であり、第2の染料は、濃度非依存性の染料(例えば、ヘマトキシリン)である。いくつかの実施形態において、各候補表色系は、濃度依存性の染料の予測的な色基準ベクトル、および濃度非依存性の染料のための色基準ベクトルを含む。いくつかの実施形態において、第1の染料はDABである。いくつかの実施形態において、第1の染料はDABであり、第2の染料はヘマトキシリンである。
[0010]いくつかの実施形態において、生体試料は、2つの染料で染色される。いくつかの実施形態において、生体試料は、3つ以上の染料で染色され、獲得画像(または受信画像データ)は、生体試料全体の一部分、また生体試料のより大きい画像の一部分を表し、獲得画像は、2つの染料のみを有する。
[0011]本開示の別の態様は、生物標本の画像を分離する方法あって、第1の染料および第2の染料で染色された生物標本の画像を獲得するステップであって、少なくとも第1の染料が濃度依存性の染料である、獲得するステップと、獲得画像内の画素強度値から、R、G、B色空間内の各チャネルについての合計光学密度値を導出するステップと、複数の予測的な第1の染料色基準ベクトルを獲得するステップであって、複数の予測的な第1の染料色基準ベクトルの各々が、異なる濃度における第1の染料を特徴付ける、獲得ステップと、少なくとも1つの第2の染料色基準ベクトルを獲得するステップと、第1の染料および第2の染料色基準ベクトルから一連の候補表色系を導出するステップであって、各候補表色系が、複数の予測的な第1の染料色基準ベクトルからの予測的な第1の染料色基準ベクトルのうちの1つ、および少なくとも1つの第2の染料色基準ベクトルを含む、導出するステップと、一連の候補表色系から最適な表色系を選択するステップであって、最適な表色系が、(i)各候補色空間について再構成誤差を演算すること、および(ii)最小再構成誤差を有する候補色空間を決定することによって選択される、選択するステップと、選択した最適な表色系を使用して獲得画像を分離するステップとを含む方法である。
[0012]いくつかの実施形態において、再構成誤差は、(a)R、G、B色空間内のチャネルの第1のチャネルについての導出された合計光学密度値と、(b)第1のチャネル(例えば、青チャネル)についての再構成された合計光学密度と間の絶対値差分を計算することによって決定される(例えば、本明細書内の等式(4)を参照されたい)。いくつかの実施形態において、第1のチャネルについての再構成された合計光学密度は、(i)生体試料内に存在する第1の染料の導出量と、一連の候補表色系の候補表色系のうちの1つにおける第2の染料についての第1のチャネルの光学密度値との積、および(ii)生体試料内に存在する第1の染料の導出量と、同じ候補表色系における第1の染料についての第1のチャネルの光学密度値との積を合計することによって計算される(例えば、本明細書内の等式(3)を参照されたい)。いくつかの実施形態において、第1の染料および第2の染料の導出量は、R、B、G色空間内の第2および第3のチャネル(例えば、緑および赤チャネル)についての導出された合計光学密度のベクトルに、候補再構成行列の逆行列を掛けることによって演算され、候補再構成行列は、(i)候補表色系の第1の染料の第2および第3のチャネルに対応する光学密度値を有する第1の光学密度ベクトル、および(ii)候補表色系の第2の染料の第2および第3のチャネルに対応する光学密度値を有する第2の光学密度ベクトルを含む(例えば、本明細書内の等式(2)を参照されたい)。
[0013]いくつかの実施形態において、第1の染料はDABである。いくつかの実施形態において、第2の染料は、標準的な免疫組織化学的技法において使用される任意の色素剤である。いくつかの実施形態において、第2の染料は、標準的な免疫組織化学的技法において使用される任意の濃度非依存性の色素剤である。いくつかの実施形態において、第2の染料は、ヘマトキシリン、エオシン、ファストレッド、またはメチルグリーンからなる群から選択される。いくつかの実施形態において、第1の染料および第2の染料の両方が、濃度依存性の染料であり、少なくとも1つの第2の染料色基準ベクトルは、第2の濃度依存性の染料のための予測的な色基準ベクトルのセットである。いくつかの実施形態において、R、G、B色空間内のチャネルの第1のチャネルは、青チャネルまたは緑チャネルである。いくつかの実施形態において、生体試料は、3つ以上の染料で染色され、獲得画像は、より大きい画像から導出される対象領域であり、対象領域は、第1の染料および第2の染料のみを含む。いくつかの実施形態において、生体試料は、3つ以上の染料で染色され、獲得画像は、より大きい画像の一部分であり、画像部分は、2つの共存下染料のみに対応する信号を含み、2つの共存下染料のうちの少なくとも一方が濃度依存性の染料である。
[0014]本開示の別の態様は、生物標本の画像を分離する方法あって、第1の染料および第2の染料で染色された生物標本の画像を獲得するステップであって、第1の染料および第2の染料の両方が濃度依存性の染料(例えば、DAB)である、獲得するステップと、獲得画像内の画素強度値から、R、G、B色空間内の各チャネルについての合計光学密度値を導出するステップと、スペクトル基準データベースから複数の予測的な第1の染料色基準ベクトルを獲得するステップであって、複数の予測的な第1の染料色基準ベクトルの各々が、異なる濃度における第1の染料を特徴付ける、獲得するステップと、スペクトル基準データベースから複数の予測的な第2の染料色基準ベクトルを獲得するステップであって、複数の予測的な第2の染料色基準ベクトルの各々が、異なる濃度における第2の染料を特徴付ける、獲得するステップと、第1の染料および第2の染料色基準ベクトルから一連の候補表色系を導出するステップであって、各候補表色系が、複数の予測的な第1の染料色基準ベクトルからの予測的な第1の染料色基準ベクトルのうちの1つ、および複数の予測的な第2の染料色基準ベクトルからの予測的な第2の染料色基準ベクトルのうちの1つを含む、導出するステップと、一連の候補表色系から最適な表色系を選択するステップであって、最適な表色系が、(i)各候補色空間について再構成誤差を演算すること、および(ii)最小再構成誤差を有する候補色空間を決定することによって選択される、選択するステップと、選択した最適な表色系を使用して獲得画像を分離するステップとを含む方法である。
[0015]本開示の別の態様は、生物標本の画像を分離する方法あって、DABおよびヘマトキシリン(HEM)で染色された生物標本の画像を獲得するステップと、獲得画像内の画素強度値から、R、G、B色空間内の各チャネルについての合計光学密度値を導出するステップと、複数の予測的なDAB色基準ベクトルを獲得するステップであって、複数の予測的なDAB色基準ベクトルの各々が、異なる濃度におけるDABを特徴付ける、獲得ステップと、HEM色基準ベクトルを獲得するステップと、DABおよびHEM色基準ベクトルから一連の候補表色系を導出するステップであって、各候補表色系が、複数の予測的なDAB色基準ベクトルからの予測的なDAB色基準ベクトルのうちの1つ、およびHEM色基準ベクトルを含む、導出するステップと、一連の候補表色系から生体試料内の真のDAB濃度レベルを最良に表す最適な表色系を選択するステップであって、最適な表色系が、(i)各候補色空間について再構成誤差を演算すること、および(ii)最小再構成誤差を有する候補色空間を決定することによって選択される、選択するステップと、選択した最適な表色系を使用して獲得画像を分離するステップとを含む方法である。
[0016]本開示の別の態様は、少なくとも2つの染料で染色された生物標本の画像を分離するためのイメージングシステムであり、本イメージングシステムは、(i)画像獲得デバイス、(ii)1つまたは複数のプロセッサ、および(iii)プロセッサに結合されたメモリを備え、メモリは、コンピュータ実行可能命令を格納するためのものであり、コンピュータ実行可能命令は、1つまたは複数のプロセッサによって実行されるとき、第1の染料および第2の染料に対応する信号を有する生物試料の画像を獲得することであって、少なくとも第1の染料が濃度依存性の染料である、獲得することと、獲得画像内の画素強度値から、R、G、B色空間内の各チャネルについての合計光学密度値、スペクトル基準データベースから予測的な第1の染料色基準ベクトルのセットを獲得することであって、予測的な第1の染料色基準ベクトルのセット内の各色基準ベクトルが、異なる濃度における第1の染料を特徴付ける、獲得することと、スペクトル基準データベースから少なくとも1つの第2の染料色基準ベクトルを獲得することと、第1の染料および第2の染料色基準ベクトルから一連の候補表色系を導出することであって、各候補表色系が、複数の予測的な第1の染料色基準ベクトルからの予測的な第1の染料色基準ベクトルのうちの1つ、および少なくとも1つの第2の染料色基準ベクトルを含む、導出することと、一連の候補表色系からの最適な表色系、最適な表色系が、(i)各候補色空間について再構成誤差を演算すること、および(ii)最小再構成誤差を有する候補色空間を決定することによって選択される、選択することと、選択した最適な表色系を使用して獲得画像内の信号を分離すること、を含む動作を1つまたは複数のプロセッサに実施させる。いくつかの実施形態において、イメージング装置は、マルチスペクトルイメージング装置である。いくつかの実施形態において、第1の染料はDABである。いくつかの実施形態において、第2の染料はヘマトキシリンである。いくつかの実施形態において、第1の染料はDABであり、第2の染料はヘマトキシリンである。
[0017]いくつかの実施形態において、再構成誤差は、R、G、B色空間内のチャネルの第1のチャネルについての導出された合計光学密度値と、(b)第1のチャネルについての再構成された合計光学密度と間の絶対値差分を計算することによって決定される。いくつかの実施形態において、第1のチャネルについての再構成された合計光学密度は、(i)生体試料内に存在する第1の染料の導出量と、一連の候補表色系の候補表色系のうちの1つにおける第2の染料についての第1のチャネル光学密度値との積、および(ii)生体試料内に存在する第1の染料の導出量と、同じ候補表色系における第1の染料についての第1のチャネル光学密度値との積を合計することによって計算される。いくつかの実施形態において、第1の染料および第2の染料の導出量は、R、B、G色空間内の第2および第3のチャネルについての導出された合計光学密度のベクトルに、候補再構成行列の逆行列を掛けることによって演算され、候補再構成行列が、(i)候補表色系の第1の染料の第2および第3のチャネルに対応する光学密度値を有する第1の光学密度ベクトル、および(ii)候補表色系の第2の染料の第2および第3のチャネルに対応する光学密度値を有する第2の光学密度ベクトルを含む。
[0018]いくつかの実施形態において、予測的な第1の染料色基準ベクトルのセットを獲得することは、一連の制御スライドから画像データを分析することによって第1の染料についての複数の色基準ベクトルを導出することを含み、各制御スライドが、異なる濃度の染料を有する。
[0019]本開示の別の態様は、コンピュータ実行可能命令を格納するための非一時的なコンピュータ可読媒体であって、コンピュータ実行可能命令は、第1の染料および第2の染料を有する画像または画像の一部分内の画素強度値から、R、G、B色空間内の各チャネルについての合計光学密度値を導出することであって、第1の染料が濃度依存性の染料であり、第2の染料が濃度非依存性の染料である、導出することと、複数の予測的な第1の染料色基準ベクトルを獲得することであって、複数の予測的な第1の染料色基準ベクトルの各々が、異なる濃度における第1の染料を特徴付ける、獲得することと、第2の染料色基準ベクトルを獲得することと、第1の染料および第2の染料色基準ベクトルから一連の候補表色系を導出することであって、各候補表色系が、複数の予測的な第1の染料色基準ベクトルからの予測的な第1の染料色基準ベクトルのうちの1つ、および第2の染料色基準ベクトルを含む、導出することと、一連の候補表色系から最適な表色系を選択することであって、最適な表色系が、(i)各候補色空間について再構成誤差を演算すること、および(ii)最小再構成誤差を有する候補色空間を決定することによって選択される、選択することと、選択した最適な表色系を使用して獲得画像を分離することと、を含む動作を実施するためにプロセッサによって実行される。
[0020]いくつかの実施形態において、再構成誤差は、(a)R、G、B色空間内のチャネルの第1のチャネル(例えば、青チャネル)についての導出された合計光学密度値と、(b)第1のチャネル(例えば、青チャネル)についての再構成された合計光学密度と間の絶対値差分を計算することによって決定される。いくつかの実施形態において、第1のチャネル(例えば、青チャネル)についての再構成された合計光学密度は、(i)生体試料内に存在する第2の染料の導出量と、一連の候補表色系の候補表色系のうちの1つにおける第2の染料についての第1のチャネル光学密度値(例えば、青チャネル光学密度値)との積、および(ii)生体試料内に存在する第1の染料の導出量と、同じ候補表色系における第1の染料についての第1のチャネル光学密度値(例えば、青チャネル光学密度値)との積を合計することによって計算される。いくつかの実施形態において、第1の染料および第2の染料の導出量は、R、B、G色空間内の第2および第3のチャネルについての導出された合計光学密度のベクトルに、候補再構成行列の逆行列を掛けることによって演算され、候補再構成行列が、(i)候補表色系の第1の染料の第2および第3のチャネルに対応する光学密度値を有する第1の光学密度ベクトル、および(ii)候補表色系の第2の染料の第2および第3のチャネルに対応する光学密度値を有する第2の光学密度ベクトルを含む。
[0021]本特許または出願ファイルは、色付きで作成された少なくとも1つの図面を含む。カラー図面付きのこの特許または特許出願刊行物の複製は、要請および必要な手数料の支払いがあれば、庁により提供される。
[0022]本開示の特徴の一般的理解のため、図面を参照する。図面では、同様の参照番号は、全体を通して同一の要素を特定するために使用されている。
[0023]画像獲得デバイスおよびコンピュータシステムを含む代表的なデジタルパソロジーシステムを例証する図である。 [0024]デジタルパソロジーシステムにおいて、またはデジタルパソロジーワークフロー内で利用され得る様々なモジュールを明記する図である。 [0025]画像を分離するためのステップの概略を提供する図である。 [0026]画像を分離するためのステップの概略を提供する図である。 [0027]入力画像内の対象領域を選択するステップを例証するフローチャートを明記する図である。 [0028]分離のための最適な表色系を選択するステップを例証するフローチャートを提供する図である。 [0029]各候補表色系について再構成誤差を導出するステップを例証するフローチャートを提供する図である。 [0030]様々な濃度についてDABの減衰を例証する図である。 [0031]およそ1.9mM DABのOptiView(VentanaMedical Systems,Inc.)スライド上濃度に関係する、(a)1X、(b)5X、(c)15X、(d)20X、(e)25Xという異なる濃度のDABを使用して準備された5つのスライドを例証する図である。 [0032]各RGBチャネルについての正規化OD対合計ODを例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。各点は、スライド内の1つの1000×1000FOVに対応する。外れた点は、スライド内のアーチファクト(例えば、気泡)に起因するものであり、これは無視され得る。 各RGBチャネルについての正規化OD対合計ODを例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。各点は、スライド内の1つの1000×1000FOVに対応する。外れた点は、スライド内のアーチファクト(例えば、気泡)に起因するものであり、これは無視され得る。 各RGBチャネルについての正規化OD対合計ODを例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。各点は、スライド内の1つの1000×1000FOVに対応する。外れた点は、スライド内のアーチファクト(例えば、気泡)に起因するものであり、これは無視され得る。 各RGBチャネルについての正規化OD対合計ODを例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。各点は、スライド内の1つの1000×1000FOVに対応する。外れた点は、スライド内のアーチファクト(例えば、気泡)に起因するものであり、これは無視され得る。 各RGBチャネルについての正規化OD対合計ODを例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。各点は、スライド内の1つの1000×1000FOVに対応する。外れた点は、スライド内のアーチファクト(例えば、気泡)に起因するものであり、これは無視され得る。 [0033]抗ビメンチンIHCプロトコルを使用して処理されたスライドの、各RGBチャネルについての正規化OD値対合計OD値を例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。試料は、組織を被覆する1000×1000FOVの各々から無作為に選択される。 抗ビメンチンIHCプロトコルを使用して処理されたスライドの、各RGBチャネルについての正規化OD値対合計OD値を例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。試料は、組織を被覆する1000×1000FOVの各々から無作為に選択される。 抗ビメンチンIHCプロトコルを使用して処理されたスライドの、各RGBチャネルについての正規化OD値対合計OD値を例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。試料は、組織を被覆する1000×1000FOVの各々から無作為に選択される。 抗ビメンチンIHCプロトコルを使用して処理されたスライドの、各RGBチャネルについての正規化OD値対合計OD値を例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。試料は、組織を被覆する1000×1000FOVの各々から無作為に選択される。 抗ビメンチンIHCプロトコルを使用して処理されたスライドの、各RGBチャネルについての正規化OD値対合計OD値を例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。試料は、組織を被覆する1000×1000FOVの各々から無作為に選択される。 抗ビメンチンIHCプロトコルを使用して処理されたスライドの、各RGBチャネルについての正規化OD値対合計OD値を例証する図である。赤、緑、および青の色が付いた点は、それぞれ、RGBチャネルを表すために使用される。試料は、組織を被覆する1000×1000FOVの各々から無作為に選択される。 [0034]以前の方法と比較して現在開示される方法を用いた分離の結果の視覚的比較を明記する図である。 [0035]12の腫瘍細胞株を保持する2つのスライドのサムネイル画像を例証する図である。 [0036]各細胞株の平均DAB強度対遺伝子コピー数の対数を明記する図である。
[0037]逆のことが明白に示されない限り、2つ以上のステップまたは行為を含む本明細書内で特許請求される任意の方法において、本方法のステップまたは行為の順序は、本方法のステップまたは行為が列挙される順序に必ずしも限定されないということを理解されたい。
[0038]本明細書で使用される場合、単数形「a(1つの)」、「an(1つの)」、および「the(その)」は、文脈が別のことを明白に示さない限り、複数の指示物を含む。同様に、「または」という言葉は、文脈が別のことを明白に示さない限り、「および」を含むことが意図される。「含む」という用語は、「AまたはBを含む」が、A、B、またはAおよびBを意味するように、包含的に定義される。
[0039]本明細書および特許請求の範囲で使用される場合、「または」は、上に定義されるように、「および/または」と同じ意味を有すると理解されるべきである。例えば、リスト内の用語が分けられるとき、「または」または「および/または」は、包含的である、すなわち、いくつかの要素または要素のリスト、および任意選択的に、追加のリストされていない項目のうちの、少なくとも1つの包含だけでなく、2つ以上の包含、と解釈されるものとする。「〜のうちの1つのみ」もしくは「〜のうちのちょうど1つ」など、逆のことが明白に示される用語のみ、または、特許請求の範囲において使用されるときは、「〜からなる」は、いくつかの要素または要素のリストのうちのちょうど1つの包含を指す。一般に、本明細書で使用される場合、「または」という用語は、「いずれか」、「〜のうちの1つ」、「〜のうちの1つのみ」、または「〜のうちのちょうど1つ」など、排他性の用語が続くときは、排他的な代替案(すなわち、「1つまたは他方であるが両方ではない」)を示すものとだけ解釈されるものとする。「〜から本質的になる」は、特許請求の範囲において使用されるとき、特許法の分野において使用されるような通常の意味を有するものとする。
[0040]「comprising(備えること)」、「including(含むこと)」、「(having)有すること」という用語、および同様のものは、互換的に使用され、同じ意味を有する。同様に、「(comprises)備える」、「(includes)含む」、「(has)有する」、および同様のものは、互換的に使用され、同じ意味を有する。具体的には、用語の各々は、「comprising(備えること)」の共通の米国特許法の定義に一致して定義され、したがって、「少なくとも以下」を意味するオープンタームであると解釈され、また、追加の特徴、制限、態様などを除外しないと解釈される。したがって、例えば、「構成要素a、b、およびcを有するデバイス」は、少なくとも構成要素a、b、およびcを含むデバイスを意味する。同様に、「ステップa、b、およびcを伴う方法」という表現は、その方法が少なくともステップa、b、およびcを含むことを意味する。さらには、ステップおよびプロセスは、本明細書内では特定の順序で概説され得るが、当業者は、ステップおよびプロセスの順序が変わり得ることを理解するものとする。
[0041]本明細書および特許請求の範囲において使用される場合、1つまたは複数の要素のリストを参照しての「少なくとも1つの」という表現は、要素のリスト内の要素のうちの任意の1つまたは複数から選択される少なくとも1つの要素を意味するが、要素のリスト内に具体的にリストされた1つ1つすべての要素のうちの少なくとも1つを必ずしも含まず、要素のリスト内の要素の任意の組み合わせを除外しないということが理解されなければならない。この定義はまた、「少なくとも1つの」という表現が指す要素のリスト内に具体的に特定された要素以外の要素が、具体的にリストされたそれらの要素に関係するにしろ、関係しないにしろ、任意選択的に存在し得ることを可能にする。したがって、非限定的な例として、「AおよびBのうちの少なくとも1つ(または等価に、「AまたはBのうちの少なくとも1つ」、または等価に、「Aおよび/またはBのうちの少なくとも1つ」)は、1つの実施形態においては、Bが存在しない状態で、2つ以上を任意選択的に含む、少なくとも1つのA(およびB以外の要素を任意選択的に含む)、別の実施形態においては、Aが存在しない状態で、2つ以上を任意選択的に含む、少なくとも1つのB(およびA以外の要素を任意選択的に含む)、さらに別の実施形態においては、2つ以上を任意選択的に含む、少なくとも1つのA、および2つ以上を任意選択的に含む、少なくとも1つのB(および他の要素を任意選択的に含む)などを指すことができる。
[0042]本明細書で使用される場合、「生体試料」または「組織試料」という用語は、ウイルスを含む任意の有機体から獲得される生体分子(タンパク質、ペプチド、核酸、脂質、糖質、またはそれらの組み合わせなど)を含む、任意の試料を指す。有機体の他の例としては、哺乳動物(人間;ネコ、イヌ、ウマ、ウシ、およびブタなどの家畜動物;マウス、ラット、および霊長類などの実験動物など)、昆虫、環形動物、クモ形類動物、爬虫類、両生類、細菌、および菌類が挙げられる。生体試料としては、組織試料(組織切片および組織の針生検など)、細胞試料(Papスメアもしくは血液スメアなどの細胞学的スメア、または顕微解剖によって獲得される細胞の試料など)、または細胞分画、断片、もしくは小器官(細胞を溶解し、遠心分離または他のやり方により細胞の成分を分けることによって獲得されるなど)が挙げられる。生体試料の他の例としては、血液、血清、尿、***、***物、脳脊髄液、間質液、粘液、涙、汗、膿、生検組織(例えば、直視下生検または針生検によって獲得される)、乳頭吸引液、耳垢、母乳、膣液、唾液、ふき取り液(口内ふき取りなど)、または第1の生体試料に由来する生体分子を含有する任意の物質が挙げられる。特定の実施形態において、「生体試料」という用語は、本明細書で使用される場合、対象から獲得された腫瘍またはその一部分から準備された試料(均質化または液化された試料など)を指す。
[0043]本明細書で使用される場合、「バイオマーカ」とは、正常もしくは異常なプロセスの兆候、病態もしくは病気(がんなど)の兆候である、血液、他の体液、または組織内で見つかった生体分子を指す。バイオマーカは、身体が病気もしくは病態の治療に対してどれくらいよく反応するか、または対象が病気もしくは病態にかかりやすいかどうかを決定するために使用され得る。がんの文脈においては、バイオマーカは、身体内のがんの存在を示す生物学的物質を指す。バイオマーカは、腫瘍から分泌される分子、またはがんの存在に対する身体の特定の反応であり得る。ジェネティックバイオマーカ、エピジェネティックバイオマーカ、プロテオミックバイオマーカ、グライコミクスバイオマーカ、イメージングバイオマーカが、がん診断、予後、および疫学のために使用され得る。そのようなバイオマーカは、血液または***などの非侵襲的に収集された生物液内でアッセイされ得る。AFP(肝臓がん)、BCR−ABL(慢性骨髄性白血病)、BRCA1/BRCA2(乳/卵巣がん)、BRAF V600E(黒色腫/結腸直腸がん)、CA−125(卵巣がん)、CA19.9(膵臓がん)、CEA(結腸直腸がん)、EGFR(非小細胞肺がん)、HER−2(乳がん)、KIT(消化管間質腫瘍)、PSA(前立腺特異抗原)、S100(黒色腫)、および他多数を含むが、これらに限定されない、いくつかの遺伝子およびタンパク質ベースのバイオマーカが、患者ケアにすでに使用されている。バイオマーカは、診断学(早期がんを特定するため)、および/または予後(がんがどれくらい進行性であるかを予測するため、ならびに/または、対象が特定の治療に対してどのように反応するか、および/もしくはがんが再発する可能性はどれくらいあるかを予期するため)として有用であり得る。
[0044]本明細書で使用される場合、「色チャネル」という用語は、画像センサのチャネルを指す。例えば、画像センサは、赤(R)、緑(G)、および青(B)などの3つの色変化を有し得る。
[0045]本明細書で使用される場合、「視野(FOV)」という用語は、予め定められたサイズおよび/または形状を有する画像部分を指す。
[0046]本明細書で使用される場合、本明細書内で理解されるような「画像データ」という用語は、光学センサもしくはセンサアレイなどを用いて生体組織試料から獲得される生の画像データ、または前処理された画像データを包含する。特に、画像データは、画素行列を含み得る。
[0047]本明細書内で理解されるような「マルチチャネル画像」は、生体組織試料から獲得されるデジタル画像を包含し、このデジタル画像においては、核構造および組織構造などの異なる生体構造が、特定の蛍光色素、量子ドット、色素原などで同時に染色され、その各々が、蛍光を発するか、または別のやり方で異なるスペクトル帯内で検出可能であり、こうしてマルチチャネル画像のチャネルのうちの1つを構成する。
[0048]本明細書で使用される場合、「RGB色空間」という用語は、赤−緑−青(RGB)色モデルに基づいた任意の加法色空間を指す。特定のRGB色空間は、赤、緑、および青の加法原色という3つの色度によって規定され、それらの原色によって規定される三角形である任意の色度を生み出すことができる。RGB色空間の完全な仕様は、白色点色度およびガンマ補正曲線も必要とする。
[0049]「本明細書内で理解されるような「分離画像」は、マルチチャネル画像の1つのチャネルについて獲得されるグレー値またはスカラー画像を包含する。マルチチャネル画像を分離することによって、1チャネルあたり1つの分離画像が獲得される。
[0050]概要
[0051]本開示は、光散乱の効果、および、主に、光散乱が、変動する染料濃度において、検出光内のRGBチャネル信号の割合をどのように変化させるかを考慮する色基準ベクトルを自動的に選択することによって画像内の色を分けるためのシステム及び方法を提供する。そのようなものとして、本開示は、生体試料内に存在する染料の量を考慮することによって色基準ベクトルの選択を最適化する方法を提供し、これは、ランベルト−ベールの法則に厳密に従わない染料にとっては、すなわち、染料の濃度と染料の吸収度または光学密度との線形関係がほとんど、もしくは全くない染料にとっては特に重要である。これらのタイプの染料では、異なる染料濃度は、異なるスペクトル形状を結果としてもたらし、したがって、これらの染料のための最良の色基準ベクトルの選択は、濃度依存であり得る。
[0052]本明細書に開示される方法は、2つの染料に対応する信号を有する画像データを分離するのに関連しており、2つの染料のうちの少なくとも1つが、濃度依存性の染料、例えば、DABである。これは、生体試料が2つの染料のみで染色され得ることを示唆するものでは決してない。実際には、本明細書に説明されるシステムおよび方法を使用して評価される任意の生体試料は、2つを超える染料、例えば、3つ以上の染料、または4つ以上の染料で染色され得る。本明細書に説明されるシステムおよび方法は、(2つのみの染料で染色された生体試料の)画像全体、2つのみの染料を有する、画像(例えば、より大きい画像)の一部分、視野(FOV)、もしくは対象領域(ROI)、または、2つの共存下染料を有する、画像、FOV、もしくはROI内の任意の領域を評価するように適合される。
[0053]このことを念頭に、本明細書で使用される場合、「濃度依存性の染料」という用語は、ランベルト−ベールの法則(小さい染料濃度および吸収分子間の相互作用なしを仮定する)を厳密に守らない染料を指す。これらの濃度依存性の染料では、染料の濃度が増加すると、検出光内のR、G、Bチャネル信号の割合が、増大した散乱(染料分子の沈殿によって引き起こされるものなど)に起因して変化する。これらのタイプの染料では、異なる光学密度色基準ベクトル(複数の変動する染料濃度において決定される)は、染料の濃度依存性の性質を最良に特徴付けるために利用され、すなわち、変動する染料濃度において決定される異なる色基準ベクトルは、染料濃度の効果が、検出光内のR、G、およびBチャネル信号の各々の寄与において主要因となるように、色基準ベクトルを選択するときに検討されなければならない。いくつかの実施形態において、濃度依存性の染料のための色基準ベクトルは、変動する染料濃度において標準化試料を分析することによって導出され、導出量は、メモリ(201)またはデータベース内に取得用に格納され得る。
[0054]例えば、3,3’−ジアミノベンジジン(「DAB」)は、光散乱、すなわち、散乱に加えて吸収を引き起こす、沈殿物の形成に影響されやすく、したがって濃度依存性の染料である。DAB染料の濃度の効果は、本明細書内の実施例1にさらに例証される。DABの濃度依存性の性質の結果として、異なる色基準ベクトルが、DABを分離するときに検討されなければならない。例として、DABを説明する単一の色基準ベクトルを有するのではなく、複数の異なる色基準ベクトルが、DABについて獲得され得、複数の異なる色基準ベクトルのそれぞれ個々の色基準ベクトルが特定の濃度レベル(例えば、1X、2X、4X、8Xなど)におけるDABを説明する。変動するDAB濃度レベルのための複数の異なる色基準ベクトルは、当業者に知られている方法に従って獲得され得、本明細書に提供される実施例においてさらに説明される。
[0055]本明細書で使用される場合、「濃度非依存性の染料」という用語は、ランベルト−ベールの法則を守る、または実質的に守る染料を指す。これらの濃度非依存性の染料では、単一の色基準ベクトルが、各R、G、B色チャネル値を適切に説明し得る。
[0056]本明細書に開示される特定の例は、染料DABおよびヘマトキシリンを含む2染料システムを指すが、当業者は、DAB、またはさらに言えば、いかなる濃度依存性の染料も、任意の他の濃度非依存性の染料または濃度依存性の染料と組み合わされ得ることを理解するものとする。本明細書に説明される数学的主要および関係性は、他の染料システムにも同様に等しく当てはまるものとする。
[0057]標本をイメージングおよび分析するためのデジタルパソロジーシステム200が、図1に例証される。デジタルパソロジーシステム200は、イメージング装置12(例えば、標本を含む顕微鏡スライドをスキャンするための手段を有する装置)、およびコンピュータ14を備えることができ、イメージング装置12およびコンピュータは、(例えば、直接的に、またはネットワーク20を介して間接的に)通信可能に互いに結合され得る。コンピュータシステム14は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、もしくは同様のもの、デジタル電子回路、ファームウェア、ハードウェア、メモリ602、コンピュータ記憶媒体、コンピュータプログラムもしくは命令のセット(例えば、プログラムは、メモリもしくは記憶媒体内に格納される)、プロセッサ(プログラムされたプロセッサを含む)、および/または同様のものを含み得る。図1に例証されるコンピューティングシステム14は、ディスプレイデバイス16および筺体18を有するコンピュータを備え得る。コンピュータシステムは、バイナリ形式でデジタル画像を(メモリ内などローカルに、サーバ上に、またはデバイスに接続された別のネットワーク上に)格納することができる。デジタル画像はまた、画素の行列へと分割され得る。画素は、ビット深度によって規定される、1つまたは複数のビットのデジタル値を含むことができる。当業者は、他のコンピュータデバイスまたはシステムが利用され得ること、および本明細書に説明されるコンピュータシステムが、追加の構成要素、例えば、標本分析装置、顕微鏡、他のイメージングシステム、自動スライド準備設備、などに通信可能に結合され得ることを理解するものとする。これらの追加の構成要素の一部、および利用され得る様々なコンピュータ、ネットワークなどは、本明細書内でさらに説明される。
[0058]一般に、イメージング装置12(または、メモリに格納されたプレスキャン画像を含む他の画像源)は、限定するものではないが、1つまたは複数の画像取込デバイスを含み得る。画像取込デバイスは、限定するものではないが、カメラ(例えば、アナログカメラ、デジタルカメラなど)、光学素子(例えば、1つまたは複数のレンズ、センサフォーカスレンズグループ、顕微鏡対物レンズなど)、イメージングセンサ(例えば、電荷結合デバイス(CCD)、相補型金属酸化膜半導体(CMOS)画像センサ、または同様のもの)、写真フィルム、または同様のものを含み得る。デジタルの実施形態において、画像取込デバイスは、協働してオンザフライでの焦点合わせを証明する複数のレンズを含むことができる。画像センサ、例えば、CCDセンサは、標本のデジタル画像を取り込むことができる。いくつかの実施形態において、イメージング装置12は、明視野イメージングシステム、マルチスペクトルイメージング(MSI)システム、または蛍光顕微鏡システムである。デジタル化された組織データは、例えば、アリゾナ州ツーソンのVENTANA MEDICAL SYSTEMSによるiSCAN COREなどの画像スキャニングシステム、または他の好適なイメージング設備、生成され得る。追加のイメージングデバイスおよびシステムは、本明細書内でさらに説明される。当業者は、イメージング装置12によって獲得されるデジタル色画像が、慣習的に、基本色画素からなることを理解するものとする。各着色画素は、これらのデジタル成分にわたって符号化され、各々が同じビット数を含み、各成分が、「RGB」成分という用語でも示される、原色、一般的には赤、緑、または青に対応する。
[0059]図2は、現在開示されるデジタルパソロジーシステム内で利用される様々なモジュールの概要を提供する。いくつかの実施形態において、デジタルパソロジーシステムは、1つまたは複数のプロセッサ203を有するコンピュータデバイス204またはコンピュータ実行方法、および少なくとも1つのメモリ201を採用し、少なくとも1つのメモリ201は、1つまたは複数のプロセッサによる実行ための非一時的なコンピュータ可読命令を格納し、この非一時的なコンピュータ可読命令は、1つまたは複数のプロセッサに1つまたは複数のモジュール(例えば、モジュール202、および205から208)内で命令を実行させるためのものである。代替的に、命令は、非一時的なコンピュータ可読媒体(201)またはコンピュータ使用可能媒体に格納され得る。いくつかの実施形態において、非一時的なコンピュータ可読媒体201は、一時的な伝播信号を除くすべてのコンピュータ可読媒体を含み得る。
[0060]図2および図3を参照すると、本開示は、スペクトルデータを分離するコンピュータ実行方法であって、(a)マルチチャネル画像データ、例えば、獲得画像、または少なくとも2つの染料で染色された生体試料を生成または受信するために画像獲得モジュール202を実行するステップ(ステップ250)、(b)画像強度データをRGB色空間内の各チャネルについての光学密度値へと変換するために画像変換モジュール205を実行するステップ(ステップ251)、(c)生体試料内の各染料について、格納された色基準ベクトル(基準スペクトル)を導出または取得する(および、濃度依存性の染料の場合、複数の変動する濃度における染料を特徴付ける複数の色基準ベクトルを取得または導出する)ためにスペクトル参照モジュール206を実行するステップ(ステップ252)、(d)最適な色空間を提供する染料特異の色基準ベクトル(例えば、直線性にアプローチする、および/または検出光に対する染料の濃度依存性の効果を最良に考慮するもの)を決定するためにデータ再構成モジュール207を実行するステップ(ステップ253)、ならびに(e)決定された染料特異の色基準ベクトルを使用して検出光内の各RGBチャネルに対する染料特異の寄与を抽出するために分離モジュール208を実行するステップ(ステップ254)を含む方法を提供する。当然ながら、当業者は、各モジュール内での使用のための説明される命令、アルゴリズム、およびフィルタのいずれかは、獲得される画像のタイプおよび/または調査されている標本のタイプに基づいて、適合または変更され得るということを認識するものとする。当業者はまた、追加のモジュールがワークフロー内に組み込まれ得るということを理解するものとする。例えば、画像処理モジュールが、獲得画像に特定のフィルタを適用するため、または組織試料内の特定の組織構造および/または形態構造を特定するために実行され得る。同様に、対象領域選択モジュールが、分析のために、画像の予め定められた部分、または分析用の2つの染料の共存を含むものなど、画像の特定の部分を選択するために利用され得る。さらなる例として、分離の後、モジュールは、試料内の1つまたは複数の染料の濃度を決定するために実行され得る。
[0061]図4を参照すると、本開示は、少なくとも2つの染料で染色された生物標本の画像を分離する方法であって、(a)第1の染料および第2の染料を有する画像または画像の一部分内の画素強度値から、R、G、B色空間内の各チャネルについての合計光学密度値を導出するステップであって、少なくとも第1の染料が濃度依存性の染料である、導出するステップ(ステップ310)、(b)複数の予測的な第1の染料色基準ベクトルを獲得するステップであって、複数の予測的な第1の染料色基準ベクトルの各々が、異なる濃度における第1の染料を特徴付ける、獲得するステップ(ステップ320)、(c)少なくとも1つの第2の染料色基準ベクトルを獲得するステップ(ステップ330)、(d)第1の染料および第2の染料色基準ベクトルから一連の候補表色系を導出するステップであって、各候補表色系が、複数の予測的な第1の染料色基準ベクトルからの予測的な第1の染料色基準ベクトルのうちの1つ、および少なくとも1つの第2の染料色基準ベクトルを含む、導出するステップ(ステップ340)、(e)一連の候補表色系から最適な表色系を選択するステップ(ステップ350)であって、最適な表色系が、(i)各候補色空間について再構成誤差を演算すること、および(ii)最小再構成誤差を有する候補色空間を決定することによって選択される、選択するステップ、ならびに(f)選択した最適な表色系を使用して獲得画像を分離するステップ(ステップ360)を含む方法を提供する。
[0062]画像獲得モジュール
[0063]最初のステップとして、ならびに図3および図4を参照すると、デジタルパソロジーシステムは、1つまたは複数の染料を有する生体試料の画像または画像データを取り込む(ステップ250および300)ために画像獲得モジュール202を実行する。いくつかの実施形態において、受信または獲得される画像は、RGB画像またはマルチスペクトル画像である。いくつかの実施形態において、取り込まれた画像は、メモリ201に格納される。
[0064]画像または画像データ(本明細書では互換的に使用される)は、イメージング装置12を使用して、例えばリアルタイムで、獲得し得る。いくつかの実施形態において、画像は、本明細書に記されるように、顕微鏡、または標本を含む顕微鏡スライドの画像データを取り込むことができる他の機器から獲得される。いくつかの実施形態において、画像は、2Dスキャナ、例えば画像タイルをスキャンすることができるもの、を使用して獲得される。代替的に、画像は、以前に獲得され(例えば、スキャンされ)メモリ201に格納されている(またはさらに言えば、ネットワーク20を介してサーバから取得される)画像であってもよい。
[0100]試料は、1つまたは複数の異なるマーカを含む染料、または発色染料の適用により染色され得る。発色染料は、ヘマトキシリン、エオシン、ファストレッド、または3,3’−ジアミノベンジジン(DAB)を含み得る。当然ながら、当業者は、それのみならず生体試料が、1つまたは複数の蛍光体でも染色され得ることを理解するものとする。典型的な生体試料は、試料に染料を適用する自動染色/アッセイプラットフォーム内で処理される。染色/アッセイプラットフォームとしての使用に好適な様々な市販製品が市場には存在し、1つの例が、Ventana Medical Systems,Inc.(アリゾナ州ツーソン)の製品Discovery(商標)である。カメラプラットフォームはまた、1つの例が、Ventana Medical Systems,Inc.の製品VENTANA iScan HTである、明視野顕微鏡、または1つもしくは複数の対物レンズおよびデジタルイメージャを有する任意の顕微鏡、ならびにスペクトルフィルタのセットを含み得る。異なる波長で画像を取り込むための他の技術が使用され得る。染色された生物標本をイメージングするのに好適なさらなるカメラプラットフォームは、当該技術分野において知られており、Zeiss、Canon、Applied Spectral Imaging、およびその他などの企業から市販されており、そのようなプラットフォームは、本主題の開示のシステム、方法、および装置における使用に容易に適合可能である。
[0065]いくつかの実施形態において、対象領域特定モジュールは、画像または画像データが獲得されるべき生体試料の一部分を選択するために使用され得る。図5は、領域選択のステップを例証するフローチャートを提供する。ステップ420において、領域選択モジュールは、特定された対象領域または視野を受信する。いくつかの実施形態において、対象領域は、本開示のシステムのユーザ、または本開示のシステムに通信可能に結合された別のシステムによって特定される。代替的に、および他の実施形態において、領域選択モジュールは、ストレージ/メモリから対象領域の場所または同定を取得する。いくつかの実施形態において、ステップ430に示されるように、領域選択モジュールは、例えば、PCT/EP2015/062015に説明される方法により、FOVまたはROIを自動的に生成し、この開示は、参照によりその全体が本明細書に組み込まれる。いくつかの実施形態において、対象領域は、画像内にある、または画像のものである、何らかの予め定められた基準または特徴(例えば、3つ以上の染料で染色される生体試料では、2つのみの染料を含む画像の領域を特定する)に基づいて、システムによって自動的に決定される。ステップ440において、領域選択モジュールは、ROIを出力する。
[0066]いくつかの実施形態において、複数の画像、またはそれらの対象領域は、獲得されると、画像変換モジュール205に提供され、その結果として、獲得画像内の強度データが光学密度データへ変換され得る(ステップ310)。
[0067]画像変換モジュール
[0068]画像データを受信すると、画像変換モジュール205は、画像強度データまたは画素強度データを光学密度(OD)データへ変換するために実行され得る(ステップ251および310)。この観点から、および生体試料の獲得画像を前提に、合計光学密度(検出光の全体における)が、RGB色空間内の各チャネルについて導出され得る。より詳細には、および以下に特定される関係性を使用して、RGB色空間内の青チャネル、赤チャネル、および緑チャネルについての合計光学密度が導出されて、データ再構成モジュール207へ提供され得る。
[0069]光学密度空間への変換は、以下にさらに詳細に説明されるように、光学密度が染料の濃度に比例するという原則に基づく、ランベルト−ベールの法則を利用する。ランベルト−ベールの吸収の法則によると、吸収媒体を通過する単色光の透過強度は、
[0070]I=I−αs
によって得られ、
[0071]式中、Iは、入射光強度であり、αは、吸収媒体の吸収係数として知られており、sは、吸収媒体の濃度と経路長との積である。ランベルト−ベールの法則は、入射光のすべての波長に対して成り立ち、すべての波長について異なる値のαを有する。したがって、N個の帯域を有するイメージングデバイスでは、ランベルト−ベールの法則は、
[0072](I,I,I,...,I)=(I01−α ,I02−α ,I03−α ,...,I0N −α
と書くことができ、
[0073]式中、I0jは、帯域jにおける入射光強度であり、αjは、帯域jにおける吸収係数である。複数の吸収媒体(組織学的に準備された組織標本の場合、複数の染料)がある場合、吸収効果は乗法的である。つまり、例えば、2つの染料の場合、透過強度は、
[0074](I,I,I,...,I)=(I01−α ・e−β ,I02−α ・e−β ,I03−α ・e−β ,...,I0N−αα ・e−β )=(I01−(α s+β t),I02−(α s+β t),I03−(α s+β t),...,I0N−(α s+β t)
であり、
[0075]式中、β値は、第2の染料についての吸収係数であり、tは、第2の染料についての濃度と経路長との積である。
[0100]Dが、帯域jにおける光学密度を示す場合、光学密度は、
[0076](D,D,D,...,D)=−(ln[I/I01],ln[I/I02],ln[I/I03],...,ln[I/I0N])
によって得られる。
[0077]したがって、2つの染料の場合の例では、光学密度は、
[0078](D,D,D,...,D)=([αs+βt],[αs+βt],[αs+βt],...[αs+βt])=s(α1,α,α,...,α)+t(β,β,β,...,βN)
である。
[0079]画像強度データの光学密度ドメインへの変換は、米国特許公開第2002/0196964号にさらに説明されており、この開示は、参照によりその全体が本明細書に組み込まれる。
[0080]RGB色空間内の各チャネルについて画像変換モジュール205から導出される合計光学密度情報は、次いで、メモリ201に格納され、獲得画像を分離するための最適な表色系を決定する際にデータ再構成モジュール207によって使用される(ステップ350)。
[0081]スペクトル参照モジュール
[0082]デジタルパソロジーシステム200は、色データ、例えば、染料の色を示す色データを格納する、スペクトル参照モジュール206を備え得る。色データは、染料の単一周波数または特徴的なスペクトルプロファイルを描写するものであり得る。スペクトル参照モジュール206は、複数の染料の各々についての色データを格納し得る。複数の染料は、少なくとも4、少なくとも10、少なくとも20、または少なくとも100の染料を含み得る。いくつかの実施形態において、スペクトル参照モジュール206は、画像の一部分(例えば、2つの共存下染料が存在する場所)、対象領域、または視野内に存在する染料だけのための色基準ベクトルを選択する。代替的に、スペクトル参照モジュール206は、本明細書で説明されるように、特定の染料についての色データを導出し得る。
[0083]いくつかの実施形態において、格納された色データは、特定の染料に特異の色基準ベクトルである。色データまたはスペクトルデータに対応する色基準ベクトルは、画像内に現れる色(例えば、染料を示す)が、予め定められた範囲内で、基準色ベクトルまたは染料色ベクトル値に一致するか、またはそれから逸脱するかに従って、染料が画像内に存在すると識別され得るように、染料を規定する(例えば、染料の色またはスペクトル成分寄与に従って)。例えば、RGB画像では、色基準ベクトルは、時には真の染料または純染料と称されるものを規定するRGB値に対応する。当業者は、各チャネルについての染料特異の光学密度値が、単一の染料で染色されるスライド内のRGB色チャネル値(I,I,I)を測定することによって決定され得ることを理解するものとする。例として、ヘマトキシリン染料のための色基準ベクトルは、[0.18 0.20 0.08]であり得る。
[0084]いくつかの実施形態において、スペクトル参照モジュール206は、単一の染料のための複数の色基準ベクトルを格納し、染料のための複数の色基準ベクトル内のそれぞれ個々の色基準ベクトルが、異なる濃度における染料を特徴付ける。例えば、染料DABでは、スペクトル参照モジュール206は、DAB色基準ベクトルのセットを含み得、このセット内のDAB色基準ベクトルの各々が、異なる濃度におけるDABのRGB寄与を特徴付ける。例えば、第1の濃度(例えば、1X)におけるDABのための第1の色基準ベクトルは、[x y x]であり得る(x、y、およびzの各々が、RGB色空間内の染料の光学密度値を表す)一方、第2の濃度(例えば、2X)におけるDABのための第2の色基準ベクトルは、[x’ y’ z’]であり得、第3の濃度(例えば、4X)におけるDABのための第3の色基準ベクトルは、[x” y” z”]であり得る。いくつかの実施形態において、1〜100の色基準ベクトルが、単一の染料のために格納される。他の実施形態において、1〜50の色基準ベクトルが、単一の染料のために格納される。さらに他の実施形態において、1〜25の色基準ベクトルが、単一の染料のために格納される。
[0085]いくつかの実施形態において、スペクトル参照モジュールは、変動する濃度の染料で被覆された色校正スライドから導出された画像データに基づいて、特定の染料のための一連の色基準ベクトルを導出するために使用され得る。そのような「色校正スライド」を準備する方法は、本明細書内の実施例2に説明される。
[0086]単一の染料に対してN個の参照標準スライドが準備されていると仮定して、また各スライドが同じ染料の異なる濃度を提示すると仮定して、一連の色基準ベクトルは、各スライド内の画素について平均正規化OD、OD、ODを演算することによって計算され得る。
[0087]赤、緑、青スペクトル帯の光学密度(OD)は、RGB色チャネル値(I、I、I)と最大チャネル値(I0R、I0G、I0B)の比の負対数である(OD、OD、OD)によって規定される。8ビットカメラでは、この規定は、以下のように表現される。
[0088]
[0089]
[0090]
[0091]見て分かるように、各チャネルの光学密度は、染料の量と線形である。さらには、各純染料は、光学密度変換されたRBG色空間内のベクトル(OD、OD、OD)によって表される、3つの(RGB)チャネル内の光の光学密度によって共同で特徴付けられ得る。
[0092]いくつかの実施形態において、各スライド内の画素の平均正規化OD、OD、ODは、アーチファクトの影響を低減するために選択された領域内でのみ演算される。V,V...,Vが、それぞれ、スライド1,2...,Nからの基準色ベクトルを表す場合、
[0093]
であり、
[0094]式中、
は、正規化OD値を示す。
[0095]色基準ベクトルを準備する代替の方法は、出願第PCT7EP2014/055028号に説明され、その開示は、参照によりその全体が本明細書に組み込まれる。
[0096]色校正スライドから導出される色基準ベクトルは、メモリ201に格納され得、これが、データ再構成207モジュールへ出力され得る。
[0097]データ再構成モジュール
[0098]色基準ベクトルが獲得されるかまたは導出されるかのいずれかであるように、スペクトル参照モジュール206が実行された後(ステップ252、320、および330)、関連色基準ベクトル、または濃度依存性の染料のための色基準ベクトルのセットは、データ再構成モジュール207に提供される。一般に、データ再構成モジュール207は、入力として供給される色基準ベクトルの全体を利用し、画像変換モジュール205から受信されるRGB色空間内のチャネルの各々についての合計光学密度データと合わせて、獲得画像データを分離する際に使用するための最適な表色系を決定する(ステップ350)。データ再構成モジュールは、染料の濃度依存性の性質を考慮し、したがって、分離後の濃度依存性の染料強度の増大した分解能を可能にする。
[0101]「最適な表色系」とは、試料内の染料の濃度の効果(すなわち、濃度および/または沈殿物形成が、吸収率および/または光散乱に起因する光減衰にどれくらい影響を及ぼすか)を考慮することによって、各染料からの検出光内のR、G、Bチャネル信号の割合を最良に近似する表色系がRGB色空間内で選択されることを意味する。当業者は、最適な表色系が、試料内の特定の濃度の染料について直線性を最良に達成する濃度依存性の染料のための色基準ベクトルを含むことを理解するものとする。最適な表色系の選択が、実施例6および実施例7において立証されるように(図11も参照されたい)、染料の濃度を考慮しない方法と比較して改善した分離結果を可能にすると考えられる。
[0102]続く方法において、誤差値、とりわけ再構成誤差値は、候補表色系を特徴付けるため、および一連の候補表色系から最適な表色系を予測するために利用される。候補表色系の各々についての再構成誤差を計算し、次いで、最も低い再構成誤差をもたらす候補表色系を決定することが本方法の目標である。したがって、M個の候補表色系が存在する場合、再構成誤差は、各候補表色系について(すなわち、第1の染料および第2の染料を特徴付ける色基準ベクトルの各一意の対合について)演算され、最小再構成誤差をもたらす候補系が選択される。当業者は、この方法を使用することにより、候補表色系の数に制限はないことを理解するものとする。したがって、本明細書に説明されるシステムおよび方法は、2つの濃度依存性の染料、および/または単一の染料についての多数の濃度を説明する大量の色基準ベクトルが存在するときに、表色系を選択する際の使用に好適である。再構成誤差が最小化される、またはゼロに接近する表色系を選択することによって、RGB色空間内のすべてのチャネルができる限り線形に近くなることを確実にすると考えられる。
[0103]図6Aを参照すると、最適な表色系を決定することにおける第1のステップは、一連の候補表色系を生成することである(ステップ410)。一連の候補表色系内の各候補表色系は、第1の染料を特徴付ける色基準ベクトルおよび第2の染料を特徴付ける色基準ベクトルを含む。本質的に、各候補表色系は、2つの色基準ベクトルの行列(およびしたがって、光学密度値の行列)であり、色基準ベクトルは異なる染料を特徴づけ、各候補表色系は異なる。
[0104]第1の染料が濃度依存性の染料であり、スペクトル参照モジュール206が予測的な色基準ベクトルのセット(例えば、10の別々の色基準ベクトル)を提供し、それぞれ個々の予測的な色基準が複数の異なる濃度(例えば、1x,2x,4x...Nx染料濃度)にわたって濃度依存性の染料を特徴付けると仮定して、各候補表色系は、濃度依存性の染料のための予測的な色基準スペクトルのうちの1つを含む。この仮説において、第2の染料が濃度非依存性の染料である場合、各候補表色系は、濃度依存性の染料のための予測的な色基準スペクトルのうちの1つ、および濃度非依存性の染料の色基準スペクトルを含む。
[0105]一方、第2の染料もまた濃度依存性の染料であった(すなわち、システムが第1および第2の濃度依存性の染料を含む)場合、各候補表色系は、(i)第1の濃度依存性の染料のための予測的な色基準スペクトルのうちの1つ、および(ii)第2の濃度依存性の染料のための予測的な色基準スペクトルのうちの1つを含む。当業者は、この場合、第1の濃度依存性の染料および第2の濃度依存性の染料の両方についての予測的な色基準ベクトルの組み合わせのすべての順列(すなわち、各順列または対合に対して導出される再構成誤差)が検討される必要があることを理解するものとする。
[0106]候補表色系の各々が構築されると(ステップ410)、再構成誤差が各々に対して決定される(ステップ411)。一般に、再構成誤差は、測定された真のデータ値と、特定の再構成理論に従う数学的に導出されたデータ値との差を指す。
[0107]濃度依存性の染料(「x」)(例えば、DAB)および濃度非依存性の染料(「y」)(例えば、ヘマトキシリン)で染色された生体試料では、以下の線形関係が当てはまる。
[0108]
[0109]等式(1)で使用される場合、AおよびAは、第1の染料および第2の染料、例えば、ヘマトキシリンおよびDABについての染料の量を表す。いくつかの実施形態において、[A]は、染料の量のベクトルと称される。
[0110]ベクトル[ODR_tissue ODG_tissue ODB_tissue]は、RGB色空間内の各チャネルについての導出された合計光学密度、すなわち、画像変換モジュール205を使用して導出される値を説明する。
[0111]行列
は、候補表色系を表し、
および
は、第1の染料(x)および第2の染料(y)のための予測的な色基準ベクトルを指す。
および
ならびに
および
は、RGB色空間内の各チャネルにおける第1の染料(x)および第2の染料(y)についての光学密度値である。例えば、
は、RGB色空間内の第1のチャネル(例えば、赤チャネル)内の第1の染料についての光学密度値を表し得る。
[0112]例として、
は、第1の候補表色系を表し得、
は、第1の濃度における濃度依存性の染料を特徴付ける第1の予測的な色基準ベクトルであり、
は、同じ濃度非依存性の染料のための色基準ベクトルを指す。
[0113]同様に、
は、第2の候補表色系を表し得、
は、第2の濃度における濃度依存性の染料を特徴付ける第2の予測的な色基準ベクトルであり、
は、同じ濃度非依存性の染料のための色基準ベクトルを指す。
[0114]当業者は、任意の所与の候補表色系について、等式(1)が優決定系の等式であることを理解するものとする。したがって、第1の染料および第2の染料AおよびAの量は、2つのチャネルのみからの情報を使用して決定され得る(図6Bのステップ420)。例えば、RGB色空間内の赤および緑のチャネル信号を使用し、等式(2)を解くことによって、AおよびAの値が導出され得る。
[0115]
[0116]等式(2)で使用される場合、行列
は、本明細書では再構成行列と称され、各染料についてのRGB色空間内のチャネルのうちの2つについての光学密度値を含む。例えば、再構成行列は、緑および青チャネル、緑および赤チャネル、ならびに赤および青チャネルの信号を含み得る。別個の候補再構成行列が、各候補表色系について導出される。
[0117]いくつかの実施形態において、Aについての等式(2)を解くことは、チャネルのうちの2つ(上の例での赤および緑チャネル)についての導出された合計光学密度のベクトルを、候補表色系から導出される候補再構成行列の逆行列、例えば、
と掛けることを含む。
[0118]第1の染料および第2の染料の量の導出に続いて、再構成された合計光学密度が演算される(ステップ421)。再構成された合計光学密度は、再構成行列内に表されないRGB色空間内のチャネル、とりわけ、解かれない第3のチャネルを使用して等式(3)において演算される。例えば、再構成された合計光学密度は、赤および緑チャネル光学密度値が再構成行列内に提供されるときには、青チャネルについて演算され、第1の染料および第2の染料の量は、赤および緑チャネルを使用して導出される。再構成された合計光学密度は、等式(3)を使用して、青チャネルについて演算され得る。
[0119]
[0120]式中、
は、再構成された合計青チャネル信号(モジュール205から)であり、AおよびAは、第1の染料および第2の染料の導出された量であり、
および
は、それぞれ、第1の染料および第2の染料のための候補表色系から(すなわち、候補再構成行列を提供するために生成され使用される候補表色系から)の青チャネルについての光学密度値である。
[0121]最後に、再構成誤差が、青チャネルについての導出された合計光学密度値(モジュール205から)および再構成された合計青チャネル光学密度を使用して計算される(ステップ422)。再構成誤差は、等式(4)に明記されるように、これら2つの値の間の絶対値差分を見つけることによって計算される。
[0122]
[0123]ステップ422からの再構成誤差は、メモリ201に格納され得る。ステップ420、421、および422は、各候補表色系について繰り返され、すなわち、再構成誤差が、各候補表色系について演算される。再構成誤差がすべての候補表色系について計算されると、最も低い再構成誤差を有する候補表色系が、最適な表色系、すなわち、任意の濃度効果を考慮する染料の各々を最良に表す表色系として選択される。いくつかの実施形態において、最も低い再構成誤差の選択は、メモリ201に格納される計算された再構成誤差の各々をランク付けすることによって達成され得る。
[0124]いくつかの実施形態において、最適な表色系は、生体試料内の染料の混合物における真の濃度依存性の染料濃度を近似する。次いで、最適な表色系は、獲得画像を分離する際に使用するための分離モジュール208へ出力される。
[0125]上の例は、青チャネルに関して再構成誤差を計算するが、当業者は、再構成誤差が上に記される手続きに従って緑チャネルまたは赤チャネルに関して演算され得ることを理解するものとする。
[0126]誤差を計算する代替の方法
[0127](1)正規化クロス積
[0128]再構成誤差を決定する代替の方法は、以下に記されるように正規化クロス積を利用する。クロス積またはベクトル積は、3次元空間内の2つのベクトルに対する二項演算である。2つの線形独立ベクトルaおよびbを前提として、クロス積a×bは、aおよびbの両方に垂直である、したがってそれらを含む平面の法線であるベクトルである。2つのベクトルが同じ方向を有する(または、互いと正反対の方向を有する、すなわち線形独立でない)場合、またはいずれか一方がゼロ長を有する場合、それらのクロス積はゼロである。
[0129]等式(5)を参照すると、式中、ベクトル[m n o]は、第1の染料色基準ベクトル[x y z]および第2の染料色基準ベクトル[a b c]の正規化クロス積であり、正規化クロス積は、第1の染料および第2の染料色基準色ベクトルによって決定される平面に垂直であるベクトルを表す。
[0130]
[0131]式中、x、y、およびz、ならびにa、b、およびcは、それぞれR、G、およびBチャネルについての光学密度値である。
[0132]組織試料画素(獲得画像内)の光学密度ベクトルが、第1の染料および第2の染料色基準ベクトルの線形結合によって完璧に再構成され得る場合、A_crossは、等式(5)を解いた後はゼロになる。したがって、所与の組織試料光学密度ベクトルについて第1の染料色基準ベクトルおよび第2の染料色基準ベクトルの対によって一意的に決定されるA_crossの大きさは、第1の染料色基準ベクトルおよび第2の染料色基準ベクトルが所与の組織試料光学密度ベクトルをどれくらいうまく再構成することができるかを示すものである。したがって、A_crossの大きさは、濃度依存性の染料のための最適な表色系または最良の基準ベクトルを選択するために、デコンボリューション誤差として使用され得る。
[0133]非正規化基準色ベクトル
[0134]いかなる特定の理論にも拘束されることを望むものではないが、RGB光学密度色空間において、極端に弱い染料および極端に強い染料についての光学密度ベクトルの方向は、グレーの色相に対応する方向に非常に近くなり得ると考えられる。具体的には、極端に弱い染料は、白色に近く、一方、極端に強い染料は、黒色に近い。そのような染料がスライド内に存在するとき、単に色相情報(または光学密度ベクトル方向)だけに頼ることは、至適強度に対応する正しい色基準ベクトルを見つけるのには十分にロバストではない場合がある。したがって、正規化基準色ベクトルを使用する代わりに、非正規化基準ベクトルが、強度情報を同様に考慮するために使用され得る。第1の染料(DAB)および第2の染料(ヘマトキシリン)の非正規化基準ベクトルを(HEM)とし、各ベクトルの長さを|DAB|および|HEM|とする。正規化基準ベクトルを使用した上の方法と類似して、優決定系の等式(7)または(8)が、最小デコンボリューション誤差をもたらす第1の染料および第2の染料の量( および )を導出するために解かれる。
[0135]
[0136]
[0137]次いで、第1の染料および第2の染料(DABおよびHEM)の最終的な染料強度が、等式(9)および(10)を解くことによって決定される。
[0138]AHem=AHem・|HEM| (9)
[0139]ADAB=ADAB・|DAB| (10)
[0140]基準色ベクトル内挿
[0141]「n」個の非正規化DAB基準ベクトルが存在する、すなわち、
である場合、本明細書で特定される方法を使用して、
および
は、最小および2番目に最小の誤差をそれぞれもたらす基準ベクトルであると決定される。次いで、一次方程式
[0142]
を、
[0143]AHem
および
について解き、
[0144]
によって、内挿基準ベクトルを発見することができる。
[0145]いくつかの実施形態において、計算された
は、デコンボリューションを実施するために使用される。これは、
および
によって決定される平面と
および[ODR_tissue ODG_tissue ODB_tissue]によって決定される平面との交線に沿って光学密度ベクトルを発見することに等価である。言い換えると、
および計算された
の線形結合は、組織信号[ODR_tissue ODG_tissue ODB_tissue]を完璧に再構成することができる。同時に、
は、既知の基準ベクトル
および
の線形結合であるように制限される。
および
は、それらの線形結合がDAB染料のための物理的に意味のある色相を表すことができるように、十分に近いことが望ましい。
[0146]分離モジュール
[0147]いくつかの実施形態において、多重画像は、線形分離を使用する分離モジュール208により分離される(ステップ_)。線形分離は、例えば、Zimmermann「Spectral Imaging and Linear Unmixing in Light Microscopy」Adv Biochem Engin/Biotechnol(2005)95:245−265」において、ならびにC.L. LawsonおよびR.J.Hanson,「Solving least squares Problems」PrenticeHall,1974,Chapter 23,p.161において説明されており、これらの開示は、参照によりそれらの全体が本明細書に組み込まれる。線形染料分離において、任意の画素における測定されたスペクトル(S(λ))は、染料スペクトル成分の線形混合と見なされ、それぞれ個々の染料の色基準(R(λ))の割合または重み(A)の合計に等しく、これはその画素において
[0148]S(λ)=A・R(λ)+A・R(λ)+A・R(λ)……A・R(λ)
[0149]と表現され、より一般的には、行列形式で、
[0150]S(λ)=ΣA・R(λ)またはS=R・Aとして表現され得る。
[0151] 獲得されるM個のチャネル画像およびN個の個々の染料が存在する場合、M×N行列のカラムRは、本明細書内で導出されるような最適な表色系であり、N×1ベクトルAは、個々の染料の未知の割合であり、M×1ベクトルSは、画素における測定されたマルチチャネルスペクトルベクトルである。これらの等式では、各画素(S)内の信号は、多重画像の獲得中に測定され、基準スペクトル、すなわち、最適な表色系は、本明細書に説明されるように導出される。様々な染料の寄与(A)は、測定されたスペクトル内の各点に対するそれらの寄与を計算することによって決定され得る。いくつかの実施形態において、解は、等式の以下のセットを解くことにより、測定されたスペクトルと計算されたスペクトルとの二乗差を最小限にする逆最小二乗フィッティング手法を使用して得られる。
[0152][∂Σ{S(λ)−Σ・R(λ)}2]/∂A=0
[0153]この等式では、jは、検出チャネルの数を表し、iは、染料の数に等しい。一次方程式解は、多くの場合、制約付き分離が、重み(A)を合計して1となるように強いることを伴う。
[0154]本開示の実施形態を実践するための他の構成要素
[0155]本開示のコンピュータシステムはまた、組織標本に対して1つまたは複数の準備プロセスを実施することができる標本処理装置に通信可能に結合され得る。準備プロセスは、限定するものではないが、標本を脱パラフィン化すること、標本を条件付けること(例えば、細胞条件付け)、標本を染色すること、抗原回復を実施すること、免疫組織化学染色(標識を含む)もしくは他の反応を実施すること、および/またはインサイチュハイブリダイゼーション(例えば、SISH、FISHなど)染色(標識を含む)もしくは他の反応を実施すること、ならびに顕微鏡法、微量分析法、質量分光学法、もしくは他の分析法のために標本を準備するための他のプロセスを含むことができる。
[0156]処理装置は、標本に固定剤を適用することができる。固定剤は、架橋剤(例えば、ホルムホルデヒド、パラホルムアルデヒド、およびグルタルアルデヒドなどのアルデヒド、ならびに非アルデヒド架橋剤)、酸化剤(例えば、四酸化オスミウムおよびクロム酸などの、金属イオンおよび金属錯体)、タンパク質変性剤(例えば、酢酸、メタノール、およびエタノール)、未知の機序の固定剤(例えば、塩化第二水銀、アセトン、およびピクリン酸)、組み合わせ試薬(例えば、カルノア固定剤、メタカン(methacarn)、ブアン液、B5固定剤、ロスマン液、およびジャンドル液)、マイクロ波、および混合型の固定剤(例えば、排除体積固定および蒸気固定)を含むことができる。
[0157]標本がパラフィン中に包埋された試料である場合、試料は、適切な脱パラフィン液を使用して脱パラフィン化され得る。パラフィンが除去された後、任意の数の物質が、標本に連続して適用され得る。物質は、前処理(例えば、タンパク質架橋を逆にするため、核酸を露出させるためなど)、変性、ハイブリダイゼーション、洗浄(例えば、ストリンジェンシー洗浄)、検出(例えば、視覚的な分子またはマーカ分子をプローブに連結する)、増幅(例えば、タンパク質、遺伝子の増幅など)、対比染色、封入処理、または同様のもののためであってもよい。
[0158]標本処理装置は、標本に広範囲の物質を適用することができる。物質は、限定するものではないが、染料、プローブ、試薬、洗い流し液、および/または調整剤を含む。物質は、流体(例えば、ガス、液体、またはガス/液体混合物)、または同様のものであってもよい。流体は、溶媒(例えば、極性溶媒、非極性溶媒など)、溶液(例えば、水溶液または他の種類の溶液)、または同様のものであってもよい。試薬は、限定するものではないが、染料、湿潤剤、抗体(例えば、モノクローナル抗体、ポリクローナル抗体など)、抗原回収液(例えば、水性または非水性ベースの抗原回復溶液、抗原回復緩衝剤など)、または同様のものを含み得る。プローブは、検出可能な標識またはレポータ分子に接着された、単離された核酸または単離された合成オリゴヌクレオチドであってもよい。標識は、放射性同位体、酵素基質、補因子、リガンド、化学発光剤もしくは蛍光剤、ハプテン、および酵素を含み得る。
[0159]標本処理装置は、Ventana Medical Systems,Inc.によって販売されるBENCHMARK XT機器およびSYMPHONY機器など、自動化装置であってもよい。Ventana Medical Systems,Inc.は、米国特許第5,650,327号、同第5,654,200号、同第6,296,809号、同第6,352,861号、同第6,827,901号、および同第6,943,029号、ならびに米国公開特許出願第20030211630号および同20040052685号を含む、自動化分析を実施するためのシステムおよび方法を開示するいくつかの米国特許の譲受人であり、これら特許の各々が、参照によりその全体が本明細書に組み込まれる。代替的に、標本は、手動で処理されてもよい。
[0160]標本が処理された後、ユーザは、標本を含むスライドをイメージング装置へ輸送することができる。いくつかの実施形態において、イメージング装置は、明視野イメージャスライドスキャナである。1つの明視野イメージャは、Ventana Medical Systems,Inc.によって販売されるiScan Coreo明視野スキャナである。自動化実施形態において、イメージング装置は、IMAGING SYSTEM AND TECHNIQUESという表題の国際特許出願第PCT/US2010/002772号(特許公開第WO/2011/049608号)に開示される、またはIMAGING SYSTEMS,CASSETTES,AND METHODS OF USING THE SAMEという表題の2011年9月9日に出願された米国特許出願第61/533,114号に開示されるようなデジタルパソロジーデバイスである。国際特許出願第PCT/US2010/002772号および米国特許出願第61/533,114号は、参照によりそれらの全体が組み込まれる。
[0161]イメージングシステムまたは装置は、マルチスペクトルイメージング(MSI)システム、または蛍光顕微鏡システムであってもよい。ここで使用されるイメージングシステムはMSIである。MSIは、一般的に、画素レベルでの画像のスペクトル分布へのアクセスを提供することによる、コンピュータ化された顕微鏡ベースのイメージングシステムを用いたパソロジー標本の分析を装備する。様々なマルチスペクトルイメージングシステムが存在するが、これらのシステムのすべてに共通する動作態様は、マルチスペクトル画像を形成する能力である。マルチスペクトル画像は、電磁スペクトルにわたって特定の波長または特定のスペクトル帯域幅における画像データを取り込むものである。これらの波長は、光フィルタによって、または、例えば、赤外線(IR)など、可視光線範囲の範囲を超える波長にある電磁放射線を含む、予め定められたスペクトル成分を選択することができる他の機器の使用によって、選び出され得る。
[0162]MSIシステムは、光学イメージングシステムを含み得、光学イメージングシステムの一部分は、予め定められた数Nの異なる光帯域を規定するように調節可能であるスペクトル選択的システムを含む。光学システムは、光学検出器上への広帯域光源による透過において照明される組織試料をイメージングするように適合され得る。1つの実施形態においては、例えば、顕微鏡などの拡大システムを含み得る光学イメージングシステムは、光学システムの単一の光出力と概して空間的に整列された単一の光軸を有する。本システムは、スペクトル選択的システムが、画像が異なる別々のスペクトル帯において獲得されるように(例えばコンピュータプロセッサを用いて)調整または調節されているとき、組織の連続した画像を形成する。本装置は、追加的に、ディスプレイを含み得、このディスプレイに、連続した獲得画像から少なくとも1つの視覚的に知覚可能な組織の画像が現れる。スペクトル選択的システムは、回折格子などの光分散素子、薄膜干渉フィルタなどの光フィルタの集まり、またはユーザ入力もしくは予めプログラムされたプロセッサのコマンドのいずれかに応答して、光源から試料を通って検出器の方へ透過された光のスペクトルから特定の帯域通過を選択するように適合された任意の他のシステムを含み得る。
[0163]代替的な実装形態、スペクトル選択的システムは、N個の別々のスペクトル帯に対応するいくつかの光出力を規定する。このタイプのシステムは、光学システムから出力された透過光を取り入れ、特定されたスペクトル帯内の試料をこの特定されたスペクトル帯に対応する光路に沿って検出器システム上へイメージングするようなやり方で、N個の空間的に異なる光路に沿って出力されたこの光の少なくとも一部分を空間的に向け直す。
[0164]本明細書に説明される主題および動作の実施形態は、デジタル電子回路内、または、本明細書内で開示される構造物、もしくはそれらの構造的等価物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェア内、またはそれらのうちの1つまたは複数の組み合わせで実施され得る。本明細書に説明される主題の実施形態は、1つまたは複数のコンピュータプログラム、すなわち、データ処理装置による実行のため、またはデータ処理装置の動作を制御するために、コンピュータ記憶媒体上で符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実施され得る。本明細書に説明されるモジュールのいずれかは、プロセッサによって実行される論理を含み得る。「論理」は、本明細書で使用される場合、プロセッサの動作に影響を及ぼすように適用され得る命令信号および/またはデータの形態を有する任意の情報を指す。ソフトウェアは、論理の一例である。
[0165]コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうちの1つまたは複数の組み合わせであり得るか、またはそれらに含まれ得る。さらには、コンピュータ記憶媒体は、伝播信号ではないが、コンピュータ記憶媒体は、人工的に導出された伝播信号内で符号化されたコンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、1つまたは複数の別個の物理的な構成要素または媒体(例えば、複数のCD、ディスク、または他の記憶デバイス)であり得るか、またはそれらに含まれ得る。本明細書に説明される動作は、1つまたは複数のコンピュータ可読記憶デバイスに記憶されたデータ、または他のソースから受信したデータに対して、データ処理装置によって実施される動作として実行され得る。
[0166]「プログラムされたプロセッサ」という用語は、例として、プログラマブルマイクロプロセッサ、コンピュータ、システムオンチップ、または前述の複数のものもしくは組み合わせを含む、データを処理するためのあらゆる種類の装置、デバイス、および方法を包含する。本装置は、特殊目的論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含み得る。本装置はまた、ハードウェアに加えて、当該のコンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうちの1つまたは複数の組み合わせを構成するコードを含み得る。本装置および実行環境は、ウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャなど、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。
[0167]コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られている)は、コンパイラ型もしくはインタープリタ型言語、宣言型もしくは手続き型言語を含む、任意の形態のプログラミング言語で書かれてもよく、コンピュータプログラムは、スタンドアローンプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に好適な他のユニットとしてなど、任意の形態でデプロイされ得る。コンピュータプログラムは、ファイルまたはファイルシステムに対応し得るが、そうである必要はない。プログラムは、他のプログラムまたはデータ(例えば、マークアップ言語文書内に格納された1つまたは複数のスクリプト)を保持するファイルの一部分に、当該のプログラム専用の単一のファイルに、または複数の連携ファイル(例えば、1つまたは複数のモジュール、サブプログラム、またはコードの部分を格納するファイル)に格納され得る。コンピュータプログラムは、1つのコンピュータ上で実行されるか、または1つの場所に位置するか、もしくは複数の場所にわたって分散され、通信ネットワークによって相互接続される複数のコンピュータ上で実行されるようにデプロイされ得る。
[0168]本明細書に説明されるプロセスおよび論理フローは、入力データに対して動作をし、出力を生成することによって行動を実施するように1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラマブルプロセッサによって実施され得る。プロセスおよび論理フローはまた、特殊目的論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実施され得、装置はまた、特殊目的論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)として実装され得る。
[0169]コンピュータプログラムの実行に好適なプロセッサは、例として、汎用マイクロプロセッサおよび特殊目的プロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の1つまたは複数のプロセッサを含む。一般的に、プロセッサは、リードオンリメモリ、またはランダムアクセスメモリ、または両方から命令およびデータを受信する。コンピュータの必須要素は、命令に従って行動を実施するためのプロセッサ、ならびに命令およびデータを格納するための1つまたは複数のメモリデバイスである。一般的に、コンピュータはまた、データを格納するための1つまたは複数の大量記憶デバイス、例えば、磁気、磁気光学ディスク、または光学ディスクを含み得るか、またはそれらから、データを受信するように、またはデータを転送するように、またはその両方を行うように、動作可能に結合される。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。しかしながら、コンピュータは、別のデバイス、いくつか例を挙げるなら、例えば、携帯電話、携帯情報端末(PDA)、携帯型オーディオもしくはビデオプレイヤ、ゲーム機、全地球測位システム(GPS)受信器、またはポータブル記憶デバイス(例えば、ユニバーサルシリアルバス(USB)、フラッシュドライブ)に埋め込まれ得る。コンピュータプログラム命令およびデータを格納するのに好適なデバイスは、例として、半導体メモリデバイス、例えば、EPROM、EEPROM、およびフラッシュメモリデバイスを含む、あらゆる形態の不揮発性メモリ、メディア、およびメモリデバイス;磁気ディスク、例えば、内蔵ハードディスクまたはリムーバルディスク;光磁気ディスク;ならびにCD−ROMおよびDVD−ROMディスクを含む。プロセッサおよびメモリは、特殊目的論理回路によって補完され得る、またはそれに組み込まれ得る。
[0170]ユーザとの対話を提供するため、本明細書に説明される主題の実施形態は、ユーザに対して情報を表示するための、ディスプレイデバイス、例えば、LCD(液晶ディスプレイ)、LED(発光ダイオード)ディスプレイ、またはOLED(有機発光ダイオード)ディスプレイ、ならびにユーザがコンピュータに入力を提供することができる、キーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールを有するコンピュータ上で実行され得る。いくつかの実装形態において、情報を表示し、ユーザからの入力を受信するために、タッチスクリーンが使用され得る。他の種類のデバイスが、同様にユーザとの対話を提供するために使用され得、例えば、ユーザに提供されるフィードバックは、センサフィードバック、例えば、視覚フィードバック、音声フィードバック、または触覚フィードバックの任意の形態にあってもよく、ユーザからの入力は、音声、発話、または触覚入力を含む、任意の形態で受信され得る。加えて、コンピュータは、ユーザによって使用されるデバイスに文書を送信することによって、またはそこから文書を受信することによって、例えば、ウェブブラウザから受信した要求に応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することによって、ユーザと対話することができる。
[0171]本明細書に説明される主題の実施形態は、例えば、データサーバとして、バックエンド構成要素を含むコンピューティングシステム、または、ミドルウェア構成要素、例えば、アプリケーションサーバを含むコンピューティングシステム、または、フロントエンド構成要素、例えば、ユーザが本明細書に説明される主題の実装形態と対話することができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータを含むコンピューティングシステム、または、1つもしくは複数のそのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組み合わせにおいて実行され得る。システムの構成要素は、デジタルデータ通信の任意の形態または媒体、例えば、通信ネットワークによって相互接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)および広域ネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)、ならびにピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)が挙げられる。例えば、図1のネットワーク20は、1つまたは複数のローカルエリアネットワークを含み得る。
[0172]コンピューティングシステムは、任意の数のクライアントおよびサーバを含み得る。クライアントおよびサーバは、一般的には、互いから離れており、典型的には、通信ネットワークを通じて対話する。クライアントおよびサーバの関係は、それぞれのコンピュータ上で実行し、互いに対してクライアント−サーバ関係を有するコンピュータプログラムが理由で生じる。いくつかの実施形態において、サーバは、データ(例えば、HTMLページ)をクライアントデバイスに伝送する(例えば、データを表示し、クライアントデバイスと対話するユーザからのユーザ入力を受信する目的で)。クライアントデバイスにおいて導出されたデータ(例えば、ユーザ対話の結果として)は、サーバにおいてクライアントデバイスから受信され得る。
[0173]実施例1−DAB濃度に対する光減衰の効果
[0174]ランベルト−ベール等式は、小さい染料濃度、および吸収分子間の相互作用なしを仮定する。言い換えると、吸収因子c、cは、およびcが、染料濃度とは無関係である、光減衰に影響を与える唯一の因子であると仮定される。しかしながら、この仮定は、DAB染料の場合は、試料処理中のDABの沈殿物形成反応に起因して、上手く成り立たない。光散乱が考慮される必要があり、これが、光減衰(すなわち、吸収+散乱)を濃度依存にさせる。図7は、減衰に対する染料濃度の効果を例証する(Peter H.およびTobias M.,「Supplementary Information to A model based survey of color deconvolution in diagnostic bright field microscopy:Error Estimation and Spectral Consideration」、Sci Rep.2015;5:12096を参照されたい)。
[0175]示されるように、所与の濃度では、ピーク減衰(正規化因子として使用される)は、約475nmでaccurseし、これは、青色スペクトル帯の中心におよそ対応する。より高い波長を占める赤色スペクトル帯は、ピークと比較して、減衰が最も小さい。緑色スペクトル帯の減衰はその間である。染料濃度が増大すると、異なる波長にわたるピーク減衰に対する比率は、約475nmよりも高い波長では概して増加する。これは、検出光内のRGBチャネル信号の割合が、染料濃度変動と一緒に、増大した散乱に起因して変化することを意味する。したがって、異なるODベクトルが、異なる濃度におけるDAB染料を特徴付けるために必要とされる。
[0176]実施例2−制御された濃度を有するDABスライドを準備する方法
(基準色セット生成)
[0177]異なる濃度レベルにおけるDAB染料の色特徴を調査するため、制御された濃度を有するDABスライドが生成される。組織試料がDAB濃度の著しいスライド内変動をもたらすことを考えて、特別なスライド準備プロセスが、均一なDAB濃度分布を有するスライドを生成するために開発されている。これは、特定の濃度レベルについて信頼性の高い基準色ベクトルを抽出するのに役立つ。
[0178]DAB試薬:48.5mM アミノベンジジン、5mM メタ重亜硫酸ナトリウム、0.5%(w/v)ポリエチレンイミン
[0179]H試薬:118mM H、385mM リン酸水素二カリウム、三水和物、115mM リン酸二水素カリウム、pH7.3,240mM 塩化ナトリウム、700mM イミダゾール、700mM 2−ヒドロキシピリジン、0.25%(w/v)Brij−35
[0180]ゼラチン、50 bloom(MP Biomedicals)
[0181]OptiView抗HQ HRP(Ventana Medical Systems,Inc.)
[0182]OptiView Copper(Ventana Medical Systems,Inc.)
[0183]グルタルアルデヒド溶液、Grade I(Sigma−Aldrich)
[0184]ゲル調製のため、DI H0中、3%(w/v)ゼラチンの溶液を作製した。この溶液を、時々かき混ぜながら70°Cに加熱することによって溶解させた。溶液を溶解した時点で、そのうちの300uLを取り出して、5分間37°Cまで冷ました。
[0185]ゲル溶液を冷ます間、他の試薬を37°Cまで温めた。すべてが37°Cに均衡した時点で、100 uLのOptiView抗HQ HRPをゼラチンアリコートと混合した。別個のチューブ内で、300uLのDABと300uLのHを混合し、次いでこの混合物をゼラチン+抗HQ HRP混合物に添加し、溶液全体を完全に混合した。最後に、100uLのOptiView Copper試薬をこの混合物に添加し、再び全てを混合した。
[0186]このゼラチン混合物のうちの300uLを、透明なSuperFrost Plusスライドの非艶消し部分の上にピポットで移した。ゼラチン混合物がスライドの非艶消し部分を完全かつ均一に覆うことを確実にするために、スライドを公転運動で注意深く傾けた。スライドを4°Cに冷却された表面に水平に置き、3分間インキュベートしてゲルを固めた。ゲルが固まった時点で、50uLのグルタルアルデヒドを硬くなったDABゲルの表面に適用し、ガラスの1.5mmカバースリップをゲル上に直ちに置いてグルタルアルデヒドをDABゲル表面全体にわたって広げた。次いでスライドを室温で3分間インキュベートする間、グルタルアルデヒドがゲル内へ拡散し、ゼラチン粒子を架橋結合した。3分後、スライドの縁からの余分な流体を注意深く拭き取った。カバースリップをスライドに接着し、水分の蒸散に対してDABゲルを密封するために、透明のアクリルシーラーをカバースリップおよびスライドの縁に適用した。
[0187]異なる濃度レベルにおけるDABの色特徴を可視化するため、試料スライドをスキャンし、各1000×1000視野(FOV)の平均光学密度ベクトルを各スライドについて演算した。各RGBチャネルについての正規化された光学密度値を、スライド内のすべてのFOVについての合計光学密度値に対してプロットした。合計光学密度値は、染料濃度を示す、各FOVについての平均光学密度ベクトルの長さに等しいということに留意されたい。図8は、開示された方法を使用して準備された試料スライドのサムネイル画像を提供する。濃度は、約1.9mM DABのOptiViewスライド上濃度に関係する(a)1X、(b)5X、(c)15X、(d)20X、(e)25Xである。
[0188]実施例3−光学密度ベクトルに対するDAB濃度の影響
[0189]光学密度ベクトルに対するDAB濃度の影響を可視化するため、各スライドにおける1000×1000FOVについての平均光学密度ベクトルを演算した。正規化された光学密度値を、スライド内のすべてのFOVについての合計光学密度値に対して各RGBチャネルについてプロットした。合計光学密度値は、染料濃度を示す、各FOVについての平均光学密度ベクトルの長さに等しいということに留意されたい。図93A〜図9Eは、図8に示されるような5つのスライドの結果を示す。
[0190]見られるように、OD<OD<ODが、スライド1X、5X、15X、20Xについて観察され、これは図7に示されるようなDAB減衰プロットと一致する。さらには、正規化されたOD、OD、OD値は、概して、低い合計OD値範囲においては一定のままであり、ランベルト−ベールの法則が低いDAB濃度ではかなり上手く成り立つ。正規化されたODの減少ならびに正規化されたODおよびODの増加は、合計OD値が増加すると、特に、合計OD値が3よりも大きいときに観察される。この傾向は、スライド25Xの場合に最も顕著であり、高いDAB濃度の場合の強い散乱効果を示す。各濃度レベルのための基準色ベクトルは、各スライド(アーチファクト領域を除外する)についての平均正規化ODベクトルを用いることによって生成される。
[0191]実施例4−異なる濃度を有するDABにより染色されたビメンチンスライド
[0192]ビメンチン陽性の制御スライドは、抗ビメンチン抗体を使用した免疫組織化学的(IHC)染色のための陽性対照としての使用が意図される。本発明者らは、ビメンチンスライドに対して同様のDAB分析を実施したが、6つのスライドは、それぞれ1X、5X、10X、15X、20X、および25X濃度にある。この実験では肺組織(標識の近くにある)を使用した。スライド内の大きな染料強度変動を考えて、平均ODを演算する代わりに、本発明者らは、各スライド内の肺組織を網羅する各1000×1000FOV内の2000画素を無作為に選択し、各スライドについて正規化OD、OD、OD対合計OD値をプロットした。結果は図10A〜図10Fに示される。
[0193]DABゲルスライドと比較して、正規化OD値の同様の変化傾向が合計OD値の増加に沿って観察されており、すなわち、正規化ODの減少ならびに正規化ODおよびODの増加が、合計OD値が増加すると、特に、合計OD値が3よりも大きいときに観察される。この傾向は、大量のデータ点が4よりも大きい合計OD値を有するスライド25Xで最も顕著であり、高いDAB濃度の場合に強い散乱効果を示す。驚くことではないが、組織スライドから収集されたデータは、ゲルスライドから収集されたものよりもノイズが多く、組織試料と入射光との間のより複雑な相互作用が起こり得ることを示す。したがって、本発明者らは、ゲルスライドが、色デコンボリューションのための基準色ベクトルを導出するために使用されるのにより信頼性が高いと考える。
[0194]上の分析に基づいて、異なる色基準ベクトルが、異なる濃度におけるDAB染料をデコンボリューションするために使用されるべきである。本明細書に説明される方法は、染色アッセイに使用される実際のDAB濃度が未知であるとしてもDABの特定の濃度を説明する適切なDAB色基準ベクトルの選択を可能にする。
[0195]実施例5−DABおよびヘマトキシリンで染色された試料のための基準色選択
[0196]上の分析に基づいて、異なる基準色ベクトルが、異なる濃度レベルにおけるDAB染料をデコンボリューションするために使用されるべきである。しかしながら、デコンボリューション前には染料混合物中のDAB濃度が分からないため、基準ベクトルを直接決定することはできない。この問題を解決するため、本発明者らは、混合物中の真のDAB濃度を最良に表す所与のセットからDAB基準色ベクトルを自動的に選択するための方法を開発した。本発明者らは、二重染料状況(すなわち、DAB、および別の染料、例えば、ヘマトキシリンのみ)を、真のDABおよびHTX濃度について検討し、これらの正規化基準色ベクトルは、
および
であり、
[0197]
を有する。
[0198]本明細書に記されるように、等式(10)は、優決定系の等式である。AHemおよびADABは、2つのチャネルのみからの情報を使用して決定され得る。例えば、赤および緑チャネル信号を使用し、ΑΗemおよびDABの値を得ることができる等式
[0199]
を解くことによって。
[0200]基準色ベクトルが真の濃度レベルについてであるとき、表色系は線形に近く、青チャネル信号ODB_tissueを再構成するために、計算したAHemおよびADAB値を使用することができ、すなわち、
[0201]
であり、
[0202]式中、
は、再構成された青チャネル信号である。再構成errは、
[0203]
である。
[0204]実際には、HEM染料の散乱効果が取るに足らないものであることを考えて、HEM染料のための固定の基準色ベクトルを使用することができる。したがって、本明細書に説明されるような方法を使用して準備されるN個のDABスライドが存在する場合、各スライドは、特定のDAB濃度レベルを表し、DABおよびHEM基準色ベクトルのN個の対が存在する。基準ベクトルの各対について再構成誤差を演算し、最小再構成誤差をもたらす対が、本明細書に説明されるように、最適な対として選択される。候補基準ベクトル対の数に制限はない。一般に、DABスライドの数が多いほど、基準色のより幅広い選択を提供し、より大きいDAB染料変動の主要因となることが予期され、したがってより良好な色デコンボリューション結果をもたらす。
[0205]青チャネル信号を使用して再構成誤差を演算する代わりに、赤および緑チャネル信号を使用することもまた可能である。本発明者らの実験から、誤差計算のために緑チャネルを使用することにより、実際に、試験したものにわたってより低い平均誤差をもたらした。
[0206]実施例6−実験結果−視覚的アセスメント
[0207]図11は、従来の方法と提案される方法との視覚的な比較を示す。入力画像は、CEA(癌胎児性抗原)染色された非小細胞肺がん(NSCLC)組織試料である。DABにより強力に染色された領域においては、新規の分離されていないHEM画像は、細胞核をより良好に描写し、新規の分離されていないDAB画像は、元の画像内のDAB変動をより良好に示すことが明白に見て取れる。
[0208]実施例7−実験結果−数量的アセスメント
[0209]数量的アセスメントのため、ペレットの組織マイクロアレイを有するスライドを使用した。合計で12の腫瘍細胞株が存在し、各々が、DABを使用して染色され、HEMを使用した対比染色がその後に続くCEAであった。シークエンシングによって決定されたCEA遺伝子コピー数が、CEA発現レベル(表1を参照されたい)を示すものとして提供されており、TMA1およびTMA2は、それぞれ、スライド1(左)およびスライド2(右)に対応する。図12は、12の腫瘍細胞株試料を保持する2つのスライドのサムネイル画像を示し、各細胞株の名前も各細胞株の隣に示される。図13は、各細胞株の平均DAB強度対遺伝子コピー数の対数を示す。対数は、元の遺伝子コピー数の範囲があまりに広く、DAB強度の変動を、元の遺伝子コピー数を再びプロットする場合にほとんど示すことができないことが理由で使用される。示されるように、新規の方法は、低CEA発現細胞株については比較方法と同様の平均DAB強度を発生させたが、高CEA発現細胞株についてはより高いDAB強度測定値測定値をもたらしており、これはCEA遺伝子コピー数とより良好に相関した。
[0210]本明細書内で参照される、および/または出願データシート内にリストされる米国特許、米国特許出願刊行物、米国特許出願、外国特許、外国特許出願、および非特許刊行物のすべては、参照によりそれらの全体が本明細書に組み込まれる。実施形態の態様は、様々な特許、出願、および刊行物の概念を用いてさらなる実施形態を提供するために必要な場合には、修正され得る。
[0211]本開示は、いくつかの例証的な実施形態を参照して説明されているが、本開示の原則の趣旨および範囲内に入る多数の他の修正形態および実施形態が、当業者によって考案され得るということを理解されたい。より詳細には、妥当な変異形および修正形態が、本開示の趣旨から逸脱することなく、前述の開示、図面、および添付の特許請求の範囲の範囲内で、主題の組み合わせ配置の構成要素部分および/または配置において可能である。構成要素部分および/または配置における変異形および修正形態に加えて、代替的な使用もまた当業者には明らかであるものとする。

Claims (15)

  1. 少なくとも2つの染料(stains)で染色された生物標本の画像を分離する方法であって、
    第1の染料および第2の染料を有する画像または画像の一部分における画素強度値から、R、G、B色空間内の各チャネルについての合計光学密度値を導出するステップであって、少なくとも前記第1の染料が、濃度依存性(concentration-dependent)の染料である、導出するステップ(310)と、
    複数の予測的な第1の染料色基準ベクトルを獲得するステップであって、前記複数の予測的な第1の染料色基準ベクトルの各々が、異なる濃度における前記第1の染料を特徴付ける、獲得するステップ(320)と、
    少なくとも1つの第2の染料色基準ベクトルを獲得するステップ(330)と、
    前記第1の染料および第2の染料色基準ベクトルから一連の候補表色系(candidate color systems)を導出するステップであって、各候補表色系が、前記複数の予測的な第1の染料色基準ベクトルからの予測的な第1の染料色基準ベクトルのうちの1つ、および前記少なくとも1つの第2の染料色基準ベクトルを含む、導出ステップ(340)と、
    前記一連の候補表色系から最適な表色系を選択するステップであって、前記最適な表色系が、(i)各候補色空間について再構成誤差(reconstruction error)を演算すること、および(ii)最小再構成誤差を有する前記候補色空間を決定することによって選択される、選択するステップ(350)と、
    選択された前記最適な表色系を使用して、獲得した前記画像を分離するステップ(360)と
    を含む、方法。
  2. 前記再構成誤差が、(a)R、G、B色空間内のチャネルの第1のチャネルについての導出された前記合計光学密度値と、(b)前記第1のチャネルについての再構成された合計光学密度と間の絶対値差分を計算することによって決定される(422)、請求項1に記載の方法。
  3. 前記第1のチャネルについての再構成された前記合計光学密度が、(i)生体試料内に存在する前記第2の染料の導出量(derived amount)と、前記一連の候補表色系の前記候補表色系のうちの1つにおける前記第2の染料についての第1のチャネル光学密度値との積(product)、および(ii)生体試料内に存在する前記第1の染料の導出量と、同じ候補表色系における第1の染料についての第1のチャネル光学密度値との積を合計することによって計算される、請求項2に記載の方法。
  4. 前記第1の染料および前記第2の染料の前記導出量が、前記R、B、G色空間内の第2および第3のチャネルについての導出された前記合計光学密度のベクトルに、候補再構成行列(candidate reconstruction matrix)の逆行列を掛けることによって演算され、前記候補再構成行列が、(i)前記候補表色系の前記第1の染料の前記第2および第3のチャネルに対応する光学密度値を有する第1の光学密度ベクトル、および(ii)前記候補表色系の前記第2の染料の前記第2および第3のチャネルに対応する光学密度値を有する第2の光学密度ベクトルを含む、請求項3に記載の方法。
  5. 前記第1の染料がDABである、請求項1〜4のいずれかに記載の方法。
  6. 前記第2の染料が、ヘマトキシリン、エオシン、ファストレッド、またはメチルグリーンからなる群から選択される、請求項1〜5のいずれかに記載の方法。
  7. 前記R、G、B色空間内のチャネルの前記第1のチャネルが、青チャネルまたは緑チャネルである、請求項1〜6のいずれかに記載の方法。
  8. 前記生体試料が、4つ以上の染料で染色され、獲得された前記画像が、より大きい画像から導出される対象領域であり、前記対象領域が、前記第1の染料および前記第2の染料のみを含む、請求項1〜7のいずれかに記載の方法。
  9. 前記第1の染料および前記第2の染料の両方が、濃度依存性(concentration-dependent)の染料であり、前記少なくとも1つの第2の染料色基準ベクトルが、複数の予測的(prospective)な第2の染料色基準ベクトルであり、前記複数の予測的な第2の染料色基準ベクトルの各々が、異なる濃度における前記第2の染料を特徴付ける、請求項1〜8のいずれかに記載の方法。
  10. 少なくとも2つの染料で染色される生物標本の画像を分離するためのシステム(200)であって、前記システム(200)が、(i)1つまたは複数のプロセッサ(203)、および(ii)前記1つまたは複数のプロセッサ(203)に結合される1つまたは複数のメモリ(201)を備え、前記1つまたは複数のメモリ(201)が、コンピュータ実行可能命令を格納するためのものであり、前記コンピュータ実行可能命令は、前記1つまたは複数のプロセッサ(203)によって実行されるとき、
    第1の染料および第2の染料に対応する信号を有する前記生体試料の画像を獲得することであって、少なくとも前記第1の染料が、濃度依存性の染料である、獲得すること(300)と、
    獲得された前記画像内の画素強度値からR、G、B色空間内の各チャネルについての合計光学密度値を導出すること(310)と、
    スペクトル基準データベースから予測的な第1の染料色基準ベクトルのセットを獲得することであって、前記予測的な第1の染料色基準ベクトルのセット内の各色基準ベクトルが、異なる染料濃度における前記第1の染料を特徴付ける、獲得すること(320)と、
    前記スペクトル基準データベースから少なくとも1つの第2の染料色基準ベクトルを獲得すること(330)と、
    前記第1の染料および第2の染料色基準ベクトルから一連の候補表色系を導出することであって、各候補表色系が、前記予測的な第1の染料色基準ベクトルのセットからの予測的な第1の染料色基準ベクトルのうちの1つ、および前記少なくとも1つの第2の染料色基準ベクトルを含む、導出すること(340)と、
    前記一連の候補表色系から最適な表色系を選択することであって、前記最適な表色系が、(i)各候補色空間について再構成誤差を演算すること、および(ii)最小再構成誤差を有する前記候補色空間を決定することによって選択される、選択すること(350)と、
    選択された前記最適な表色系を使用して、獲得された前記画像内の前記信号を分離すること(360)と
    を含む動作を前記1つまたは複数のプロセッサ(203)に実施させる、システム(200)。
  11. 前記再構成誤差が、前記R、G、B色空間内のチャネルの第1のチャネルについての導出された前記合計光学密度値と、(b)前記第1のチャネルについての再構成された合計光学密度と間の絶対値差分を計算することによって決定される(422)、請求項10に記載のシステム。
  12. 前記第1のチャネルについての再構成された前記合計光学密度が、(i)生体試料内に存在する前記第2の染料の導出量と、前記一連の候補表色系の前記候補表色系のうちの1つにおける前記第2の染料についての第1のチャネル光学密度値との積、および(ii)生体試料内に存在する前記第1の染料の導出量と、同じ候補表色系における第1の染料についての第1のチャネル光学密度値との積を合計することによって計算される、請求項11に記載のシステム。
  13. 前記第1の染料および前記第2の染料の前記導出量が、前記R、B、G色空間内の第2および第3のチャネルについての導出された前記合計光学密度のベクトルに、候補再構成行列の逆行列を掛けることによって演算され、前記候補再構成行列が、(i)前記候補表色系の前記第1の染料の前記第2および第3のチャネルに対応する光学密度値を有する第1の光学密度ベクトル、および(ii)前記候補表色系の前記第2の染料の前記第2および第3のチャネルに対応する光学密度値を有する第2の光学密度ベクトルを含む、請求項12に記載のシステム。
  14. 前記予測的な第1の染料色基準ベクトルのセットを獲得することが、一連の制御スライドから画像データを分析することによって前記第1の染料のための複数の色基準ベクトルを導出することを含み、各制御スライドが、異なる濃度の染料を有する、請求項10〜13のいずれかに記載のイメージングシステム。
  15. イメージングシステム(200)の1つまたは複数のプロセッサ(203)によって実行されるとき、請求項1〜9のいずれか一項の方法を前記イメージングシステム(200)に実施させる命令を格納する、非一時的なコンピュータ可読媒体(201)。
JP2020505305A 2017-08-04 2018-08-02 散乱補正を用いた色分離 Active JP7216707B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022192640A JP2023022233A (ja) 2017-08-04 2022-12-01 散乱補正を用いた色分離

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762541619P 2017-08-04 2017-08-04
US62/541,619 2017-08-04
PCT/EP2018/070956 WO2019025520A1 (en) 2017-08-04 2018-08-02 COLOR DEMIXING WITH DIFFUSION CORRECTION

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022192640A Division JP2023022233A (ja) 2017-08-04 2022-12-01 散乱補正を用いた色分離

Publications (2)

Publication Number Publication Date
JP2020529601A true JP2020529601A (ja) 2020-10-08
JP7216707B2 JP7216707B2 (ja) 2023-02-01

Family

ID=63143124

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020505305A Active JP7216707B2 (ja) 2017-08-04 2018-08-02 散乱補正を用いた色分離
JP2022192640A Pending JP2023022233A (ja) 2017-08-04 2022-12-01 散乱補正を用いた色分離

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022192640A Pending JP2023022233A (ja) 2017-08-04 2022-12-01 散乱補正を用いた色分離

Country Status (5)

Country Link
US (1) US11107248B2 (ja)
EP (1) EP3662440B1 (ja)
JP (2) JP7216707B2 (ja)
CN (1) CN111602172B (ja)
WO (1) WO2019025520A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021504424A (ja) * 2017-12-01 2021-02-15 グラクソスミスクライン バイオロジカルズ ソシエテ アノニム サポニン精製
US11744890B2 (en) 2017-12-01 2023-09-05 Glaxosmithkline Biologicals Sa Saponin extraction

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686926B (zh) * 2020-12-17 2022-05-31 深圳市普汇智联科技有限公司 一种复杂光影条件下的彩色球体运动检测方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053074A (ja) * 2009-09-01 2011-03-17 Olympus Corp 画像処理方法、画像処理装置および画像処理プログラム
JP2016519321A (ja) * 2013-06-03 2016-06-30 ベンタナ メディカル システムズ, インコーポレイテッド 画像適応的な生理学的に妥当な色分離
JP2017509871A (ja) * 2014-02-21 2017-04-06 ベンタナ メディカル システムズ, インコーポレイテッド バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析
US20170206655A1 (en) * 2014-08-01 2017-07-20 Ventana Medical Systems, Inc. Systems and methods for color deconvolution

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5595707A (en) 1990-03-02 1997-01-21 Ventana Medical Systems, Inc. Automated biological reaction apparatus
US20030211630A1 (en) 1998-02-27 2003-11-13 Ventana Medical Systems, Inc. Automated molecular pathology apparatus having independent slide heaters
JP3847559B2 (ja) 1998-02-27 2006-11-22 ベンタナ・メデイカル・システムズ・インコーポレーテツド 独立スライド加熱器を有する自動化分子病理学装置
US6582962B1 (en) 1998-02-27 2003-06-24 Ventana Medical Systems, Inc. Automated molecular pathology apparatus having independent slide heaters
EP1417632A1 (en) 2001-05-29 2004-05-12 Tissueinformatics, Inc. Robust stain detection and quantification for histological specimens based on a physical model for stain absorption
US7200252B2 (en) * 2002-10-28 2007-04-03 Ventana Medical Systems, Inc. Color space transformations for use in identifying objects of interest in biological specimens
JP2010169467A (ja) * 2009-01-21 2010-08-05 Olympus Corp 画像処理装置、データセット生成装置、画像処理プログラムおよびデータセット生成プログラム
US8948488B2 (en) * 2009-07-31 2015-02-03 General Electric Company Methods and systems for digitally enhancing an image of a stained material
CA2842721C (en) 2009-10-19 2016-03-29 Ventana Medical Systems, Inc. Imaging system and techniques
US9607374B2 (en) * 2011-11-10 2017-03-28 Cadess Medical Ab Color decomposition in histology
EP3304415B1 (en) * 2015-05-26 2023-09-13 Ventana Medical Systems, Inc. Method and system for assessing stain quality for in-situ hybridization and immunohistochemistry
US11403861B2 (en) * 2015-09-16 2022-08-02 Leica Biosystems Imaging, Inc. Automated stain finding in pathology bright-field images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011053074A (ja) * 2009-09-01 2011-03-17 Olympus Corp 画像処理方法、画像処理装置および画像処理プログラム
JP2016519321A (ja) * 2013-06-03 2016-06-30 ベンタナ メディカル システムズ, インコーポレイテッド 画像適応的な生理学的に妥当な色分離
JP2017509871A (ja) * 2014-02-21 2017-04-06 ベンタナ メディカル システムズ, インコーポレイテッド バイオマーカー陽性の腫瘍細胞を識別するための医用画像解析
US20170206655A1 (en) * 2014-08-01 2017-07-20 Ventana Medical Systems, Inc. Systems and methods for color deconvolution

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LORSAKUL, AURANUCH 外4名: ""Validation of multiplex immunohistochemistry assays using automated image analysis"", PROGRESS IN BIOMEDICAL OPTICS AND IMAGING, vol. 10581, JPN5020009122, 6 March 2018 (2018-03-06), US, pages 105810 - 8, XP060104327, ISSN: 0004740348, DOI: 10.1117/12.2293168 *
NIE, YAO 外3名: ""Color deconvolution method with DAB scatter correction for bright field image analysis"", PROGRESS IN BIOMEDICAL OPTICS AND IMAGING, vol. 10581, JPN5020009121, 6 March 2018 (2018-03-06), US, pages 105810 - 7, XP060104328, ISSN: 0004740347, DOI: 10.1117/12.2293576 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021504424A (ja) * 2017-12-01 2021-02-15 グラクソスミスクライン バイオロジカルズ ソシエテ アノニム サポニン精製
US11591364B2 (en) 2017-12-01 2023-02-28 Glaxosmithkline Biologicals Sa Saponin purification
US11744890B2 (en) 2017-12-01 2023-09-05 Glaxosmithkline Biologicals Sa Saponin extraction

Also Published As

Publication number Publication date
US20200279399A1 (en) 2020-09-03
EP3662440A1 (en) 2020-06-10
JP2023022233A (ja) 2023-02-14
CN111602172A (zh) 2020-08-28
WO2019025520A1 (en) 2019-02-07
CN111602172B (zh) 2023-09-26
JP7216707B2 (ja) 2023-02-01
US11107248B2 (en) 2021-08-31
EP3662440B1 (en) 2021-12-29

Similar Documents

Publication Publication Date Title
JP7047059B2 (ja) 画像処理のための自動アッセイ評価および正規化
US10755406B2 (en) Systems and methods for co-expression analysis in immunoscore computation
CN107209934B (zh) 用于定量分析异质生物标志物分布的方法、***和装置
US12020493B2 (en) Systems for automated in situ hybridization analysis
AU2013214345B2 (en) System for detecting genes in tissue samples
US11747280B2 (en) System level calibration
JP2023022233A (ja) 散乱補正を用いた色分離

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221201

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20221201

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20221212

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20221213

C272 Notice of ex officio correction

Free format text: JAPANESE INTERMEDIATE CODE: C272

Effective date: 20221213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230120

R150 Certificate of patent or registration of utility model

Ref document number: 7216707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150