JP6222584B2 - 細胞ベースの組織解析 - Google Patents

細胞ベースの組織解析 Download PDF

Info

Publication number
JP6222584B2
JP6222584B2 JP2015559269A JP2015559269A JP6222584B2 JP 6222584 B2 JP6222584 B2 JP 6222584B2 JP 2015559269 A JP2015559269 A JP 2015559269A JP 2015559269 A JP2015559269 A JP 2015559269A JP 6222584 B2 JP6222584 B2 JP 6222584B2
Authority
JP
Japan
Prior art keywords
cell
tissue
features
cells
population
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015559269A
Other languages
English (en)
Other versions
JP2016507759A5 (ja
JP2016507759A (ja
Inventor
ランゲ ホルガー
ランゲ ホルガー
クルーガー ジョセフ
クルーガー ジョセフ
ヤング ジー.デイビッド
ヤング ジー.デイビッド
ジョンソン トレバー
ジョンソン トレバー
フォルカー フランク
フォルカー フランク
ポッツ スティーブン
ポッツ スティーブン
Original Assignee
フラッグシップ バイオサイエンシズ インコーポレイテッド
フラッグシップ バイオサイエンシズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラッグシップ バイオサイエンシズ インコーポレイテッド, フラッグシップ バイオサイエンシズ インコーポレイテッド filed Critical フラッグシップ バイオサイエンシズ インコーポレイテッド
Publication of JP2016507759A publication Critical patent/JP2016507759A/ja
Publication of JP2016507759A5 publication Critical patent/JP2016507759A5/ja
Application granted granted Critical
Publication of JP6222584B2 publication Critical patent/JP6222584B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/5005Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N35/00Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor
    • G01N35/00029Automatic analysis not limited to methods or materials provided for in any single one of groups G01N1/00 - G01N33/00; Handling materials therefor provided with flat sample substrates, e.g. slides
    • G01N2035/00099Characterised by type of test elements
    • G01N2035/00138Slides
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Dispersion Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Food Science & Technology (AREA)
  • Biotechnology (AREA)
  • Tropical Medicine & Parasitology (AREA)
  • Cell Biology (AREA)
  • Medicinal Chemistry (AREA)
  • Microbiology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、概して、メディカルイメージングに関し、より詳細には、組織切片の顕微鏡画像のコンピューター解析方法に関する。
放射線学における以前のものと比べて、現在では、病理状態のデジタル化により、組織スライドのより精密なイメージングが行われ、光学顕微鏡法を用いてガラススライドを人間が評価及び解釈する能力をはるかに超えた新しいコンピューター支援方法を使用することが可能である。
高度な画像解析プログラムを用いることにより、組織切片の一部又は全体の細胞を検出し特徴付けること、及び組織試料の異なる細胞集団を規定し特徴付けることが可能である。次いで、それらの細胞集団に基づいて他の組織試料との関連で組織試料を検査し評価することが可能である(研究データセット、ターゲット患者集団データセットなど)。最終的には、病理学者又は組織解析者は、この手法で得られたデータを評価のエンドポイント決定要因の判定に使用することが可能である。
類似の概念がフローサイトメトリーで使用される。この場合、同定されたすべての細胞で多次元情報を取り込み、寸法をゲート処理して互いに比較することにより、細胞フィーチャーの特異的属性を規定する。解離細胞の解析のために物理的な取込み及び特別な機器に依拠するフローサイトメトリーとは対照的に、画像ベースの細胞選別は、デジタル方式で行われるので、各細胞の物理的な取込み及び解析に依拠しない。また、組織切片環境での細胞解析には、組織の構造モルフォロジー及び細胞の環境に関する情報が維持されると同時に、特別な機器を必要としないという利点がある。
組織内の複数の細胞寸法を調べて組織切片内及び組織切片間での細胞の関係を同定するために使用可能な、画像ベースの組織解析ツールを構築するシステム及び方法の必要性が、現在も依然として存在する。
技術的問題
組織スライドに基づいて組織試料を検査する従来の方法は、顕微鏡を用いて人間が評価及び解釈する能力に限定される。
問題の解決策
本明細書の実施形態に従って、光学顕微鏡を用いて人間が評価及び解釈する能力をはるかに超えた、組織スライドに基づく組織試料の新規な検査方法を提供する。本方法は、概して、組織切片の一部又は全体の細胞を検出し特徴付けることと、組織試料の異なる細胞集団を規定し特徴付けることと、細胞集団特性に基づいて組織試料を検査することとを含む。
以下の図を参照して特定の実施形態を説明する。
図1は、組織サンプルから細胞集団解析までの細胞ベースの組織解析プロセス全体のフローチャートを示す。 図2は、染色特異的カラーキャリブレーションターゲットからのカラーキャリブレーションプロファイルの作成を例示する。 図3は、細胞解析に関連するデータ階層を示す。 図4は、画像上に重ね合わせた強度コード付き細胞フィーチャーを有する細胞表現の表示を例示する。 図5は、細胞フィーチャーデータプロットの表示を例示する。 図6は、細胞フィーチャーデータテーブルの表示を例示する。 図7は、画像上に重ね合わせた細胞ベースのヒートマップの表示を例示する。 図8(A〜B)は、異なるデータ表現間の細胞の双方向リンケージを例示する。 図8(A〜B)は、異なるデータ表現間の細胞の双方向リンケージを例示する。 図9は、カラーキャリブレーションプロファイルを用いた、異なる機器から取り出された画像のカラーキャリブレーションを例示する。 図10は、組織ベースの対照又は同等の対照を用いた、染色プロセスに対する細胞解析のキャリブレーションを例示する。 図11は、多重化細胞解析に関連するデータ階層を示す。 図12(A〜D)は、共通グリッドを用いた、異なる組織切片にわたる細胞フィーチャーのマッピングを例示する。 図12(A〜D)は、共通グリッドを用いた、異なる組織切片にわたる細胞フィーチャーのマッピングを例示する。 図12(A〜D)は、共通グリッドを用いた、異なる組織切片にわたる細胞フィーチャーのマッピングを例示する。 図12(A〜D)は、共通グリッドを用いた、異なる組織切片にわたる細胞フィーチャーのマッピングを例示する。 図13(A〜B)は、仮想細胞を用いた、異なる組織切片にわたる細胞フィーチャーのマッピングを例示する。 図13(A〜B)は、仮想細胞を用いた、異なる組織切片にわたる細胞フィーチャーのマッピングを例示する。 図14は、細胞集団解析に関連するデータ階層を示す。 図15は、2つの細胞フィーチャーの線形回帰分析を例示する。 図16は、異なる組織サンプルの細胞に基づく解析を例示する。 図17は、細胞アノテーションの作成を例示する。 図18は、新しい細胞フィーチャーの作成を例示する。 図19(A〜C)は、異なる細胞集団に対する代表的細胞を用いたゲート規定プロセスを例示する。 図19(A〜C)は、異なる細胞集団に対する代表的細胞を用いたゲート規定プロセスを例示する。 図19(A〜C)は、異なる細胞集団に対する代表的細胞を用いたゲート規定プロセスを例示する。 図20(A〜B)は、異なる細胞集団に対する代表的細胞を用いたパターン認識プロセスを例示する。 図20(A〜B)は、異なる細胞集団に対する代表的細胞を用いたパターン認識プロセスを例示する。 図21は、データベースからの組織サンプルのヒートマップを例示する。 図22は、異なるグループによる細胞集団フィーチャー分布の比較に基づく品質評価を例示する。
以下の説明では、限定ではなく説明を目的として、本発明が十分に理解されるように、詳細及び説明を記載する。しかし、これらの詳細及び説明から外れる他の実施形態で本発明の趣旨及び範囲から逸脱することなく本発明を実施しうることは、当業者には自明であろう。
組織切片の一部又は全体の細胞及び細胞集団の特性の同時マルチパラメーター解析を用いて組織スライドに基づく組織試料の検査を行うための特定の方法及びシステムを記載する。
例示的な実施形態では、本方法は、一般的には、(1)組織調製、(2)スライド調製、(3)デジタル化、(4)細胞解析及び(5)細胞集団解析を含む5つの連続した処理工程を含むことができる。図1は、一般的な実施形態に従って組織サンプルから細胞集団解析までの細胞ベースの組織解析プロセス全体のフローチャートを示している。
組織調製
組織調製プロセスは、組織試料又はサンプル(例えば、生検試料、切除試料、外科試料)の捕集/取得、組織サンプルの固定(例えば、ホルマリンなどの固定剤を用いる)、組織学実験室へのサンプル輸送、組織が特定の媒体内に埋め込まれた組織ブロックの作製を含む。本明細書の目的では、「組織試料」又は「研究対象のサンプル」は、「組織サンプル」と呼ぶことができる。凍結組織サンプルの捕集及び調製では、固定媒体の代わりに凍結媒体を利用して凍結組織サンプルを取得し、これを一般に認められた標準的な組織学的手順で処理して組織スライドにすること以外は、類似のプロセスに従う。
この組織調製プロセスは、対象となる細胞フィーチャーが組織切片でどのように発現されるかにかなりの影響を及ぼしうる。このプロセスを標準化するために、注意深い制御を適用する必要がある。
スライド調製
スライド調製プロセスは、一般に認められた標準的な組織学的手順、すなわち、組織ブロックをカットして、ガラススライド(組織スライドとしても知られる)上に配置される組織切片にすることと、続いて、スライドの染色(例えば、ヘマトキシリン及びエオシン−H&E、免疫組織化学−IHCなど)を行って、細胞解析により検出可能な対象となる特異的細胞フィーチャーを作製することと、を含む。
単一の組織ブロックから複数の組織切片をカットすることが可能であり、それにより、各組織切片は、典型的には、特定の目的で染色される(例えば、組織及び細胞モルフォロジーに関してはH&E、ヒト表皮成長レセプター2のタンパク質発現の定量に関してはIHC−HER2、エストロゲンレセプターのタンパク質発現の定量に関してはIHC−ER、プロゲステロンレセプターのタンパク質発現の定量に関してはIHC−PR)。
組織ブロックのカット処理(例えば、深さ)及び染色プロセス自体は、対象となる細胞フィーチャーが組織切片でどのように発現されるかにかなりの影響を及ぼしうる。このプロセスを標準化するために、注意深い制御を適用する必要がある。
細胞フィーチャー(例えば、細胞発現、細胞近傍特性、細胞モルフォロジー)の確立された異なる発現レベル(例えば、0%、25%、50%、及び75%)を有する標準化された組織ベースの又は同等の(例えば、細胞系)対照を各染色バッチの一部として(個別のスライド上又はすべてのスライド上のいずれかにおいて)使用して、細胞解析プログラムにより細胞フィーチャー測定の自動キャリブレーションを行うことが可能である。重要なことは、対照が組織サンプルに含まれるものと類似の細胞フィーチャーを呈することである。
組織ベースの対照の可能な一選択肢は、ターゲット組織のサンプルを使用することである。重要なことは、異なる細胞フィーチャー発現レベルを有するサンプルを使用して、それらのサンプルの適正ターゲット値を確立することである。新しい対照のターゲット値の確立は、既存の対照を用いて行うことが可能である。この方法を用いる場合、1つの対照からその次の対照に蓄積する偏りを導入しないように、特別な注意を払う必要がある。
これまで、組織スライドの染色は、光学顕微鏡を用いて人間が解釈するように設計されてきた。電子顕微鏡法、共焦点顕微鏡法などの専用の分析ツールを用いて追加情報を取得することができるが、これらは、一般的には、高スループットでも一般的な実験室環境/組織学環境でも利用されない。高度な画像解析プログラムを用いた組織スライドの画像解析には、染色に対してさまざまな要件が課される。染色及びその染色手順の選択では、特別な注意を払う必要がある。染色の選択は、染色が共局在化した場合、どの程度良好に色分解プログラム(例えば、色のデコンボリューション)が互いを識別できるか及びどの程度良好に分割できるかにより、主導されるであろう。適正な染色手順の決定は、標的領域(例えば、核)を横切って一貫性のある検出可能な染色を提供することにより主導されるであろう。同一の記述的染色プロセス(例えば、ヘマトキシリン対比染色)に対して異なる手順を用いると異なる色相及び色強度を生じる可能性があるので、染色の解釈の変動を回避するために、標準化された染色手順に従う必要がある。いくつかの場合、2つの組織スライドを提供して、1つは、標準的光学顕微鏡を用いて人間が解釈するために染色され、1つは、画像解析プログラムを使用するために染色されることが、適切かもしれない。いずれの場合においても、標準化の目的は、ヒトによる信頼性のある主観的解釈又は画像解析プログラムによる一貫性のある客観的解釈を確保することである。
デジタル化
市販のデジタル顕微鏡及び/又はスライドスキャナー(例えば、Aperio、Cri、Hamamatsu、Leica、Omnyx、Philips、Ventana、及び3DHistech)を用いて、組織スライドをデジタル化することが可能である。異なる画像取得技術(例えば、明視野、蛍光、マルチスペクトル、偏光)を用いて、組織スライドのデジタル画像を形成することが可能である。いくつかの場合、同一の組織スライドに異なる画像取得技術を適用すると、単一のスライドに対して複数の画像を生じる可能性がある。スライドのデジタル化は、対象となる細胞フィーチャーがどのように画像化されるかにかなりの影響を及ぼしうる。このプロセスを標準化するために、注意深い制御を適用する必要がある。
機器に特有の画像取得特性を各製造業者が良好に制御したと仮定しても、異なる製造業者の機器は、依然として、それらの画像取得特性にかなりの変動を呈することがある。
色は、染色組織切片の細胞解析に最も重要な画像取得特性の1つである。使用される染色剤又は染料の色スペクトルを代表する確立された色のターゲット値を有する標準化されたカラーキャリブレーションスライドは、定期的に(例えば、毎日1回)繰り返される機器キャリブレーション手順の一部として使用可能である。測定された色値と確立されたターゲット値との差を用いて、細胞解析前に画像に適用可能なカラーキャリブレーションプロファイル(例えば、ICCプロファイル)を規定することにより、すべての画像を画像解析用標準色空間(例えば、sRGB)に規格化することが可能である。
カラーキャリブレーションターゲットの可能な一選択肢は、既存の標準カラーキャリブレーションターゲット(例えば、IT8)を使用することである。問題は、これらが、使用される染色剤又は染料の色スペクトルを代表しないことである。より良好な方法は、染色剤又は染料の色特性を測定して特定のカラーキャリブレーションターゲットを形成することである。
図2は、染色特異的カラーキャリブレーションターゲットからのカラーキャリブレーションプロファイルの作成を例示している。明視野RGB画像取得及び画像解析用標準色空間としてのsRGB色空間の使用を仮定する。示されたカラーキャリブレーションターゲットは、異なる染色強度の単一染色カラーパッチを有する3種の染色と、異なる強度のグレースケールパッチとを含み、それらのすべてに対してターゲット色がsRGB色空間内に確立されている。カラーキャリブレーションプロファイラープログラムは、異なるパッチをカラーキャリブレーションターゲットの画像で解析し、測定されたRGB色値と確立された標的sRGB色値との差に基づいて、ルックアップテーブルの形態でカラーキャリブレーションプロファイルを決定する。
可能な一適用は、染色特異的カラーキャリブレーションターゲットの染色剤としてヘマトキシリン、エオシン及びDABを含むことであろう。
空間分解能を含めて、キャリブレーションできない重要な画像取得特性は、定期的に(例えば、毎日1回)繰り返される機器キャリブレーション検証手順の一部として特別なキャリブレーションスライドを用いて測定及びモニターする必要がある。機器が適正に動作し、かつ後続の細胞解析に必要とされる前提が正確に維持されることを確認することが重要である。
細胞解析
細胞解析プログラムは、細胞の検出と、異なる組織切片の画像の細胞フィーチャーの計算とを含む。細胞解析は、典型的には、種(例えば、ヒト)、組織タイプ(例えば、胃腸組織の長尺状細胞に対して***組織の円形細胞)、染色される細胞区画(核、細胞膜、及び細胞質)、染色(例えば、ヘマトキシリン、エオシン、DAB)及び画像取得(例えば、明視野、蛍光、マルチスペクトル、偏光)に特異的な適用である。
細胞ベースの組織解析の主要な概念は、解析に細胞の構造組織及び環境組織のモルフォロジーを含みうることである。細胞フィーチャーは、典型的には、細胞モルフォロジー、スライド上の細胞の物理的状態を表すフィーチャー(例えば、細胞サイズ)、バイオマーカー(例えば、タンパク質、遺伝子、及びmRNA)の発現及び染色(例えば、ヘマトキシリン対比染色)を含む。しかしながら、細胞フィーチャーはまた、細胞の周りの規定された近傍の細胞からも測定され、組織特性(例えば、細胞密度)を規定する細胞の組み合わされたグループの測定を含む。
図3は、細胞解析に関連するデータ階層を示している。細胞(黒丸)は、組織切片の画像で検出される。細胞フィーチャー(例えば、細胞モルフォロジー、細胞近傍特性、細胞発現)は、細胞自体さらには細胞の周りの近傍の細胞の測定に基づいて計算され、識別可能なグレースケールパターンとして示される。細胞の近傍は、細胞の周りの半径を有する円により例示される。
可視化
細胞フィーチャーを有する細胞は、強度/色コード付き細胞表現(例えば、検出された細胞及び細胞区画のビットマップ、円、楕円)及び異なる組織切片の画像上に重ね合わせたヒートマップ、1D、2D、及び3Dデータプロット、ならびに選別可能及び検索可能なデータテーブルを含めて、多種多様な方法で可視化することが可能である。
図4は、画像上に重ね合わせた強度コード付き細胞フィーチャーを有する細胞表現の表示を例示している。2つの細胞フィーチャー「X」及び「Y」を有する細胞が示されている。上側の画像は、細胞フィーチャー「X」に基づいて強度コード付けされた円の形態の細胞表現を示している。同時に複数の細胞フィーチャーを可視化することが可能である。下側の画像は、2つのネストされた円の形態の細胞表現を示している。内側の円は、細胞フィーチャー「X」に基づいて強度コード付けされている。外側の円は、細胞フィーチャー「Y」に基づいて強度コード付けされている。
図5は、細胞フィーチャーデータプロットの表示を例示している。左側のデータプロットは、細胞フィーチャー「X」の値の1Dヒストグラムを示している。右側のデータプロットは、細胞フィーチャー「X」及び「Y」の値の2D散布図を示している。
図6は、細胞フィーチャーデータテーブルの表示を例示している。細胞及び細胞フィーチャーは、各細胞を行ならびに細胞フィーチャー「X」及び「Y」を列として有する表形式のリストとして表示されている。細胞は、細胞フィーチャー「X」により選別される。
細胞ベースのヒートマップは、高い細胞密度の領域に高分解能のデータを提供する。細胞フィーチャー値は、細胞の周りの特定の距離に広がる。広がりは、最大距離で又は他の細胞と等しい距離で停止する。
図7は、画像上に重ね合わせた細胞ベースのヒートマップの表示を例示している。
細胞解析は、画像中の重なり合った細胞と、データプロット中の細胞と、データテーブル中の細胞との間で、細胞の双方向リンケージを提供可能である。細胞は、それらのデータ表現の1つで選択可能であり、それらの細胞は、他のデータ表現で、自動で同定されるであろう。
図8は、異なるデータ表現間の細胞の双方向リンケージを例示している。図8Aは、細胞10が画像で選択された場合、同一の細胞10がデータプロット及びデータテーブルで同定されることを示している。図8Bは、細胞20がデータプロットで選択された場合、同一の細胞20が画像及びデータテーブルで同定されることを示している。
細胞解析プログラムは、サードパーティーのデータ解析ツールで使用するために、細胞及び細胞フィーチャーのエクスポートを可能にする。
キャリブレーション
細胞解析プログラムは、色の変動を調整するために、異なる機器から取得された画像の自動キャリブレーションを提供する。いずれの解析を行う前にも、各機器に対して規定されたカラーキャリブレーションプロファイルを画像中のすべて画素に適用する。
図9は、カラーキャリブレーションプロファイルを用いた、異なる機器から取り出された画像のカラーキャリブレーションを例示している。ルックアップテーブルの形態のカラーキャリブレーションプロファイルを用いて、カラーキャリブレーションプログラムにより、機器のRGB色空間で得られた画像中のすべての画素のRGB値を細胞解析用標準色空間(ここではsRGB色空間)に変換する。
細胞解析プログラムは、標準化された組織ベースの対照又は同等の対照を染色プロセスの一部として使用することにより、染色プロセスの変動を調整する自動キャリブレーションを提供する。キャリブレーションで対照を使用する一方法では、細胞解析プログラムを対照で実行してから、対照で測定された値と確立されたターゲット値との差に基づいて、データ(例えば、細胞フィーチャー測定値)又はパラメーター(例えば、細胞フィーチャー検出閾値、細胞分類閾値)を調整する。
図10は、組織ベースの対照又は同等の対照を用いた、染色プロセスに対する細胞解析のキャリブレーションを例示している。スライドの画像は、組織切片及び対照を含有する。細胞フィーチャーの異なる発現レベルが、組織切片及び対照で異なる強度として示される。組織切片は、細胞フィーチャーの発現レベルの全領域を含みうる。対照は、確立された異なる細胞フィーチャー発現レベルを有する、ここでは以下のターゲット値0%、25%、50%、及び75%を有する、4つの異なるサンプルからなる。細胞解析プログラムを対照で実行し、関連ターゲット値と共に異なる対照サンプルで得られたヒストグラムを示す。測定値とターゲット値との間に差が存在し、これを計量して、キャリブレーション機能を規定するために使用可能である。細胞解析プログラムを組織切片で実行し、得られた細胞フィーチャーヒストグラムを示す。キャリブレーション機能を用いて、細胞フィーチャー測定値を調整し、組織切片のキャリブレーションされた細胞フィーチャーヒストグラムで示す。
多重化
細胞フィーチャー(例えば、IHC−HER2、IHC−ER、及びIHC−PR)を多重化するための標準は、組織スライドレベルで全スライドのスコアを組み合わせたものであった。細胞解析プログラムは、細胞レベルで多重化を提供することが可能である。
図11は、多重化細胞解析に関連するデータ階層を示している。2つの異なる組織切片の画像の多重化細胞フィーチャーをアライメントして細胞に関連付ける。
画像位置合せ技術を用いて、異なる組織切片間で細胞フィーチャーを画像から組み合わせることが可能である。画像位置合せは、1つの組織切片の画像の任意のx、y座標に対して他の組織切片の画像の新しいx、y座標を計算する変換を提供する。変換を用いて、1つの組織切片の画像を歪めて(すなわち、空間的に変換して)他の組織切片の画像にアライメントすることが可能であり、1つの組織切片の画像で検出された細胞の位置及び形態を他の組織切片の画像にマッピングすることが可能である。多くの場合、画像を歪めて、すべての組織切片の細胞をその細胞フィーチャー(例えば、IHC−HER2。IHC−ER及びIHC−PR)と共に、選択された共通組織切片(例えば、H&E)にマッピングすることは、理にかなったことである。
画像がすでに完全にアライメントされているので、高度な画像位置合せ技術を用いることなく、異なる画像取得技術(例えば、蛍光及び明視野)を用いて、同一の組織切片から取り出された異なる画像の細胞フィーチャーを組み合わせることが可能である。
組織切片のアライメントされた歪められた画像を一緒に表示することにより、特定の細胞フィーチャー(例えば、蛍光FISH−HER2の明視野H&E)を強調可能な、組織切片のアライメントされた歪められた画像の融合画像を表示することにより及び選択された組織切片の画像上に重ね合わせた組織切片のマッピングされた細胞を細胞フィーチャーと共に表示することにより、異なる組織切片にわたる画像及び/又は同一の組織切片の異なる画像の細胞フィーチャーの視覚的リンケージを提供することが可能である。
異なる組織切片にわたり細胞フィーチャーを組み合わせることにより、多重化を提供することが可能である。異なる組織切片は、必ずしも同一の細胞を含んでいるわけではないので、細胞及びその細胞フィーチャーの1:1マッピングは、期待できない。しかし、異なる組織切片は、細胞フィーチャーの合理的なアライメントを可能にする非常に類似した細胞フィーチャーを有する同一組織型領域を含むと仮定することが可能である。スライドを横切って行われる単一領域測定に変換可能な組織切片にわたる細胞間の最大距離の許容度は、アナライトが呈する組織アーキテクチャー及び生物学的プロセスの性質に依存する。
異なる組織切片にわたり細胞フィーチャーを適正にマッピングするために、データをアライメントする共通データ構造が必要とされる。適切な領域ベースのデータ構造は、共通グリッドを含み、細胞ベースのデータ構造は、仮想細胞を含む。
共通グリッドは、全組織切片をカバーする特定のサイズの表面領域(例えば、矩形、八角形)からなる。異なる組織切片からアライメントされた細胞は、その位置に基づいて個々の表面領域に関連付けられる。
仮想細胞は、異なる組織切片の細胞に基づいて生成される。異なる組織切片からアライメントされた細胞は、その近接性に基づいて個々の仮想細胞に関連付けられる。
共通データ構造は、関連細胞から細胞フィーチャーを受け継ぎ、その逆も同様である。細胞フィーチャーを平均することにより、複数の関連を分割することが可能である。平滑化は、細胞フィーチャー測定の変動を低減する手段を提供するのに重要である。細胞フィーチャーは、特定の細胞近傍の細胞を用いて平均することが可能である。広がりは、画像位置合せの不正確さ及び異なる組織切片の細胞位置の変動を補償する手段を提供するのに重要である。共通グリッドを用いて、個別細胞の細胞フィーチャーを共通グリッドで細胞の周りの特定の距離に広げることが可能である。仮想細胞を用いて、近接基準により広がりが具現化される。
この時点で、共通データ構造を用いて、1つの組織切片で検出された細胞の細胞フィーチャーを、他の組織切片で検出された細胞にマッピングすることが可能である。こうして、異なる組織切片のすべての細胞フィーチャーを、選択された組織切片で検出された細胞にマッピングすることが可能である。
図12は、共通グリッドを用いた、異なる組織切片にわたる細胞フィーチャーのマッピングを例示している。図12Aは、3つの異なる組織切片の画像で検出された細胞を例示している。細胞は、異なるパターンを有する円として示され、各代表色(レッド、グリーン、ブルー)は、異なる組織切片の細胞フィーチャーを例示している。図12Bは、共通グリッドの矩形への異なる組織切片の異なる細胞及び細胞フィーチャーのマッピングを例示している。図12Cは、すべての異なる細胞フィーチャーを有する共通グリッドを示している。図12Dは、どのように1つの組織切片の細胞又は仮想細胞30を共通グリッドにマッピングしうるか、どのように共通グリッドの細胞フィーチャーを細胞に関連付けうるかを例示している。
図13は、仮想細胞を用いた、異なる組織切片にわたる細胞フィーチャーのマッピングを例示している。図13Aは、3つの異なる組織切片の画像で検出された細胞を例示している。図13Bは、異なる組織切片で検出された細胞からどのように仮想細胞30が生成されるか、それらがどのようにそれらの細胞フィーチャーを受け継ぐかを例示している。
異なる組織切片の細胞フィーチャーを有する共通データ構造は、強度/色コード付き共通構造表現及び選択された組織切片の画像上に重ね合わせたヒートマップ、1D、2D、及び3Dデータプロットならびに選別可能及び検索可能なデータテーブルを含めて、多種多様な方法で可視化することが可能である。細胞解析プログラムは、サードパーティーのデータ解析ツールで使用するために、すべての細胞フィーチャーを有する共通データ構造のエクスポートを可能とする。
細胞集団解析
細胞集団解析プログラムは、細胞集団の同定、特徴付け及び解釈に基づく組織サンプルの検査を提供する。細胞集団は、生物学的プロセスの解釈を容易にするために使用される。細胞集団は、特定の細胞フィーチャーの特定の機能を共有するすべて細胞として規定される。組織サンプルは、1つ又は複数の細胞集団を含む。特定の細胞集団フィーチャーは、細胞集団に含まれる細胞から計算される。組織サンプルに関連付けられるメタデータ(例えば、種、組織型、年齢、性別、病態、薬剤投与量、臨床転帰)は、解析の目的に依存して異なる。
図14は、細胞集団解析に関連するデータ階層を示している。組織サンプルで検出されたすべての細胞及び細胞フィーチャーを基づいて、1つ又は複数の細胞集団を同定することが可能であり、特定の細胞集団フィーチャーを計算することが可能である。組織サンプルのメタデータは、その細胞集団すべてに関連付けられる。
細胞集団は、最終的には解析の意図された結果に特有な多くの方法で規定可能である。ターゲット細胞基準を満たす細胞集団の規定は、特異的、統計的、具象的、それらの組合せ又は規定されたサブ集団の全集合とすることができる。
特異的規定により、特定の細胞フィーチャーに特異的な特性に基づく細胞の規定が得られる。特異的規定の例は、バイオマーカーの陽性閾値を規定して3つの基準をすべて満たす細胞を含めることにより、ER−、PR−、及びHER2+に分類される細胞であろう。
統計的規定は、組織中の細胞の特異的組織属性又は群との関連により有意であるとして細胞を同定するものである。統計的規定の例は、間質区画又は重度炎症に関与する領域に存在するとして規定された場合、細胞をターゲット集団内に組み込むことでありうる。この規定は、主に、規定された領域の細胞の構造組織及び環境組織のモルフォロジーを提供する細胞近傍フィーチャーの特性に基づく。基準を満たす細胞は、各組織切片に個別に規定され、次いで、組織切片にわたり組み合わせることができる。基準を満たす各個別の細胞の可能性は、統計学的信頼度によりを規定することができる。
具象集団は、測定された細胞フィーチャーの1つ以上のヒストグラムプロファイルにより特徴付けることができる。ヒストグラムプロファイルは、平均、標準偏差及び細胞のサブ集団の存在又は不在に関する情報を有するユニークな集団プロファイルを表す。ヒストグラムプロファイルの例は、平均から1標準偏差外側の特異的細胞フィーチャーに関して陽性であり、したがって、測定値の大きさにかかわらず、組織を横切って平均細胞の予想プロファイルとは異なる細胞のサブ集団を表す、細胞を規定することである。
これらの手法の組合せに依拠する細胞集団規定の例は、「腫瘍巣を発現する最大HER2で存在する炎症細胞」として記述することができる。この場合、細胞は、炎症細胞に特徴的な小さい核を規定する核サイズ閾値により炎症性であるとして記述されたり、高いHER2発現を有する細胞であるとして具象的に記述されること及び特定の領域内の細胞が統計的に腫瘍細胞で構成される場合、腫瘍巣に存在するとして統計的に記述されたりすることがある。
データベース中のデータセットの標準化を容易にする可能な一細胞集団分類スキームは、組織サンプルのメタデータの種(例えば、ヒト)及び組織型(例えば、***組織)情報と組み合わされた生物学的動因の細胞型(例えば、浸潤性腫瘍細胞、癌腫in−situ細胞、間質細胞、正常細胞)に基づく。次いで、特異的解析に必要とされる特別な細胞集団を、それらの細胞集団のサブ集団として又は細胞集団フィーチャーの一部として具現化することができる。
同定
細胞集団の同定の鍵となるのは、重要な細胞フィーチャーを同定して、細胞集団を規定する細胞フィーチャーの適切な機能を規定することである。
一変量、二変量、及び多変量解析
異なる細胞フィーチャー(例えば、細胞膜染色強度対細胞膜完全性)と、組織サンプルの解釈に意味のある特定の細胞特性(例えば、異なる細胞型又は特定のタンパク質発現プロファイルを有する細胞)の同定及び/又は定量の妥当性との関係を理解することが重要である。異なる細胞フィーチャーは、統計変数と考えることが可能である。
細胞集団解析プログラムは、一変量、二変量及び多変量解析(確率分布統計を含む)ならびに統計変数に適用される可視化を提供可能である。線形及び非線形成分分析ならびに次元縮小技術(例えば、ピアソンの積率係数、線形回帰)を用いて、変数と研究対象の実際の問題に対するその妥当性との関係を理解することが可能である。教師なし及び教師あり機械学習技術を用いて、変数間の関係を同定することが可能である。
図15は、2つの細胞フィーチャーの線形回帰分析を例示している。組織切片の画像で検出された細胞は、円のグリッドとして例示されている。2つの細胞フィーチャー「X」及び「Y」を有する細胞が示されている。円は、細胞フィーチャーの値に基づく強度コードである。細胞フィーチャー「X」及び「Y」の2D散布図及び線形回帰が示されている。
細胞ベースの解析に代わる選択肢として、共通グリッド(単一の組織切片のみを使用した場合でさえも)を用いて、領域ベースの解析を構築し、領域ベースの表現と細胞ベースの表現との間でデータを交互にマッピングすることが可能である。
解析は、複数の組織サンプル(又は同一の組織サンプルの異なるブロック)のデータを含むことができる。その場合、組織サンプルのメタデータは、追加の統計変数と考えることが可能である。異なる組織サンプルの細胞は、解析で鮮明に可視化することが可能である(例えば、色コード付きで)。複数の組織サンプルの細胞及び細胞フィーチャーさらには組織切片の画像は、適宜記憶して、データベースからアクセスすることが可能である。
図16は、異なる組織サンプルの細胞に基づく解析を例示している。2つの組織サンプル「A」及び「B」の細胞は、同一の細胞フィーチャー「X」及び「Y」を用いて示されている。細胞フィーチャー「X」及び「Y」の2D散布図は、2つの組織切片の細胞を異なる色(黒色−組織サンプルA及び白色−組織サンプルB)で示している。
追加の統計変数と考えることが可能な細胞アノテーションにより、ターゲット細胞に関する直観的又は経験的な知識を提供することが可能である。細胞アノテーションは、細胞例を同定して、それを特定のラベル又は値に関連付けることにより、作成される。
図17は、細胞アノテーションの作成を例示している。例の複数の領域は、組織切片の画像で細胞アノテーションに対して規定され、各領域に対して関連値を提供する。例の領域は、関連値に基づいて強度コード付けされる。細胞アノテーションに対して、新しい細胞フィーチャーが生成される。この時点で、細胞フィーチャー「X」及び細胞アノテーションの2D散布図及び線形回帰で示されるように、測定された細胞フィーチャーと同様に細胞アノテーションを使用することが可能である。
細胞集団解析プログラムは、既存の細胞フィーチャーから計算される新しい細胞フィーチャーを規定する能力を提供可能である。それらの新しい細胞フィーチャーは、組織サンプルの解釈に意味のある特定の細胞特性(例えば、特定の細胞タンパク質発現プロファイル)を同定及び定量するために使用可能である。新しい細胞分類、スコアリング及び解釈のスキームは、それらの新しい細胞フィーチャーに基づいて又はそれらを含めて生成可能である。
どのように新しい細胞フィーチャーを計算するかは、線形及び非線形関数、テンプレート類似性(例えば、絶対差の規格化和)ならびに一群の値から新しい値を計算する任意のアルゴリズム(例えば、プログラムコードの実行)を含めて、さまざまな計算モデルを用いて規定される。
教師あり機械学習技術は、ユーザー提供の細胞アノテーションに基づいて自動で決定される新しい細胞フィーチャーの計算を支援することが可能である。
図18は、新しい細胞フィーチャーの作成を例示している。細胞フィーチャー「X」、「Y」及び「Z」に基づいて新しい細胞フィーチャーを計算する計算モデルを提供する。新しい細胞フィーチャーを作成する。この時点で、組織切片の画像で新しい細胞フィーチャーの可視化により示されるように、計算された新しい細胞フィーチャーは、測定された細胞フィーチャーと同様に使用可能である。
可能な適用は、[1]で発表されたHER2、ER及びPR発現レベルに基づいて5年生存統計を新しい細胞フィーチャーとして具現化することであろう。細胞フィーチャーは、発表されたデータ点(ER+/PR+/HER2− 96.4%、ER+/PR−/HER2− 91.9%、ER+/PR+/HER2+ 91.3%、ER+/PR−/HER2+ 88.0%、ER−/PR+/HER2− 82.7%、ER−/PR+/HER2+ 78.8%、ER−/PR−/HER2− 76.2%、ER−/PR−/HER2+ 75.9%)及びデータ点間の線形近似に基づいて計算可能である。この時点で、すべての浸潤性腫瘍細胞にわたる5年生存統計の細胞データを用いて、新しいスコアリングスキームの基準を研究可能である。
マニュアルゲート処理
細胞集団解析プログラムは、選択された細胞フィーチャーのシーケンシャルゲート処理関数を規定することにより細胞集団を同定するマニュアルゲート処理を提供可能である。マニュアルゲート処理は、典型的には、細胞集団の特異的規定を支援する。
組織切片の画像で異なる細胞集団の例の領域を規定して、それらの細胞フィーチャーにより代表的細胞を同定することが可能である。それらの同定された細胞及びそれらと特定の細胞集団との関連をゲート規定プロセスで、(例えば、個別のプロット、色コード付きで)可視化することが可能である。ゲート規定プロセスで使用するために、すべての細胞又は例の領域の細胞のみを選択することが可能である。
選択された細胞フィーチャーの一次元、二次元又は三次元のグラフ表現を用いて、対象の細胞の領域(例えば、最小/最大、複数の多角形)を同定することが可能である。1〜3つの細胞フィーチャーの領域規定の交差及び合併のシーケンス(又は階層)を形成して、細胞集団を規定することが可能である。シーケンシャルゲート処理関数を漸進的に形成して、各工程で前の工程で得られた細胞のみを調べることが可能である。
ゲート処理関数を作成する非常に単純かつ効果的な方法は、特定の細胞型に対するマーカー染色を使用して、マーカー染色を測定する細胞フィーチャーでゲート処理することである。多重化を用いる場合、1つの組織切片で特定の細胞型に対するマーカー染色を使用することにより、すべての他の組織切片でその細胞型を同定することが可能である。
細胞集団に対応する細胞を組織切片の画像で同時に同定することが可能である。
図19は、異なる細胞集団に対する代表的細胞を用いたゲート規定プロセスを例示している。組織切片の画像で検出された細胞は、黒色円又はパターン化円のグリッドとして例示されている。単一の細胞フィーチャーのグラフ表現は、1Dヒストグラムとして示されている。図19Aは、対象となる2つの細胞集団に対する2つの例の領域40、50の規定及び細胞集団の例に対する新しい細胞アノテーションの作成を例示している。図19Bは、細胞フィーチャー「X」に対する最小及び最大の閾値を規定するゲート規定工程を例示している。すべての細胞を含むプロットに加えて、対応する例の領域40、50の細胞のみをそれぞれ含有する各細胞集団に対する個別のプロットを示している。さらに、「規定される」細胞集団40の領域規定41(最小及び最大)を他のプロットで示している。図19Cは、細胞集団の新しい細胞フィーチャーの作成を例示し、画像中に「規定される」細胞集団のパターンコード付き細胞40を示している。
ゲート規定プロセスは、複数の組織サンプルを含むことができる。これにより、組織サンプル間での変動を考慮に入れることが可能になる。異なる組織サンプルの細胞は、ゲート規定プロセスで、(例えば、個別のプロット、色コード付きで)可視化することが可能である。組織サンプルの細胞及び細胞フィーチャーさらには組織切片の画像は、適宜記憶して、データベースからアクセスすることが可能である。
細胞集団解析プログラムは、異なる組織サンプル中の細胞の自動ゲート処理用として規定されたゲート処理関数の使用を可能にする。
パターン認識
細胞集団解析プログラムは、教師あり機械学習技術に基づいて、異なる細胞集団への細胞の自動分類のために、細胞ベースのパターン認識を提供することが可能である。パターン認識は、典型的には、細胞集団の特異的及び統計的な規定に使用される。使用される機械学習技術は、重要な細胞フィーチャーがどのように同定されるか、どんな種類の計算モデルが細胞分類に使用されるかを決定する。細胞分類は、クラスラベル(すなわち、細胞は、1つの細胞集団の一部のみとすることができる)又はクラス確率(すなわち、細胞は、複数の細胞集団の一部とすることができる)を用いて表現可能である。
組織切片の画像で異なる細胞集団の例の領域を規定して、それらの細胞フィーチャーにより代表的細胞を同定することが可能である。
パターン認識ツールは、重要な細胞フィーチャーを同定し、提供された例の領域に基づいて細胞分類子を決定する。
細胞ベースのパターン認識に代わる選択肢として又はそれと組み合わせて、共通グリッド(単一の組織切片のみを使用した場合でも)を用いて、領域ベースのパターン認識を実施し、領域ベースの表現と細胞ベースの表現との間でデータを交互にマッピングすることが可能である。
異なる細胞集団に対応する細胞を組織切片の画像で同定することが可能である。
図20は、異なる細胞集団に対する代表的細胞を用いたパターン認識プロセスを例示している。図20Aは、それぞれ対象となる2つの細胞分類に対する2つの例の領域60、70の規定及びそれぞれ細胞分類の例に対する新しい細胞アノテーションA、B、NAの作成を例示している。図20Bは、細胞分類の新しい細胞フィーチャーの作成を例示し、画像中の2つの細胞クラスのパターンコード付き細胞A、Bを示している。
パターン認識は、複数の組織サンプルを含むことができる。これにより、組織サンプル間での変動を考慮に入れることが可能になる。組織サンプルの細胞及び細胞フィーチャーさらには組織切片の画像は、適宜記憶して、データベースからアクセスすることが可能である。
細胞集団解析プログラムは、異なる組織サンプル中の細胞の自動分類用として規定された細胞分類子の使用を可能にする。
集団混合モデル解析
細胞集団解析プログラムは、異なる細胞集団への細胞の自動分類のために、教師なし機械学習技術(例えば、ガウス混合モデル)を含めて、集団混合モデル解析を提供する。集団混合モデル解析は、典型的には、細胞集団の具象規定に使用される。混合モデルは、全細胞集団内の細胞サブ集団の存在を表すための確率モデルである。混合モデルは、全細胞集団の観測のみが与えられたとして、細胞サブ集団の性質に関する統計的推測を行うために使用される。ガウスモデルを含めて、さまざまな種類の分布モデルを使用することが可能である。
集団比較
細胞集団解析プログラムは、細胞集団細胞フィーチャーの分布関数及び累積分布関数(CDF)の比較に基づいて、集団比較を提供する。同一の組織切片内又は異なる組織切片にわたる異なる細胞集団を比較して、具象細胞集団を規定することが可能である。
細胞集団フィーチャー
組織サンプルは、異なる細胞集団及びそれらの細胞集団フィーチャーにより特徴付けられる。細胞集団が同定された後、各細胞集団の細胞及び細胞フィーチャーから、細胞集団フィーチャー(例えば、全細胞数に対する細胞のパーセント、細胞フィーチャーの統計及び細胞フィーチャーヒストグラム)が計算される。
解釈
細胞集団の解釈は、組織サンプルの比較及び組織サンプルの叙述を取り扱う。
データベース
研究室もしくは施設全体にわたり又は多くの集団との関連で組織サンプルのデータを調べることにより、データに関する新しい知見及び新しい展望を提供する。
組織サンプルのデータセットは、メタデータ(例えば、種、組織型、性別、年齢、病態、薬剤投与量、及び臨床転帰)、細胞集団フィーチャー(例えば、全細胞数に対する細胞のパーセント、細胞フィーチャーの統計及び細胞フィーチャーのヒストグラム)を有する細胞集団を含むことができる、それだけでなく、細胞フィーチャーを有する細胞及び組織切片の画像をも含むことができる。
重要なことは、複数の組織サンプルデータベースの作製、管理及びアクセスを可能にする基盤を提供することである。施設は、それ自体の中央データベースを有し、他の公共データベースにアクセスすることができる。データベースは、ローカルコンピューター上、ネットワーク(仮想プライベートネットワークを含む)上の中央サーバー上に存在可能であり及び/又はクラウド用途として具現化可能である。
組織サンプルのデータセットの標準化は、データベースの有用性に重要である。
データマイニング及び可視化
教師なし及び教師あり機械学習技術を含めて、データマイニング技術、さらにはヒートマップ、1D2D、及び3Dデータプロット、ならびに選別可能及び検索可能なデータテーブルを含めて、可視化技術を、データベースと共に使用して、自動又は半自動で大量のデータを解析することが可能である。データマイニング及び可視化の目的は、これまで知られていない興味深いパターン、例えば、データセット群(クラスター解析)、異常データセット(異常検出)及び依存性(相関ルールマイニング)を抽出することならびに分類又は回帰分析の形態でデータセットの叙述を提供できるようにすることである。
図21は、データベースからの組織サンプルのヒートマップを例示している。ヒートマップの行は、異なる特性を表し、列は、異なる記録を表す。特異的メタデータ、細胞集団及び細胞集団フィーチャーは、「選択アイテム」カテゴリーで選択される。「オプション」カテゴリーは、特性の範囲の限定及びヒートマップでデータを表示すべき方法(例えば、値、色コード付き又は強度コード付き)の規定を可能にする。ヒートマップは、特定の種及び組織型に限定される。「選別」カテゴリーは、特性によるデータの選別を可能にする。ブラックボックスは、組織サンプルの完全情報にアクセスする能力を例示している。ヒートマップ中のメタデータ及び細胞集団データに加えて、対応する細胞データ及び画像へのアクセスが提供される。
組織サンプルに関する追加の知識又は前提は、単にメタデータに情報を追加することにより、解析に含むことができる。
決定支援システム
細胞集団解析プログラムは、研究対象の組織サンプルの組織解析データ及び関連メタデータに基づく決定支援システムを含むことができる。
決定支援システムは、組織解析データ(例えば、ヒト−***組織−浸潤性腫瘍細胞集団−HER2、ER及びPR発現)、及び研究対象の組織サンプルのメタデータ及び既知の病態又は転帰(例えば、異なる治療オプション後の生存)を有するデータベースのデータセットの差の定量及び可視化(例えば、ヒートマップ)を可能にする類似性解析を提供することができる。決定支援システムは、スライド画像、細胞フィーチャーを有する細胞、細胞集団フィーチャーを有する細胞集団、関連メタデータ、さらには、他の治療法からのデータ(例えば、放射線学データ)を含めて、データベース中のデータセットの追加の症例情報、へのアクセスを提供することができる。これにより、データが既知の病態又は転帰にどれくらい近いかなどの疑問を解決することが可能である。
類似性解析に基づく決定支援システムを具現化する単純な方法は、選択されたメタデータ及び細胞集団データの類似性基準(例えば、絶対差の加重和)を用いて、図21に示されるようにヒートマップを拡張することである。この時点で、ヒートマップは、データベース中の類似の組織サンプルとの関連で研究対象の組織サンプルを示すことが可能である。
データベース中の実際のデータセットに基づく決定支援システムを提供するのではなく、臨床所見及び症例の合成に基づく決定支援システムのために、特別なデータセットを作製することが可能である。この時点で、可能な決定及び予想される転帰と共に、症例のすべての異なる有意な特徴付けとの関連で、研究対象の組織サンプルを示すことが可能である。
可能な適用は、臨床所見の合成に関して[1]に発表されたHER2、ER及びPR発現レベルに基づいて5年生存統計を使用し、代表的かつ興味深い症例を例として選択することであろう。発表されたデータ点(ER+/PR+/HER2− 96.4%、ER+/PR−/HER2− 91.9%、ER+/PR+/HER2+ 91.3%、ER+/PR−/HER2+ 88.0%、ER−/PR+/HER2− 82.7%、ER−/PR+/HER2+ 78.8%、ER−/PR−/HER2− 76.2%、ER−/PR−/HER2+ 75.9%)に基づいて、8例の症例を形成可能である。
自動メタデータ予測
細胞集団解析プログラムは、組織サンプルの細胞集団及び細胞集団フィーチャーに基づいてメタデータを予測する能力を提供可能である。教師あり機械学習技術を用いて、既存のメタデータを有する組織サンプル例から分類子を知ることが可能である。
細胞及び細胞集団の解析が種及び組織に特異的であるので、可能な適用は、種及び組織型の予測である。典型的には、組織サンプルを用いて、種(例えば、ヒト)及び組織型(例えば、***組織)に関する情報が提供される。細胞集団解析プログラムはまた、組織サンプルの細胞集団と既知の種−組織型細胞集団とを比較することにより、この情報を自動で予測することが可能である。
in vitro診断多変量指数アッセイ(IVDMIA)
IVDMIAは、1種の細胞集団(例えば、浸潤性腫瘍細胞)又は複数種の細胞集団(例えば、間質細胞)の組織サンプルの細胞集団フィーチャー(例えば、HER2発現、ER発現、PR発現)及び関連メタデータ(例えば、年齢、性別、病態)に基づいて、規定及び具現化することが可能である。
一変量、二変量及び多変量解析ならびにデータマイニング及び可視化を用いて、共通パターンを同定し、重要なフィーチャー及びそれと臨床転帰との関係を決定することが可能である。
新しいスコアリング及び解釈スキームは、線形及び非線形関数、テンプレート類似性(例えば、絶対差の規格化和)ならびに一群の値から新しい値を計算する任意のアルゴリズム(例えば、プログラムコードの実行)を含めて、さまざまな計算モデルを用いて規定可能である。
IVDMIAを規定する方法は、プロファイルヒストグラムを用いて、IVDMIAの決定に使用される細胞集団フィーチャーの特性を規定することを含む。プロファイルヒストグラムの例は、Yの平均値及びXの各ビンの二乗平均平方根(RMS)を表すデータセットである。各Yパラメーターは、細胞集団フィーチャーから選択されるであろう。各Xパラメーターは、任意であり、細胞ベースの組織解析方法に関連付けられる基準の関連データセット、非自明関連データセット又は非関連データセットとすることができる。この場合、含まれるX及びYの値をプロファイルヒストグラムでプロットし、特異的IVDMA出力を表すユニークなパターンを作成する。IVDMIA出力に取り込まれるこのパターンは、特異的IVDMIA出力パターン(プロファイルヒストグラム)が、メタデータに関連付けられた臨床出力を予測するように、メタデータに相関付けられる。例えば、このプロファイルヒストグラム又は一連の類似のプロファイルを用いて、予後値又は診断値を有するIVDMIAのバイナリー(有/無、陽性/陰性など)出力を規定することができる。したがって、IVDMIAは、細胞ベースの組織解析の多次元出力を取り込み、IVDMIAで直接適用される出力のアルゴリズム決定を行うことができるまとめた形でそれを取り込む。
可能な適用は、[1]で発表されたHER2、ER及びPR発現レベルに基づいて5年生存統計の計算を具現化することであろう。単純な計算モデルは、発表されたデータ点(ER+/PR+/HER2− 96.4%、ER+/PR−/HER2− 91.9%、ER+/PR+/HER2+ 91.3%、ER+/PR−/HER2+ 88.0%、ER−/PR+/HER2− 82.7%、ER−/PR+/HER2+ 78.8%、ER−/PR−/HER2− 76.2%、ER−/PR−/HER2+ 75.9%)を使用すること及びデータ点間の線形近似を行うことである。
教師あり機械学習技術により支援して、かつ対応するメタデータ(例えば、臨床転帰)を有する選択された組織サンプルに基づいて、新しいスコアリング及び解釈スキームを自動で決定することが可能である。
キャリブレーション
細胞集団解析プログラムは、検出された細胞集団及びそれらの細胞集団フィーチャーを標準と比較することにより、細胞集団フィーチャー(例えば、HER2、ER、PR発現)の自動キャリブレーションを提供して、組織及びスライドの調製プロセスにおける変動を調整することが可能である。標準は、異なる組織及びスライド調製パラメーター(例えば、さまざまな固定時間)を変化させる及び/又は大集団のデータセットを解析する、制御された手順を用いて調製された組織切片から確定可能である。この種のキャリブレーションは、生検から最終分析に至るまで内部組織対照を使用すると考えることが可能である。
キャリブレーション出力を規定する方法は、プロファイルヒストグラムを用いて、細胞集団フィーチャーの特性を規定することにより、キャリブレーション出力値を決定することを含む。各Yパラメーターは、細胞集団フィーチャーから選択されるであろう。各Xパラメーターは、細胞ベースの組織解析方法に関連付けられた基準である。この場合、含まれるX及びYの値をプロファイルヒストグラムでプロットし、特異的キャリブレーション出力を表すユニークなパターンを作成する。プロファイルヒストグラムが所定の正常標準の規定された範囲内に含まれる場合、サンプルの作製に使用されたアッセイは、適正にキャリブレーションされたと考えられる。この方法を用いれば、組織及びスライドの調製プロセスのすべての時点を評価することが可能である。
品質評価
組織及びスライドの調製、デジタル化又は他の因子からのアーチファクトは、組織解析を妨げて、誤差を引き起こすおそれがある。したがって、品質評価は、組織解析のきわめて重要な工程である。品質評価は、組織サンプル間での変動の測定及び生物学的動因の可能性が低い変動の検出を含む。生物学的動因の変動は、ターゲット集団のデータセットを分析することにより規定可能である。
品質出力を規定する方法は、プロファイルヒストグラムを用いて、品質出力値の決定に使用される細胞集団フィーチャーの特性を規定することを含む。各Yパラメーターは、細胞集団フィーチャーから選択されるであろう。各Xパラメーターは、細胞ベースの組織解析方法に関連付けられた基準である。この場合、含まれるX及びYの値をプロファイルヒストグラムでプロットし、特異的出力を表すユニークなパターンを作成する。ヒストグラムプロファイルが経験的又は直観的に規定された正常性の範囲内に含まれる場合、サンプルは品質標準を満たす。規定された正常性の範囲内の直観的な規定の例は、病理学者の解釈による主観的なものかもしれない。規定された正常性の範囲内の経験的な規定の例は、同一の方法を用いて解析されたすべてのサンプルの集団の平均値から1標準偏差以内にサンプルを組み込まれることであるかもしれない。
図22は、異なるグループによる細胞集団フィーチャー分布の比較に基づく品質評価を例示している。同一の細胞集団フィーチャー「X」に対する細胞集団フィーチャー分布が、2つの異なるグループ「A」80及び「B」90に対して同一の1Dデータプロットで示されている。平均(M)及び標準偏差(SD)に関して分布が異なることが、容易に分かる。追加の統計学的検定により、明確な合格基準を提供することが可能である。
可能な適用は、研究室又は施設でのタンパク質発現(例えば、HER2、ER及びPR)の分布と、ターゲット集団での同一のタンパク質発現の分布とを比較することであろう。ターゲット集団のデータセットを蓄積及び提供する、国際データベース、国家データベース及び地域データベースが存在しうる。
本発明は、メディカルイメージング及び医学的解析の分野で使用される細胞ベースの組織解析方法に関する。

Claims (11)

  1. 組織サンプルから連続的な組織切片を取得し、該連続的な組織切片は、それらと関連する連続関係を有し、複数の組織スライドの一つの上に組織切片をそれぞれ載せ、組織切片のそれぞれを組織染色で独立して染色し、
    染色された組織切片を含む複数の組織スライドの各々についてデジタル画像を取得し、該複数のデジタル画像は、複数の対応する組織スライドまたはその一部について取得され、
    前記デジタル画像のそれぞれを、前記組織サンプルから導き出されるような連続関係で互いに関連付け、
    1以上の前記デジタル画像内で細胞を検出し、該検出された細胞を、
    各画像及びそれに関連する各組織染色に関して検出された細胞の1以上の細胞のフィーチャーを測定し、該細胞のフィーチャーは、細胞のモルフォロジー、細胞発現、染色特性、細胞近傍特性、細胞領域特性またはそれらの組み合わせを含み、
    近接組織切片のデジタル画像にわたって細胞フィーチャーを関連させて3次元細胞ベースのデータを関連付け、および
    対話型コンピュータ生成視覚化を用いてコンピュータ化されたディスプレイ上に細胞ベースのデータを表し、
    前記3次元細胞ベースのデータ内の細胞集団を同定し、該細胞集団は、前記細胞集団に関連する前記1以上の細胞フィーチャーを有することによって分類された細胞の1以上の群を含み、
    前記同定された細胞集団に関して、
    1以上の細胞集団フィーチャーを測定し、
    1以上の細胞集団のフィーチャーに基づいて、同定された細胞集団内の細胞コホートを分類し、及び
    対話型コンピューター生成可視化によりコンピューター化されたディスプレイ上の細胞コホートを表現し、及び
    検出された細胞、細胞のフィーチャー、細胞集団および細胞集団のフィーチャーに関連する情報を、その後の比較分析のために1以上のデータベースに保存することを含む細胞ベースの組織解析方法。
  2. 前記細胞集団フィーチャーが、全細胞数に対する細胞のパーセント、細胞フィーチャーの統計及び細胞フィーチャーヒストグラムの1つ以上を含む請求項1に記載の方法。
  3. 前記3次元細胞ベースのデータの関連付けを、近接組織切片のデジタル画像について前記細胞及び前記細胞フィーチャーをマッピングすることを含む請求項1又は2に記載の方法。
  4. 細胞集団の前記同定が、一変量、二変量及び多変量解析を提供する請求項1から3のいずれか1つに記載の方法。
  5. 前記細胞集団が、シーケンシャルゲート処理、パターン認識技術、集団混合モデル解析又は細胞集団の細胞フィーチャーの分布関数及び累積分布関数の比較に基づく集団比較を用いて同定される請求項1から4のいずれか1つに記載の方法。
  6. 細胞集団の解釈が、データマイニング及び可視化を提供する、前記データベース中のデータセットを用いた又は臨床所見及び症例から作成された特別なデータセットを用いた、研究対象の組織サンプルの類似性解析に基づく決定支援システムを提供する、又は機械学習技術を用いた、組織サンプルの細胞集団及びそれらの細胞集団フィーチャーに基づくメタデータの自動叙述を提供する請求項1から5のいずれか1つに記載の方法。
  7. 細胞集団の解釈が、1以上の細胞集団、細胞集団フィーチャー及び関連メタデータから組織サンプルに対するin vitro診断多変量指数アッセイ(IVDMIA)の規定を可能にする請求項1から6のいずれか1つに記載の方法。
  8. in vitro診断多変量指数アッセイ(IVDMIA)の前記規定が、機械学習技術を用いて規定される請求項7に記載の方法。
  9. 前記細胞フィーチャー及び細胞集団フィーチャーのキャリブレーションが、前記検出された細胞集団及び細胞集団フィーチャーと、異なる組織調製及びスライド調製のパラメーターを変化させる又は大集団のデータセットを解析する、制御された手順を用いて確立されうる標準とを比較することにより、前記組織調製及びスライド調製のプロセスの変動に対して行われる請求項1から8のいずれか1つに記載の方法。
  10. 細胞集団の解釈が、前記組織サンプル間での変動を測定する及び生物学的動因の可能性が低い変動を検出する、品質評価を提供する請求項1から9のいずれか1つに記載の方法。
  11. ンピューター生成可視化が、データと表示との間の双方向リンケージ、画像オーバーレイ、ヒートマップ、データプロット、アライメント画像の3D表示、アライメント画像及びマッピングされた細胞データの融合画像ならびに異なる組織切片からの画像上にマッピングされた細胞データの画像オーバーレイ又はこれらの組み合わせの1つ以上を含む請求項1から10のいずれか1つに記載の方法。
JP2015559269A 2013-02-25 2014-02-25 細胞ベースの組織解析 Expired - Fee Related JP6222584B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361769049P 2013-02-25 2013-02-25
US61/769,049 2013-02-25
US13/934,237 US9488639B2 (en) 2013-02-25 2013-07-03 Cell-based tissue analysis
US13/934,237 2013-07-03
PCT/US2014/018322 WO2014131013A1 (en) 2013-02-25 2014-02-25 Cell-based tissue analysis

Publications (3)

Publication Number Publication Date
JP2016507759A JP2016507759A (ja) 2016-03-10
JP2016507759A5 JP2016507759A5 (ja) 2017-03-30
JP6222584B2 true JP6222584B2 (ja) 2017-11-01

Family

ID=51391913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015559269A Expired - Fee Related JP6222584B2 (ja) 2013-02-25 2014-02-25 細胞ベースの組織解析

Country Status (5)

Country Link
US (1) US9488639B2 (ja)
EP (1) EP2946190A4 (ja)
JP (1) JP6222584B2 (ja)
SG (1) SG11201506644XA (ja)
WO (1) WO2014131013A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9424459B1 (en) * 2013-02-25 2016-08-23 Flagship Biosciences, Inc. Computerized methods for cell-based pattern recognition
US9589172B1 (en) * 2013-02-25 2017-03-07 Flagship Biosciences, Inc. Systems and methods for interactive image analysis of digital pathology images
US9412006B1 (en) * 2013-02-25 2016-08-09 Flagship Biosciences, Inc. Continuous tissue analysis scoring scheme based on cell classifications
TW201520906A (zh) * 2013-11-29 2015-06-01 Univ Nat Taiwan Science Tech 影像註冊方法
EP3550514B1 (en) * 2014-02-21 2020-11-25 Ventana Medical Systems, Inc. Group sparsity model for image unmixing
US9785752B1 (en) * 2014-02-25 2017-10-10 Flagship Biosciences, Inc. Method for stratifying and selecting candidates for receiving a specific therapeutic approach
US9725766B1 (en) 2014-07-29 2017-08-08 Flagship Biosciences, Inc. Methods for measuring and reporting vascularity in a tissue sample
US9298968B1 (en) * 2014-09-12 2016-03-29 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation
WO2016094720A1 (en) * 2014-12-10 2016-06-16 Neogenomics Laboratories, Inc. Automated flow cytometry analysis method and system
US20180040120A1 (en) * 2014-12-29 2018-02-08 Flagship Biosciences, Inc. Methods for quantitative assessment of mononuclear cells in muscle tissue sections
WO2016120418A1 (en) * 2015-01-31 2016-08-04 Ventana Medical Systems, Inc. Quality control of automated whole-slide analysis
CN107530452A (zh) 2015-02-02 2018-01-02 诺瓦达克技术公司 用于表征受试者的组织的方法和***
EP3054279A1 (en) * 2015-02-06 2016-08-10 St. Anna Kinderkrebsforschung e.V. Methods for classification and visualization of cellular populations on a single cell level based on microscopy images
US10026159B2 (en) 2015-09-23 2018-07-17 Novadaq Technologies ULC Methods and system for management of data derived from medical imaging
EP3395937A4 (en) * 2015-12-22 2019-08-21 Nikon Corporation IMAGE PROCESSING APPARATUS
AU2017226252A1 (en) * 2016-03-01 2018-07-26 Ventana Medical Systems, Inc. Improved image analysis algorithms using control slides
WO2017171720A1 (en) * 2016-03-29 2017-10-05 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation
US10825195B2 (en) * 2016-04-06 2020-11-03 Hoffman-La Roche, Inc. Spatial index creation for IHC image analysis
EP3478728A4 (en) 2016-06-30 2019-07-17 Konica Minolta Laboratory U.S.A., Inc. LEARNING METHOD AND SYSTEM FOR CELL ANNOTATION WITH ADAPTIVE INCREMENTAL LEARNING
WO2018009202A1 (en) * 2016-07-07 2018-01-11 Flagship Biosciences Inc. Continuous tissue analysis scoring scheme based on cell classifications
CN109843176A (zh) * 2016-07-29 2019-06-04 诺瓦达克技术有限公司 用于利用机器学习来表征受验者的组织的方法和***
EP3523779A1 (en) 2016-10-07 2019-08-14 Ventana Medical Systems, Inc. Digital pathology system and associated workflow for providing visualized whole-slide image analysis
US10504224B1 (en) * 2016-12-31 2019-12-10 Flagship Biosciences, Inc. Method for detecting immunostaining below the threshold of visual perception
WO2019009893A1 (en) * 2017-07-05 2019-01-10 Flagship Biosciences Inc. METHODS OF MEASURING AND REPORTING VASCULARITY IN A TISSUE SAMPLE
US20220207895A1 (en) * 2019-04-02 2022-06-30 Deutsches Rheuma-Forschungszentrum Berlin Cytometry data analysis
EP3876193A1 (de) * 2020-03-02 2021-09-08 Euroimmun Medizinische Labordiagnostika AG Bildverarbeitungsverfahren zum anzeigen von zellen mehrerer gesamtbilder
US20240127444A1 (en) * 2021-02-16 2024-04-18 Verily Life Sciences Llc Systems and methods for biomarker detection in digitized pathology samples

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797069B2 (ja) * 1993-05-14 1995-10-18 財団法人東京都神経科学総合研究所 顕微鏡用連続薄切片の収拾保持方法とその装置
AU7494900A (en) * 1999-09-17 2001-04-17 Government of The United States of America, as represented by The Secretary Department of Health & Human Services, The National Institutes of Health, The Signal counting for in situ hybridization
WO2001022086A1 (en) * 1999-09-24 2001-03-29 Jonathan Cohen A high-throughput system for evaluating the clinical utility of molecular targets in tissue samples
MXPA04006771A (es) 2002-01-14 2005-04-25 Ford Henry Health System Materiales de celulas estromaticas de medula osea para uso en la formacion de vasos sanguineos y en la produccion de factores angiogenicos y troficos.
US7181055B2 (en) 2003-08-15 2007-02-20 Holger Lange Systems and methods for registering reflectance and fluorescence hyperspectral imagery
US7899624B2 (en) * 2005-07-25 2011-03-01 Hernani Del Mundo Cualing Virtual flow cytometry on immunostained tissue-tissue cytometer
JP5406019B2 (ja) * 2006-05-17 2014-02-05 セルーメン、インコーポレイテッド 自動化組織分析のための方法
WO2008115547A1 (en) 2007-03-19 2008-09-25 Sti Medical Systems, Llc A method of automated image color calibration
US8787651B2 (en) 2010-09-28 2014-07-22 Flagship Biosciences, LLC Methods for feature analysis on consecutive tissue sections
US8983166B2 (en) * 2011-03-23 2015-03-17 Hologic, Inc. Method for automatically seeding previously-classified images among images of objects of interest from a specimen
US20120271553A1 (en) * 2011-04-22 2012-10-25 Ge Global Research Analyzing the expression of biomarkers in cells with clusters
KR101938435B1 (ko) * 2011-07-28 2019-01-14 메데텍트 에이비 조직 절편의 이미지를 제공하는 방법

Also Published As

Publication number Publication date
SG11201506644XA (en) 2015-09-29
EP2946190A4 (en) 2016-11-23
US20150004630A1 (en) 2015-01-01
EP2946190A1 (en) 2015-11-25
WO2014131013A1 (en) 2014-08-28
JP2016507759A (ja) 2016-03-10
US9488639B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
JP6222584B2 (ja) 細胞ベースの組織解析
US11257209B2 (en) Cancer risk stratification based on histopathological tissue slide analysis
US10733726B2 (en) Pathology case review, analysis and prediction
DK2973397T3 (en) Tissue-object-based machine learning system for automated assessment of digital whole-slide glass
US10650221B2 (en) Systems and methods for comprehensive multi-assay tissue analysis
Lu et al. Automated analysis and diagnosis of skin melanoma on whole slide histopathological images
US7979212B2 (en) Method and system for morphology based mitosis identification and classification of digital images
US9298968B1 (en) Digital image analysis of inflammatory cells and mediators of inflammation
López et al. Digital image analysis in breast cancer: an example of an automated methodology and the effects of image compression
Hoque et al. Retinex model based stain normalization technique for whole slide image analysis
CA3196713C (en) Critical component detection using deep learning and attention
CN107567631A (zh) 组织样品分析技术
CN112912923A (zh) 基于距离的组织状态确定
Shakarami et al. Tcnn: A transformer convolutional neural network for artifact classification in whole slide images
CN118014443B (zh) 一种药品的监测方法及装置
Qidwai et al. Color-based Fuzzy Classifier for automated detection of cancerous cells in histopathological analysis
US20210366107A1 (en) Sensitivity analysis for digital pathology
Pablo Development of a new automated method for the quantification of nuclear immunohistochemical markers
Arias Vesga Non-Nuclei Tissue Characterization of Histopathological Images: A Processing Step to Improve Nuclei Segmentation Methods

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170224

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170330

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170606

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170921

R150 Certificate of patent or registration of utility model

Ref document number: 6222584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees