JP6520961B2 - 生体物質定量方法、病理診断支援システム及びプログラム - Google Patents
生体物質定量方法、病理診断支援システム及びプログラム Download PDFInfo
- Publication number
- JP6520961B2 JP6520961B2 JP2016574558A JP2016574558A JP6520961B2 JP 6520961 B2 JP6520961 B2 JP 6520961B2 JP 2016574558 A JP2016574558 A JP 2016574558A JP 2016574558 A JP2016574558 A JP 2016574558A JP 6520961 B2 JP6520961 B2 JP 6520961B2
- Authority
- JP
- Japan
- Prior art keywords
- fluorescent
- fluorescence
- standard
- image
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
- G01N33/5008—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics
- G01N33/502—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics for testing non-proliferative effects
- G01N33/5023—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for testing or evaluating the effect of chemical or biological compounds, e.g. drugs, cosmetics for testing non-proliferative effects on expression patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
- G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Urology & Nephrology (AREA)
- Hematology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biotechnology (AREA)
- Cell Biology (AREA)
- Microbiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Toxicology (AREA)
- Tropical Medicine & Parasitology (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Optics & Photonics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Description
蛍光物質を用いて特定の生体物質を染色可能な染色試薬により染色された標本における前記生体物質の存在量を定量する生体物質定量方法において、
前記標本における前記生体物質の存在を蛍光輝点で表す蛍光画像を入力する蛍光画像入力工程と、
前記蛍光画像から前記蛍光輝点を定量的に評価した評価値を算出する蛍光定量工程と、
予め前記生体物質の存在量が計測された標準標本において、前記標本の染色と同一条件の染色に基づく前記生体物質の存在を蛍光輝点で表す標準蛍光画像を、前記蛍光画像入力工程と同一条件で入力する標準蛍光画像入力工程と、
前記標準蛍光画像から前記蛍光輝点を定量的に評価した評価値を前記蛍光定量工程と同一条件で算出する標準蛍光定量工程と、
前記標準標本における前記生体物質の存在量及び前記標準蛍光画像の蛍光輝点の評価値の相関関係を算出する相関関係算出工程と、
前記相関関係に基づいて、前記蛍光画像の蛍光輝点の評価値を前記標本における前記生体物質の存在量に換算する換算工程と、
を有することを特徴とする。
前記相関関係算出工程において、前記標準標本における前記生体物質の存在量に対する前記標準蛍光画像の蛍光輝点の評価値を示す検量線を作成し、
前記換算工程において、前記検量線に基づいて、前記蛍光画像の蛍光輝点の評価値を前記標本における前記生体物質の存在量に換算することを特徴とする。
前記標準標本が基材上に培養された培養細胞であることを特徴とする。
前記生体物質がタンパク質であることを特徴とする。
前記染色試薬が前記蛍光物質を複数集積した蛍光粒子を含むことを特徴とする。
蛍光物質を用いて特定の生体物質を染色可能な染色試薬により染色された標本における前記生体物質の存在量を定量する病理診断支援システムであって、
前記標本における前記生体物質の存在を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段と、
前記蛍光画像から前記蛍光輝点を定量的に評価した評価値を算出する蛍光定量手段と、
予め前記生体物質の存在量が計測された標準標本において、前記標本の染色と同一条件の染色に基づく前記生体物質の存在を蛍光輝点で表す標準蛍光画像を、前記蛍光画像入力手段と同一条件で入力する標準蛍光画像入力手段と、
前記標準蛍光画像から前記蛍光輝点を定量的に評価した評価値を前記蛍光定量手段と同一条件で算出する標準蛍光定量手段と、
前記標準標本における前記生体物質の存在量及び前記標準蛍光画像の蛍光輝点の評価値の相関関係を算出する相関関係算出手段と、
前記相関関係に基づいて、前記蛍光画像の蛍光輝点の評価値を前記標本における前記生体物質の存在量に換算する換算手段と、
を備えることを特徴とする。
蛍光物質を用いて特定の生体物質を染色可能な染色試薬により染色された標本における前記生体物質の存在量を定量するコンピュータを、
前記標本における前記生体物質の存在を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段、
前記蛍光画像から前記蛍光輝点を定量的に評価した評価値を算出する蛍光定量手段、
予め前記生体物質の存在量が計測された標準標本において、前記標本の染色と同一条件の染色に基づく前記生体物質の存在を蛍光輝点で表す標準蛍光画像を、前記蛍光画像入力手段と同一条件で入力する標準蛍光画像入力手段、
前記標準蛍光画像から前記蛍光輝点を定量的に評価した評価値を前記蛍光定量手段と同一条件で算出する標準蛍光定量手段、
前記標準標本における前記生体物質の存在量及び前記標準蛍光画像の蛍光輝点の評価値の相関関係を算出する相関関係算出手段、
前記相関関係に基づいて、前記蛍光画像の蛍光輝点の評価値を前記標本における前記生体物質の存在量に換算する換算手段、
として機能させることを特徴とする。
図1に、本発明の生体物質定量方法を用いた病理診断支援システム100の全体構成例を示す。病理診断支援システム100は、所定の染色試薬で染色された、観察対象の標本(以後、「対象標本」と呼ぶ)、及び予め特定の生体物質濃度を定量した標本(以後、「標準標本」と呼ぶ)の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、対象標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/F等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。本実施の形態において、顕微鏡画像取得装置1Aは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
図2に、画像処理装置2Aの機能構成例を示す。図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25等を備えて構成され、各部はバス26を介して接続されている。
その他、画像処理装置2Aは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
明視野画像は、H(ヘマトキシリン)染色試薬、HE(ヘマトキシリン−エオジン)染色試薬を用いて染色された標本を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該標本における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織等)を染色する。エオジンは赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織等)を染色する。図3に、HE染色を行った標本を撮影した明視野画像の一例を示す。
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬及び染色試薬による標本の染色方法も含めて詳細に説明する。
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
本実施の形態において、蛍光画像の取得のための染色試薬に用いられる蛍光物質は、蛍光物質が複数集積された蛍光物質内包ナノ粒子(以下、蛍光粒子と呼ぶ)を用いることができる。蛍光粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)等が挙げられる。
平均粒径は、走査型電子顕微鏡(SEM)を用いて撮影した電子顕微鏡写真から粒子の断面積を計測し、各計測値を円の面積としたときの円の直径を粒径とする。本願においては、1000個の粒子の粒径を計測し、その算術平均を平均粒径とした。
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び/又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)、抗体等が挙げられる。したがって、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に発現するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に発現する細胞増殖のマーカーであるKi67タンパク質に特異的に結合するKi67抗体、細胞核に発現するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体、等があげられる。中でも抗HER2抗体又は抗ER抗体又は抗Ki67抗体を蛍光粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
以下、組織標本の染色方法について述べるが、以下に説明する染色方法が適用できる標本の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
また、本発明の定量方法の適用はパラフィン包埋された組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。
パラフィン包埋された組織標本を、キシレンを入れた容器に浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01M クエン酸緩衝液(pH6.0)、1mM EDTA溶液(pH8.0)、5% 尿素、0.1M トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50−130℃、時間は5−30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。
生体物質認識部位が結合された蛍光粒子のPBS分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光粒子を用いる場合には、それぞれの蛍光粒子のPBS分散液を予め混合しておいてもよいし、別々に順次組織標本に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光粒子による染色を行う前に、BSA含有PBS等、公知のブロッキング剤を滴下することが好ましい。
なお、HE染色試薬を用いて染色を行う場合、カバーガラスによる封入前にHE染色を行う。
染色した組織標本に対し、顕微鏡画像取得装置1Aを用いて、顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
以下、病理診断支援システム100を用いて生体物質の定量(上記説明した染色、画像の取得及び解析を含む)を行う動作について、図5のフローチャートを用いて説明する。ここでは、特定の生体物質(ここでは、乳癌組織におけるHER2タンパク質とする。以下、特定タンパク質と呼ぶ。)を認識する生体物質認識部位が結合した蛍光粒子を含む染色試薬を用いて染色された組織標本を対象標本とし、市販されているスライドガラス等の基材上に培養された複数種類の培養細胞を標準標本とする場合を例にとり説明するが、これに限定されるものではなく、生体物質の濃度条件が把握されたビオチンや抗原など、生体物質認識部位が結合した蛍光粒子の結合可能な標本を含む。
操作者は特定タンパク質濃度を定量した培養細胞と均一な品質である同一ロットの培養細胞を標準標本として選択する。選択する標準標本の種類数は任意であるが、標準標本の計測結果に基づく検量線を作成して精度の高い定量結果を得るために、ステップS1において予め定量された特定タンパク質濃度の差が大きな、複数種類の標準標本を用いることが好ましい。
同一条件で染色するとは、例えば、一人の操作者が、同じロットの染色試薬を用いて染色を行い、かつ、染色における各工程の所要時間及び温度及び湿度がほぼ一定であることを示す。一人の操作者が、同じロットの染色試薬を用いて、対象標本及び標準標本の染色作業を並行して順次行うこととすれば、染色条件を容易に同一にすることができるため好ましい。
(a1)操作者は、HE染色試薬と蛍光粒子を含む染色試薬とにより染色された対象標本及び標準標本をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
まず、通信I/F24により顕微鏡画像取得装置1Aからの明視野画像が入力されると(ステップS401)、明視野画像から細胞領域の抽出が行われる(ステップS402〜ステップS405)。
次いで、モノクロ画像に対し予め定められた閾値を用いて二値化処理が施される(ステップS403)。
ステップS407では、たとえば、蛍光粒子の発光波長が615nmである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。次いで、抽出された画像に予め定められた閾値を用いて二値化処理が施され、輝点領域が抽出された輝点画像が生成される(ステップS408)。図8Bに、輝点画像の一例を示す。
なお、二値化処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理が施されてもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタが好ましく用いられる。
次いで、抽出された各輝点領域当たりの蛍光粒子数が算出される(ステップS410)。蛍光粒子数の算出方法は任意であり、例えば、各輝点領域内の輝度の積算値に基づいて蛍光粒子数を算出する。
次いで、ステップS5で作成された検量線に基づいて、ステップS4で算出された対象標本の1細胞当たりの蛍光粒子数が特定タンパク質濃度に換算される(ステップS6:換算工程)。
しかし、蛍光粒子は、一粒子当たりの蛍光輝度が大きいため、部屋の環境光等の撮影環境に起因するノイズや、画像取得装置の性能の影響を受けにくく、また、蛍光画像から、蛍光の輝度値だけでなく蛍光粒子の数を計測して定量可能である。また、蛍光粒子は褪色を起こしにくいため、1粒子当たりの蛍光輝度は、画像の取得に要した時間(例えば、励起光の露光時間)や染色した標本の保存状態の影響を受けにくい。従って、蛍光粒子を染色試薬として用いた場合は、蛍光粒子を構成していない蛍光物質を染色試薬として用いた場合と比較して、蛍光の評価値の誤差がより少ないため、精度の高い生体物質定量結果を得ることができるという利点がある。以上のような観点から、本発明においては、蛍光粒子を染色試薬として用いることが好ましい。
かかる場合、ステップS507においてフィルターワーク等を用いてそれぞれの色成分を抽出し、その抽出した色成分(波長成分)ごとにステップS508〜S509の処理を実行し、ステップS511において、細胞画像と色成分毎に作成された蛍光粒子画像とを加算すればよい。
(A)蛍光粒子濃度が0.02nMの染色試薬を用いた定量
(A−0)染色試薬の作製
[蛍光物質内包メラミンナノ粒子の作製]
蛍光色素として赤色発光色素であるSulfo Rhodamine 101(シグマアルドリッチ社製)14.4mgを水22mLに加えて溶解させた。その後、この溶液に乳化重合用乳化剤のエマルジョン(登録商標)430(ポリオキシエチレンオレイルエーテル、花王社製)の5%水溶液を2mL加えた。この溶液をホットスターラー上で撹拌しながら70℃まで昇温させた後、この溶液にメラミン樹脂原料ニカラックMX−035(日本カーバイド工業社製)を0.65g加えた。
具体的には、遠心分離機(クボタ社製マイクロ冷却遠心機3740)にて20000Gで15分間、遠心分離し、上澄み除去後、超純水を加えて超音波照射して再分散した。遠心分離、上澄み除去および超純水への再分散による洗浄を5回繰り返した。得られたメラミン粒子はメラミン樹脂自体が骨格に多くのアミノ基を含むことから、プラス電荷となった。樹脂粒子の電荷の評価は、NMRやIR等による樹脂成分分析と、ゼータ電位測定により行なった。
下記工程(1)〜(12)の方法により、蛍光粒子に対して抗Ki67抗体を結合させた。
工程(1):1mgの蛍光粒子1を純水5mLに分散させた。次いで、アミノプロピルトリエトキシシラン水分散液(LS−3150、信越化学工業社製)100μLを添加し、室温で12時間撹拌した。
工程(2):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(3):エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を1回ずつ行った。
得られたアミノ基修飾した蛍光粒子のFT−IR測定を行ったところ、アミノ基に由来する吸収が観測でき、アミノ基修飾されたことが確認できた。
工程(5):工程(4)で調整した溶液に、最終濃度10mMとなるようSM(PEG)12(サーモサイエンティフィック社製、succinimidyl-[(N-maleomidopropionamid)-dodecaethyleneglycol」ester)を混合し、1時間反応させた。
工程(6):反応混合液を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(7):EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させた。
工程(9):反応混合物についてゲルろ過カラムにより過剰のDTTを除去し、還元化抗Ki67抗体溶液を得た。
工程(11):10mMメルカプトエタノール4μLを添加し、反応を停止させた。
工程(12):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した後、EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させ、Ki67抗体が結合された蛍光粒子を得た。
対象標本として、乳癌組織アレイから3つのスポット(a、b、c)を選択し、固定、脱水、包埋、薄切した切片を用いた。
標準標本としては、市販の5種類の培養細胞株(CRL1500、NDA−MB175、COLO201、Hela、NDA−MB231)のKi67タンパク質の発現量を、インビトロジェン社製のELISAキット(Human HER2(Total)kit,No.KHO0701)を用いて測定し、上記の5種類の培養細胞株と同一ロットの培養細胞株を標準標本とした。
続いて、対象標本及び標準標本を、下記工程(1)〜(11)の工程によって免疫染色した。なお、対象標本及び標準標本の免疫染色は、同一の操作者が並行して作業することにより、ほぼ同時に、同一条件で行った。
工程(1):キシレンを入れた容器に対象標本及び標準標本を30分浸漬させた。途中3回キシレンを交換した。
工程(2):エタノールを入れた容器に対象標本及び標準標本を30分浸漬させた。途中3回エタノールを交換した。
工程(3):水を入れた容器に対象標本及び標準標本を30分浸漬させた。途中3回水を交換した。
工程(4):10mMクエン酸緩衝液(pH6.0)に対象標本及び標準標本を30分浸漬させた。
工程(5):121度で10分オートクレーブ処理を行った。
工程(6):PBSを入れた容器に、オートクレーブ処理後の対象標本及び標準標本を30分浸漬させた。
工程(7):1%BSA含有PBSを対象標本及び標準標本に載せて、1時間放置した。
工程(8):1%BSA含有PBSで蛍光粒子濃度0.02nMに希釈した染色試薬を、それぞれ対象標本及び標準標本に載せて3時間放置した。
工程(9):PBSを入れた容器に、染色後の対象標本及び標準標本をそれぞれ30分浸漬させた。
工程(10):4%中性パラホルムアルデヒド溶液で10分間固定処理した後、ヘマトキシリン染色を行った。
工程(11):Merck Chemicals社製Aquatexを滴下後、カバーガラスを載せ封入した。
対象標本及び標準標本について、顕微鏡画像(明視野画像及び蛍光画像)を取得した。
顕微鏡として、カールツアイス社製正立顕微鏡Axio Imager M2を用い、対物レンズを20倍に設定した。蛍光画像の取得にあたっては、580nmの波長を有する励起光を露光時間200msで照射して、組織切片から発せられる610nmの波長を有する蛍光を結像し、顕微鏡設置カメラ(モノクロ)により顕微鏡画像(画像データ)を取得した。上記カメラは画素サイズ6.4μm×6.4μm、縦画素数1040個、横画素数1388個(撮像領域8.9mm×6.7mm)を有している。
なお、対象標本及び標準標本の蛍光画像は、同一の操作者が同一の装置を用いて、ほぼ同時に、同一条件で取得した。
(A−3)で取得した対象標本及び標準標本の顕微鏡画像に、図6の画像解析処理を実行し、蛍光の評価値として、1細胞当たりの蛍光粒子数を算出した。蛍光粒子数の算出は、予め設定された上限閾値および下限閾値に基づいて2値化画像を作成し、作成された2値化画像から、ジーオングストローム社製の輝点計測ソフト「G−count」を用いて蛍光粒子数を計測した。その後、(A−3)で取得した明視野画像と蛍光画像とを重ね合わせ、細胞領域内の輝点数を算出して、対象標本及び標準標本における1細胞当たりの蛍光粒子数を算出した。対象標本における1細胞当たりの蛍光粒子数(蛍光粒子数/細胞)を、比較例1とする。
図9に示されるように、標準標本と同一ロットの培養細胞株から予め計測されたKi67タンパク質の発現量を横軸、(A−4)で算出した標準標本における1細胞当たりの蛍光粒子数を縦軸とした分布図を作成し、作成した分布を線形近似して、図9において点線で示されるような検量線を作成した。次いで、当該検量線を用いて、対象標本における1細胞当たりの蛍光粒子数を、対象標本における1細胞当たりのKi67タンパク質濃度(ng/ml)に換算して実施例1とした。
上記(A−2)の工程(8)において、蛍光粒子濃度を0.06nMに希釈した染色試薬を用いた他は上記(A)と同じ工程によって、対象標本及び標準標本における1細胞当たりの蛍光粒子数を定量した。対象標本における1細胞当たりの蛍光粒子数(蛍光粒子数/細胞)を、比較例2とし、対象標本における1細胞当たりの蛍光粒子数を対象標本における1細胞当たりのKi67タンパク質濃度(ng/ml)に換算したものを実施例2とした。
なお、対象標本としては、上記(A−1)に記載されている乳癌組織アレイの3つのスポット(a〜c)から作成された切片のうち、(A)で染色及びKi67タンパク質濃度の定量に用いた3つの切片にそれぞれ隣接した切片を用いた。
図9に、上記(A)及び(B)の定量工程において作成された検量線を示す。5種類の標準標本において、ELISA法によって定量されたKi67タンパク質濃度に対する蛍光画像から算出された蛍光粒子数を線形近似して検量線とすると、検量線の傾きは、蛍光粒子濃度が0.02nmの時は約0.69であったのに対し、蛍光粒子濃度が0.06nmの時は約1.85であり、傾きに約3倍の差があった。
実施例1、2及び比較例1、2の定量結果を表1に示す。
(D)蛍光画像取得時の露光時間が100msの場合の定量
上記(A−1)(A−2)で準備及び染色した標本を用いて、上記(A−3)において、励起光の露光時間を100msにした他は上記(A−3)〜(A−5)と同じ工程によって、対象標本及び標準標本における1細胞当たりの蛍光粒子数を定量した。対象標本における1細胞当たりの蛍光粒子数(蛍光粒子数/細胞)を、比較例3とし、対象標本における1細胞当たりの蛍光粒子数を対象標本における1細胞当たりのKi67タンパク質濃度(ng/ml)に換算したものを実施例3とした。
実施例1と3、及び比較例1と3における定量結果を表2に示す。
2A 画像処理装置
3A ケーブル
21 制御部(蛍光定量手段、標準蛍光定量手段、相関関係算出手段、換算手段)
22 操作部
23 表示部
24 通信I/F(蛍光画像入力手段、標準蛍光画像入力手段)
25 記憶部
26 バス
100 病理診断支援システム
Claims (7)
- 蛍光物質を用いて特定の生体物質を染色可能な染色試薬により染色された標本における前記生体物質の存在量を定量する生体物質定量方法において、
前記標本における前記生体物質の存在を蛍光輝点で表す蛍光画像を入力する蛍光画像入力工程と、
前記蛍光画像から前記蛍光輝点を定量的に評価した評価値を算出する蛍光定量工程と、
予め前記生体物質の存在量が計測された標準標本において、前記標本の染色と同一条件の染色に基づく前記生体物質の存在を蛍光輝点で表す標準蛍光画像を、前記蛍光画像入力工程と同一条件で入力する標準蛍光画像入力工程と、
前記標準蛍光画像から前記蛍光輝点を定量的に評価した評価値を前記蛍光定量工程と同一条件で算出する標準蛍光定量工程と、
前記標準標本における前記生体物質の存在量及び前記標準蛍光画像の蛍光輝点の評価値の相関関係を算出する相関関係算出工程と、
前記相関関係に基づいて、前記蛍光画像の蛍光輝点の評価値を前記標本における前記生体物質の存在量に換算する換算工程と、
を有することを特徴とする生体物質定量方法。 - 前記相関関係算出工程において、前記標準標本における前記生体物質の存在量に対する前記標準蛍光画像の蛍光輝点の評価値を示す検量線を作成し、
前記換算工程において、前記検量線に基づいて、前記蛍光画像の蛍光輝点の評価値を前記標本における前記生体物質の存在量に換算することを特徴とする請求項1に記載の生体物質定量方法。 - 前記標準標本が基材上に培養された培養細胞であることを特徴とする請求項1又は2に記載の生体物質定量方法。
- 前記生体物質がタンパク質であることを特徴とする請求項1〜3の何れか一項に記載の生体物質定量方法。
- 前記染色試薬が前記蛍光物質を複数集積した蛍光粒子を含むことを特徴とする請求項1〜4の何れか一項に記載の生体物質定量方法。
- 蛍光物質を用いて特定の生体物質を染色可能な染色試薬により染色された標本における前記生体物質の存在量を定量する病理診断支援システムであって、
前記標本における前記生体物質の存在を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段と、
前記蛍光画像から前記蛍光輝点を定量的に評価した評価値を算出する蛍光定量手段と、
予め前記生体物質の存在量が計測された標準標本において、前記標本の染色と同一条件の染色に基づく前記生体物質の存在を蛍光輝点で表す標準蛍光画像を、前記蛍光画像入力手段と同一条件で入力する標準蛍光画像入力手段と、
前記標準蛍光画像から前記蛍光輝点を定量的に評価した評価値を前記蛍光定量手段と同一条件で算出する標準蛍光定量手段と、
前記標準標本における前記生体物質の存在量及び前記標準蛍光画像の蛍光輝点の評価値の相関関係を算出する相関関係算出手段と、
前記相関関係に基づいて、前記蛍光画像の蛍光輝点の評価値を前記標本における前記生体物質の存在量に換算する換算手段と、
を備えることを特徴とする病理診断支援システム。 - 蛍光物質を用いて特定の生体物質を染色可能な染色試薬により染色された標本における前記生体物質の存在量を定量するコンピュータを、
前記標本における前記生体物質の存在を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段、
前記蛍光画像から前記蛍光輝点を定量的に評価した評価値を算出する蛍光定量手段、
予め前記生体物質の存在量が計測された標準標本において、前記標本の染色と同一条件の染色に基づく前記生体物質の存在を蛍光輝点で表す標準蛍光画像を、前記蛍光画像入力手段と同一条件で入力する標準蛍光画像入力手段、
前記標準蛍光画像から前記蛍光輝点を定量的に評価した評価値を前記蛍光定量手段と同一条件で算出する標準蛍光定量手段、
前記標準標本における前記生体物質の存在量及び前記標準蛍光画像の蛍光輝点の評価値の相関関係を算出する相関関係算出手段、
前記相関関係に基づいて、前記蛍光画像の蛍光輝点の評価値を前記標本における前記生体物質の存在量に換算する換算手段、
として機能させることを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/053679 WO2016129061A1 (ja) | 2015-02-10 | 2015-02-10 | 生体物質定量方法、病理診断支援システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016129061A1 JPWO2016129061A1 (ja) | 2017-11-24 |
JP6520961B2 true JP6520961B2 (ja) | 2019-05-29 |
Family
ID=56615216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016574558A Active JP6520961B2 (ja) | 2015-02-10 | 2015-02-10 | 生体物質定量方法、病理診断支援システム及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (2) | US10234391B2 (ja) |
EP (1) | EP3258264B1 (ja) |
JP (1) | JP6520961B2 (ja) |
WO (1) | WO2016129061A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3779433A3 (en) * | 2010-08-30 | 2021-05-19 | Konica Minolta, Inc. | Tissue staining method, tissue evaluation method and biosubstance detection method |
WO2018008309A1 (ja) * | 2016-07-05 | 2018-01-11 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
EP3699588A4 (en) | 2017-10-19 | 2020-11-25 | Konica Minolta, Inc. | METHOD OF MEASURING THE QUANTITY OF BIOMATERIAL, IMAGE PROCESSING DEVICE, SYSTEM TO SUPPORT PATHOLOGY DIAGNOSIS AND PROGRAM |
US10274410B1 (en) * | 2018-01-23 | 2019-04-30 | Cbrn International, Ltd. | Bioaerosol particle detector |
US20220276170A1 (en) * | 2019-07-09 | 2022-09-01 | Sony Group Corporation | Information processing device and program |
JPWO2021157397A1 (ja) * | 2020-02-06 | 2021-08-12 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5123660B2 (ja) * | 2005-03-30 | 2013-01-23 | オリンパス株式会社 | 測定装置 |
CN101438147B (zh) * | 2006-05-31 | 2011-09-28 | 奥林巴斯株式会社 | 生物试样摄像方法及生物试样摄像装置 |
US20130230866A1 (en) * | 2010-09-17 | 2013-09-05 | Tohoku University | Method for Determining Effectiveness of Medicine Containing Antibody as Component |
WO2012078138A1 (en) * | 2010-12-07 | 2012-06-14 | Wei-Sing Chu | Cell array quality control device for pathological analysis |
US20140141499A1 (en) * | 2011-06-27 | 2014-05-22 | Hitachi, Ltd. | Cell Culture Device and Cell Culture Method |
US20140329716A1 (en) | 2011-09-02 | 2014-11-06 | Emory University | Devices having a calibration control region, systems and methods for immunohistochemical analyses |
JP5906623B2 (ja) | 2011-09-09 | 2016-04-20 | コニカミノルタ株式会社 | 生体物質発現レベル評価システム |
US9632081B2 (en) * | 2012-03-28 | 2017-04-25 | Konica Minolta, Inc. | Detection method for biological substance |
EP2833138B1 (en) | 2012-03-30 | 2017-08-09 | Konica Minolta, Inc. | Medical image processor and program |
EP2833123A4 (en) | 2012-03-30 | 2015-12-09 | Konica Minolta Inc | MEDICAL IMAGE PROCESSOR AND PROGRAM |
US20130338014A1 (en) * | 2012-04-05 | 2013-12-19 | Vala Sciences, Inc. | Calibration Standards For Digital Histocytometry |
US20130338016A1 (en) * | 2012-04-17 | 2013-12-19 | Vala Sciences, Inc. | Method For Integrated Pathology Diagnosis And Digital Biomarker Pattern Analysis |
US10778913B2 (en) * | 2013-03-12 | 2020-09-15 | Ventana Medical Systems, Inc. | Digitally enhanced microscopy for multiplexed histology |
US8995740B2 (en) * | 2013-04-17 | 2015-03-31 | General Electric Company | System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue |
US9779500B2 (en) * | 2013-07-03 | 2017-10-03 | Konica Minolta, Inc. | Image processing device, pathological diagnosis support system, image processing program, and pathological diagnosis support method |
-
2015
- 2015-02-10 WO PCT/JP2015/053679 patent/WO2016129061A1/ja active Application Filing
- 2015-02-10 JP JP2016574558A patent/JP6520961B2/ja active Active
- 2015-02-10 US US15/549,006 patent/US10234391B2/en active Active
- 2015-02-10 EP EP15881936.7A patent/EP3258264B1/en active Active
-
2019
- 2019-01-24 US US16/256,224 patent/US10309900B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180024059A1 (en) | 2018-01-25 |
EP3258264A1 (en) | 2017-12-20 |
US10234391B2 (en) | 2019-03-19 |
JPWO2016129061A1 (ja) | 2017-11-24 |
US20190154582A1 (en) | 2019-05-23 |
US10309900B1 (en) | 2019-06-04 |
EP3258264B1 (en) | 2020-12-02 |
WO2016129061A1 (ja) | 2016-08-18 |
EP3258264A4 (en) | 2018-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5768945B1 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム | |
JP6504160B2 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム | |
US10309900B1 (en) | Biological substance quantitation method, pathological diagnosis support system and recording medium storing computer readable program | |
JP5892238B2 (ja) | 医用画像処理装置及びプログラム | |
JP6717751B2 (ja) | 画像処理方法、画像生成方法、画像処理装置及びプログラム | |
JP6597316B2 (ja) | 画像処理装置及びプログラム | |
WO2017126420A1 (ja) | 画像処理装置及びプログラム | |
WO2015145644A1 (ja) | 画像処理装置および画像処理プログラム | |
JP6493398B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
JP5835536B1 (ja) | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム | |
JP6372370B2 (ja) | 生体物質定量方法、画像処理装置、及びプログラム | |
WO2018143406A1 (ja) | 画像処理装置及びプログラム | |
JP6337629B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
WO2019172097A1 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP6702339B2 (ja) | 画像処理装置及びプログラム | |
JP2016114447A (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
JP6405985B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
JP6747439B2 (ja) | 目的生体物質の解析装置、解析システム、解析方法および解析プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180807 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190415 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6520961 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |