JP6911855B2 - 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム - Google Patents
生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム Download PDFInfo
- Publication number
- JP6911855B2 JP6911855B2 JP2018525979A JP2018525979A JP6911855B2 JP 6911855 B2 JP6911855 B2 JP 6911855B2 JP 2018525979 A JP2018525979 A JP 2018525979A JP 2018525979 A JP2018525979 A JP 2018525979A JP 6911855 B2 JP6911855 B2 JP 6911855B2
- Authority
- JP
- Japan
- Prior art keywords
- fluorescent dye
- particles
- luminance
- accumulated particles
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/543—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals
- G01N33/54313—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals the carrier being characterised by its particulate form
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/543—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals
- G01N33/54313—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals the carrier being characterised by its particulate form
- G01N33/54346—Nanoparticles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
- G01N33/582—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with fluorescent label
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
- G01N33/585—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with a particulate label, e.g. coloured latex
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/58—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances
- G01N33/585—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving labelled substances with a particulate label, e.g. coloured latex
- G01N33/587—Nanoparticles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/6486—Measuring fluorescence of biological material, e.g. DNA, RNA, cells
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Hematology (AREA)
- Molecular Biology (AREA)
- Urology & Nephrology (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Cell Biology (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Microbiology (AREA)
- Biotechnology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- Nanotechnology (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Description
また、特許文献2に記載の方法では、特定タンパクが高密度に発現してクラスタ状の蛍光物質集積粒子が多く存在している場合には、最頻値となる輝度値が実際の1粒子当たりの平均輝度値よりも大きな値に算出されるという誤差が生じ易い。また、組織標本を撮影した蛍光画像から計測された輝度値は、蛍光物質集積粒子が発する蛍光の他に、細胞の自家蛍光等の様々なバックグラウンドノイズを含むため、結果に誤差が生じ易い。特許文献2に記載の技術では、このような誤差を補正して正確な定量を行うことは困難であるという問題点があった。
本発明に係る上記課題は、以下の手段により解決される。
前記標本を撮像して得られた第1蛍光画像を入力する入力工程と、
前記第1蛍光画像から所定の領域を抽出し、前記所定の領域の輝度値の積算値である第1輝度積算値を算出する輝度算出工程と、
前記第1輝度積算値及び前記蛍光色素集積粒子1粒子当たりの平均輝度値から、前記所定の領域に含まれる蛍光色素集積粒子の数を算出する粒子数算出工程、
を備え、
前記平均輝度値は、蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第2蛍光画像において蛍光色素集積粒子の発光を表す輝点領域毎の輝度値を積算した第2輝度積算値の分布から算出される
ことを特徴とする生体物質定量方法。
式(1): 0≦ Sσ/Save <1.0
(式(1)中、Sσは輝点領域の面積の標準偏差、Saveは輝点領域の面積の平均値である。)
式(2): 0.10< Save /π(Rave/2+Δ)2 <10.00
(式(2)中、Saveは輝点領域の面積の平均値、Raveは蛍光色素集積粒子の平均粒径、Δは蛍光画像を撮像した機器の分解能である。)
ことを特徴とする第1項〜第12項の何れか一項に記載の生体物質定量方法。
ことを特徴とする第1項〜第12項の何れか一項に記載の生体物質定量方法。
前記標本を撮像して得られた第1蛍光画像を入力する入力手段と、
前記第1蛍光画像から所定の領域を抽出し、前記所定の領域の輝度値の積算値である第1輝度積算値を算出する輝度算出手段と、
前記第1輝度積算値及び前記蛍光色素集積粒子1粒子当たりの平均輝度値から、前記所定の領域に含まれる蛍光色素集積粒子の数を算出する粒子数算出手段と、
を備え、
前記平均輝度値は、蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第2蛍光画像において蛍光色素集積粒子の発光を表す輝点領域毎の輝度値を積算した第2輝度積算値の分布から算出される
ことを特徴とする画像処理装置。
前記標本を撮像して得られた第1蛍光画像を入力する入力手段、
前記第1蛍光画像から所定の領域を抽出し、前記所定の領域の輝度値の積算値である第1輝度積算値を算出する輝度算出手段、
前記第1輝度積算値及び前記蛍光色素集積粒子1粒子当たりの平均輝度値から、前記所定の領域に含まれる蛍光色素集積粒子の数を算出する粒子数算出手段、
として機能させるためのプログラムであって、
前記平均輝度値は、蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第2蛍光画像において蛍光色素集積粒子の発光を表す輝点領域毎の輝度値を積算した第2輝度積算値の分布から算出されることを特徴とする、プログラム。
前記第1蛍光画像及び前記第2蛍光画像を取得する画像取得装置と、
を備えることを特徴とする病理診断支援システム。
図1に、本発明の組織評価方法を用いた病理診断支援システム100の全体構成例を示す。病理診断支援システム100は、所定の染色試薬で染色された組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
病理診断支援システム100は、図1に示すように、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3A等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。また、病理診断支援システム100は、顕微鏡画像取得装置1Aと画像処理装置2Aが一体に形成された装置でもよい。また、外部の任意の装置を用いて取得した画像をHDD、CD、DVD等のストレージを用いて画像処理装置に入力してもよい。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/F等を備えて構成されている。照射手段は、光源、フィルタ等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織標本から発せられる透過光、反射光又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
画像処理装置2Aは、図2に示すように、制御部21、操作部22、表示部23、通信I/F24、記憶部25等を備えて構成され、各部はバス26を介して接続されている。
操作部22は、文字入力キー、数字入力キー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
表示部23は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。本実施形態において、表示部23は、例えば、画像解析結果を出力するための出力手段として機能する。
通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、(第1)入力工程及び第2入力工程を実行する手段として機能する。
記憶部25は、例えばHDD(Hard Disk Drive)や半導体の不揮発性メモリー等で構成されている。記憶部25には、前述のように各種プログラムや各種データ等が記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
ここで、本発明に係る組織標本の準備について、染色試薬及び染色方法も含めて詳細に説明する。
本発明に係る組織標本は、目的生体物質を染色可能な蛍光色素集積粒子を含む染色試薬により染色されている。目的生体物質とは、組織切片に発現している生体物質、特にタンパク質(抗原)である。典型的な目的生体物質としては、各種の癌組織の細胞膜で発現しており、バイオマーカーとして利用することができる生体物質が挙げられる。
本発明に係る蛍光色素集積粒子とは、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的生体物質を1分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
蛍光色素集積粒子の発光波長は、蛍光顕微鏡の撮像素子の感度域内であれば任意である。具体的には、発光波長が400〜700nmであることが好ましい。
また、粒径の変動係数が15%以下であることが好ましい。蛍光色素集積粒子の粒径のばらつきが小さいことにより、1粒子当たりの蛍光の輝度値がほぼ一定となるため定量精度が高まる。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、1000個の粒子の粒径の算術平均を平均粒径とした。変動係数も、1000個の粒子の粒径分布から算出した値とした。
蛍光色素集積粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光色素がその中に内包されているおよび/またはその表面に吸着している構造を有する、ナノサイズの粒子である。
蛍光色素集積粒子としては、母体と蛍光色素とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好適である。
母体のうち、有機物としては、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂;スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、AS樹脂(アクリロニトリル−スチレン共重合体)、ASA樹脂(アクリロニトリル−スチレン−アクリル酸メチル共重合体)など、一般的に熱可塑性樹脂に分類される樹脂;ポリ乳酸等のその他の樹脂;多糖を例示することができる。
母体のうち、無機物としては、シリカ、ガラスなどを例示することができる。
蛍光色素集積粒子とは、蛍光色素が上記母体の中に内包されている、および/またはその表面に吸着している構造を有する。
蛍光色素としては、ローダミン系色素分子、スクアリリウム系色素分子、シアニン系色素分子、芳香環系色素分子、オキサジン系色素分子、カルボピロニン系色素分子、ピロメセン系色素分子などを例示することができる。
蛍光色素としては、Alexa Fluor(登録商標、インビトロジェン社製)系色素分子、BODIPY(登録商標、インビトロジェン社製)系色素分子、Cy(登録商標、GEヘルスケア社製)系色素分子、HiLyte(登録商標、アナスペック社製)系色素分子、DyLight(登録商標、サーモサイエンティフィック社製)系色素分子、ATTO(登録商標、ATTO-TEC社製)系色素分子、MFP(登録商標、Mobitec社製)系色素分子、CF(登録商標、Biotium社製)系色素分子、DY(登録商標、DYOMICS社製)系色素分子、CAL(登録商標、BioSearch Technologies社製)系色素分子などを用いることができる。
なお、蛍光色素が母体に内包されている場合、蛍光色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
本発明においては、蛍光色素集積粒子として量子ドット集積粒子を用いてもよい。
量子ドット集積粒子とは、量子ドットが上記母体の中に内包されている、および/またはその表面に吸着している構造を有する。
量子ドットとしては、II−VI族化合物、III−V族化合物またはIV族元素を含有する半導体ナノ粒子が使用される。たとえば、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geなどが挙げられる。
量子ドットが母体に内包されている場合、量子ドットは母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
染色試薬は、目的生体物質の1つに対して、蛍光色素集積粒子の1つが結合するように設計される。
免疫染色に用いる染色試薬(免疫染色剤)の場合は、蛍光標識の効率を向上させて蛍光の劣化につながる時間経過をなるべく抑えるために、一次抗体および蛍光色素集積粒子が間接的に、つまり抗原抗体反応などを利用した、共有結合以外の結合によって連結される複合体を用いることが好ましい。染色操作を簡便にするため、免疫染色剤として、一次抗体または二次抗体に蛍光色素集積粒子が直結している複合体を用いることもできる。
“…”は抗原抗体反応により結合していることを表し、“〜”が示す結合の態様としては特に限定されず、たとえば、共有結合、イオン結合、水素結合、配位結合、抗原抗体結合、ビオチンアビジン反応、物理吸着、化学吸着などが挙げられ、必要に応じてリンカー分子を介していてもよい。
二次抗体には、一次抗体を抗原として特異的に認識して結合する抗体を用いる。
抗体を産生する動物(免疫動物)の種類は特に限定されるものではなく、従来と同様、マウス、ラット、モルモット、ウサギ、ヤギ、ヒツジなどから選択する。
以下、組織標本の染色方法の一例について、パラフィン包埋された組織切片(以下、単に「切片」ともいう。)を染色する場合を例にとって説明するが、本発明に係る組織標本は、組織切片、針生検により取得した標本、培養細胞、等から任意のものを用いて良い。
(4.1.1)脱パラフィン処理
キシレンを入れた容器に、切片を浸漬させ、パラフィン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に切片を浸漬させ、キシレン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に、切片を浸漬させ、エタノール除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中で水を交換してもよい。
公知の方法に倣い、目的生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01Mのクエン酸緩衝液(pH6.0)、1mMのEDTA溶液(pH8.0)、5%尿素、0.1Mのトリス塩酸緩衝液などを用いることができる。
pH条件は用いる組織切片に応じてpH2.0〜13.0の範囲から、シグナルが出て、組織の荒れがシグナルを評価できる程度となる条件で行う。通常はpH6.0〜8.0で行うが、特殊な組織切片ではたとえばpH3.0でも行う。
加熱機器はオートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではなく、温度は50〜130℃、時間は5〜30分で行うことができる。室温で行うこともできる。
次いで、PBSを入れた容器に、賦活処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でPBSを交換してもよい。
免疫染色工程では、目的生体物質を染色するために、目的生体物質に直接的または間接的に結合しうる部位を有する蛍光色素集積粒子を含む免疫染色剤の溶液を、切片に乗せ、目的生体物質との反応を行う。免疫染色工程に用いる免疫染色剤の溶液については、この工程の前にあらかじめ調製しておけばよい。
免疫染色工程を行う上での条件、すなわち免疫染色剤の溶液に組織標本を浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
上述したような処理を行う前に、BSA含有PBSなど公知のブロッキング剤やTween20などの界面活性剤を滴下することが好ましい。
免疫染色工程を終えた組織標本は、観察に適したものとなるよう、固定及び脱水、透徹、封入などの処理を行うことが好ましい。
固定及び脱水処理は、組織標本を固定処理液(ホルマリン、パラホルムアルデヒド、グルタールアルデヒド、アセトン、エタノール、メタノールなどの架橋剤)に浸漬すればよい。透徹処理は、固定及び脱水処理を終えた組織標本を透徹液(キシレンなど)に浸漬すればよい。封入処理は、透徹処理を終えた組織標本を封入液に浸漬すればよい。
これらの処理を行う上での条件、たとえば組織標本を所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
免疫染色工程とは別に、明視野において細胞、組織、臓器などの形態の観察を容易にするための形態観察染色を行ってもよい。形態観察染色工程は、公知の任意の方法に従って行うことができ、免疫染色工程の前又は後の何れに行ってもよい。
組織標本の形態観察に関しては、細胞質、間質、各種線維、赤血球及び角化細胞が赤〜濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。細胞核、石灰部、軟骨組織、細菌及び粘液が青藍色〜淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている(これら2つの染色を同時に行う方法はヘマトキシリン・エオジン染色(HE染色)として知られている)。
次に、蛍光色素集積粒子1粒子当たりの平均輝度値算出に用いられる蛍光色素集積粒子散布プレパラートについて説明する。
以下、蛍光色素集積粒子散布プレパラートの作製工程を具体的に説明するが、本発明の蛍光色素集積粒子散布プレパラートは、上述した蛍光色素集積粒子が凝集しないように散布された顕微鏡観察用の標本であれば任意である。
(1)任意の平均粒子径(例えば150nm)の蛍光色素集積粒子を準備する。
(2)蛍光色素集積粒子をPBSで希釈して、濃度0.005nMの蛍光色素集積粒子液を作製する。
(3)スライドガラスを準備する。
(4)スライドガラス上に蛍光色素集積粒子液7.5uLを滴下して、滴下面積が直径5.0mmの円と同程度になるようにする。
(5)10分間静置する。
(6)純水を入れた300mLビーカーにスライドガラスを漬けて洗浄する。
(7)スライドガラスを染色かごに嵌め、流水で10分間洗浄する。
(8)染色かごを水から上げ、脱水のためにエタノール相を3相、キシレン置換のためにキシレン相を3相通す。
(9)スライドガラスをキシレン系封入剤(マリノール)で封入する。
(1)任意の平均粒子径(例えば、150nm)の蛍光色素集積粒子を準備する。
(2)蛍光色素集積粒子をPBSで希釈して、濃度0.005nMの蛍光色素集積粒子液を作製する。
(3)200nm径のポリスチレン粒子(インビトロジェン社製)を準備する。
(4)ポリスチレン粒子をPBSで希釈して、濃度0.500nMのポリスチレン粒子液を作製する。
(5)スライドガラスを準備する。
(6)スライドガラス上にポリスチレン粒子液7.5uLを滴下して、滴下面積が直径5.0mmの円と同程度になるようにする。
(7)10分間静置する。
(8)純水を入れた300mLビーカーにスライドガラスを漬けて、スライドガラスから余剰のポリスチレン粒子液を除く。
(9)スライドガラスにポリスチレン粒子液と同じ場所に(2)で準備した蛍光色素集積粒子液を載せる。
(10)10分間静置する。
(11)純水を入れた300mLビーカーにスライドガラスを漬けて洗浄する。
(12)スライドガラスを染色かごに嵌め、流水で10分間洗浄する。
(13)染色かごを水から上げ、脱水のためにエタノール相を3相、キシレン置換のためにキシレン相を3相通す。
(14)スライドガラスをキシレン系封入剤(マリノール)で封入する。
なお、作製方法2において、(2)及び(4)で蛍光色素集積粒子液及びポリスチレン粒子液を準備した後、これらの液を混合してスライドガラス上に滴下しても良い。混合液の滴下後は、上記(10)〜(14)の処理を行う。
作製方法2では、例えばポリスチレン粒子及び蛍光色素集積粒子液の濃度の比率を変更することにより、蛍光色素集積粒子の密度を制御することが可能である。
(1)スライドガラスを準備する。
(2)スライドガラスにキシレンで溶解する感光性樹脂を塗布する。
(3)感光性樹脂膜を露光し、穴径が200nm、ピッチが1000umのパターンを作製する。
(4)任意の平均粒子径(例えば、150nm)の蛍光色素集積粒子を準備する。
(5)蛍光色素集積粒子をPBSで希釈して、濃度0.005nMの蛍光色素集積粒子液を作製する。
(6)スライドガラス上の感光性樹脂塗布部分に、蛍光色素集積粒子液100uLを滴下して、滴下面積が100mm2程度となるようにする。
(7)10分間静置する。
(8)純水を入れた300mLビーカーにスライドガラスを漬けて洗浄する。
(9)スライドガラスを染色かごに嵌め、流水で10分間洗浄する。
(10)染色かごを水から上げ、脱水のためにエタノール相を3相、キシレン置換のためにキシレン相を3相通す。
(11)スライドガラスをキシレン系封入剤(マリノール)で封入する。
作製方法3では、例えば、(3)で作製するパターンの穴径と蛍光色素集積粒子の平均粒径の比率を変更することにより蛍光色素集積粒子の密度を制御することが可能である。
以下、病理診断支援システム100において、上述した組織標本及び蛍光色素集積粒子を分散させたプレパラートを撮影した蛍光画像及び明視野画像に基づく解析動作について説明するが、本発明の画像処理は、これに限定されるものではない。
その後、顕微鏡画像取得装置1Aを用いて、組織標本の明視野画像及び蛍光画像(第1蛍光画像)、及び蛍光色素集積粒子を分散させたプレパラートの蛍光画像(第2蛍光画像)を取得して、各画像のデータを画像処理装置2Aに送信する。
通信I/F24により顕微鏡画像取得装置1Aからの明視野画像が入力されると(ステップS1)、明視野画像から細胞核の領域が抽出された細胞核画像が作成される(ステップS2)。ステップS2では、公知の任意の方法を用いて抽出することとしてよく、また、細胞核に限らず任意の領域を関心領域(ROI)として抽出してよい。
ステップS4〜S5の処理は、公開解析ソフトImageJ、株式会社ジーオングストローム社製の全輝点自動計測ソフトG-Count等、公知の任意の方法を用いて計測することができる。
第2輝度積算値の分布に基づき、蛍光色素集積粒子1粒子当たりの平均輝度値が算出される(ステップS10:平均輝度算出工程)。具体的には、例えば、最頻値となる第2輝度積算値(輝度分布曲線のピークの輝度積算値L、図5参照)が平均輝度値として算出される。
また、最頻値の算出においては、第2輝度積算値の分布に対してフィッティング又は補間を行い、フィッティング曲線または補間曲線のピークの輝度積算値を前記平均輝度値とすることが好ましい。本発明の第2輝度積算値の分布は、例えば、ガウス曲線、二次曲線、ポアソン分布、二項分布、等に好適にフィッティングさせることができる。
式(1): 0 ≦ Sσ/Save < 1.0
(式(1)中、Sσは第2領域の面積の標準偏差、Saveは第2領域の面積の平均値である。)
式(1)において、変動係数が1以上である場合、プレパラートにおいて凝集した蛍光色素集積粒子が多く存在している可能性が高い。
式(2): 0.10 < Save /π(Rave/2+Δ)2 < 10.00
(式(2)中、Saveは第2領域の平均面積、Raveは蛍光色素集積粒子の平均粒径、Δは蛍光画像を撮像した機器の分解能である。)
式(2)において、比の値が10以上である場合は、抽出された第2領域の平均面積が大きく、プレパラートにおいて凝集した蛍光色素集積粒子が多く存在している可能性が高い。
なお、ステップS6〜S10の処理は、必ずしも、画像処理の都度行う必要はなく、以前に算出した平均輝度値のデータを使用してもよい。
ステップS2及びS11の処理の終了後、細胞核画像と第1領域画像の加算処理が行われ(ステップS12)、一細胞核当たりの蛍光色素集積粒子数が算出される(ステップS13)。
図6A及び図6Bは、平均粒径RAの蛍光色素集積粒子A、及び平均粒径RBの蛍光色素集積粒子Bをそれぞれ散布した蛍光色素集積粒子散布プレパラートを用いて作成された輝度分布曲線を示す。ただし、RA<RBであり、蛍光色素集積粒子A及びBは、粒径以外の特徴は同一となるように作製されている。また、輝度分布曲線の作成条件も同一とする。
粒径以外の特徴が同一の蛍光色素集積粒子であれば、粒径が大きいほど蛍光色素の含有量が多いため、輝度値が高いと考えられる。つまり、蛍光物質集積粒子の1粒子当たりの平均輝度値、すなわち蛍光色素の量は、粒子の体積(粒径の3乗)に比例すると考えられる。
このことに基づき、平均輝度算出工程の変形例1では、蛍光色素集積粒子A及びBの平均粒径RA及びRBと、その平均輝度値LA及びLB(図6A及び図6B参照)の関係を示すルックアップテーブル又は補間曲線を作成して用いて、任意の平均粒径Rxの蛍光色素集積粒子Xの平均輝度値Lxを算出する。
なお、平均粒径が互いに異なる蛍光色素集積粒子が2種類である場合を例として説明したが、さらに多くの種類を用いることとすれば、より正確な平均輝度値を算出可能となる。
図7A〜図7Cは、発光波長のピークがそれぞれλA、λB及びλCである蛍光色素集積粒子A、B、及びCの蛍光色素集積粒子散布プレパラートに基づいて作成された輝度分布曲線を示す。ただし、λA、λB及びλCの値は互いに異なる。
平均輝度算出工程の変形例2では、蛍光色素集積粒子A、B及びCの発光波長λA、λB及びλCと、その平均輝度値LA、LB及びLC(図7A〜図7C参照)の関係を示すルックアップテーブル又は補間曲線を作成して用いて、任意の波長λxの蛍光色素集積粒子Xの平均輝度値Lxを算出する。変形例2においては、平均輝度値LA、LB及びLCは、励起光のスペクトル及び強度、画像取得に用いるフィルタやカメラの特性、蛍光色素集積粒子に含まれる蛍光物質の種類及び量、等を考慮してキャリブレーションされた後、ルックアップテーブル又は補間曲線が作成されることが好ましい。
なお、蛍光波長が異なる蛍光色素集積粒子が3種類である場合を例として説明したが、2種類でも良いし、さらに多くの種類を用いることとすれば、より正確な平均輝度値を算出可能となる。
また、蛍光色素集積粒子が凝集せずに散布されたプレパラートを用いているため、組織切片等で見られるような、蛍光色素集積粒子が凝集したクラスタを1つの粒子と換算してしまう可能性が低減される。また、ノイズ(細胞の自家蛍光等)が少ない画像を取得可能である。これにより、より正確な平均輝度値を算出可能である。
また、蛍光色素集積粒子散布プレパラートを用いることにより、視野全体において蛍光色素集積粒子が凝集せずに均一に散布された画像が得られる。これにより、組織標本に付着した蛍光色素集積粒子を利用する場合よりも容易に、十分なデータ数を取得可能である。
その他、診断支援情報生成システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
2A 画像処理装置
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
3A ケーブル
100 診断支援情報生成システム
Claims (17)
- 特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された標本における、前記特定の生体物質を定量する生体物質定量方法において、
前記標本を撮像して得られた第1蛍光画像を入力する入力工程と、
前記第1蛍光画像から所定の領域を抽出し、前記所定の領域の輝度値の積算値である第1輝度積算値を算出する輝度算出工程と、
前記第1輝度積算値及び前記蛍光色素集積粒子1粒子当たりの平均輝度値から、前記所定の領域に含まれる蛍光色素集積粒子の数を算出する粒子数算出工程、
を備え、
前記平均輝度値は、蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第2蛍光画像において蛍光色素集積粒子の発光を表す輝点領域毎の輝度値を積算した第2輝度積算値の分布から算出される
ことを特徴とする生体物質定量方法。 - 前記プレパラートにおける前記蛍光色素集積粒子の密度は106個/mm2以下であることを特徴とする請求項1に記載の生体物質定量方法。
- 下記の式(1)を満たすことを特徴とする請求項1又は2に記載の生体物質定量方法。
式(1): 0≦ Sσ/Save <1.0
(式(1)中、Sσは輝点領域の面積の標準偏差、Saveは輝点領域の面積の平均値である。) - 下記の式(2)を満たすことを特徴とする請求項1〜3の何れか一項に記載の生体物質定量方法。
式(2): 0.10< Save /π(Rave/2+Δ)2 <10.00
(式(2)中、Saveは輝点領域の面積の平均値、Raveは蛍光色素集積粒子の平均粒径、Δは蛍光画像を撮像した機器の分解能である。) - 前記平均輝度値は、10,000個以上の前記輝点領域毎の輝度値を用いて算出されることを特徴とする請求項1〜4の何れか一項に記載の生体物質定量方法。
- 前記蛍光色素集積粒子の平均粒径が20〜200nmであることを特徴とする請求項1〜5の何れか一項に記載の生体物質定量方法。
- 前記蛍光色素集積粒子の粒径の変動係数が15%以下であることを特徴とする請求項1〜6の何れか一項に記載の生体物質定量方法。
- 前記平均輝度値は、最頻値となる前記第2輝度積算値であることを特徴とする請求項1〜7の何れか一項に記載の生体物質定量方法。
- 前記平均輝度値は、前記第2輝度積算値の分布に対してフィッティングもしくは補間を行って作成されたフィッティング曲線又は補間曲線における最大値の輝度値であることを特徴とする請求項1〜8の何れか一項に記載の生体物質定量方法。
- 前記平均輝度値は、平均粒径が異なる複数種類の蛍光色素集積粒子による前記第2輝度積算値の分布から作成されたルックアップテーブル又は補間曲線を用いて算出される任意の粒径の蛍光色素集積粒子の平均輝度値であることを特徴とする請求項1〜9の何れか一項に記載の生体物質定量方法。
- 前記平均輝度値は、発光波長が異なる複数種類の蛍光色素集積粒子による前記第2輝度積算値の分布から作成されたルックアップテーブル又は補間曲線を用いて、算出される任意の蛍光波長の平均輝度値であることを特徴とする請求項1〜10の何れか一項に記載の生体物質定量方法。
- 前記蛍光色素集積粒子の発光特性が変化した場合に、前記1粒子当たりの平均輝度値をキャリブレーションするキャリブレーション工程を備えることを特徴とする請求項1〜11の何れか一項に記載の生体物質定量方法。
- 前記蛍光色素集積粒子及び溶解可能な粒子をスライドガラス上に散布した後、前記粒子を溶解除去してプレパラートを作製するプレパラート作製工程を備える
ことを特徴とする請求項1〜12の何れか一項に記載の生体物質定量方法。 - 溶解可能な樹脂を用いてパターニングされたスライドガラスに前記蛍光色素集積粒子を散布した後、前記樹脂を溶解除去してプレパラートを作製するプレパラート作製工程を備える
ことを特徴とする請求項1〜12の何れか一項に記載の生体物質定量方法。 - 特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された標本における、前記特定の生体物質を定量する画像処理装置において、
前記標本を撮像して得られた第1蛍光画像を入力する入力手段と、
前記第1蛍光画像から所定の領域を抽出し、前記所定の領域の輝度値の積算値である第1輝度積算値を算出する輝度算出手段と、
前記第1輝度積算値及び前記蛍光色素集積粒子1粒子当たりの平均輝度値から、前記所定の領域に含まれる蛍光色素集積粒子の数を算出する粒子数算出手段と、
を備え、
前記平均輝度値は、蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第2蛍光画像において蛍光色素集積粒子の発光を表す輝点領域毎の輝度値を積算した第2輝度積算値の分布から算出される
ことを特徴とする画像処理装置。 - 特定の生体物質に結合可能な蛍光色素集積粒子を用いて染色された標本における、前記特定の生体物質を定量するコンピュータを、
前記標本を撮像して得られた第1蛍光画像を入力する入力手段、
前記第1蛍光画像から所定の領域を抽出し、前記所定の領域の輝度値の積算値である第1輝度積算値を算出する輝度算出手段、
前記第1輝度積算値及び前記蛍光色素集積粒子1粒子当たりの平均輝度値から、前記所定の領域に含まれる蛍光色素集積粒子の数を算出する粒子数算出手段、
として機能させるためのプログラムであって、
前記平均輝度値は、蛍光色素集積粒子が凝集せずに散布されたプレパラートを撮像して得られた第2蛍光画像において蛍光色素集積粒子の発光を表す輝点領域毎の輝度値を積算した第2輝度積算値の分布から算出されることを特徴とする、プログラム。 - 請求項15に記載の画像処理装置と、
前記第1蛍光画像及び前記第2蛍光画像を取得する画像取得装置と、
を備えることを特徴とする病理診断支援システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016132975 | 2016-07-05 | ||
JP2016132975 | 2016-07-05 | ||
PCT/JP2017/020646 WO2018008309A1 (ja) | 2016-07-05 | 2017-06-02 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018008309A1 JPWO2018008309A1 (ja) | 2019-04-25 |
JP6911855B2 true JP6911855B2 (ja) | 2021-07-28 |
Family
ID=60912671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018525979A Active JP6911855B2 (ja) | 2016-07-05 | 2017-06-02 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10656092B2 (ja) |
EP (1) | EP3483592B1 (ja) |
JP (1) | JP6911855B2 (ja) |
WO (1) | WO2018008309A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7214756B2 (ja) * | 2018-05-15 | 2023-01-30 | ベンタナ メディカル システムズ, インコーポレイテッド | ステイン集合体における信号の定量 |
US11579090B2 (en) | 2018-07-24 | 2023-02-14 | Sony Corporation | Information processing apparatus, information processing method, information processing system, and computer program |
WO2020105102A1 (ja) * | 2018-11-20 | 2020-05-28 | 株式会社島津製作所 | イメージングデータ解析装置 |
CN112666139B (zh) * | 2020-12-11 | 2023-04-07 | 南阳理工学院 | 一种基于微观构造的古建筑木构件材质状况评估方法 |
CN113570583B (zh) * | 2021-07-30 | 2024-06-07 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN116990101B (zh) * | 2023-09-27 | 2023-12-15 | 四川大学华西医院 | 一种易掉片组织的预处理方法及其多重免疫荧光染色方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2251924C (en) * | 1996-04-19 | 2006-05-30 | The Dow Chemical Company | Fluorescent chelates as visual tissue specific imaging agents |
ATE470859T1 (de) * | 2001-09-06 | 2010-06-15 | Straus Holdings Inc | Schneller und empfindlicher nachweis von molekülen |
US7426026B2 (en) * | 2003-10-10 | 2008-09-16 | Hamamatsu Photonics K.K. | Method and system for measuring the concentrations of fluorescent dyes |
US20110081664A1 (en) * | 2008-10-17 | 2011-04-07 | University Of Massachusetts | Multipurpose microfluidic device for mimicking a microenvironment within a tumor |
JP5393216B2 (ja) * | 2009-03-24 | 2014-01-22 | オリンパス株式会社 | 蛍光観察システムおよび蛍光観察システムの作動方法 |
MX2011010586A (es) * | 2009-04-09 | 2011-10-19 | Bayer Cropscience Ag | Dispositivo y procedimiento para la verificacion y para el analisis cuantitativo de analitos, particularmente de micotoxinas. |
WO2011150023A1 (en) * | 2010-05-25 | 2011-12-01 | The University Of North Carolina At Chapel Hill | Detection of damage to dna |
EP3225990B1 (en) * | 2010-08-30 | 2020-07-08 | Konica Minolta, Inc. | Particle for staining a tissue |
JP5682976B2 (ja) * | 2010-09-17 | 2015-03-11 | 国立大学法人東北大学 | 抗体を成分として含む医薬品の有効性の判定方法 |
JP5892238B2 (ja) | 2012-03-30 | 2016-03-23 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
US10080484B2 (en) * | 2014-01-31 | 2018-09-25 | University Of Washington | Multispectral wide-field endoscopic imaging of fluorescence |
WO2015146938A1 (ja) * | 2014-03-26 | 2015-10-01 | コニカミノルタ株式会社 | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム |
JP6504160B2 (ja) * | 2014-04-21 | 2019-04-24 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム |
US20150314019A1 (en) * | 2014-04-30 | 2015-11-05 | Clarkson University | Functionalized ultrabright fluorescent silica particles |
WO2016006096A1 (ja) * | 2014-07-11 | 2016-01-14 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
EP3258264B1 (en) * | 2015-02-10 | 2020-12-02 | Konica Minolta, Inc. | Biological substance quantitation method |
-
2017
- 2017-06-02 JP JP2018525979A patent/JP6911855B2/ja active Active
- 2017-06-02 US US16/315,249 patent/US10656092B2/en active Active
- 2017-06-02 EP EP17823916.6A patent/EP3483592B1/en active Active
- 2017-06-02 WO PCT/JP2017/020646 patent/WO2018008309A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
US10656092B2 (en) | 2020-05-19 |
WO2018008309A1 (ja) | 2018-01-11 |
JPWO2018008309A1 (ja) | 2019-04-25 |
EP3483592A4 (en) | 2019-06-12 |
EP3483592A1 (en) | 2019-05-15 |
EP3483592B1 (en) | 2020-07-22 |
US20190162667A1 (en) | 2019-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6911855B2 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム | |
WO2016093090A1 (ja) | 画像処理装置及び画像処理プログラム | |
JP6597316B2 (ja) | 画像処理装置及びプログラム | |
WO2017126420A1 (ja) | 画像処理装置及びプログラム | |
JP6960224B2 (ja) | 生体物質定量方法、病理診断支援システム及びプログラム | |
US20210192721A1 (en) | Image Processing Device, In-Focus Position Specifying Method, and In-Focus Position Specifying Program | |
JP6493398B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
JP2020173204A (ja) | 画像処理システム、画像処理方法及びプログラム | |
JP2016223931A (ja) | 蛍光画像の合焦システム、合焦方法および合焦プログラム | |
EP3327427A1 (en) | Target biological substance analysis method and analysis system | |
JP7235036B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
US11423533B2 (en) | Image processing method and image processing system | |
US11600020B2 (en) | Biological substance quantification method, image processing device, pathological diagnosis support system, and recording medium storing computer readable program | |
JP7160047B2 (ja) | 生体物質定量方法、画像処理装置及びプログラム | |
JP6578928B2 (ja) | 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム | |
WO2017110974A1 (ja) | 画像処理装置及びプログラム | |
WO2020166469A1 (ja) | 情報提供方法、情報提供装置及びプログラム | |
WO2021192910A1 (ja) | 画像生成方法、画像生成装置及びプログラム | |
WO2020262117A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
WO2021124866A1 (ja) | 画像処理方法、画像処理システム及びプログラム | |
WO2020209217A1 (ja) | 画像処理システム、画像処理方法及びプログラム | |
WO2021039592A1 (ja) | 創薬支援方法、創薬支援装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200318 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6911855 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |