JP2016001141A - 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム - Google Patents

診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム Download PDF

Info

Publication number
JP2016001141A
JP2016001141A JP2014121078A JP2014121078A JP2016001141A JP 2016001141 A JP2016001141 A JP 2016001141A JP 2014121078 A JP2014121078 A JP 2014121078A JP 2014121078 A JP2014121078 A JP 2014121078A JP 2016001141 A JP2016001141 A JP 2016001141A
Authority
JP
Japan
Prior art keywords
region
cell
superimposed
biological material
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014121078A
Other languages
English (en)
Other versions
JP6337629B2 (ja
Inventor
勇介 三村
Yusuke Mimura
勇介 三村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2014121078A priority Critical patent/JP6337629B2/ja
Publication of JP2016001141A publication Critical patent/JP2016001141A/ja
Application granted granted Critical
Publication of JP6337629B2 publication Critical patent/JP6337629B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】重畳領域に存在する輝点が所属する細胞を判別することができ、正確な診断支援情報を生成する方法を提供する。【解決手段】蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを用いて染色された標本から、前記生体物質を定量して診断支援情報を生成する診断支援情報生成方法において、前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像から、前記生体物質位置を算出するステップと、前記蛍光画像又は前記蛍光画像と同一視野範囲を撮影した明視野画像から、細胞の特定の部位が重畳した重畳領域を抽出するステップと、前記重畳領域における前記生体物質の有無を判別するステップを有し、前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の前記細胞領域の何れに所属しているかを判別する所属判別ステップと、を有することを特徴とする。【選択図】図5

Description

本発明は、診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラムに関する。
近年、抗体医薬を中心とした分子標的薬治療の広がりに伴い、分子標的薬をより効果的に設計するため、観察対象細胞上の生体物質の定量が求められている。生体物質の存在を確認する方法として、生体物質認識部位が結合された蛍光物質と、生体物質認識部位に対応した生体物質の結合に基づく、組織分析方法が知られている。
例えば、特許文献1では、組織切片の特定抗原を複数の蛍光物質を内包したナノ粒子を用いて染色し、ナノ粒子の蛍光シグナルに基づいて切片中の特定抗原の情報を生成する方法が記載されている。
特許文献1に記載の方法によれば、蛍光標識材料として高輝度の蛍光物質内包ナノ粒子を用いることにより、蛍光シグナルが組織の自家蛍光等に埋もれることなくドット状に観察される。これにより、ナノ粒子の蛍光シグナルに基づいて、生体物質の数を容易に計測可能である。
特開2012−208106号公報
しかし、実際のところ、取得した画像においては、複数の細胞或いは細胞核等の計測対象領域が重畳した重畳領域が多く観察される。特許文献1に記載の方法では、重畳領域に輝点が存在している場合には、重畳している細胞のいずれに輝点が所属しているかを判別することができないため、正確な診断情報が生成できず、誤診に繋がる可能性があった。
本発明の主な目的は、重畳領域に存在する輝点がどの細胞に所属するかを判別し、正確な診断支援情報を生成することにある。
上記課題を解決するため、請求項1に記載の発明によれば、
蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成する診断支援情報生成方法において、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力ステップと、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質の位置を算出する生体物質位置算出ステップと、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出ステップと、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出ステップと、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否
かを判別する生体物質判別ステップと、
前記生体物質判別ステップにおいて前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得ステップと、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別ステップと、
を有することを特徴とする診断支援情報生成方法が提供される。
請求項2に記載の発明によれば、請求項1に記載の診断支援情報生成方法において、
前記生体物質位置算出ステップは、
前記輝点領域に存在する生体物質の高さを算出することを特徴とする診断支援情報生成方法が提供される。
請求項3に記載の発明によれば、請求項1又は2に記載の診断支援情報生成方法において、
前記生体物質位置算出ステップは、
前記輝点領域の輝度分布を示す輝度プロファイルを作成し、
前記輝度プロファイルと、予め作成された前記蛍光物質由来の蛍光の輝度分布及び蛍光物質の高さ方向の位置情報を備えた基準プロファイルとに基づいて、前記輝点領域に存在する生体物質の数及び高さを算出することを特徴とする診断支援情報生成方法が提供される。
請求項4に記載の発明によれば、請求項2又は3に記載の診断支援情報生成方法において、
前記重畳細胞情報は、前記重畳領域において重畳している複数の前記細胞領域の高さ方向の相対位置情報を含み、
前記所属判別ステップは、前記生体物質の高さ及び前記細胞領域の高さ方向の相対位置情報から判別することを特徴とする診断支援情報生成方法が提供される。
請求項5に記載の発明によれば、請求項1〜4の何れか一項に記載の診断支援情報生成方法において、
前記重畳細胞情報は、前記重畳領域において重畳している複数の前記細胞領域の輪郭線の位置情報を含み、
前記所属判別ステップは、前記輝点領域に最も近接する前記輪郭線を持つ前記細胞領域に、前記生体物質が所属すると判別することを特徴とする診断支援情報生成方法が提供される。
請求項6に記載の発明によれば、請求項1〜5の何れか一項に記載の診断支援情報生成方法において、
前記重畳細胞情報は、前記重畳領域において前記細胞領域が重畳している複数の細胞の生理学的情報を含み、
前記所属判別ステップは、前記生理学的情報に基づいて前記生体物質が所属する可能性が高い細胞の前記細胞領域を特定し、特定した前記細胞領域に前記生体物質が所属すると判別することを特徴とする診断支援情報生成方法が提供される。
請求項7に記載の発明によれば、請求項6に記載の診断支援情報生成方法において、
前記生理学的情報は、前記重畳領域において前記細胞領域が重畳している複数の細胞における、細胞質と核の面積比、細胞の円形度、細胞の面積、前記細胞領域内の輝点数、前記染色試薬による染色の不均一性、の何れか1つ又は複数であることを特徴とする診断支
援情報生成方法が提供される。
請求項8に記載の発明によれば、
蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成する画像処理装置において、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段と、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質位置を算出する生体物質位置算出手段と、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出手段と、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出手段と、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別手段と、
前記生体物質判別手段により、前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得手段と、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別手段と、
を有することを特徴とする画像処理装置が提供される。
請求項9に記載の発明によれば、
前記画像処理装置と、
前記画像処理装置で使用される、前記蛍光画像を取得する画像取得装置と、
を備えることを特徴とする診断支援情報生成システムが提供される。
請求項10に記載の発明によれば、
蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成するコンピュータを、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質位置を算出する生体物質位置算出手段、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出手段、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出手段、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別手段、
前記生体物質判別手段により前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得手段、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別手段、
として機能させるための画像処理プログラムが提供される。
本発明によれば、重畳領域に存在する輝点がどの細胞に所属しているかを判別することができるため、正確な診断支援情報を生成して、適切な治療が可能となる。
診断支援情報生成システムのシステム構成を示す図である。 図1の画像処理装置の機能的構成を示すブロック図である。 明視野画像の一例を示す図である。 蛍光画像の一例を示す図である。 図2の制御部により実行される画像解析処理を示すフローチャートである。 図5のステップS2の処理の詳細を示すフローチャートである。 (a)明視野画像、(b)細胞領域が抽出された画像を示す図である。 (a)蛍光画像、(b)輝点領域が抽出された画像を示す図である。 第一実施形態のステップS8における処理の詳細を示すフローチャートである。 細胞の相対高さの判別方法を説明するための図である。 輝度積算値の算出方法を概略的に説明するための図である。 一つの蛍光粒子の輝度プロファイルの例を示す模式図である。 同一の高さに近接して存在している2つの蛍光粒子の輝度プロファイルの例を示す模式図である。 同一のXY座標位置且つ異なる高さに近接して存在している2つの蛍光粒子の輝度プロファイルの例を示す模式図である。 XY座標位置及び高さが共にずれて近接して存在している2つの蛍光粒子の輝度プロファイルの例を示す模式図である。 第二実施形態のステップS8における処理の詳細を示すフローチャートである。 細胞の輪郭線と輝点領域の距離から蛍光粒子の所属細胞を判別する方法を説明する模式図である。 第三実施形態のステップS8における処理の詳細を示すフローチャートである。
以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
<診断支援情報生成システム100の構成>
図1に、本発明の蛍光物質の定量方法を用いた診断支援情報生成システム100の全体構成例を示す。診断支援情報生成システム100は、所定の染色試薬で染色された人体の組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図1に示すように、診断支援情報生成システム100は、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3A等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織標本の顕微鏡画像を取得し、画像処理装置2Aに送信
するものである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/F等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成された正立型、倒立型の何れでも良く、照射した光によりスライド上の組織標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
本実施の形態において、顕微鏡画像取得装置1Aは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。蛍光観察時の光源としては、水銀ランプ、キセノンランプ、LED、レーザー光など、任意のものが使用できる。
なお、顕微鏡画像取得装置1Aとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織標本全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置(例えば、特表2002−514319号公報参照)等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織標本全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現分布を算出する。
図2に、画像処理装置2Aの機能構成例を示す。図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25等を備えて構成され、各部はバス26を介して接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)等を備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。例えば、制御部21は、記憶部25に記憶されているプログラムとの協働により画像解析処理(図5参照)を実行し、画像入力手段、生体物質位置算出手段、細胞領域及び重畳領域抽出手段、重畳領域の生体物質判別手段、重畳細胞情報取得手段、所属判別手段、としての機能を実現する。
操作部22は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
表示部23は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。本実施の形態において、表示部23は、画像解析結果を出力するための出力手段として機能する。
通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、明視野画像と蛍光画像の入力手段として機能する。
記憶部25は、例えばHDD(Hard Disk Drive)や半導体の不揮発性メモリー等で構成されている。記憶部25には、前述のように各種プログラムや各種データ等が記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
本実施の形態における画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された明視野画像及び蛍光画像を用いて解析を行うことが好ましい。
明視野画像は、H(ヘマトキシリン)染色試薬、HE(ヘマトキシリン−エオジン)染色試薬を用いて染色された組織標本を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織標本における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織等)を染色する。エオジンは赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織等)を染色する。図3に、HE染色を行った組織標本を撮影した明視野画像の一例を示す。
蛍光画像は、特定の生体物質と特異的に結合及び/又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子(蛍光物質内包ナノ粒子と呼ぶ)を含む染色試薬を用いて染色された組織標本に対し、顕微鏡画像取得装置1Aにおいて所定波長の励起光を照射して蛍光物質内包ナノ粒子を発光(蛍光)させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織標本における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。図4に、蛍光画像の一例を示す。
<蛍光画像の取得>
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬(蛍光物質内包ナノ粒子)、染色試薬による組織標本の染色方法等も含めて詳細に説明する。
〔蛍光物質〕
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor(インビトロジェン社製)系色素分子、BODIPY(インビトロジェン社製)系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、NBD系色素分子、ピレン系色素分子、シアニン系色素分子、芳香族炭化水素系分子等を挙げることができる。
具体的には、5−カルボキシ−フルオレセイン、6−カルボキシ−フルオレセイン、5,6−ジカルボキシ−フルオレセイン、6−カルボキシ−2’,4,4’,5’,7,7’−ヘキサクロロフルオレセイン、6−カルボキシ−2’,4,7,7’−テトラクロロフルオレセイン、6−カルボキシ−4’,5’−ジクロロ−2’,7’−ジメトキシフルオレセイン、ナフトフルオレセイン、5−カルボキシ−ローダミン、6−カルボキシ−ローダミン、5,6−ジカルボキシ−ローダミン、ローダミン 6G、テトラメチルローダミン、X−ローダミン、スルホローダミンB、スルホローダミン101、及びAlexa Fluor
350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493/503、BODIPY 530/550、BODIPY 558/568、BODIPY 564/57
0、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665(以上インビトロジェン社製)、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5、Cy7、HiLyte Fluor 594(登録商標、アナスペック社製)、DyLight 594(登録商標、サーモサイエンティフィック社製)系色素分子、ATTO 594(登録商標、ATTO-TEC社製)、MFP 594(登録商標、Mobitec社製)、5,10,15,20-テトラフェニルポルフィンテトラスルホン酸、亜鉛5,10,15,20-テトラフェニルポルフィンテトラスルホン酸、フタロシアニンテトラスルホン酸、亜鉛フタロシアニンテトラスルホン酸、N,N-Bis-(2,6-diisopropylphenyl)-1,6,7,12-(4-tert-butylphenoxy)-perylen-3,4,9,10-tetracarbonacid diimide、N,N’-Bis(N,N’-diisopropylphenyl)-1,6,7,12-tetraphenoxyperylene-3,4:9,10-tetracarboxdiimide、Benzenesulfonic acid 4,4',4'',4'''-[(1,3,8,10-tetrahydro-1,3,8,10-tetraoxoperylo[3,4-cd:9,10-c'd']dipyran-5,6,12,13-tetrayl)tetralis(oxy)]tetrakis-等を挙げることができる。単独でも複数種を混合したものを用いてもよい。
量子ドットとしては、II−VI族化合物、III−V族化合物、又はIV族元素を成分として含有する量子ドット(それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。)のいずれかを用いることができる。単独でも複数種を混合したものを用いてもよい。
具体的には、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geが挙げられるが、これらに限定されない。
上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。以下、本明細書中シェルを有する量子ドットの表記法として、コアがCdSe、シェルがZnSの場合、CdSe/ZnSと表記する。例えば、CdSe/ZnS、CdS/ZnS、InP/ZnS、InGaP/ZnS、Si/SiO2、Si/ZnS、Ge/GeO2、Ge/ZnS等を用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)等が挙げられる。
〔蛍光物質内包ナノ粒子〕
本実施の形態において蛍光物質内包ナノ粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。
本実施の形態で用いられる蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。例えば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア 8巻 2921ページ(1992)に記載されているFITC内包シリカ粒子の合成を参考に合成することができる。FITCの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー 33巻 561ページ(2009)に記載されているCdTe内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許4326008(1982)に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許5326
692(1992)に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー19巻631ページ(2001)に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
本実施の形態で用いられる蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、抗原へのアクセスのしやすさや、蛍光粒子の信号がバックグラウンドノイズ(カメラのノイズや細胞の自家蛍光)に埋もれない範囲として、通常は30〜800nm程度である。
また、粒径のばらつきを示す変動係数も特に限定されないが、通常は20%以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し1000個の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径としてその算術平均を平均粒径とした。変動係数も、1000個の粒子の粒径分布から算出した値とした。
〔生体物質認識部位と蛍光物質内包ナノ粒子との結合〕
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び/又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)、抗体等が挙げられる。したがって、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗HER2抗体及び抗ER抗体を蛍光物質内包ナノ粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着及び化学吸着等が挙げられる。結合の安定性から共有結合等の結合力の強い結合が好ましい。
また、生体物質認識部位と蛍光物質内包ナノ粒子の間を連結する有機分子があってもよい。例えば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Thermo Scientific社製SM(PEG)12を用いることができる。
蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。例えば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基等の官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤(例えば、Gelest社製PEG-silane no. SIM6492.7)等が挙げられる。シランカップリング剤を用いる場合、2種以上を併用してもよい。
蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法
を用いることができる。例えば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で12時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC(1-Ethyl-3-[3-Dimethylaminopropyl]carbodiimide Hydrochloride:Pierce(登録商標)社製)のような縮合剤を用いることもできる。
必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつsulfo-SMCC(Sulfosuccinimidyl 4[N-maleimidomethyl]-cyclohexane-1-carboxylate:Pierce社製)を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基等の官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降EDC又はsulfo-SMCCを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
蛍光物質内包メラミンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質内包シリカナノ粒子と同様の手順を適用することができる。また、より反応性を向上させるため、メラミンナノ粒子と多官能性アミン化合物をあらかじめ反応させて表面アミノ基数を増やしても良い。
特定抗原を認識する抗体としては、M.アクチン、M.S.アクチン、S.M.アクチン、ACTH、Alk-1、α1-アンチキモトリプシン、α1-アンチトリプシン、AFP、bcl-2、bcl-6、β-カテニン、BCA 225、CA19-9、CA125、カルシトニン、カルレチニン、CD1a、CD3、CD4、CD5、CD8、CD10、CD15、CD20、CD21、CD23、CD30、CD31、CD34、CD43、CD45、CD45R、CD56、CD57、CD61、CD68、CD79a、"CD99、MIC2"、CD138、クロモグラニン、c-KIT、c-MET、コラーゲン タイプIV、Cox-2、サイクリンD1、ケラチン、サイトケラチン(高分子量)、パンケラチン、パンケラチン、サイトケラチン5/6、サイトケラチン 7、サイトケラチン 8、サイトケラチン8/18、サイトケラチン 14、サイトケラチン 19、サイトケラチン 20、CMV、E-カドヘリン、EGFR、ER、EMA、EBV、第VIII因子関連抗原、ファッシン、FSH、ガレクチン-3、ガストリン、GFAP、グルカゴン、グリコフォリン A、グランザイムB、hCG、hGH、ヘリコバクターピロリ、HBc 抗原、HBs 抗原、ヘパトサイト特異抗原、HER2、HSV -I、HSV -II、HHV-8、IgA、IgG、IgM、IGF-1R、インヒビン、インスリン、カッパ L鎖、Ki67、ラムダ L鎖、LH、リゾチーム、マクロファージ、メランA、MLH-1、MSH-2、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、NSE、p27
(Kip1)、p53、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン(D2-40)、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70が挙げられる。
〔染色方法〕
以下、組織標本の染色方法について述べるが、本願発明は組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。
また、以下に説明する染色方法が適用できる組織標本の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
1)脱パラフィン工程
キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
2)賦活化処理
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01M クエン酸緩衝液(pH6.0)、1mM EDTA溶液(pH8.0)、5% 尿素、0.1M トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50〜130℃、時間は5〜30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。
3)生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いた染色
生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織標本に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光物質内包ナノ粒子による染色を行う前に、BSA含有PBS等、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織標本を浸漬させ、未反応蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織標本に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、HE染色試薬を用いて染色を行う場合、カバーガラスによる封入前にHE染色を行う。
〔蛍光画像の取得〕
染色した組織標本に対し顕微鏡画像取得装置1Aを用いて、広視野の顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
<診断支援情報生成システム100の動作(画像処理方法を含む。)>
以下、診断支援情報生成システム100において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について具体的な実施形態を挙げて説明する。ここでは、特定のタンパク質(ここでは、乳癌組織におけるHER2タンパクとする。以下、特定タンパクと呼ぶ。)を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明するが、これに限定されるものではない。
(第一実施形態)
まず、操作者は、HE染色試薬と、特定タンパクを認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を蛍光標識材料とした染色試薬との、2種の染色試薬を用いて組織標本を染色する。
その後、顕微鏡画像取得装置1Aにおいて、(a1)〜(a5)の手順により明視野画像及び蛍光画像が取得される。なお、第一実施形態において、顕微鏡画像取得装置1Aは、標本を上方から観察する正立型の顕微鏡とし、標本の厚み方向(顕微鏡の焦点深度が移動する方向)を高さ方向、取得した画像の二次元座標をX座標及びY座標とする。
(a1)操作者は、ヘマトキシリン染色試薬と蛍光物質内包ナノ粒子を含む染色試薬とにより染色された組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織標本上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
画像処理装置2Aにおいては、明視野画像及び蛍光画像に基づき画像解析処理が実行される。
図5に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。図5に示す画像解析処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
まず、通信I/F24により顕微鏡画像取得装置1Aからの明視野画像が入力されると(ステップS1)、明視野画像から細胞の特定の部位(細胞領域)が抽出される(ステップS2)。細胞の特定の部位とは、例えば、細胞核、細胞の全体などであり、特定タンパクの種類に応じて任意に決められる。第一実施形態においては、細胞膜に囲まれた細胞全体を、細胞領域として抽出することとする。
図6に、ステップS2における処理の詳細フローを示す。ステップS2の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
ステップS2においては、まず、明視野画像のモノクロ画像への変換が行われる(ステップS201)。図7(a)に、明視野画像の一例を示す。
次いで、モノクロ画像に対し予め定められた閾値を用いて閾値処理が施され、各画素の値が二値化される(ステップS202)。
次いで、ノイズ処理が行われる(ステップS203)。ノイズ処理は、具体的には、二値画像にクロージング処理が施されることにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からn×n画素(nは2以上の整数)の範囲内にある画素に1つでも白が含まれている
場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からn×n画素の範囲内にある画素に1つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。図7(b)に、ノイズ処理後の画像の一例を示す。図7(b)に示すように、ノイズ処理後には、細胞が抽出された画像(細胞画像)が生成される。
次いで、ノイズ処理後の画像にラベリング処理が施され、抽出された細胞のそれぞれにラベルが付与される(ステップS204)。ラベリング処理とは、連結している画素に同じラベル(番号)を付与していくことで画像内のオブジェクトを識別する処理である。ラベリング処理により、ノイズ処理後の画像から各細胞を識別してラベルを付与することができる。
次いで、ステップS3において、複数の細胞が重畳している重畳領域が抽出される。重畳領域の抽出方法は任意であるが、例えば、特開2000−321031号公報に記載の方法を用いることができる。具体的には、まず、入力画像から細胞中心となる画素を所定の基準に従って選択し、選択されたすべての細胞中心画素の周辺画素の濃度勾配の方向から、細胞の輪郭を形成する画素が選択され、重畳領域の有無が判別される。重畳領域が存在する場合には、重畳領域において重畳している細胞の数及び重畳領域の輪郭を構成する輪郭線が抽出される。
一方、通信I/F24により顕微鏡画像取得装置1Aからの蛍光画像が入力されると(ステップS4)、蛍光画像から蛍光物質内包ナノ粒子(本実施形態では以下単に「蛍光粒子」という。)の蛍光に由来する輝点領域が抽出される(ステップS5)。
ステップS5の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
ステップS5においては、まず、図8(a)に示されるような蛍光画像から蛍光輝点の波長に応じた色成分の抽出が行われる。たとえば、蛍光粒子の発光波長が550nmである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。
次いで、抽出された画像に閾値処理が施され、二値化画像が生成され、輝点領域が抽出される。図8(b)に、輝点領域が抽出された画像の一例を示す。
なお、閾値処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理が施されてもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタが好ましく用いられる。
ステップS3とステップS5の処理の終了後、細胞画像(図7(b))と輝点領域画像(図8(b))の加算処理が行われ(ステップS6)、細胞上における輝点領域の分布が画像処理装置2Aの表示部23に表示される。
次いで、抽出された各輝点領域について、細胞の重畳領域と重なっているか否かが判別される(ステップS7)。輝点領域が重畳領域と重なっていないと判別された場合には、ステップS9の工程に移行し、公知の方法によって輝点領域内の蛍光粒子の数及び位置が算出される。
輝点領域が重畳領域と重なっていると判別された場合には、ステップS8の工程に移行し、以下に述べるような方法によって、重畳領域に存在する蛍光粒子が所属する細胞が判別される。
図9に、第一実施形態のステップS8における処理の詳細フローを示す。ステップS8においては、まず、重畳領域に存在する複数の細胞の情報(重畳細胞情報)が抽出される。第一実施形態においては、重畳領域に存在する細胞の高さ方向の相対位置関係(細胞の
相対高さ)が重畳細胞情報として抽出される(ステップS801)。
細胞の相対高さの判別方法は任意であるが、例えば、組織標本の下面近くにある細胞は、細胞と対物レンズの間に別の細胞等の組織が存在するため、光の散乱や吸収によって像がボケることを利用して判別することができる。具体的には、例えば、図10(a)の組織標本の断面の模式図で示されるように、重畳領域において2つの細胞40、41が重なっている場合には、重畳領域の輪郭線のうち、上側の細胞40の輪郭による線は下側の細胞41の輪郭による線と比べて明確に観察され、また、輪郭線を挟んだ重畳領域の内外のコントラストが高いことから、細胞の相対高さが判断できる。
図10(b)及び(c)に、2つの細胞が重畳している例を示す。図10(b)の細胞42、43が重畳した重畳領域においては、細胞42の輪郭線は細胞43の輪郭線と比べて明確であり、輪郭線を挟んだ重畳領域の内外のコントラストが高いことから、細胞42が上にあると判断される。図10(c)の細胞44、45が重畳した重畳領域においては、細胞44の輪郭線は明確に観察されるが、細胞45の輪郭線は非常に薄く、輪郭線を挟んだ重畳領域の内外のコントラストが低いことから、細胞44が上側にあると判断される。
次いで、輝点領域が抽出された蛍光画像から、輝点領域内の輝度信号値情報をマップ化した輝度プロファイルが作成され、その輝度プロファイルから各輝点領域における蛍光粒子の数と各蛍光粒子の位置とが算出される(ステップS802)。
「輝度プロファイル」とは、輝点領域が抽出された画像をマスクとして蛍光画像から抽出された画像とに基づき作成される輝度信号値の2次元分布情報であり、輝点領域における輝度信号値とその範囲(輝度分布の広がり)とを示すものである。
すなわち、図11(a)に示すように、蛍光画像から輝点領域が抽出された画像が生成されると、輝点領域ごとに、輝点領域が抽出された画像(図11(b))と、その輝点領域に対応する部位の蛍光画像(図11(c))とが重ね合わされ、輝点領域が抽出された画像をマスクとして、蛍光画像から輝点領域に対応する輝点画像が生成され(図11(d))、その輝点画像に基づき、XY座標平面上における輝度の分布が作成され(図11(e))、これが輝度プロファイルとなる。
なお、輝度プロファイルは、図11(e)に示すように、XY座標平面上における輝度値が2次元的に表現されたものであってもよいし、図11(f)に示すように、各XY座標位置における輝度値(高さ)が3次元的に表現されたものであってもよい。
そして実際のところ、1つの輝点領域には1個または複数個の蛍光粒子が含まれ、かかる輝度プロファイルには蛍光粒子の数と各蛍光粒子の位置に応じた輝度値とその分布が示される。図12〜15の模式図において、左図は蛍光粒子の位置、右図は蛍光粒子が左図の位置にある場合の輝度プロファイルの形状を示す。
例えば、図12(a)に示されるように、1つの輝点領域において、1つの蛍光粒子が組織標本の上側にある場合の輝度プロファイルは、輝度の最大値が大きく、分布範囲が狭いという特徴がある。そして、図12(b)及び(c)に示されるように、蛍光粒子が組織標本の下面近くにあるほど、蛍光粒子の蛍光シグナルが組織を透過する間に散乱するため、輝度の最大値が小さくなり、分布範囲が広がる。
また、同じ高さに近接して存在する複数の蛍光粒子が1つの輝点領域として計測される場合もあり、蛍光粒子の高さ方向位置及び蛍光粒子間の距離に応じて、輝度プロファイルの形状は変化する。例えば、図13(a)に示されるように、2つの蛍光粒子が組織標本の上側に隣接している場合には、蛍光粒子が1つの場合の輝度プロファイルと比較して、
輝度の最大値が大きく、分布範囲は若干広がる。また、図13(b)に示されるように、蛍光粒子が少し離れている場合には、図13(a)と比べて輝度の最大値はやや小さくなり、分布範囲が広がる。蛍光粒子がさらに離れている場合には、図13(c)に示されるように2つのピークが見られ、それぞれのピークの輝度の最大値は蛍光粒子が上面側に1つある場合(図12(a))とほぼ同じである。
また、同一のXY座標位置且つ異なる高さに存在する複数の蛍光粒子が1つの輝点領域として計測される場合もあり、蛍光粒子の位置及び蛍光粒子間の距離に応じて、輝度プロファイルの形状は変化する。例えば、図14(a)に示されるように、2つの蛍光粒子が組織標本の上側に存在している場合には、図12(a)の蛍光粒子の輝度プロファイルと比較して、輝度の最大値は大きくなり、分布範囲の広がりは変化しない。また、図14(b)に示されるように、2つの蛍光粒子が組織標本の上側と下側に離れて存在している場合には、図14(a)と比べて輝度の最大値はやや低くなり、高い輝度の分布範囲はほぼ変わらないが、低い輝度の分布範囲が広がる。また、図14(c)に示されるように、2つの蛍光粒子が組織標本の下側に存在している場合には、輝度の最大値は図14(b)より小さいが、蛍光粒子が組織標本の下側に1つある場合(図12(c))よりは大きい。
また、XY座標位置及び高さが共にずれて近接した複数の蛍光粒子が1つの輝点領域として計測される場合もあり、蛍光粒子の位置及び蛍光粒子間の距離に応じて、輝度プロファイルの形状は変化する。例えば、図15(a)に示されるように、2つの蛍光粒子が組織標本の上側と高さ方向中央に存在している場合には、高さの異なる2つのピークが見られる。また、図15(b)に示されるように、2つの蛍光粒子が組織標本の上側と下側に存在している場合には、図15(a)と比べて2つのピークの高さの差が大きくなり、低輝度領域の分布範囲が広がる。
第一実施形態では、以上のような輝度プロファイルのデータを、基準プロファイルとして予め記憶部25に記憶させておく。組織標本の蛍光画像から得られた輝度プロファイルを基準プロファイルに基づいて解析することで、ステップS802においては、各輝点領域に含まれる蛍光粒子の数及び位置(XY座標位置及び高さ)が算出される。
次いで、ステップS803において、ステップS801で抽出された細胞の相対高さの情報と、ステップS802で算出された蛍光粒子の数及び位置の情報が比較され、重畳領域に存在する蛍光粒子が所属する細胞が判別される。
例えば、細胞が2つ重畳している重畳領域において、ステップS802で蛍光粒子が組織標本の上側に2つあると算出された場合には、2つの蛍光粒子が上側の細胞に所属すると判別される。
こうしてステップS8において判別された重畳領域に存在する蛍光粒子の所属細胞情報及び、ステップS9において算出された、細胞が重畳していない領域における蛍光粒子の数及び位置の情報から、細胞上での蛍光粒子の分布が診断支援情報として生成される(ステップS10)。
(第二実施形態)
以下、第二実施形態の診断支援情報生成システム100の動作について説明する。顕微鏡画像の取得及び図5のステップS1〜ステップS7、ステップS9〜ステップS10の工程は、上述した第一実施形態と同様に行う。
図16に、第二実施形態のステップS8における処理の詳細フローを示す。第二実施形態のステップS8においては、まず、各輝点領域と、輝点領域が存在する重畳領域の輪郭線との距離が算出され(ステップS811)、輝点領域に最も近い輪郭線が属する細胞が判別される(ステップS812)。
次いで、ステップS813において、第一実施形態のステップS802と同様の工程に
より、各輝点領域における蛍光粒子の数と位置が算出される。
ステップS812で判別された輝点領域に最も近い輪郭線が属する細胞に、ステップS813で算出された数の蛍光粒子が所属していると判別される。
こうしてステップS8において判別された重畳領域に存在する蛍光粒子の所属細胞情報及び、ステップS9において算出された、細胞が重畳していない領域における蛍光粒子の数及び位置の情報から、細胞上での蛍光粒子の分布が診断支援情報として生成される(ステップS10)。
第二実施形態の診断支援情報生成システム100は、以下に述べる理由により、細胞膜上に特異的に発現する生体物質の定量において、特に好適である。
図17(a)は、略球形状の細胞42、43が重畳した重畳領域の左端に面積Sの輝点領域5が観察される二次元画像の模式図を示す。図17(b)は、(a)の断面の模式図を示し、2本の点線に挟まれた領域は輝点領域5の範囲を示すものとする。
蛍光粒子が細胞膜上に存在すると仮定すると、輝点領域5が輪郭線付近に観察される細胞42において、蛍光粒子が存在し得る領域は、高さ方向に大きく広がっており(図17(b)、黒の太線)、その面積TはSの約4〜5倍となる。一方、輝点領域5が中央付近に観察される細胞43において、蛍光粒子が存在し得る領域は、高さ方向にほとんど広がりがなく(図17(b)、灰色の太線)、面積Tは細胞43の上側と下側を合わせてSの約2倍となる。従って、図17においては、細胞42は細胞43と比べて蛍光粒子が存在し得る領域の面積Tが大きいことから、蛍光粒子は細胞42に存在する確率が高い。
つまり、蛍光粒子が細胞膜上に特異的に存在している場合には、輝点領域に近い輪郭線をもつ細胞ほど、蛍光粒子が存在し得る領域の面積が広いため、蛍光粒子が所属している確率が高いと考えられる。
なお、1つの輝点領域に蛍光粒子が複数含まれる場合には、重畳領域において重畳している複数の細胞のそれぞれについて面積Tを算出し、面積Tの比に基づいて、各細胞に所属する蛍光粒子数を決定しても良い。
重畳領域の輪郭線と輝点領域の距離から蛍光粒子の所属する細胞を判別する第二実施形態は、重畳している細胞の相対高さを算出する第一実施形態に比して計測が容易であるという利点がある。また、輪郭線の情報だけでなく輝度プロファイルを用いることにより、蛍光粒子数を正確に算出可能である。
なお、第二実施形態において、輝点領域と重畳領域の輪郭線の距離の計測方法は任意である。例えば、輝点領域の中で最も高輝度の座標位置を輝点領域の中心点と設定して、中心点から輪郭線までの距離を計測しても良いし、また、輝点領域の外縁から輪郭線までの距離としても良い。
また、ステップS811の処理の前にステップ813の処理を行って、輝点領域と輪郭線の距離の代わりに、各蛍光粒子と輪郭線の距離を計測して、蛍光粒子に最も近い輪郭線が属する細胞を蛍光粒子の所属細胞と判別しても良い。
(第三実施形態)
以下、第三実施形態の診断支援情報生成システム100の動作について説明する。顕微鏡画像の取得及び図5のステップS1〜ステップS7、ステップS9〜ステップS10の工程は、上述した第一実施形態と同様に行う。
図18に、第三実施形態のステップS8における処理の詳細フローを示す。第三実施形態のステップS8においては、まず、重畳領域において重畳している細胞の生理学的情報が抽出され(ステップS821)、次いで、細胞の生理学的情報に基づいて、蛍光粒子が所属する可能性が高い細胞が判別される(ステップS822)。
ステップS821において抽出される細胞の生理学的情報及び、ステップS822における蛍光粒子が所属する可能性が高い細胞の判別方法は、定量する生体物質や組織標本の種類に応じて、任意の生理学的情報が一つ又は複数抽出され、抽出された生理学的情報の一つ又は複数の組み合わせに基づいて判別されることとすれば良い。例えば、乳癌組織におけるHER2タンパク質を定量する場合には、以下のような例が挙げられる。
一般的に、癌の悪性度が高い細胞ほど、細胞質の面積に対する細胞核の面積比(N/C比)が大きくなることが知られている。そこで、ステップS821において細胞のN/C比が算出され、ステップS822においてN/C比が最大である細胞が判別される。
また、二次元画像上での面積が異なる細胞が観察された場合には、面積が大きい細胞ほど高さ方向にも大きいと考えられる。従って、大きさが異なる細胞が重畳した重畳領域に輝点領域がある場合には、大きい細胞ほど、蛍光粒子が存在し得る領域が大きいため、蛍光粒子が存在する可能性が高いと考えられる。そこで、ステップS821において細胞の面積が抽出され、ステップS822において最も面積が大きい細胞が判別される。
また、一般的に、癌の悪性度が高い細胞ほど、形状が円形でない(円形度が低い)ことが知られている。そこで、ステップS821において細胞の円形度が抽出され、ステップS822において円形度が最も低い細胞が判別される。
円形度の定義は任意であるが、例えば、細胞の面積をS、周囲長をLとした場合に、4πS/Lの式で算出される値が1に近いほど、円形に近く、円形度が高いと定義することができる。
また、癌の悪性度が高い細胞ほど、蛍光粒子数が多いと考えられる。そこで、ステップS821において細胞が重畳していない領域の蛍光粒子数が抽出され、ステップS822において最も蛍光粒子数が多い細胞が判別される。
また、一般的に、癌の悪性度が高い細胞ほど、染色が不均一となって染色ムラが生じ易いことが知られている。そこでステップS821において染色ムラの程度が定量化して抽出され、ステップS822において染色ムラが多い細胞が判別される。
ステップS822の処理の後、第一実施形態のステップS802と同様の工程により、各輝点領域における蛍光粒子の数と各蛍光粒子の位置とが算出され(ステップS823)、ステップS822で判別された細胞に、ステップS823で算出された数の蛍光粒子が所属すると判別される。
こうしてステップS8において判別された重畳領域に存在する蛍光粒子の所属細胞情報及び、ステップS9において算出された、細胞が重畳していない領域における蛍光粒子の数及び位置の情報から、細胞上での蛍光粒子の分布が診断支援情報として生成される(ステップS10)。
上述した第一〜第三実施形態によれば、ステップS1〜ステップS3の処理により細胞の重畳領域が抽出され、ステップS4〜ステップS5の処理により輝点領域が抽出され、その後、ステップS6〜ステップS10の処理により、細胞の重畳領域に存在する蛍光粒子の所属細胞が判別され、各細胞に所属する蛍光粒子の分布が表示されるようになっている。
これにより、重畳領域に存在する蛍光粒子が所属する細胞を判別可能であるため、取得した画像上で細胞が重畳している場合でも、観察対象細胞ごとの特定タンパク質の発現数を正確に定量可能であり、診断の精度が向上する。
なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
上記実施形態においては、ステップS1で入力した明視野画像に対してステップS2〜ステップS3の処理を行って細胞領域及び重畳領域を抽出したが、細胞領域を蛍光物質で染色し、ステップS4で入力する蛍光画像と同じ画像に対して図5のステップS2〜ステップS3の処理を行っても良い。
また、上記実施形態では、1種の特定タンパクのみを定量の対象としたが、複数の特定タンパクに対し、発光波長が互いに異なる2種以上の蛍光粒子を用いてもよい。
かかる場合、ステップS5においてフィルターワーク等を用いてそれぞれの色成分を抽出し、その抽出した色成分(波長成分)ごとにステップS6〜ステップS9の処理を実行すればよい。なお、複数の蛍光物質を用いて染色を行う場合には、蛍光物質の励起光及び蛍光波長が互いに干渉しないような組み合わせを選択する。
また、ステップS8における処理は、第一〜第三実施形態に記載の方法を組み合わせて行っても良い。例えば、第一実施形態に記載の細胞の相対位置情報と、第三実施形態に記載の細胞の大きさの情報を合わせることにより、重畳している細胞の高さ方向位置を詳細に算出でき、蛍光粒子が所属する細胞をより正確に判別可能となる。
また、ステップS802においては、蛍光粒子の数と位置に応じた輝度プロファイルを基準プロファイルとして予め作成して、蛍光画像から作成された輝度プロファイルと照合することで蛍光粒子の数と位置を算出したが、例えば、蛍光粒子1個分の蛍光に基づく基準プロファイルのみを予め作成して、蛍光画像から作成された輝度プロファイルに対して2次元フーリエ変換等の処理を施して波形を分解し、基準プロファイルと比較して、蛍光粒子の数と位置を算出してもよい。
また、蛍光粒子の数と位置だけでなく、例えば蛍光粒子の上方における細胞等の組織の有無を加味した輝度プロファイルを基準プロファイルとして用いても良い。
また、上記実施形態では、特定タンパクの例として乳癌におけるHER2タンパクを挙げたが、これに限定されない。診断対象となる病変(がん)種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた特定タンパクの発現量を定量的に示す特徴量を医師に提供することが可能となる。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてHDDや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、診断支援情報生成システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
1A 顕微鏡画像取得装置
2A 画像処理装置
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
3A ケーブル
40、41、42、43、44、45 細胞
100 診断支援情報生成システム

Claims (10)

  1. 蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成する診断支援情報生成方法において、
    前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力ステップと、
    前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質の位置を算出する生体物質位置算出ステップと、
    前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出ステップと、
    複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出ステップと、
    前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別ステップと、
    前記生体物質判別ステップにおいて前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得ステップと、
    前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別ステップと、
    を有することを特徴とする診断支援情報生成方法。
  2. 請求項1に記載の診断支援情報生成方法において、
    前記生体物質位置算出ステップは、
    前記輝点領域に存在する生体物質の高さを算出することを特徴とする診断支援情報生成方法。
  3. 請求項1又は2に記載の診断支援情報生成方法において、
    前記生体物質位置算出ステップは、
    前記輝点領域の輝度分布を示す輝度プロファイルを作成し、
    前記輝度プロファイルと、予め作成された前記蛍光物質由来の蛍光の輝度分布及び蛍光物質の高さ方向の位置情報を備えた基準プロファイルとに基づいて、前記輝点領域に存在する生体物質の数及び高さを算出することを特徴とする診断支援情報生成方法。
  4. 請求項2又は3に記載の診断支援情報生成方法において、
    前記重畳細胞情報は、前記重畳領域において重畳している複数の前記細胞領域の高さ方向の相対位置情報を含み、
    前記所属判別ステップは、前記生体物質の高さ及び前記細胞領域の高さ方向の相対位置情報から判別することを特徴とする診断支援情報生成方法。
  5. 請求項1〜4の何れか一項に記載の診断支援情報生成方法において、
    前記重畳細胞情報は、前記重畳領域において重畳している複数の前記細胞領域の輪郭線の位置情報を含み、
    前記所属判別ステップは、前記輝点領域に最も近接する前記輪郭線を持つ前記細胞領域に、前記生体物質が所属すると判別することを特徴とする診断支援情報生成方法。
  6. 請求項1〜5の何れか一項に記載の診断支援情報生成方法において、
    前記重畳細胞情報は、前記重畳領域において前記細胞領域が重畳している複数の細胞の生理学的情報を含み、
    前記所属判別ステップは、前記生理学的情報に基づいて前記生体物質が所属する可能性が高い細胞の前記細胞領域を特定し、特定した前記細胞領域に前記生体物質が所属すると判別することを特徴とする診断支援情報生成方法。
  7. 請求項6に記載の診断支援情報生成方法において、
    前記生理学的情報は、前記重畳領域において前記細胞領域が重畳している複数の細胞における、細胞質と核の面積比、細胞の円形度、細胞の面積、前記細胞領域内の輝点数、前記染色試薬による染色の不均一性、の何れか1つ又は複数であることを特徴とする診断支援情報生成方法。
  8. 蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成する画像処理装置において、
    前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段と、
    前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質位置を算出する生体物質位置算出手段と、
    前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出手段と、
    複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出手段と、
    前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別手段と、
    前記生体物質判別手段により、前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得手段と、
    前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別手段と、
    を有することを特徴とする画像処理装置。
  9. 前記画像処理装置と、
    前記画像処理装置で使用される、前記蛍光画像を取得する画像取得装置と、
    を備えることを特徴とする診断支援情報生成システム。
  10. 蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成するコンピュータを、
    前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段、
    前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質位置を算出する生体物質位置算出手段、
    前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出手段、
    複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出手段、
    前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別手段、
    前記生体物質判別手段により前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得手段、
    前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前
    記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別手段、
    として機能させるための画像処理プログラム。
JP2014121078A 2014-06-12 2014-06-12 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム Active JP6337629B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014121078A JP6337629B2 (ja) 2014-06-12 2014-06-12 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014121078A JP6337629B2 (ja) 2014-06-12 2014-06-12 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2016001141A true JP2016001141A (ja) 2016-01-07
JP6337629B2 JP6337629B2 (ja) 2018-06-06

Family

ID=55076810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014121078A Active JP6337629B2 (ja) 2014-06-12 2014-06-12 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6337629B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087853A1 (ja) * 2017-11-06 2019-05-09 コニカミノルタ株式会社 生体物質定量方法、画像処理装置及びプログラム
US10801959B2 (en) 2015-06-18 2020-10-13 Konica Minolta, Inc. Objective biological substance analysis device, analysis system, analysis method, and recording medium storing computer readable analysis program
WO2022102748A1 (ja) * 2020-11-12 2022-05-19 株式会社GramEye 顕微鏡検査支援装置、顕微鏡検査支援方法、自動染色装置、自動染色物質推定システム、プログラム、及び記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000321031A (ja) * 1999-05-11 2000-11-24 Nec Corp 細胞形状抽出装置及び細胞形状抽出方法
JP2010032445A (ja) * 2008-07-30 2010-02-12 Olympus Corp 細胞測定装置および細胞測定方法
JP2012173087A (ja) * 2011-02-21 2012-09-10 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2013146841A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000321031A (ja) * 1999-05-11 2000-11-24 Nec Corp 細胞形状抽出装置及び細胞形状抽出方法
JP2010032445A (ja) * 2008-07-30 2010-02-12 Olympus Corp 細胞測定装置および細胞測定方法
JP2012173087A (ja) * 2011-02-21 2012-09-10 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2013146841A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム
WO2013146843A1 (ja) * 2012-03-30 2013-10-03 コニカミノルタ株式会社 医用画像処理装置及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10801959B2 (en) 2015-06-18 2020-10-13 Konica Minolta, Inc. Objective biological substance analysis device, analysis system, analysis method, and recording medium storing computer readable analysis program
WO2019087853A1 (ja) * 2017-11-06 2019-05-09 コニカミノルタ株式会社 生体物質定量方法、画像処理装置及びプログラム
JPWO2019087853A1 (ja) * 2017-11-06 2020-12-24 コニカミノルタ株式会社 生体物質定量方法、画像処理装置及びプログラム
JP7160047B2 (ja) 2017-11-06 2022-10-25 コニカミノルタ株式会社 生体物質定量方法、画像処理装置及びプログラム
WO2022102748A1 (ja) * 2020-11-12 2022-05-19 株式会社GramEye 顕微鏡検査支援装置、顕微鏡検査支援方法、自動染色装置、自動染色物質推定システム、プログラム、及び記録媒体

Also Published As

Publication number Publication date
JP6337629B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
US11035844B2 (en) Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
JP5892238B2 (ja) 医用画像処理装置及びプログラム
JP5804194B2 (ja) 医用画像処理装置及びプログラム
JP6597316B2 (ja) 画像処理装置及びプログラム
WO2015163211A1 (ja) 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム
JP5768948B1 (ja) 画像処理装置および画像処理プログラム
WO2016136441A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017126420A1 (ja) 画像処理装置及びプログラム
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP5835536B1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
WO2018143406A1 (ja) 画像処理装置及びプログラム
JP6337629B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JP6702339B2 (ja) 画像処理装置及びプログラム
JPWO2019172097A1 (ja) 画像処理方法、画像処理装置及びプログラム
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180423

R150 Certificate of patent or registration of utility model

Ref document number: 6337629

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150