JP2016001141A - 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム - Google Patents
診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム Download PDFInfo
- Publication number
- JP2016001141A JP2016001141A JP2014121078A JP2014121078A JP2016001141A JP 2016001141 A JP2016001141 A JP 2016001141A JP 2014121078 A JP2014121078 A JP 2014121078A JP 2014121078 A JP2014121078 A JP 2014121078A JP 2016001141 A JP2016001141 A JP 2016001141A
- Authority
- JP
- Japan
- Prior art keywords
- region
- cell
- superimposed
- biological material
- fluorescent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
Description
特許文献1に記載の方法によれば、蛍光標識材料として高輝度の蛍光物質内包ナノ粒子を用いることにより、蛍光シグナルが組織の自家蛍光等に埋もれることなくドット状に観察される。これにより、ナノ粒子の蛍光シグナルに基づいて、生体物質の数を容易に計測可能である。
蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成する診断支援情報生成方法において、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力ステップと、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質の位置を算出する生体物質位置算出ステップと、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出ステップと、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出ステップと、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否
かを判別する生体物質判別ステップと、
前記生体物質判別ステップにおいて前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得ステップと、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別ステップと、
を有することを特徴とする診断支援情報生成方法が提供される。
前記生体物質位置算出ステップは、
前記輝点領域に存在する生体物質の高さを算出することを特徴とする診断支援情報生成方法が提供される。
前記生体物質位置算出ステップは、
前記輝点領域の輝度分布を示す輝度プロファイルを作成し、
前記輝度プロファイルと、予め作成された前記蛍光物質由来の蛍光の輝度分布及び蛍光物質の高さ方向の位置情報を備えた基準プロファイルとに基づいて、前記輝点領域に存在する生体物質の数及び高さを算出することを特徴とする診断支援情報生成方法が提供される。
前記重畳細胞情報は、前記重畳領域において重畳している複数の前記細胞領域の高さ方向の相対位置情報を含み、
前記所属判別ステップは、前記生体物質の高さ及び前記細胞領域の高さ方向の相対位置情報から判別することを特徴とする診断支援情報生成方法が提供される。
前記重畳細胞情報は、前記重畳領域において重畳している複数の前記細胞領域の輪郭線の位置情報を含み、
前記所属判別ステップは、前記輝点領域に最も近接する前記輪郭線を持つ前記細胞領域に、前記生体物質が所属すると判別することを特徴とする診断支援情報生成方法が提供される。
前記重畳細胞情報は、前記重畳領域において前記細胞領域が重畳している複数の細胞の生理学的情報を含み、
前記所属判別ステップは、前記生理学的情報に基づいて前記生体物質が所属する可能性が高い細胞の前記細胞領域を特定し、特定した前記細胞領域に前記生体物質が所属すると判別することを特徴とする診断支援情報生成方法が提供される。
前記生理学的情報は、前記重畳領域において前記細胞領域が重畳している複数の細胞における、細胞質と核の面積比、細胞の円形度、細胞の面積、前記細胞領域内の輝点数、前記染色試薬による染色の不均一性、の何れか1つ又は複数であることを特徴とする診断支
援情報生成方法が提供される。
蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成する画像処理装置において、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段と、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質位置を算出する生体物質位置算出手段と、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出手段と、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出手段と、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別手段と、
前記生体物質判別手段により、前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得手段と、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別手段と、
を有することを特徴とする画像処理装置が提供される。
前記画像処理装置と、
前記画像処理装置で使用される、前記蛍光画像を取得する画像取得装置と、
を備えることを特徴とする診断支援情報生成システムが提供される。
蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成するコンピュータを、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質位置を算出する生体物質位置算出手段、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出手段、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出手段、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別手段、
前記生体物質判別手段により前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得手段、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別手段、
として機能させるための画像処理プログラムが提供される。
図1に、本発明の蛍光物質の定量方法を用いた診断支援情報生成システム100の全体構成例を示す。診断支援情報生成システム100は、所定の染色試薬で染色された人体の組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
するものである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/F等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成された正立型、倒立型の何れでも良く、照射した光によりスライド上の組織標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。
本実施の形態において、顕微鏡画像取得装置1Aは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。蛍光観察時の光源としては、水銀ランプ、キセノンランプ、LED、レーザー光など、任意のものが使用できる。
図2に、画像処理装置2Aの機能構成例を示す。図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25等を備えて構成され、各部はバス26を介して接続されている。
その他、画像処理装置2Aは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
明視野画像は、H(ヘマトキシリン)染色試薬、HE(ヘマトキシリン−エオジン)染色試薬を用いて染色された組織標本を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織標本における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織等)を染色する。エオジンは赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織等)を染色する。図3に、HE染色を行った組織標本を撮影した明視野画像の一例を示す。
蛍光画像は、特定の生体物質と特異的に結合及び/又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子(蛍光物質内包ナノ粒子と呼ぶ)を含む染色試薬を用いて染色された組織標本に対し、顕微鏡画像取得装置1Aにおいて所定波長の励起光を照射して蛍光物質内包ナノ粒子を発光(蛍光)させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織標本における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。図4に、蛍光画像の一例を示す。
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬(蛍光物質内包ナノ粒子)、染色試薬による組織標本の染色方法等も含めて詳細に説明する。
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493/503、BODIPY 530/550、BODIPY 558/568、BODIPY 564/57
0、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665(以上インビトロジェン社製)、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5、Cy7、HiLyte Fluor 594(登録商標、アナスペック社製)、DyLight 594(登録商標、サーモサイエンティフィック社製)系色素分子、ATTO 594(登録商標、ATTO-TEC社製)、MFP 594(登録商標、Mobitec社製)、5,10,15,20-テトラフェニルポルフィンテトラスルホン酸、亜鉛5,10,15,20-テトラフェニルポルフィンテトラスルホン酸、フタロシアニンテトラスルホン酸、亜鉛フタロシアニンテトラスルホン酸、N,N-Bis-(2,6-diisopropylphenyl)-1,6,7,12-(4-tert-butylphenoxy)-perylen-3,4,9,10-tetracarbonacid diimide、N,N’-Bis(N,N’-diisopropylphenyl)-1,6,7,12-tetraphenoxyperylene-3,4:9,10-tetracarboxdiimide、Benzenesulfonic acid 4,4',4'',4'''-[(1,3,8,10-tetrahydro-1,3,8,10-tetraoxoperylo[3,4-cd:9,10-c'd']dipyran-5,6,12,13-tetrayl)tetralis(oxy)]tetrakis-等を挙げることができる。単独でも複数種を混合したものを用いてもよい。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)等が挙げられる。
本実施の形態において蛍光物質内包ナノ粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。
692(1992)に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
また、粒径のばらつきを示す変動係数も特に限定されないが、通常は20%以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し1000個の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径としてその算術平均を平均粒径とした。変動係数も、1000個の粒子の粒径分布から算出した値とした。
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び/又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)、抗体等が挙げられる。したがって、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗HER2抗体及び抗ER抗体を蛍光物質内包ナノ粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
を用いることができる。例えば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で12時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC(1-Ethyl-3-[3-Dimethylaminopropyl]carbodiimide Hydrochloride:Pierce(登録商標)社製)のような縮合剤を用いることもできる。
蛍光物質内包メラミンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質内包シリカナノ粒子と同様の手順を適用することができる。また、より反応性を向上させるため、メラミンナノ粒子と多官能性アミン化合物をあらかじめ反応させて表面アミノ基数を増やしても良い。
(Kip1)、p53、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン(D2-40)、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70が挙げられる。
以下、組織標本の染色方法について述べるが、本願発明は組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。
また、以下に説明する染色方法が適用できる組織標本の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01M クエン酸緩衝液(pH6.0)、1mM EDTA溶液(pH8.0)、5% 尿素、0.1M トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50〜130℃、時間は5〜30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の組織標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。
生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織標本に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光物質内包ナノ粒子による染色を行う前に、BSA含有PBS等、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織標本を浸漬させ、未反応蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織標本に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、HE染色試薬を用いて染色を行う場合、カバーガラスによる封入前にHE染色を行う。
染色した組織標本に対し顕微鏡画像取得装置1Aを用いて、広視野の顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
以下、診断支援情報生成システム100において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について具体的な実施形態を挙げて説明する。ここでは、特定のタンパク質(ここでは、乳癌組織におけるHER2タンパクとする。以下、特定タンパクと呼ぶ。)を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明するが、これに限定されるものではない。
まず、操作者は、HE染色試薬と、特定タンパクを認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を蛍光標識材料とした染色試薬との、2種の染色試薬を用いて組織標本を染色する。
その後、顕微鏡画像取得装置1Aにおいて、(a1)〜(a5)の手順により明視野画像及び蛍光画像が取得される。なお、第一実施形態において、顕微鏡画像取得装置1Aは、標本を上方から観察する正立型の顕微鏡とし、標本の厚み方向(顕微鏡の焦点深度が移動する方向)を高さ方向、取得した画像の二次元座標をX座標及びY座標とする。
(a1)操作者は、ヘマトキシリン染色試薬と蛍光物質内包ナノ粒子を含む染色試薬とにより染色された組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織標本上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
図5に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。図5に示す画像解析処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
図6に、ステップS2における処理の詳細フローを示す。ステップS2の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
次いで、モノクロ画像に対し予め定められた閾値を用いて閾値処理が施され、各画素の値が二値化される(ステップS202)。
場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からn×n画素の範囲内にある画素に1つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。図7(b)に、ノイズ処理後の画像の一例を示す。図7(b)に示すように、ノイズ処理後には、細胞が抽出された画像(細胞画像)が生成される。
ステップS5の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
ステップS5においては、まず、図8(a)に示されるような蛍光画像から蛍光輝点の波長に応じた色成分の抽出が行われる。たとえば、蛍光粒子の発光波長が550nmである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。
なお、閾値処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理が施されてもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタが好ましく用いられる。
輝点領域が重畳領域と重なっていると判別された場合には、ステップS8の工程に移行し、以下に述べるような方法によって、重畳領域に存在する蛍光粒子が所属する細胞が判別される。
相対高さ)が重畳細胞情報として抽出される(ステップS801)。
図10(b)及び(c)に、2つの細胞が重畳している例を示す。図10(b)の細胞42、43が重畳した重畳領域においては、細胞42の輪郭線は細胞43の輪郭線と比べて明確であり、輪郭線を挟んだ重畳領域の内外のコントラストが高いことから、細胞42が上にあると判断される。図10(c)の細胞44、45が重畳した重畳領域においては、細胞44の輪郭線は明確に観察されるが、細胞45の輪郭線は非常に薄く、輪郭線を挟んだ重畳領域の内外のコントラストが低いことから、細胞44が上側にあると判断される。
「輝度プロファイル」とは、輝点領域が抽出された画像をマスクとして蛍光画像から抽出された画像とに基づき作成される輝度信号値の2次元分布情報であり、輝点領域における輝度信号値とその範囲(輝度分布の広がり)とを示すものである。
輝度の最大値が大きく、分布範囲は若干広がる。また、図13(b)に示されるように、蛍光粒子が少し離れている場合には、図13(a)と比べて輝度の最大値はやや小さくなり、分布範囲が広がる。蛍光粒子がさらに離れている場合には、図13(c)に示されるように2つのピークが見られ、それぞれのピークの輝度の最大値は蛍光粒子が上面側に1つある場合(図12(a))とほぼ同じである。
例えば、細胞が2つ重畳している重畳領域において、ステップS802で蛍光粒子が組織標本の上側に2つあると算出された場合には、2つの蛍光粒子が上側の細胞に所属すると判別される。
こうしてステップS8において判別された重畳領域に存在する蛍光粒子の所属細胞情報及び、ステップS9において算出された、細胞が重畳していない領域における蛍光粒子の数及び位置の情報から、細胞上での蛍光粒子の分布が診断支援情報として生成される(ステップS10)。
以下、第二実施形態の診断支援情報生成システム100の動作について説明する。顕微鏡画像の取得及び図5のステップS1〜ステップS7、ステップS9〜ステップS10の工程は、上述した第一実施形態と同様に行う。
図16に、第二実施形態のステップS8における処理の詳細フローを示す。第二実施形態のステップS8においては、まず、各輝点領域と、輝点領域が存在する重畳領域の輪郭線との距離が算出され(ステップS811)、輝点領域に最も近い輪郭線が属する細胞が判別される(ステップS812)。
次いで、ステップS813において、第一実施形態のステップS802と同様の工程に
より、各輝点領域における蛍光粒子の数と位置が算出される。
ステップS812で判別された輝点領域に最も近い輪郭線が属する細胞に、ステップS813で算出された数の蛍光粒子が所属していると判別される。
こうしてステップS8において判別された重畳領域に存在する蛍光粒子の所属細胞情報及び、ステップS9において算出された、細胞が重畳していない領域における蛍光粒子の数及び位置の情報から、細胞上での蛍光粒子の分布が診断支援情報として生成される(ステップS10)。
蛍光粒子が細胞膜上に存在すると仮定すると、輝点領域5が輪郭線付近に観察される細胞42において、蛍光粒子が存在し得る領域は、高さ方向に大きく広がっており(図17(b)、黒の太線)、その面積TはSの約4〜5倍となる。一方、輝点領域5が中央付近に観察される細胞43において、蛍光粒子が存在し得る領域は、高さ方向にほとんど広がりがなく(図17(b)、灰色の太線)、面積Tは細胞43の上側と下側を合わせてSの約2倍となる。従って、図17においては、細胞42は細胞43と比べて蛍光粒子が存在し得る領域の面積Tが大きいことから、蛍光粒子は細胞42に存在する確率が高い。
なお、1つの輝点領域に蛍光粒子が複数含まれる場合には、重畳領域において重畳している複数の細胞のそれぞれについて面積Tを算出し、面積Tの比に基づいて、各細胞に所属する蛍光粒子数を決定しても良い。
また、ステップS811の処理の前にステップ813の処理を行って、輝点領域と輪郭線の距離の代わりに、各蛍光粒子と輪郭線の距離を計測して、蛍光粒子に最も近い輪郭線が属する細胞を蛍光粒子の所属細胞と判別しても良い。
以下、第三実施形態の診断支援情報生成システム100の動作について説明する。顕微鏡画像の取得及び図5のステップS1〜ステップS7、ステップS9〜ステップS10の工程は、上述した第一実施形態と同様に行う。
図18に、第三実施形態のステップS8における処理の詳細フローを示す。第三実施形態のステップS8においては、まず、重畳領域において重畳している細胞の生理学的情報が抽出され(ステップS821)、次いで、細胞の生理学的情報に基づいて、蛍光粒子が所属する可能性が高い細胞が判別される(ステップS822)。
円形度の定義は任意であるが、例えば、細胞の面積をS、周囲長をLとした場合に、4πS/L2の式で算出される値が1に近いほど、円形に近く、円形度が高いと定義することができる。
これにより、重畳領域に存在する蛍光粒子が所属する細胞を判別可能であるため、取得した画像上で細胞が重畳している場合でも、観察対象細胞ごとの特定タンパク質の発現数を正確に定量可能であり、診断の精度が向上する。
かかる場合、ステップS5においてフィルターワーク等を用いてそれぞれの色成分を抽出し、その抽出した色成分(波長成分)ごとにステップS6〜ステップS9の処理を実行すればよい。なお、複数の蛍光物質を用いて染色を行う場合には、蛍光物質の励起光及び蛍光波長が互いに干渉しないような組み合わせを選択する。
また、蛍光粒子の数と位置だけでなく、例えば蛍光粒子の上方における細胞等の組織の有無を加味した輝度プロファイルを基準プロファイルとして用いても良い。
その他、診断支援情報生成システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
2A 画像処理装置
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
3A ケーブル
40、41、42、43、44、45 細胞
100 診断支援情報生成システム
Claims (10)
- 蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成する診断支援情報生成方法において、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力ステップと、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質の位置を算出する生体物質位置算出ステップと、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出ステップと、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出ステップと、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別ステップと、
前記生体物質判別ステップにおいて前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得ステップと、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別ステップと、
を有することを特徴とする診断支援情報生成方法。 - 請求項1に記載の診断支援情報生成方法において、
前記生体物質位置算出ステップは、
前記輝点領域に存在する生体物質の高さを算出することを特徴とする診断支援情報生成方法。 - 請求項1又は2に記載の診断支援情報生成方法において、
前記生体物質位置算出ステップは、
前記輝点領域の輝度分布を示す輝度プロファイルを作成し、
前記輝度プロファイルと、予め作成された前記蛍光物質由来の蛍光の輝度分布及び蛍光物質の高さ方向の位置情報を備えた基準プロファイルとに基づいて、前記輝点領域に存在する生体物質の数及び高さを算出することを特徴とする診断支援情報生成方法。 - 請求項2又は3に記載の診断支援情報生成方法において、
前記重畳細胞情報は、前記重畳領域において重畳している複数の前記細胞領域の高さ方向の相対位置情報を含み、
前記所属判別ステップは、前記生体物質の高さ及び前記細胞領域の高さ方向の相対位置情報から判別することを特徴とする診断支援情報生成方法。 - 請求項1〜4の何れか一項に記載の診断支援情報生成方法において、
前記重畳細胞情報は、前記重畳領域において重畳している複数の前記細胞領域の輪郭線の位置情報を含み、
前記所属判別ステップは、前記輝点領域に最も近接する前記輪郭線を持つ前記細胞領域に、前記生体物質が所属すると判別することを特徴とする診断支援情報生成方法。 - 請求項1〜5の何れか一項に記載の診断支援情報生成方法において、
前記重畳細胞情報は、前記重畳領域において前記細胞領域が重畳している複数の細胞の生理学的情報を含み、
前記所属判別ステップは、前記生理学的情報に基づいて前記生体物質が所属する可能性が高い細胞の前記細胞領域を特定し、特定した前記細胞領域に前記生体物質が所属すると判別することを特徴とする診断支援情報生成方法。 - 請求項6に記載の診断支援情報生成方法において、
前記生理学的情報は、前記重畳領域において前記細胞領域が重畳している複数の細胞における、細胞質と核の面積比、細胞の円形度、細胞の面積、前記細胞領域内の輝点数、前記染色試薬による染色の不均一性、の何れか1つ又は複数であることを特徴とする診断支援情報生成方法。 - 蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成する画像処理装置において、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段と、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質位置を算出する生体物質位置算出手段と、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出手段と、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出手段と、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別手段と、
前記生体物質判別手段により、前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得手段と、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別手段と、
を有することを特徴とする画像処理装置。 - 前記画像処理装置と、
前記画像処理装置で使用される、前記蛍光画像を取得する画像取得装置と、
を備えることを特徴とする診断支援情報生成システム。 - 蛍光物質に特定の生体物質を認識する生体物質認識部位を結合したものを染色試薬として用いて染色された組織切片又は培養細胞の標本から、前記生体物質を定量して診断支援情報を生成するコンピュータを、
前記標本における前記生体物質の発現を蛍光輝点で表す蛍光画像を入力する蛍光画像入力手段、
前記蛍光輝点を中心とした輝点領域の蛍光に基づいて、前記蛍光画像から前記生体物質位置を算出する生体物質位置算出手段、
前記蛍光画像と同一視野範囲を撮影した明視野画像又は前記蛍光画像から、細胞の特定の部位を細胞領域として抽出する細胞領域抽出手段、
複数の細胞の前記細胞領域が重畳している重畳領域を抽出する重畳領域抽出手段、
前記重畳領域及び前記生体物質位置から、前記重畳領域に前記生体物質が存在するか否かを判別する生体物質判別手段、
前記生体物質判別手段により前記重畳領域に前記生体物質が存在すると判別された場合に、前記重畳領域において前記細胞領域が重畳している複数の細胞に関する情報を重畳細胞情報として取得する重畳細胞情報取得手段、
前記生体物質位置及び前記重畳細胞情報から、前記重畳領域に存在する生体物質が、前
記重畳領域において重畳している複数の細胞領域の何れに所属しているかを判別する所属判別手段、
として機能させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121078A JP6337629B2 (ja) | 2014-06-12 | 2014-06-12 | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014121078A JP6337629B2 (ja) | 2014-06-12 | 2014-06-12 | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016001141A true JP2016001141A (ja) | 2016-01-07 |
JP6337629B2 JP6337629B2 (ja) | 2018-06-06 |
Family
ID=55076810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014121078A Active JP6337629B2 (ja) | 2014-06-12 | 2014-06-12 | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6337629B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019087853A1 (ja) * | 2017-11-06 | 2019-05-09 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置及びプログラム |
US10801959B2 (en) | 2015-06-18 | 2020-10-13 | Konica Minolta, Inc. | Objective biological substance analysis device, analysis system, analysis method, and recording medium storing computer readable analysis program |
WO2022102748A1 (ja) * | 2020-11-12 | 2022-05-19 | 株式会社GramEye | 顕微鏡検査支援装置、顕微鏡検査支援方法、自動染色装置、自動染色物質推定システム、プログラム、及び記録媒体 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000321031A (ja) * | 1999-05-11 | 2000-11-24 | Nec Corp | 細胞形状抽出装置及び細胞形状抽出方法 |
JP2010032445A (ja) * | 2008-07-30 | 2010-02-12 | Olympus Corp | 細胞測定装置および細胞測定方法 |
JP2012173087A (ja) * | 2011-02-21 | 2012-09-10 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2013146841A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
-
2014
- 2014-06-12 JP JP2014121078A patent/JP6337629B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000321031A (ja) * | 1999-05-11 | 2000-11-24 | Nec Corp | 細胞形状抽出装置及び細胞形状抽出方法 |
JP2010032445A (ja) * | 2008-07-30 | 2010-02-12 | Olympus Corp | 細胞測定装置および細胞測定方法 |
JP2012173087A (ja) * | 2011-02-21 | 2012-09-10 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
WO2013146841A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10801959B2 (en) | 2015-06-18 | 2020-10-13 | Konica Minolta, Inc. | Objective biological substance analysis device, analysis system, analysis method, and recording medium storing computer readable analysis program |
WO2019087853A1 (ja) * | 2017-11-06 | 2019-05-09 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置及びプログラム |
JPWO2019087853A1 (ja) * | 2017-11-06 | 2020-12-24 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置及びプログラム |
JP7160047B2 (ja) | 2017-11-06 | 2022-10-25 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置及びプログラム |
WO2022102748A1 (ja) * | 2020-11-12 | 2022-05-19 | 株式会社GramEye | 顕微鏡検査支援装置、顕微鏡検査支援方法、自動染色装置、自動染色物質推定システム、プログラム、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6337629B2 (ja) | 2018-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11035844B2 (en) | Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method | |
JP6350527B2 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 | |
JP5892238B2 (ja) | 医用画像処理装置及びプログラム | |
JP5804194B2 (ja) | 医用画像処理装置及びプログラム | |
JP6597316B2 (ja) | 画像処理装置及びプログラム | |
WO2015163211A1 (ja) | 生体物質定量方法、画像処理装置、病理診断支援システム及び画像処理プログラム | |
JP5768948B1 (ja) | 画像処理装置および画像処理プログラム | |
WO2016136441A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2017126420A1 (ja) | 画像処理装置及びプログラム | |
JP7173034B2 (ja) | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム | |
JP6493398B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
JP5835536B1 (ja) | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム | |
WO2018143406A1 (ja) | 画像処理装置及びプログラム | |
JP6337629B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
JP6375925B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
JP6702339B2 (ja) | 画像処理装置及びプログラム | |
JPWO2019172097A1 (ja) | 画像処理方法、画像処理装置及びプログラム | |
JP6405985B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6337629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |