JP2016118428A - 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 - Google Patents
画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 Download PDFInfo
- Publication number
- JP2016118428A JP2016118428A JP2014257237A JP2014257237A JP2016118428A JP 2016118428 A JP2016118428 A JP 2016118428A JP 2014257237 A JP2014257237 A JP 2014257237A JP 2014257237 A JP2014257237 A JP 2014257237A JP 2016118428 A JP2016118428 A JP 2016118428A
- Authority
- JP
- Japan
- Prior art keywords
- cell
- region
- image
- image processing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
【課題】細胞を撮影した画像から、細胞の重畳に基づいて観察対象細胞を選択し、正確な診断支援情報を生成する。【解決手段】本発明の画像処理装置は、細胞を撮影した画像を入力する入力手段と、前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出手段と、前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得手段と、前記重畳情報取得手段により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択手段と、前記診断対象領域から前記診断支援情報を生成する生成手段と、を有することを特徴とする。【選択図】図５
Description
本発明は、画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法に関する。
近年、抗体医薬を中心とした分子標的薬治療の広がりに伴い、分子標的薬をより効果的に設計するため、観察対象細胞上の生体物質の定量が求められている。生体物質の存在を確認する方法として、生体物質認識部位が結合された蛍光物質と、生体物質認識部位に対応した生体物質の結合に基づく、組織分析方法が知られている。
例えば、特許文献１には、複数の蛍光物質を内包したナノ粒子を用いて組織切片の特定抗原を染色し、ナノ粒子の蛍光シグナルに基づいて切片中の特定抗原の情報を生成する方法が記載されている。
特許文献１に記載の方法によれば、蛍光標識材料として高輝度の蛍光物質内包ナノ粒子を用いることにより、蛍光シグナルが組織の自家蛍光等に埋もれることなくドット状の蛍光輝点として観察される。これにより、ナノ粒子の蛍光シグナルに基づいて、観察対象細胞における特定抗原の発現を容易に観察し、高精度に定量できる。
特許文献１に記載の方法によれば、蛍光標識材料として高輝度の蛍光物質内包ナノ粒子を用いることにより、蛍光シグナルが組織の自家蛍光等に埋もれることなくドット状の蛍光輝点として観察される。これにより、ナノ粒子の蛍光シグナルに基づいて、観察対象細胞における特定抗原の発現を容易に観察し、高精度に定量できる。
しかし、実際のところ、細胞を撮影した顕微鏡画像においては、複数の細胞或いは細胞核が重畳している場合があるため、特許文献１に記載の方法では、このような重畳している領域に蛍光輝点が存在している場合には、重畳している細胞のいずれに蛍光輝点が所属しているかを判別できないため、１細胞当りの蛍光輝点数や細胞内の蛍光輝点の分布等を診断情報とする場合には、正確な診断情報が生成できず、誤診に繋がる可能性があった。
本発明の主な目的は、細胞を撮影した画像から、細胞の重畳に基づいて観察対象細胞を選択し、正確な診断支援情報を生成することにある。
上記課題を解決するため、請求項１に記載の発明によれば、
細胞を撮影した画像を入力する入力手段と、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出手段と、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得手段と、
前記重畳情報取得手段により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択手段と、
前記診断対象領域から前記診断支援情報を生成する生成手段と、
を備えることを特徴とする画像処理装置が提供される。
細胞を撮影した画像を入力する入力手段と、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出手段と、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得手段と、
前記重畳情報取得手段により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択手段と、
前記診断対象領域から前記診断支援情報を生成する生成手段と、
を備えることを特徴とする画像処理装置が提供される。
請求項２に記載の発明によれば、
前記重畳情報は、個々の前記細胞領域に前記重畳領域が含まれるか否かの情報を含み、
前記選択手段は、前記重畳領域を含まない前記細胞領域を前記診断対象領域として選択することを特徴とする請求項１に記載の画像処理装置が提供される。
前記重畳情報は、個々の前記細胞領域に前記重畳領域が含まれるか否かの情報を含み、
前記選択手段は、前記重畳領域を含まない前記細胞領域を前記診断対象領域として選択することを特徴とする請求項１に記載の画像処理装置が提供される。
請求項３に記載の発明によれば、
前記重畳情報取得手段は、個々の前記細胞領域における前記重畳領域の特徴量を算出する特徴量算出手段を有し、
前記選択手段は、前記特徴量に基づいて、前記診断対象領域を選択することを特徴とする請求項１に記載の画像処理装置が提供される。
前記重畳情報取得手段は、個々の前記細胞領域における前記重畳領域の特徴量を算出する特徴量算出手段を有し、
前記選択手段は、前記特徴量に基づいて、前記診断対象領域を選択することを特徴とする請求項１に記載の画像処理装置が提供される。
請求項４に記載の発明によれば、
前記画像における、前記細胞に発現する特定の生体物質の分布情報を抽出する生体物質抽出手段を有し、
前記選択手段は、前記特徴量と前記生体物質の分布情報に基づいて、前記診断対象領域を選択することを特徴とする請求項３に記載の画像処理装置が提供される。
前記画像における、前記細胞に発現する特定の生体物質の分布情報を抽出する生体物質抽出手段を有し、
前記選択手段は、前記特徴量と前記生体物質の分布情報に基づいて、前記診断対象領域を選択することを特徴とする請求項３に記載の画像処理装置が提供される。
請求項５に記載の発明によれば、
前記選択手段は、個々の前記細胞領域における前記生体物質の発現量と、前記個々の前記細胞領域内の前記重畳領域における前記生体物質の発現量の比に基づいて、前記診断対象領域を選択する
ことを特徴とする請求項４に記載の画像処理装置が提供される。
前記選択手段は、個々の前記細胞領域における前記生体物質の発現量と、前記個々の前記細胞領域内の前記重畳領域における前記生体物質の発現量の比に基づいて、前記診断対象領域を選択する
ことを特徴とする請求項４に記載の画像処理装置が提供される。
請求項６に記載の発明によれば、
前記特徴量は、前記重畳領域の面積と個数のうち少なくとも一方を含む
ことを特徴とする請求項３〜５の何れか一項に記載の画像処理装置が提供される。
前記特徴量は、前記重畳領域の面積と個数のうち少なくとも一方を含む
ことを特徴とする請求項３〜５の何れか一項に記載の画像処理装置が提供される。
請求項７に記載の発明によれば、
請求項１〜６のいずれか一項に記載の画像処理装置と、
前記画像処理装置で使用される、前記画像を取得する画像取得装置と、
を備えることを特徴とする画像処理システムが提供される。
請求項１〜６のいずれか一項に記載の画像処理装置と、
前記画像処理装置で使用される、前記画像を取得する画像取得装置と、
を備えることを特徴とする画像処理システムが提供される。
請求項８に記載の発明によれば、
コンピュータを、
細胞を撮影した画像を入力する入力手段、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出手段、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得手段、
前記重畳情報取得手段により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択手段、
前記診断対象領域から前記診断支援情報を生成する生成手段、
として機能させるための画像処理プログラムが提供される。
コンピュータを、
細胞を撮影した画像を入力する入力手段、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出手段、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得手段、
前記重畳情報取得手段により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択手段、
前記診断対象領域から前記診断支援情報を生成する生成手段、
として機能させるための画像処理プログラムが提供される。
請求項９に記載の発明によれば、
細胞を撮影した画像を入力する入力工程と、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出工程と、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得工程と、
前記重畳情報取得工程により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択工程と、
前記診断対象領域から前記診断支援情報を生成する生成工程と、
を有することを特徴とする画像処理方法が提供される。
細胞を撮影した画像を入力する入力工程と、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出工程と、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得工程と、
前記重畳情報取得工程により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択工程と、
前記診断対象領域から前記診断支援情報を生成する生成工程と、
を有することを特徴とする画像処理方法が提供される。
本発明によれば、細胞を撮影した画像から、細胞の重畳に基づいて観察対象細胞を選択し、正確な診断支援情報を生成することができる。
以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
＜診断支援情報生成システム１００の構成＞
図１に、本発明の蛍光物質の定量方法を用いた診断支援情報生成システム１００の全体構成例を示す。診断支援情報生成システム１００は、所定の染色試薬で染色された人体の組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図１に、本発明の蛍光物質の定量方法を用いた診断支援情報生成システム１００の全体構成例を示す。診断支援情報生成システム１００は、所定の染色試薬で染色された人体の組織標本の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図１に示すように、診断支援情報生成システム１００は、顕微鏡画像取得装置１Ａと、画像処理装置２Ａと、がケーブル３Ａ等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置１Ａと画像処理装置２Ａとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置１Ａと画像処理装置２ＡはＬＡＮ（Local Area Network）により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置１Ａは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織標本の顕微鏡画像を取得し、画像処理装置２Ａに送信するものである。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成された正立型、倒立型の何れでも良く、照射した光によりスライド上の組織標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ（Charge Coupled Device）センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
本実施の形態において、顕微鏡画像取得装置１Ａは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。蛍光観察時の光源としては、水銀ランプ、キセノンランプ、LED、レーザー光など、任意のものが使用できる。
顕微鏡画像取得装置１Ａは、照射手段、結像手段、撮像手段、通信Ｉ／Ｆ等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織標本に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成された正立型、倒立型の何れでも良く、照射した光によりスライド上の組織標本から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、ＣＣＤ（Charge Coupled Device）センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信Ｉ／Ｆは、生成された顕微鏡画像の画像データを画像処理装置２Ａに送信する。
本実施の形態において、顕微鏡画像取得装置１Ａは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野／蛍光を切り替えることが可能である。蛍光観察時の光源としては、水銀ランプ、キセノンランプ、LED、レーザー光など、任意のものが使用できる。
なお、顕微鏡画像取得装置１Ａとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織標本全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置（例えば、特表２００２−５１４３１９号公報参照）等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織標本全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された顕微鏡画像を解析することにより、観察対象の組織標本における特定の生体物質の発現分布を算出する。
図２に、画像処理装置２Ａの機能構成例を示す。図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。
図２に、画像処理装置２Ａの機能構成例を示す。図２に示すように、画像処理装置２Ａは、制御部２１、操作部２２、表示部２３、通信Ｉ／Ｆ２４、記憶部２５等を備えて構成され、各部はバス２６を介して接続されている。
制御部２１は、CPU（Central Processing Unit）、RAM（Random Access Memory）等を備えて構成され、記憶部２５に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置２Ａの動作を統括的に制御する。例えば、制御部２１は、記憶部２５に記憶されているプログラムとの協働により画像解析処理（図５参照）を実行し、細胞領域抽出手段、重畳情報取得手段、選択手段、生成手段、特徴量算出手段、生体物質抽出手段、としての機能を実現する。
操作部２２は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部２１に出力する。
表示部２３は、例えば、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）等のモニタを備えて構成されており、制御部２１から入力される表示信号の指示に従って、各種画面を表示する。本実施の形態において、表示部２３は、画像解析結果を出力するための出力手段として機能する。
通信Ｉ／Ｆ２４は、顕微鏡画像取得装置１Ａをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信Ｉ／Ｆ２４は、画像の入力手段として機能する。
記憶部２５は、例えばHDD（Hard Disk Drive）や半導体の不揮発性メモリー等で構成されている。記憶部２５には、前述のように各種プログラムや各種データ等が記憶されている。
その他、画像処理装置２Ａは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
その他、画像処理装置２Ａは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
本実施の形態における画像処理装置２Ａは、顕微鏡画像取得装置１Ａから送信された明視野画像及び蛍光画像を用いて解析を行うことが好ましい。
明視野画像は、H（ヘマトキシリン）染色試薬、HE（ヘマトキシリン−エオジン）染色試薬を用いて染色された組織標本を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織標本における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織等）を染色する。エオジンは赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織等）を染色する。図３に、HE染色を行った組織標本を撮影した明視野画像の一例を示す。
蛍光画像は、特定の生体物質と特異的に結合及び／又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子（蛍光物質内包ナノ粒子と呼ぶ）を含む染色試薬を用いて染色された組織標本に対し、顕微鏡画像取得装置１Ａにおいて所定波長の励起光を照射して蛍光物質内包ナノ粒子を発光（蛍光）させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織標本における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。図４に、蛍光画像の一例を示す。
明視野画像は、H（ヘマトキシリン）染色試薬、HE（ヘマトキシリン−エオジン）染色試薬を用いて染色された組織標本を、顕微鏡画像取得装置１Ａにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織標本における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など（好塩基性の組織等）を染色する。エオジンは赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など（好酸性の組織等）を染色する。図３に、HE染色を行った組織標本を撮影した明視野画像の一例を示す。
蛍光画像は、特定の生体物質と特異的に結合及び／又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子（蛍光物質内包ナノ粒子と呼ぶ）を含む染色試薬を用いて染色された組織標本に対し、顕微鏡画像取得装置１Ａにおいて所定波長の励起光を照射して蛍光物質内包ナノ粒子を発光（蛍光）させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織標本における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。図４に、蛍光画像の一例を示す。
＜蛍光画像の取得＞
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬（蛍光物質内包ナノ粒子）、染色試薬による組織標本の染色方法等も含めて詳細に説明する。
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬（蛍光物質内包ナノ粒子）、染色試薬による組織標本の染色方法等も含めて詳細に説明する。
〔蛍光物質〕
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット（半導体粒子）を挙げることができる。２００〜７００ｎｍの範囲内の波長の紫外〜近赤外光により励起されたときに、４００〜１１００ｎｍの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット（半導体粒子）を挙げることができる。２００〜７００ｎｍの範囲内の波長の紫外〜近赤外光により励起されたときに、４００〜１１００ｎｍの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor（インビトロジェン社製）系色素分子、BODIPY（インビトロジェン社製）系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、NBD系色素分子、ピレン系色素分子、シアニン系色素分子、芳香族炭化水素系分子等を挙げることができる。
具体的には、５−カルボキシ−フルオレセイン、６−カルボキシ−フルオレセイン、５，６−ジカルボキシ−フルオレセイン、６−カルボキシ−２’，４，４’，５’，７，７’−ヘキサクロロフルオレセイン、６−カルボキシ−２’，４，７，７’−テトラクロロフルオレセイン、６−カルボキシ−４’，５’−ジクロロ−２’，７’−ジメトキシフルオレセイン、ナフトフルオレセイン、５−カルボキシ−ローダミン、６−カルボキシ−ローダミン、５，６−ジカルボキシ−ローダミン、ローダミン ６Ｇ、テトラメチルローダミン、Ｘ−ローダミン、スルホローダミンB、スルホローダミン１０１、及びAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493／503、BODIPY 530／550、BODIPY 558／568、BODIPY 564／570、BODIPY 576／589、BODIPY 581／591、BODIPY 630／650、BODIPY 650／665（以上インビトロジェン社製）、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5、Cy7、HiLyte Fluor 594（登録商標、アナスペック社製）、DyLight 594（登録商標、サーモサイエンティフィック社製）系色素分子、ATTO 594（登録商標、ATTO-TEC社製）、MFP 594（登録商標、Mobitec社製）、5,10,15,20-テトラフェニルポルフィンテトラスルホン酸、亜鉛5,10,15,20-テトラフェニルポルフィンテトラスルホン酸、フタロシアニンテトラスルホン酸、亜鉛フタロシアニンテトラスルホン酸、N,N-Bis-(2,6-diisopropylphenyl)-1,6,7,12-(4-tert-butylphenoxy)-perylen-3,4,9,10-tetracarbonacid diimide、N,N’-Bis(N,N’-diisopropylphenyl)-1,6,7,12-tetraphenoxyperylene-3,4:9,10-tetracarboxdiimide、Benzenesulfonic acid 4,4',4'',4'''-[(1,3,8,10-tetrahydro-1,3,8,10-tetraoxoperylo[3,4-cd:9,10-c'd']dipyran-5,6,12,13-tetrayl)tetralis(oxy)]tetrakis-等を挙げることができる。単独でも複数種を混合したものを用いてもよい。
量子ドットとしては、II−VI族化合物、III−V族化合物、又はIV族元素を成分として含有する量子ドット（それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。）のいずれかを用いることができる。単独でも複数種を混合したものを用いてもよい。
具体的には、ＣｄＳｅ、ＣｄＳ、ＣｄＴｅ、ＺｎＳｅ、ＺｎＳ、ＺｎＴｅ、ＩｎＰ、ＩｎＮ、ＩｎＡｓ、ＩｎＧａＰ、ＧａＰ、ＧａＡｓ、Ｓｉ、Ｇｅが挙げられるが、これらに限定されない。
上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。以下、本明細書中シェルを有する量子ドットの表記法として、コアがＣｄＳｅ、シェルがＺｎＳの場合、ＣｄＳｅ／ＺｎＳと表記する。例えば、ＣｄＳｅ／ＺｎＳ、ＣｄＳ／ＺｎＳ、ＩｎＰ／ＺｎＳ、ＩｎＧａＰ／ＺｎＳ、Ｓｉ／ＳｉＯ2、Ｓｉ／ＺｎＳ、Ｇｅ／ＧｅＯ2、Ｇｅ／ＺｎＳ等を用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）等が挙げられる。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）、表面アミノ基を有するＣｄＳｅ／ＺｎＳ（インビトロジェン社製）等が挙げられる。
〔蛍光物質内包ナノ粒子〕
本実施の形態において蛍光物質内包ナノ粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。
本実施の形態において蛍光物質内包ナノ粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。
本実施の形態で用いられる蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。例えば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア ８巻 ２９２１ページ（１９９２）に記載されているFITC内包シリカ粒子の合成を参考に合成することができる。FITCの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー ３３巻 ５６１ページ（２００９）に記載されているＣｄＴｅ内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許４３２６００８（１９８２）に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許５３２６６９２（１９９２）に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー１９巻６３１ページ（２００１）に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
本実施の形態で用いられる蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、抗原へのアクセスのしやすさや、蛍光粒子の信号がバックグラウンドノイズ（カメラのノイズや細胞の自家蛍光）に埋もれない範囲として、通常は３０〜８００ｎｍ程度である。
また、粒径のばらつきを示す変動係数も特に限定されないが、通常は２０％以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡（SEM）を用いて電子顕微鏡写真を撮影し１０００個の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径としてその算術平均を平均粒径とした。変動係数も、１０００個の粒子の粒径分布から算出した値とした。
また、粒径のばらつきを示す変動係数も特に限定されないが、通常は２０％以下のものを用いることが好ましい。
平均粒径は、走査型電子顕微鏡（SEM）を用いて電子顕微鏡写真を撮影し１０００個の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径としてその算術平均を平均粒径とした。変動係数も、１０００個の粒子の粒径分布から算出した値とした。
〔生体物質認識部位と蛍光物質内包ナノ粒子との結合〕
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び／又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）および核酸（オリゴヌクレオチド、ポリヌクレオチド）、抗体等が挙げられる。従って、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるＨＥＲ２に特異的に結合する抗ＨＥＲ２抗体、細胞核に存在するエストロゲン受容体（ER）に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗ＨＥＲ２抗体及び抗ER抗体を蛍光物質内包ナノ粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び／又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質（ペプチド）および核酸（オリゴヌクレオチド、ポリヌクレオチド）、抗体等が挙げられる。従って、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるＨＥＲ２に特異的に結合する抗ＨＥＲ２抗体、細胞核に存在するエストロゲン受容体（ER）に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗ＨＥＲ２抗体及び抗ER抗体を蛍光物質内包ナノ粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着及び化学吸着等が挙げられる。結合の安定性から共有結合等の結合力の強い結合が好ましい。
また、生体物質認識部位と蛍光物質内包ナノ粒子の間を連結する有機分子があってもよい。例えば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Thermo Scientific社製SM（PEG）12を用いることができる。
蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。例えば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基等の官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤（例えば、Gelest社製PEG-silane no. SIM6492.7）等が挙げられる。シランカップリング剤を用いる場合、２種以上を併用してもよい。
蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。例えば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で１２時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC（1-Ethyl-3-［3-Dimethylaminopropyl］carbodiimide Hydrochloride：Pierce（登録商標）社製）のような縮合剤を用いることもできる。
必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつsulfo-SMCC（Sulfosuccinimidyl 4［N-maleimidomethyl］-cyclohexane-1-carboxylate：Pierce社製）を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基等の官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降EDC又はsulfo-SMCCを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
蛍光物質内包メラミンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質内包シリカナノ粒子と同様の手順を適用することができる。また、より反応性を向上させるため、メラミンナノ粒子と多官能性アミン化合物をあらかじめ反応させて表面アミノ基数を増やしても良い。
蛍光物質内包メラミンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質内包シリカナノ粒子と同様の手順を適用することができる。また、より反応性を向上させるため、メラミンナノ粒子と多官能性アミン化合物をあらかじめ反応させて表面アミノ基数を増やしても良い。
特定抗原を認識する抗体としては、M.アクチン、M.S.アクチン、S.M.アクチン、ACTH、Alk-1、α1-アンチキモトリプシン、α1-アンチトリプシン、AFP、bcl-2、bcl-6、β-カテニン、BCA 225、CA19-9、CA125、カルシトニン、カルレチニン、CD1a、CD3、CD4、CD5、CD8、CD10、CD15、CD20、CD21、CD23、CD30、CD31、CD34、CD43、CD45、CD45R、CD56、CD57、CD61、CD68、CD79a、"CD99、MIC2"、CD138、クロモグラニン、c-KIT、c-MET、コラーゲン タイプIV、Cox-2、サイクリンD1、ケラチン、サイトケラチン（高分子量）、パンケラチン、パンケラチン、サイトケラチン5/6、サイトケラチン 7、サイトケラチン 8、サイトケラチン8/18、サイトケラチン 14、サイトケラチン 19、サイトケラチン 20、CMV、E-カドヘリン、EGFR、ER、EMA、EBV、第VIII因子関連抗原、ファッシン、FSH、ガレクチン-3、ガストリン、GFAP、グルカゴン、グリコフォリン A、グランザイムB、hCG、hGH、ヘリコバクターピロリ、HBc 抗原、HBs 抗原、ヘパトサイト特異抗原、HER2、HSV -I、HSV -II、HHV-8、IgA、IgG、IgM、IGF-1R、インヒビン、インスリン、カッパ L鎖、Ki67、ラムダ L鎖、LH、リゾチーム、マクロファージ、メランA、MLH-1、MSH-2、ミエロパーオキシダーゼ、ミオゲニン、ミオグロビン、ミオシン、ニューロフィラメント、NSE、p27 (Kip1)、p53、p53、P63、PAX 5、PLAP、ニューモシスティス カリニ、ポドプラニン（D2-40）、PGR、プロラクチン、PSA、前立腺酸性フォスファターゼ、Renal Cell Carcinoma、S100、ソマトスタチン、スペクトリン、シナプトフィジン、TAG-72、TdT、サイログロブリン、TSH、TTF-1、TRAcP、トリプターゼ、ビリン、ビメンチン、WT1、Zap-70が挙げられる。
〔染色方法〕
以下、組織標本の染色方法について述べるが、本願発明は組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。
また、以下に説明する染色方法が適用できる組織標本の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
以下、組織標本の染色方法について述べるが、本願発明は組織標本に限定されるものではなく、基板上に固定した細胞等の標本にも適用可能である。
また、以下に説明する染色方法が適用できる組織標本の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
１）脱パラフィン工程
キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
キシレンを入れた容器に組織標本を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に組織標本を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に組織標本を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
２）賦活化処理
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍ クエン酸緩衝液（ｐＨ６．０）、１ｍＭ EDTA溶液（ｐＨ８．０）、５％ 尿素、０．１Ｍ トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０〜１３０℃、時間は５〜３０分で行うことができる。
次いで、PBS（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器に、賦活化処理後の組織標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、０．０１Ｍ クエン酸緩衝液（ｐＨ６．０）、１ｍＭ EDTA溶液（ｐＨ８．０）、５％ 尿素、０．１Ｍ トリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は５０〜１３０℃、時間は５〜３０分で行うことができる。
次いで、PBS（Phosphate Buffered Saline：リン酸緩衝生理食塩水）を入れた容器に、賦活化処理後の組織標本を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。
３）生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いた染色
生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織標本に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
蛍光物質内包ナノ粒子による染色を行う前に、BSA含有PBS等、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織標本を浸漬させ、未反応蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織標本に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、ＨＥ染色試薬を用いて染色を行う場合、カバーガラスによる封入前にHE染色を行う。
生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を組織標本に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次組織標本に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、３０分以上２４時間以下であることが好ましい。
蛍光物質内包ナノ粒子による染色を行う前に、BSA含有PBS等、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の組織標本を浸漬させ、未反応蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、３分以上３０分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。カバーガラスを組織標本に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、ＨＥ染色試薬を用いて染色を行う場合、カバーガラスによる封入前にHE染色を行う。
〔蛍光画像の取得〕
染色した組織標本に対し顕微鏡画像取得装置１Ａを用いて、広視野の顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
染色した組織標本に対し顕微鏡画像取得装置１Ａを用いて、広視野の顕微鏡画像（蛍光画像）を取得する。顕微鏡画像取得装置１Ａにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
＜診断支援情報生成システム１００の動作（画像処理方法を含む。）＞
以下、診断支援情報生成システム１００において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について具体的な実施形態を挙げて説明する。ここでは、特定のタンパク質（ここでは、乳癌組織におけるＨＥＲ２タンパクとする。以下、特定タンパクと呼ぶ。）を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明するが、これに限定されるものではない。
以下、診断支援情報生成システム１００において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について具体的な実施形態を挙げて説明する。ここでは、特定のタンパク質（ここでは、乳癌組織におけるＨＥＲ２タンパクとする。以下、特定タンパクと呼ぶ。）を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明するが、これに限定されるものではない。
まず、操作者は、ヘマトキシリン染色試薬と、特定タンパクを認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を蛍光標識材料とした染色試薬との、２種の染色試薬を用いて組織標本を染色する。
その後、顕微鏡画像取得装置１Ａにおいて、（ａ１）〜（ａ５）の手順により明視野画像及び蛍光画像が取得される。なお、本実施の形態において、顕微鏡画像取得装置１Ａは、標本を上方から観察する正立型の顕微鏡とし、標本の厚み方向（顕微鏡の焦点深度が移動する方向）を高さ方向、取得した画像の二次元座標をＸ座標及びＹ座標とする。
（ａ１）操作者は、ヘマトキシリン染色試薬と蛍光物質内包ナノ粒子を含む染色試薬とにより染色された組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織標本上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
その後、顕微鏡画像取得装置１Ａにおいて、（ａ１）〜（ａ５）の手順により明視野画像及び蛍光画像が取得される。なお、本実施の形態において、顕微鏡画像取得装置１Ａは、標本を上方から観察する正立型の顕微鏡とし、標本の厚み方向（顕微鏡の焦点深度が移動する方向）を高さ方向、取得した画像の二次元座標をＸ座標及びＹ座標とする。
（ａ１）操作者は、ヘマトキシリン染色試薬と蛍光物質内包ナノ粒子を含む染色試薬とにより染色された組織標本をスライドに載置し、そのスライドを顕微鏡画像取得装置１Ａのスライド固定ステージに設置する。
（ａ２）明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織標本上の観察対象の領域を視野に納める。
（ａ３）撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
（ａ４）ユニットを蛍光ユニットに変更する。
（ａ５）視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置２Ａに画像データを送信する。
画像処理装置２Ａにおいては、明視野画像及び蛍光画像に基づき画像解析処理が実行される。
図５に、画像処理装置２Ａにおける画像解析処理のフローチャートを示す。図５に示す画像解析処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
図５に、画像処理装置２Ａにおける画像解析処理のフローチャートを示す。図５に示す画像解析処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
まず、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの明視野画像が入力されると（ステップＳ１）、制御部２１は、明視野画像から細胞の特定の部位（細胞領域）を抽出する（ステップＳ２）。細胞の特定の部位とは、例えば、細胞核、細胞膜などであり、特定タンパクの種類に応じて任意に決められる。本実施の形態においては、ヘマトキシリン染色により青紫色に染色された細胞核を、細胞領域として抽出することとする。
図６に、ステップＳ２における処理の詳細フローを示す。ステップＳ２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
図６に、ステップＳ２における処理の詳細フローを示す。ステップＳ２の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ２においては、まず、明視野画像をモノクロ画像へ変換する（ステップＳ２０１）。図７（ａ）に、明視野画像の一例を示す。
次いで、モノクロ画像に対して、予め定められた閾値を用いて閾値処理を施し、各画素の値を二値化する（ステップＳ２０２）。
次いで、モノクロ画像に対して、予め定められた閾値を用いて閾値処理を施し、各画素の値を二値化する（ステップＳ２０２）。
次いで、ノイズ処理を行う（ステップＳ２０３）。ノイズ処理は、具体的には、二値画像にクロージング処理を施すことにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からｎ×ｎ画素（ｎは２以上の整数）の範囲内にある画素に１つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からｎ×ｎ画素の範囲内にある画素に１つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。図７（ｂ）に、ノイズ処理後の画像の一例を示す。図７（ｂ）に示されるように、ノイズ処理後には、細胞核が抽出された画像（細胞画像）が生成される。
次いで、ノイズ処理後の画像にラベリング処理を施し、抽出された細胞核のそれぞれにラベルを付与する（ステップＳ２０４）。ラベリング処理とは、連結している画素に同じラベル（番号）を付与していくことで画像内のオブジェクトを識別する処理である。ラベリング処理により、ノイズ処理後の画像から各細胞核を識別してラベルを付与することができる。
次いで、ステップＳ３において、制御部２１は、複数の細胞核が重畳している重畳領域に関する情報（重畳情報）を抽出し、重畳領域の特徴量を算出する。重畳情報とは、例えば、各細胞核における重畳領域の有無の情報であり、重畳領域の特徴量とは、例えば、各重畳領域の面積、形状、または色（例えば、ＲＧＢ値）、各々の細胞核当たりの数、等から任意に選択される計測値である。重畳領域の抽出方法は任意であるが、例えば、特開２０００−３２１０３１号公報に記載の方法を用いることができる。具体的には、まず、入力画像から細胞核の中心となる画素を所定の基準に従って選択し、選択されたすべての細胞核の中心画素の周辺画素の濃度勾配の方向から細胞核の輪郭を形成する画素を選択して、重畳領域の有無を判別する。重畳領域が存在する場合には、重畳領域において重畳している細胞核の数及び重畳領域の輪郭を構成する輪郭線を抽出する。
一方、通信Ｉ／Ｆ２４により顕微鏡画像取得装置１Ａからの蛍光画像が入力されると（ステップＳ４）、蛍光画像から蛍光物質内包ナノ粒子（本実施形態では以下単に「蛍光粒子」という。）の蛍光に由来する輝点領域を抽出する（ステップＳ５）。
ステップＳ５の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ５においては、まず、図８（ａ）に示されるような蛍光画像から蛍光輝点の波長に応じた色成分の抽出を行う。たとえば、蛍光粒子の発光波長が５５０ｎｍである場合には、その波長成分を有する蛍光輝点のみを画像として抽出する。
ステップＳ５の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
ステップＳ５においては、まず、図８（ａ）に示されるような蛍光画像から蛍光輝点の波長に応じた色成分の抽出を行う。たとえば、蛍光粒子の発光波長が５５０ｎｍである場合には、その波長成分を有する蛍光輝点のみを画像として抽出する。
次いで、制御部２１は、抽出した画像に閾値処理を施し、二値化画像を生成して、輝点領域を抽出する。図８（ｂ）に、輝点領域が抽出された画像の一例を示す。
なお、閾値処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理を施してもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタが好ましく用いられる。
なお、閾値処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理を施してもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタが好ましく用いられる。
ステップＳ３とステップＳ５の処理の終了後、制御部２１は、重畳領域に基づいて細胞核の選択を行い、診断に適しているか否かを判断する。判断方法は任意であるが、例えば、以下に説明するように診断対象となる細胞核の数に基づいて判断することができる。
病理診断において信頼性の高い診断結果を得るためには、ある一定数以上の細胞核がサンプルとして必要である。また、細胞核の数が過多である場合にはデータの処理が煩雑となるため、細胞核を選択して細胞核の数を適正な値（適正サンプル数）まで減らすことが好ましい。予め設定された所定の基準を用いて、病理診断に適した細胞核を選択することとすれば、さらに診断精度を高めることができるため好適である。
病理診断において信頼性の高い診断結果を得るためには、ある一定数以上の細胞核がサンプルとして必要である。また、細胞核の数が過多である場合にはデータの処理が煩雑となるため、細胞核を選択して細胞核の数を適正な値（適正サンプル数）まで減らすことが好ましい。予め設定された所定の基準を用いて、病理診断に適した細胞核を選択することとすれば、さらに診断精度を高めることができるため好適である。
そこで、ステップＳ３とステップＳ５の処理の終了後、制御部２１は、ステップＳ２で抽出された細胞核から、重畳領域を含まない細胞核を選択し、選択された細胞核の数Ｘを算出して、所定の適正サンプル数の最大値ｋｍａｘ及び最小値ｋｍｉｎと比較して、大小関係を判断する（ステップＳ６）。
少なくとも一部が他の細胞核と重畳している細胞核を削除して、重畳領域を含まない細胞核のみを診断対象として選択することにより、蛍光輝点が帰属している細胞核が正確に判定されるため、診断精度を高めることができる。
少なくとも一部が他の細胞核と重畳している細胞核を削除して、重畳領域を含まない細胞核のみを診断対象として選択することにより、蛍光輝点が帰属している細胞核が正確に判定されるため、診断精度を高めることができる。
選択された細胞核の数Ｘが所定の適正サンプル数の範囲内である場合（ステップＳ６：ｋｍｉｎ≦Ｘ≦ｋｍａｘ）、制御部２１は、ステップＳ９の処理に移行する。
選択された細胞核の数Ｘが所定の適正サンプル数の最大値よりも大きい場合（ステップＳ６：Ｘ＞ｋｍａｘ）、または選択された細胞核の数Ｘが所定の適正サンプル数の最小値よりも小さい場合（ステップＳ６：Ｘ＜ｋｍｉｎ）、制御部２１は、ステップＳ７の処理に移行して、細胞核の選択を実施する。ステップＳ７の処理においては、例えば、重畳領域の特徴量に基づいて診断に適さない細胞核を削除して、所定の条件を満たす細胞核を選択する。
選択された細胞核の数Ｘが所定の適正サンプル数の最大値よりも大きい場合（ステップＳ６：Ｘ＞ｋｍａｘ）、または選択された細胞核の数Ｘが所定の適正サンプル数の最小値よりも小さい場合（ステップＳ６：Ｘ＜ｋｍｉｎ）、制御部２１は、ステップＳ７の処理に移行して、細胞核の選択を実施する。ステップＳ７の処理においては、例えば、重畳領域の特徴量に基づいて診断に適さない細胞核を削除して、所定の条件を満たす細胞核を選択する。
以下の第一〜第四実施形態において、ステップＳ７の処理により細胞核を選択する方法の具体例を説明する。ステップＳ７の処理は、制御部２１と記憶部２５に記憶されているプログラムとの協働により実行される。
（第一実施形態）
第一実施形態のステップＳ７において、制御部２１は、各細胞核における重畳領域の面積の割合に基づいて、細胞核を選択する。図９に、第一実施形態のステップＳ７における処理の詳細フローを示す。
第一実施形態のステップＳ７において、制御部２１は、各細胞核における重畳領域の面積の割合に基づいて、細胞核を選択する。図９に、第一実施形態のステップＳ７における処理の詳細フローを示す。
まず、個々の重畳領域の面積及び個々の細胞核の面積を算出する（ステップＳ７１１）。ここで、細胞核の面積とは、別の細胞と重畳している重畳領域と重畳していない領域を合わせた領域の面積とする。
次いで、一つの細胞核に含まれる重畳領域の面積の割合を、重畳率として算出する（ステップＳ７１２）。
図１０（ａ）の模式図に示されるように、２つの細胞核４０Ａ及び４０Ｂが重畳領域５０で重畳している場合の各細胞核の重畳率は、例えば以下の式で算出することができる。
（細胞核４０Ａの重畳率）＝（重畳領域５０の面積）／（細胞核４０Ａの面積）
（細胞核４０Ｂの重畳率）＝（重畳領域５０の面積）／（細胞核４０Ｂの面積）
次いで、一つの細胞核に含まれる重畳領域の面積の割合を、重畳率として算出する（ステップＳ７１２）。
図１０（ａ）の模式図に示されるように、２つの細胞核４０Ａ及び４０Ｂが重畳領域５０で重畳している場合の各細胞核の重畳率は、例えば以下の式で算出することができる。
（細胞核４０Ａの重畳率）＝（重畳領域５０の面積）／（細胞核４０Ａの面積）
（細胞核４０Ｂの重畳率）＝（重畳領域５０の面積）／（細胞核４０Ｂの面積）
また、図１０（ｂ）の模式図に示されるように３つの細胞核４１Ａ、４１Ｂ、及び４１Ｃが重畳領域５１、５２で重畳している場合には、各細胞核の重畳率は、例えば以下の式で算出することができる。
（細胞核４１Ａの重畳率）＝（重畳領域５１の面積）／（細胞核４１Ａの面積）
（細胞核４１Ｂの重畳率）＝｛（重畳領域５１の面積）＋（重畳領域５２の面積）｝／（細胞核４１Ｂの面積）
（細胞核４１Ｃの重畳率）＝（重畳領域５２の面積）／（細胞核４１Ｃの面積）
（細胞核４１Ａの重畳率）＝（重畳領域５１の面積）／（細胞核４１Ａの面積）
（細胞核４１Ｂの重畳率）＝｛（重畳領域５１の面積）＋（重畳領域５２の面積）｝／（細胞核４１Ｂの面積）
（細胞核４１Ｃの重畳率）＝（重畳領域５２の面積）／（細胞核４１Ｃの面積）
次いで、ステップＳ７１２で算出された重畳率を所定の基準値と比較して（ステップＳ７１３）、細胞核を選択する。例えば、重畳率が所定の基準値以下である細胞核を選択し、重畳率が所定の基準値よりも大きい細胞核を削除する。重畳率の所定の基準値は、任意に設定することができる。
例えば、図１０（ａ）の模式図に示されるような、小さな重畳領域５０のみで重畳している細胞核４０Ａ及び４０Ｂは、重畳率が小さいため、共に選択される。
また、例えば、図１０（ｂ）において、重畳領域５１及び５２で重畳している細胞核４１Ｂは重畳率が所定の基準値よりも大きいため削除され、重畳領域５１及び５２の何れか一方のみで重畳している細胞核４１Ａ及び４１Ｃは、重畳率が所定の基準値よりも小さいため選択される場合がある。このように、同じ重畳領域で重畳している細胞核に、選択されるものと削除されるものが混在している場合には、ステップＳ７の処理後には、例えば図１１（ｂ）のように、削除される細胞核４１Ｂの重畳していない領域のみが削除され（図１１において、削除される輪郭は点線で示される。）、選択される細胞核４１Ａ又は４１Ｃとの重畳領域５１及び５２は削除されない。なお、重畳領域において重畳している細胞核が全て削除される場合には、重畳領域も削除される。
また、例えば図１０（ｃ）の模式図に示される細胞４２Ｄのように重畳している細胞核の数が多く、３つの細胞核４２Ａ、４２Ｂ、４２Ｃと重畳していても、重畳率が小さい場合には、削除されない。
また、例えば、図１０（ｂ）において、重畳領域５１及び５２で重畳している細胞核４１Ｂは重畳率が所定の基準値よりも大きいため削除され、重畳領域５１及び５２の何れか一方のみで重畳している細胞核４１Ａ及び４１Ｃは、重畳率が所定の基準値よりも小さいため選択される場合がある。このように、同じ重畳領域で重畳している細胞核に、選択されるものと削除されるものが混在している場合には、ステップＳ７の処理後には、例えば図１１（ｂ）のように、削除される細胞核４１Ｂの重畳していない領域のみが削除され（図１１において、削除される輪郭は点線で示される。）、選択される細胞核４１Ａ又は４１Ｃとの重畳領域５１及び５２は削除されない。なお、重畳領域において重畳している細胞核が全て削除される場合には、重畳領域も削除される。
また、例えば図１０（ｃ）の模式図に示される細胞４２Ｄのように重畳している細胞核の数が多く、３つの細胞核４２Ａ、４２Ｂ、４２Ｃと重畳していても、重畳率が小さい場合には、削除されない。
標本の種類によっては、画像内の殆どの細胞核が少なくとも一部に重畳領域を含んでいる場合があり、その場合、ステップＳ６の選択方法では、殆どの細胞核が削除されて、十分なサンプル数が得られない場合がある。しかし、重畳領域の面積が小さい場合には、重畳領域に起因する診断の誤差は小さいと考えられる。従って、第一実施形態のステップＳ７の処理のように重畳率に基づいて細胞核を選択すれば、選択される細胞核を増やし、かつ、細胞核の重畳に起因する診断の誤差を抑えることができる。
（第二実施形態）
第二実施形態のステップＳ７において、制御部２１は、重畳している細胞核の個数を細胞核ごとに計測して、重畳している細胞核の数に基づいて細胞核を選択する。
例えば、重畳している細胞核の数が１つ以下である細胞核を選択する場合、図１０（ａ）に示される細胞核４０Ａ及び４０Ｂは、それぞれ１つの細胞核とのみ重畳しているため、共に選択される（図１１（ａ））。一方、図１０（ｂ）に示される細胞核４１Ａ及び４１Ｃは、それぞれ１つの細胞核と重畳し、細胞核４１Ｂは２つの細胞と重畳しているため、細胞核４１Ａ及び４１Ｃは選択されて、細胞核４１Ｂは削除される。
また、図１０（ｃ）に示される細胞核４２Ａ、４２Ｂ、４２Ｃ、及び４２Ｄのうち、細胞核４２Ｄは、３つの細胞核と重畳しているため削除されるが、細胞核４２Ａ、４２Ｂ、４２Ｃは、いずれも１つ重畳領域でのみ重畳しているため、選択されて、ステップＳ７の処理後は、図１１（ｃ）に示されるように、細胞核４２Ｄの重畳していない領域のみが削除される。
第二実施形態のステップＳ７において、制御部２１は、重畳している細胞核の個数を細胞核ごとに計測して、重畳している細胞核の数に基づいて細胞核を選択する。
例えば、重畳している細胞核の数が１つ以下である細胞核を選択する場合、図１０（ａ）に示される細胞核４０Ａ及び４０Ｂは、それぞれ１つの細胞核とのみ重畳しているため、共に選択される（図１１（ａ））。一方、図１０（ｂ）に示される細胞核４１Ａ及び４１Ｃは、それぞれ１つの細胞核と重畳し、細胞核４１Ｂは２つの細胞と重畳しているため、細胞核４１Ａ及び４１Ｃは選択されて、細胞核４１Ｂは削除される。
また、図１０（ｃ）に示される細胞核４２Ａ、４２Ｂ、４２Ｃ、及び４２Ｄのうち、細胞核４２Ｄは、３つの細胞核と重畳しているため削除されるが、細胞核４２Ａ、４２Ｂ、４２Ｃは、いずれも１つ重畳領域でのみ重畳しているため、選択されて、ステップＳ７の処理後は、図１１（ｃ）に示されるように、細胞核４２Ｄの重畳していない領域のみが削除される。
標本の種類によっては、画像内の殆どの細胞核が、少なくとも一部に重畳領域を含んでいる場合があり、その場合、ステップＳ６の選択方法では、殆どの細胞核が削除されて、十分なサンプル数が得られない場合がある。また、１つの細胞核が、周辺の多数の細胞領域と重畳している場合には、細胞核の輪郭の正確な抽出が難しい場合が多いため、重畳している細胞核の個数が少ないほど、重畳領域に起因する診断の誤差は小さいと考えられる。従って、第二実施形態のステップＳ７の処理のように、重畳している細胞核の数に基づいて細胞核を選択すれば、選択される細胞核を増やし、かつ、細胞核の重畳に起因する診断の誤差を抑えることができる。
（第三実施形態）
第三実施形態のステップＳ７において、制御部２１は、第一実施形態において記載した重畳率及び第二実施形態において記載した重畳している細胞核の数の両方に基づいて、細胞核を選択する。図１２に、第三実施形態のステップＳ７における処理の詳細フローを示す。
第三実施形態のステップＳ７において、制御部２１は、第一実施形態において記載した重畳率及び第二実施形態において記載した重畳している細胞核の数の両方に基づいて、細胞核を選択する。図１２に、第三実施形態のステップＳ７における処理の詳細フローを示す。
まず、第二実施形態と同様に、重畳している細胞核の数に基づいて細胞核を選択する（ステップＳ７３１）。次いで、ステップＳ７３１の処理により選択された細胞核に対して、第一実施形態と同様の処理を実行して細胞核ごとに重畳率を計算し、重畳率が所定の基準値以下である細胞核を選択する（ステップＳ７３２〜Ｓ７３４）。
第三実施形態のステップＳ７の処理によれば、第一実施形態及び第二実施形態の細胞核の選択方法を組み合わせることにより、重畳領域の面積が少なく、かつ、重畳している細胞核の数が少ない細胞核が選択されるので、第一実施形態及び第二実施形態と比較すると、選択される細胞核の数は減少するが、細胞核の重畳に起因する診断の誤差をさらに抑えることができる。
なお、上記第三実施形態の細胞核の選択方法では、第二実施形態と同様の細胞核の選択方法（ステップＳ７３１）に次いで、第一実施形態（ステップＳ７３２〜Ｓ７３４）と同様の細胞核の選択方法を実施することとしたが、第一実施形態と同様の細胞核の選択方法に次いで、第二実施形態と同様の細胞核の選択方法を実施しても良い。
なお、上記第三実施形態の細胞核の選択方法では、第二実施形態と同様の細胞核の選択方法（ステップＳ７３１）に次いで、第一実施形態（ステップＳ７３２〜Ｓ７３４）と同様の細胞核の選択方法を実施することとしたが、第一実施形態と同様の細胞核の選択方法に次いで、第二実施形態と同様の細胞核の選択方法を実施しても良い。
（第四実施形態）
第四実施形態のステップＳ７において、制御部２１は、重畳領域に存在する蛍光輝点の数に基づいて細胞核を選択する。図１３に、第四実施形態のステップＳ７における処理の詳細フローを示す。
第四実施形態のステップＳ７において、制御部２１は、重畳領域に存在する蛍光輝点の数に基づいて細胞核を選択する。図１３に、第四実施形態のステップＳ７における処理の詳細フローを示す。
まず、細胞核および重畳領域が抽出された明視野画像と、蛍光輝点が抽出された蛍光画像を重ね合わせ（ステップＳ７４１）、各重畳領域に含まれる蛍光輝点の数（重畳輝点数）、及び各細胞核内の重畳していない領域に含まれる蛍光輝点数（重畳外輝点数）を算出する（ステップＳ７４２）。
次いで、各細胞核に含まれる総輝点数（重畳輝点数と重畳外輝点数の和）に対する重畳外輝点数の割合を、重畳輝点率として算出する（ステップＳ７４３）。
図１４（ａ）のように二つの細胞核４３Ａ及び４３Ｂが重畳領域５３で重畳して、●で示される蛍光輝点が分布している場合、各細胞核の重畳輝点率は、例えば以下のように計算される。
（細胞核４３Ａの重畳輝点率）＝（重畳領域５３の重畳輝点数）／（細胞核４３Ａの総輝点数）＝２／９＝０．２２
（細胞核４３Ｂの重畳輝点率）＝（重畳領域５３の重畳輝点数）／（細胞核４３Ｂの総輝点数）＝２／３＝０．６６
図１４（ａ）のように二つの細胞核４３Ａ及び４３Ｂが重畳領域５３で重畳して、●で示される蛍光輝点が分布している場合、各細胞核の重畳輝点率は、例えば以下のように計算される。
（細胞核４３Ａの重畳輝点率）＝（重畳領域５３の重畳輝点数）／（細胞核４３Ａの総輝点数）＝２／９＝０．２２
（細胞核４３Ｂの重畳輝点率）＝（重畳領域５３の重畳輝点数）／（細胞核４３Ｂの総輝点数）＝２／３＝０．６６
また、図１４（ｂ）のように３つの細胞４４Ａ、４４Ｂ、及び４４Ｃが重畳領域５４、５５で重畳している場合には、各細胞の重畳輝点率は、例えば以下のように計算される。
（細胞核４４Ａの重畳輝点率）＝（重畳領域５４の重畳輝点数）／（細胞核４４Ａの総輝点数）＝１／９＝０．１１
（細胞核４４Ｂの重畳輝点率）＝｛（重畳領域５４の重畳輝点数）＋（重畳領域５５の重畳輝点数）｝／（細胞核４４Ｂの総輝点数）＝７／１０＝０．７
（細胞核４４Ｃの重畳輝点率）＝（重畳領域５５の重畳輝点数）／（細胞核４４Ｃの総輝点数）＝６／８＝０．７５
（細胞核４４Ａの重畳輝点率）＝（重畳領域５４の重畳輝点数）／（細胞核４４Ａの総輝点数）＝１／９＝０．１１
（細胞核４４Ｂの重畳輝点率）＝｛（重畳領域５４の重畳輝点数）＋（重畳領域５５の重畳輝点数）｝／（細胞核４４Ｂの総輝点数）＝７／１０＝０．７
（細胞核４４Ｃの重畳輝点率）＝（重畳領域５５の重畳輝点数）／（細胞核４４Ｃの総輝点数）＝６／８＝０．７５
次いで、ステップＳ７４３で算出された重畳輝点率を所定の基準値と比較して（ステップＳ７４４）、細胞核を選択する。例えば、重畳輝点率が所定の基準値以下である細胞核を選択し、重畳輝点率が所定の基準値よりも大きい細胞核を削除する。重畳輝点率の所定の基準値は任意に設定することができる。例えば、所定の基準値を０．３とした場合、上述した図１４の模式図に示される細胞においては、重畳輝点率がそれぞれ０．２２及び０．１１である細胞核４３Ａ及び４４Ａのみが選択され、細胞核４３Ｂ、４４Ｂ、及び４４Ｃは、重畳輝点率が大きいため削除される。このように、同じ重畳領域で重畳している細胞核であっても、細胞核全体に含まれる蛍光輝点数（総輝点数）に応じて、ステップＳ７の処理により選択されるか削除されるかは異なる場合がある。
図１５（ａ）及び（ｂ）は、それぞれ、図１４（ａ）及び（ｂ）から細胞核が選択された画像を示す。図１５（ａ）では、細胞核４３Ｂの重畳していない領域のみが削除され（図１５において、削除される輪郭は点線で示される。）、細胞核４３Ａに含まれる重畳領域５３は削除されない。また、選択されない細胞核４４Ｂに含まれる重畳領域５４、５５に関しては、重畳領域５４は、選択される細胞核４４Ａに含まれるため削除されないが、重畳領域５５のように、重畳している細胞核４４Ｂ及び４４Ｃが全て削除される場合には、削除される。
以上の第一〜第四実施形態の何れかの方法を用いてステップＳ７の処理が終了した後、制御部２１は、ステップＳ８の処理を実行して、ステップＳ７で選択された細胞核の数Ｘが所定の適正サンプル数の範囲内か否かを判断する。
ステップＳ８においては、ステップＳ７で選択された細胞核に対して、ステップＳ６と同様の、所定の適正サンプル数との比較を行う。
細胞核の数Ｘが所定の適正サンプル数の最小値よりも小さい場合（ステップＳ８：Ｘ＜ｋｍｉｎ）、または細胞核の数Ｘが所定の適正サンプル数の最大値よりも大きい場合（ステップＳ８：Ｘ＞ｋｍａｘ）には、ステップＳ７の処理に戻り、既に実施した細胞核の選択方法とは別の方法を用いて細胞核を選択する。別の方法とは、上述した第一〜第四実施形態のうち、異なる実施形態の方法を用いても良いし、第一〜第四実施形態の何れかの方法を、各実施形態で設定される所定の基準値を変更して、繰り返し用いても良い。
細胞核の数Ｘが所定の適正サンプル数の最小値よりも小さい場合（ステップＳ８：Ｘ＜ｋｍｉｎ）、または細胞核の数Ｘが所定の適正サンプル数の最大値よりも大きい場合（ステップＳ８：Ｘ＞ｋｍａｘ）には、ステップＳ７の処理に戻り、既に実施した細胞核の選択方法とは別の方法を用いて細胞核を選択する。別の方法とは、上述した第一〜第四実施形態のうち、異なる実施形態の方法を用いても良いし、第一〜第四実施形態の何れかの方法を、各実施形態で設定される所定の基準値を変更して、繰り返し用いても良い。
ステップＳ８で細胞核の数Ｘが所定の適正サンプル数の最大値よりも大きい（ステップＳ８：Ｘ＞ｋｍａｘ）と判断された後にステップＳ７の処理に移行した場合のステップＳ７における細胞核の選択は、直前のステップＳ７の処理後の細胞核に対して行ってもよいし、ステップＳ２で抽出された細胞核に対して行うこととしてもよい。
また、ステップＳ８で細胞核の数Ｘが所定の適正サンプル数の最小値よりも小さい（ステップＳ８：Ｘ＜ｋｍｉｎ）と判断された後にステップＳ７の処理に移行した場合のステップＳ７における細胞核の選択は、直前のステップＳ７の処理前の細胞核に対して行ってもよいし、ステップＳ２で抽出された細胞核に対して行ってもよい。
また、ステップＳ８で細胞核の数Ｘが所定の適正サンプル数の最小値よりも小さい（ステップＳ８：Ｘ＜ｋｍｉｎ）と判断された後にステップＳ７の処理に移行した場合のステップＳ７における細胞核の選択は、直前のステップＳ７の処理前の細胞核に対して行ってもよいし、ステップＳ２で抽出された細胞核に対して行ってもよい。
ステップＳ８で細胞核の数Ｘが所定の適正サンプル数の範囲内である場合（ステップＳ８：ｋｍｉｎ≦Ｘ≦ｋｍａｘ）、制御部２１は、ステップＳ９の処理に移行する。
次いで、ステップＳ６又はステップＳ８で細胞核の数Ｘが適正サンプル数の範囲内である（ステップＳ６及びステップＳ８：ｋｍｉｎ≦Ｘ≦ｋｍａｘ）と判断された細胞核を診断対象領域として、診断支援情報が生成される（ステップＳ９）。診断支援情報としては、特に限定されないが、例えば、細胞核に対応する蛍光輝点の分布の偏り等が評価され、また細胞核に対応する蛍光輝点数をヒストグラム化して一定数以上の蛍光輝点を有する核領域数の比率等も好ましく用いられる。また、診断対象領域を表示した明視野画像と、輝点領域を抽出した蛍光画像の加算処理が行われ、診断対象領域における輝点領域の分布が画像処理装置２Ａの表示部２３に表示される。
以上説明した本発明の実施の形態によれば、ステップＳ１〜ステップＳ３の処理により細胞を撮影した画像から、細胞領域（例えば、細胞核など）及び重畳領域が抽出され、ステップＳ４〜ステップＳ５の処理により特定の生体物質の発現を示す輝点領域が抽出される。その後、ステップＳ６〜ステップＳ８の処理により、細胞領域が選択されて、ステップＳ９の処理においては、選択された細胞領域を診断対象領域として診断支援情報が生成されるようになっている。
ステップＳ６及びステップＳ７の処理により、画像内の細胞領域から重畳領域に基づいて診断に適した細胞領域を適宜選択して診断を行うため、診断精度が向上する。
ステップＳ６及びステップＳ７の処理により、画像内の細胞領域から重畳領域に基づいて診断に適した細胞領域を適宜選択して診断を行うため、診断精度が向上する。
また、細胞領域が重畳していても、重畳領域の面積が小さい場合には、重畳領域に起因する診断の誤差は小さいと考えられることや、１つの細胞領域が周辺の多数の細胞領域と重畳している場合には、細胞領域の輪郭の正確な抽出が困難である場合が多いことから、各細胞領域に対する重畳領域の面積及び／又は個数に基づいて細胞領域を選択すれば、画像内に重畳している細胞領域が多い場合であっても、診断対象領域のサンプリング数を確保しつつ、診断に適した診断対象領域を適宜選択可能である。
また、大きな重畳領域が含まれる細胞領域であっても、重畳領域に発現している特定タンパクが少ない場合には、重畳領域に起因する診断の誤差は小さいと考えられる。従って、重畳領域に発現している特定タンパクの量に基づいて細胞領域を選択することによっても、病理診断のための細胞領域のサンプリング数を確保しつつ、診断に適した診断対象領域を選択可能である。
なお、上記本実施の形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
上記実施の形態においては、明視野画像から細胞核及び重畳領域を抽出し、蛍光画像から特定タンパクを抽出したが、例えば、蛍光物質を用いて細胞核を染色して、蛍光画像から細胞核及び重畳領域を抽出しても良い。また、例えば、明視野画像で視認可能な標識材料を用いて特定タンパクを染色して、明視野画像から特定タンパクの発現位置を抽出しても良い。
また、上記実施の形態においては、ステップＳ６において重畳領域を含まない細胞核を選択することとしたが、ステップＳ７の第一〜第四実施形態の何れかの方法を用いて選択しても良い。また、ステップＳ７において、重畳領域を含まない細胞核を選択することとしてもよい。
また、上記実施の形態においては、細胞核の数Ｘが所定の適正サンプル数の範囲内となるまでステップＳ７〜Ｓ８の処理を繰り返すこととなるが、ステップＳ８において細胞核の数Ｘが適正サンプル数の最大値より大きいと判断された場合であっても、所定のステップＳ７の処理を実施して、診断に適した細胞核が選択された後には、ステップＳ９の処理に移行して診断情報を生成することとしてもよい。
また、ステップＳ２で抽出された細胞核の数Ｘに関わらず、重畳率、重畳領域の数、重畳輝点率などに基づく所定の方法で細胞核を選択することが好ましい場合には、ステップＳ６及びステップＳ８の処理を実施せず、ステップＳ３及びステップＳ５の処理の終了後、ステップＳ７の処理に移行して重畳率、重畳領域の数、重畳輝点率などに基づく所定の方法で細胞核を選択して、ステップＳ９の診断情報の生成を行うこととしても良い。
また、ステップＳ６またはステップＳ８において選択された細胞核の数Ｘが所定の適正サンプル数の最小値よりも小さい場合（ステップＳ６：Ｘ＜ｋｍｉｎ）には、画像を取得する視野範囲の変更を操作者に指示する画面を表示部２３に表示して、視野範囲を変えた明視野画像及び蛍光画像が入力されると、図５の画像解析処理をステップＳ１から再度実行することとしても良い。この場合には、視野範囲を変えた後の明視野画像及び蛍光画像のみに対して画像解析処理を行っても良いし、また、視野範囲を変える前の明視野画像及び蛍光画像に、視野範囲を変えた後の明視野画像及び蛍光画像を合わせて画像解析処理を行っても良い。
また、上記実施の形態では、１種の特定タンパクのみを診断対象としたが、複数の特定タンパクに対し、発光波長が互いに異なる２種以上の蛍光粒子を用いてもよい。
かかる場合、複数の蛍光物質を用いて染色を行う場合には、蛍光物質の励起光及び蛍光波長が互いに干渉しないような組み合わせを選択し、蛍光粒子の発光波長ごとにステップＳ５の輝点領域抽出の処理を実行すればよい。
かかる場合、複数の蛍光物質を用いて染色を行う場合には、蛍光物質の励起光及び蛍光波長が互いに干渉しないような組み合わせを選択し、蛍光粒子の発光波長ごとにステップＳ５の輝点領域抽出の処理を実行すればよい。
また、上記実施の形態では、特定タンパクの例として乳癌組織におけるＨＥＲ２タンパクを挙げたが、これに限定されない。診断対象となる病変（がん）種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた特定タンパクの発現量を定量的に示す特徴量を医師に提供することが可能となる。
ステップＳ９においては、特定タンパクの種類、細胞の種類、診断対象となる病変種、及び染色方法等に応じて、診断対象領域における任意の特徴量を抽出して診断支援情報とする。特徴量の具体例としては、診断対象領域における特定タンパクの発現量又は発現位置、診断対象領域の大きさ又は形状等を挙げることができる。
ステップＳ９においては、特定タンパクの種類、細胞の種類、診断対象となる病変種、及び染色方法等に応じて、診断対象領域における任意の特徴量を抽出して診断支援情報とする。特徴量の具体例としては、診断対象領域における特定タンパクの発現量又は発現位置、診断対象領域の大きさ又は形状等を挙げることができる。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＨＤＤや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。
その他、診断支援情報生成システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
その他、診断支援情報生成システム１００を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
１Ａ 顕微鏡画像取得装置
２Ａ 画像処理装置
２１ 制御部（細胞領域抽出手段、重畳情報取得手段、選択手段、生成手段、特徴量算出手段、生体物質抽出手段）
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ（入力手段）
２５ 記憶部
２６ バス
３Ａ ケーブル
１００ 診断支援情報生成システム
２Ａ 画像処理装置
２１ 制御部（細胞領域抽出手段、重畳情報取得手段、選択手段、生成手段、特徴量算出手段、生体物質抽出手段）
２２ 操作部
２３ 表示部
２４ 通信Ｉ／Ｆ（入力手段）
２５ 記憶部
２６ バス
３Ａ ケーブル
１００ 診断支援情報生成システム
Claims (9)
- 細胞を撮影した画像を入力する入力手段と、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出手段と、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得手段と、
前記重畳情報取得手段により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択手段と、
前記診断対象領域から前記診断支援情報を生成する生成手段と、
を有することを特徴とする画像処理装置。 - 前記重畳情報は、個々の前記細胞領域に前記重畳領域が含まれるか否かの情報を含み、
前記選択手段は、前記重畳領域を含まない前記細胞領域を前記診断対象領域として選択することを特徴とする請求項１に記載の画像処理装置。 - 前記重畳情報取得手段は、個々の前記細胞領域における前記重畳領域の特徴量を算出する特徴量算出手段を有し、
前記選択手段は、前記特徴量に基づいて、前記診断対象領域を選択することを特徴とする請求項１に記載の画像処理装置。 - 前記画像における、前記細胞に発現する特定の生体物質の分布情報を抽出する生体物質抽出手段を有し、
前記選択手段は、前記特徴量と前記生体物質の分布情報に基づいて、前記診断対象領域を選択することを特徴とする請求項３に記載の画像処理装置。 - 前記選択手段は、個々の前記細胞領域における前記生体物質の発現量と、前記個々の前記細胞領域内の前記重畳領域における前記生体物質の発現量の比に基づいて、前記診断対象領域を選択する
ことを特徴とする請求項４に記載の画像処理装置。 - 前記特徴量は、前記重畳領域の面積と個数のうち少なくとも一方を含む
ことを特徴とする請求項３〜５の何れか一項に記載の画像処理装置。 - 請求項１〜６のいずれか一項に記載の画像処理装置と、
前記画像処理装置で使用される、前記画像を取得する画像取得装置と、
を備えることを特徴とする画像処理システム。 - コンピュータを、
細胞を撮影した画像を入力する入力手段、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出手段、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得手段、
前記重畳情報取得手段により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択手段、
前記診断対象領域から前記診断支援情報を生成する生成手段、
として機能させるための画像処理プログラム。 - 細胞を撮影した画像を入力する入力工程と、
前記画像から、前記細胞の特定構造を細胞領域として抽出する細胞領域抽出工程と、
前記細胞領域が他の前記細胞領域と重畳した重畳領域に関する重畳情報を取得する重畳情報取得工程と、
前記重畳情報取得工程により取得された前記重畳情報に基づいて、前記細胞領域から、診断支援情報を生成する対象となる診断対象領域を選択する選択工程と、
前記診断対象領域から前記診断支援情報を生成する生成工程と、
を有することを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014257237A JP6405985B2 (ja) | 2014-12-19 | 2014-12-19 | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014257237A JP6405985B2 (ja) | 2014-12-19 | 2014-12-19 | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016118428A true JP2016118428A (ja) | 2016-06-30 |
| JP6405985B2 JP6405985B2 (ja) | 2018-10-17 |
Family
ID=56244128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014257237A Active JP6405985B2 (ja) | 2014-12-19 | 2014-12-19 | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6405985B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020142280A1 (en) * | 2018-12-31 | 2020-07-09 | Dow Silicones Corporation | Bioconjugated molecule, method of preparing same, and diagnostic method |
| WO2022059508A1 (ja) * | 2020-09-18 | 2022-03-24 | コニカミノルタ株式会社 | 生体関連情報取得方法及び生体関連情報取得システム |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004042392A1 (ja) * | 2002-11-07 | 2004-05-21 | Fujitsu Limited | 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置 |
| JP2006189258A (ja) * | 2004-12-28 | 2006-07-20 | Olympus Corp | 画像処理装置 |
| WO2008129881A1 (ja) * | 2007-04-18 | 2008-10-30 | The University Of Tokyo | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
| US20090297015A1 (en) * | 2005-10-13 | 2009-12-03 | Fritz Jetzek | Method for Detecting Contours in Images of Biological Cells |
| WO2012086802A1 (ja) * | 2010-12-24 | 2012-06-28 | アークレイ株式会社 | 癌細胞の検出方法 |
| WO2013146841A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
| WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
| JP2014016666A (ja) * | 2012-07-05 | 2014-01-30 | Olympus Corp | 細胞***過程追跡装置、及び細胞***過程追跡プログラム |
-
2014
- 2014-12-19 JP JP2014257237A patent/JP6405985B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004042392A1 (ja) * | 2002-11-07 | 2004-05-21 | Fujitsu Limited | 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置 |
| JP2006189258A (ja) * | 2004-12-28 | 2006-07-20 | Olympus Corp | 画像処理装置 |
| US20090297015A1 (en) * | 2005-10-13 | 2009-12-03 | Fritz Jetzek | Method for Detecting Contours in Images of Biological Cells |
| WO2008129881A1 (ja) * | 2007-04-18 | 2008-10-30 | The University Of Tokyo | 特徴量選択方法、特徴量選択装置、画像分類方法、画像分類装置、コンピュータプログラム、及び記録媒体 |
| WO2012086802A1 (ja) * | 2010-12-24 | 2012-06-28 | アークレイ株式会社 | 癌細胞の検出方法 |
| WO2013146841A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
| WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
| JP2014016666A (ja) * | 2012-07-05 | 2014-01-30 | Olympus Corp | 細胞***過程追跡装置、及び細胞***過程追跡プログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020142280A1 (en) * | 2018-12-31 | 2020-07-09 | Dow Silicones Corporation | Bioconjugated molecule, method of preparing same, and diagnostic method |
| WO2022059508A1 (ja) * | 2020-09-18 | 2022-03-24 | コニカミノルタ株式会社 | 生体関連情報取得方法及び生体関連情報取得システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6405985B2 (ja) | 2018-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5892238B2 (ja) | 医用画像処理装置及びプログラム | |
| JP6350527B2 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 | |
| JP5804194B2 (ja) | 医用画像処理装置及びプログラム | |
| JP5822054B1 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 | |
| JP6443450B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP6597316B2 (ja) | 画像処理装置及びプログラム | |
| JPWO2016093090A1 (ja) | 画像処理装置及び画像処理プログラム | |
| JP6635108B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP5768948B1 (ja) | 画像処理装置および画像処理プログラム | |
| JP6763407B2 (ja) | 画像処理装置及びプログラム | |
| JP7173034B2 (ja) | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム | |
| JP6493398B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
| JP5835536B1 (ja) | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム | |
| WO2018143406A1 (ja) | 画像処理装置及びプログラム | |
| JP6375925B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
| JP6337629B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
| JP7235036B2 (ja) | 画像処理方法、画像処理装置及びプログラム | |
| JP6405985B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
| JP6702339B2 (ja) | 画像処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170921 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180620 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180903 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6405985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |