JPWO2015002082A1 - 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 - Google Patents

画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 Download PDF

Info

Publication number
JPWO2015002082A1
JPWO2015002082A1 JP2015525184A JP2015525184A JPWO2015002082A1 JP WO2015002082 A1 JPWO2015002082 A1 JP WO2015002082A1 JP 2015525184 A JP2015525184 A JP 2015525184A JP 2015525184 A JP2015525184 A JP 2015525184A JP WO2015002082 A1 JPWO2015002082 A1 JP WO2015002082A1
Authority
JP
Japan
Prior art keywords
image
cell
fluorescent
fluorescence
staining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015525184A
Other languages
English (en)
Other versions
JP6350527B2 (ja
Inventor
泰宏 渡辺
泰宏 渡辺
武寿 磯田
武寿 磯田
幸祐 権田
幸祐 権田
憲明 大内
憲明 大内
みか 渡邉
みか 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2015002082A1 publication Critical patent/JPWO2015002082A1/ja
Application granted granted Critical
Publication of JP6350527B2 publication Critical patent/JP6350527B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

画像処理装置(2A)は、組織切片における細胞の形態を表す細胞形態画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する通信I/F(24)と、前記細胞形態画像と前記蛍光画像とで共通に検出される情報源に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせする制御部(21)と、を有する。

Description

本発明は、画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法に関する。
病理診断では、まず採取した組織を固定するために脱水し、パラフィンによるブロック化といった処理を行った後、2〜8μmの厚さの薄片に切り、パラフィンを取り除き、染色して顕微鏡観察を行う。病理医は、この顕微鏡像の中で、細胞の核の大きさや形の変化、組織としてのパターンの変化等の形態学的な情報、染色情報をもとに診断を行っている。例えば、特許文献1では、顕微鏡像において細胞の核面積、核濃度等の形態学的特徴値と細胞悪性度を算出して、これら形態学的特徴値及び細胞悪性度を細胞画像としてモニターで観察できるようにしている。
病理診断に用いられる組織染色方法としては、従来の色素染色法(例えばヘマトキシリン−エオジン染色;以下、HE染色)、酵素を用いた色素染色法(例えばDAB(ジアミノベンジジン)染色)が知られている。
病理診断において、組織切片で過剰発現をしているタンパク質及びその発現量を特定することは、予後の予測やその後の治療計画を決める上で非常に重要な情報となり得る。
例えば、HER2遺伝子のコードするHER2タンパクは、細胞膜を貫通する受容体型糖タンパクであり、細胞外、膜貫通、細胞内の3ドメインから構成され、増殖因子が結合すると、チロシン残基のリン酸化により活性化され、シグナル伝達経路を介して細胞の増殖や悪性化に関与するとされている。乳癌、肺癌、大腸癌、胃癌、膀胱癌等においてHER2タンパクの過剰発現がみられる。
特許文献2には、DAB法により染色された生体組織の画像から細胞核を抽出し、その細胞核に基づいて生体組織の画像から細胞膜を特定し、細胞膜の染色状態を判別し、この判別結果に基づいてHER2タンパクの発現を評価するシステムが記載されている。
近年では、組織切片における細胞の形態を表す細胞形態画像と、組織切片の同一範囲における特定のタンパク質の発現を蛍光輝点で表す蛍光画像とを取得し、細胞形態画像から特定のタンパク質の発現領域を包含する細胞領域を推定するとともに、蛍光画像から蛍光輝点を抽出し、推定された各細胞領域に含まれる細胞核及び蛍光輝点に基づいて、各細胞領域に関する特徴量を算出し、その算出された特徴量に基づいて各細胞領域が癌であるか否かと特定のタンパク質の発現状況とを判定しうるようになっている(特許文献3参照)。
特開昭57−153367号公報 特開2009−115599号公報 特願2012−078722号
特許文献3によれば、組織切片の画像全体の中から効率よく特定のタンパク質が過剰発現している癌領域を把握でき、極めて有用であると考えられる。
この点、本発明者が特許文献3の技術について検討を重ねたところ、上記の通り、通常、細胞形態画像と蛍光画像全体とを重ね合わせる場合、基本的には位置合わせのズレは大きな問題にならなかったが、細胞核のみを観察対象とする場合には、特に位置合わせが重要となることがわかってきた。すなわち、細胞形態画像から抽出した観察対象細胞(観察すべき細胞核)は非常に小さい場合が多く、そこでの特定のタンパク質の発現を正確に定量するためには、極めて正確に画像を位置合わせする必要があることがわかってきており、観察対象細胞内での特定のタンパク質の発現を正確に定量しうるさらなる改良が望まれる。
したがって、本発明の主な目的は、観察対象細胞内での特定のタンパク質の発現を正確に定量することができる画像処理装置を提供することにあり、併せて当該画像処理装置を利用する病理診断支援システム、画像処理プログラム及び病理診断支援方法を提供することにある。
上記課題を解決するため、本発明の第1の態様によれば、
組織切片における細胞の形態を表す細胞形態画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力手段と、
前記細胞形態画像と前記蛍光画像とで共通に検出される情報源に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせする位置合わせ手段と、
を備えることを特徴とする画像処理装置が提供される。
本発明の第2の態様によれば、
前記画像処理装置と、
前記画像処理装置で使用される、前記細胞形態画像と前記蛍光画像とを取得する画像取得装置と、
を備えることを特徴とする病理診断支援システムが提供される。
本発明の第3の態様によれば、
コンピュータを、
組織切片における細胞の形態を表す細胞形態画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力手段、
前記細胞形態画像と前記蛍光画像とで共通に検出される情報源に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせする位置合わせ手段、
として機能させるための画像処理プログラムが提供される。
本発明の第4の態様によれば、
組織切片における細胞の形態を表す細胞形態画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを用いる病理診断支援方法であって、
前記細胞形態画像と前記蛍光画像とで共通に検出される一定の染色試薬で前記組織切片を染色する工程と、
染色後の前記組織切片から、前記細胞形態画像と前記蛍光画像とを取得する工程と、
前記一定の染色試薬による染色情報に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせする工程と、
を有することを特徴とする病理診断支援方法が提供される。
本発明によれば、細胞形態画像と蛍光画像とを正確に位置合わせすることができ、観察対象細胞内での特定のタンパク質の発現を正確に定量することができる。
病理診断支援システムのシステム構成を示す図である。 図1の画像処理装置の機能的構成を示すブロック図である。 明視野画像の一例を示す図である。 蛍光画像の一例を示す図である。 標識材料Aを用いた場合の輝点数とFISHスコアとの関係を示す図である。 標識材料Bを用いた場合の輝点数とFISHスコアとの関係を示す図である。 標識材料Cを用いた場合の輝点数とFISHスコアとの関係を示す図である。 標識材料Dを用いた場合の輝点数とFISHスコアとの関係を示す図である。 各標識材料A〜Dについて、各視野の顕微鏡画像から計測された輝点数とFISHスコアとの相関係数の2乗値を示す図である。 図2の制御部により実行される画像解析処理を示すフローチャートである。 図10のステップS2の処理の詳細を示すフローチャートである。 明視野画像に基づく画像の一例であって、モノクロ画像を示す図である。 明視野画像に基づく画像の一例であって、閾値処理後の二値画像を示す図である。 明視野画像に基づく画像の一例であって、ノイズ処理後の二値画像を示す図である。 図10のステップS5の処理の詳細を示すフローチャートである。 蛍光画像に基づく画像の一例であって、蛍光輝点候補画像を示す図である。 蛍光画像に基づく画像の一例であって、蛍光輝点候補画像におけるノイズ除去後に得られる蛍光輝点画像を示す図である。 明視野画像と蛍光画像との位置合わせを概念的に説明するための図である。 解析結果画面の一例を示す図である。
以下、図を参照して本発明を実施するための形態について説明するが、本発明はこれらに限定されない。
<病理診断支援システム100の構成>
図1に、本実施の形態における病理診断支援システム100の全体構成例を示す。病理診断支援システム100は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
図1に示すように、病理診断支援システム100は、顕微鏡画像取得装置1Aと、画像処理装置2Aと、がケーブル3A等のインターフェースを介してデータ送受信可能に接続されて構成されている。なお、顕微鏡画像取得装置1Aと画像処理装置2Aとの接続方式は特に限定されない。例えば、顕微鏡画像取得装置1Aと画像処理装置2AはLAN(Local Area Network)により接続されることとしてもよいし、無線により接続される構成としてもよい。
顕微鏡画像取得装置1Aは、公知のカメラ付き光学顕微鏡であり、スライド固定ステージ上に載置されたスライド上の組織切片の顕微鏡画像を取得し、画像処理装置2Aに送信するものである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/F等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。本実施の形態において、顕微鏡画像取得装置1Aは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
なお、顕微鏡画像取得装置1Aとしては、カメラ付き顕微鏡に限定されず、例えば、顕微鏡のスライド固定ステージ上のスライドをスキャンして組織切片全体の顕微鏡画像を取得するバーチャル顕微鏡スライド作成装置(例えば、特表2002−514319号公報参照)等を用いてもよい。バーチャル顕微鏡スライド作成装置によれば、スライド上の組織切片全体像を表示部で一度に閲覧可能な画像データを取得することができる。
画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現量を定量的に示す特徴量を算出し、算出された特徴量を出力する。
図2に、画像処理装置2Aの機能構成例を示す。図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25等を備えて構成され、各部はバス26を介して接続されている。
制御部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)等を備えて構成され、記憶部25に記憶されている各種プログラムとの協働により各種処理を実行し、画像処理装置2Aの動作を統括的に制御する。例えば、制御部21は、記憶部25に記憶されているプログラムとの協働により画像解析処理(図10参照)を実行し、位置合わせ手段、算出手段、決定手段、判定手段としての機能を実現する。
操作部22は、文字入力キー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部21に出力する。
表示部23は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニタを備えて構成されており、制御部21から入力される表示信号の指示に従って、各種画面を表示する。本実施の形態において、表示部23は、画像解析結果を出力するための出力手段として機能する。
通信I/F24は、顕微鏡画像取得装置1Aをはじめとする外部機器との間でデータ送受信を行なうためのインターフェースである。通信I/F24は、明視野画像と蛍光画像の入力手段として機能する。
記憶部25は、例えばHDD(Hard Disk Drive)や半導体の不揮発性メモリー等で構成されている。記憶部25には、前述のように各種プログラムや各種データ等が記憶されている。
その他、画像処理装置2Aは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
本実施の形態における画像処理装置2Aは、顕微鏡画像取得装置1Aから送信された明視野画像(HE染色画像)及び蛍光画像を用いて解析を行う。
明視野画像は、HE(ヘマトキシリン−エオジン)染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織等)を染色する。エオジンは赤〜ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織等)を染色する。図3に、HE染色を行った組織切片を撮影した明視野画像の一例を示す。図3に示すように、HE染色を行った組織切片を撮影した明視野画像においては、組織切片における細胞の形態が表れている。すなわち、明視野画像は組織切片における細胞の形態を表す細胞形態画像である。かかる明視野画像では、細胞核は、周囲の細胞質よりも濃い色(青紫色)で周囲と区別して表れており、細胞核の形態をはっきり捉えることができる。
蛍光画像は、特定の生体物質と特異的に結合及び/又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子(蛍光物質内包ナノ粒子と呼ぶ)を含む染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置1Aにおいて所定波長の励起光を照射して蛍光物質内包ナノ粒子を発光(蛍光)させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織切片における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。図4に、蛍光画像の一例を示す。
<蛍光画像の取得>
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬(蛍光物質内包ナノ粒子)、染色試薬による組織切片の染色方法等も含めて詳細に説明する。
〔蛍光物質〕
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット(半導体粒子)を挙げることができる。200〜700nmの範囲内の波長の紫外〜近赤外光により励起されたときに、400〜1100nmの範囲内の波長の可視〜近赤外光の発光を示すことが好ましい。
蛍光有機色素としては、フルオレセイン系色素分子、ローダミン系色素分子、Alexa Fluor(インビトロジェン社製)系色素分子、BODIPY(インビトロジェン社製)系色素分子、カスケード系色素分子、クマリン系色素分子、エオジン系色素分子、NBD系色素分子、ピレン系色素分子、Texas Red系色素分子、シアニン系色素分子等を挙げることができる。
具体的には、5−カルボキシ−フルオレセイン、6−カルボキシ−フルオレセイン、5,6−ジカルボキシ−フルオレセイン、6−カルボキシ−2’,4,4’,5’,7,7’−ヘキサクロロフルオレセイン、6−カルボキシ−2’,4,7,7’−テトラクロロフルオレセイン、6−カルボキシ−4’,5’−ジクロロ−2’,7’−ジメトキシフルオレセイン、ナフトフルオレセイン、5−カルボキシ−ローダミン、6−カルボキシ−ローダミン、5,6−ジカルボキシ−ローダミン、ローダミン 6G、テトラメチルローダミン、X−ローダミン、及びAlexa Fluor 350、Alexa Fluor 405、Alexa Fluor 430、Alexa Fluor 488、Alexa Fluor 500、Alexa Fluor 514、Alexa Fluor 532、Alexa Fluor 546、Alexa Fluor 555、Alexa Fluor 568、Alexa Fluor 594、Alexa Fluor 610、Alexa Fluor 633、Alexa Fluor 635、Alexa Fluor 647、Alexa Fluor 660、Alexa Fluor 680、Alexa Fluor 700、Alexa Fluor 750、BODIPY FL、BODIPY TMR、BODIPY 493/503、BODIPY 530/550、BODIPY 558/568、BODIPY 564/570、BODIPY 576/589、BODIPY 581/591、BODIPY 630/650、BODIPY 650/665(以上インビトロジェン社製)、メトキシクマリン、エオジン、NBD、ピレン、Cy5、Cy5.5、Cy7等を挙げることができる。単独でも複数種を混合したものを用いてもよい。
量子ドットとしては、II−VI族化合物、III−V族化合物、又はIV族元素を成分として含有する量子ドット(それぞれ、「II−VI族量子ドット」、「III−V族量子ドット」、「IV族量子ドット」ともいう。)のいずれかを用いることができる。単独でも複数種を混合したものを用いてもよい。
具体的には、CdSe、CdS、CdTe、ZnSe、ZnS、ZnTe、InP、InN、InAs、InGaP、GaP、GaAs、Si、Geが挙げられるが、これらに限定されない。
上記量子ドットをコアとし、その上にシェルを設けた量子ドットを用いることもできる。以下、本明細書中シェルを有する量子ドットの表記法として、コアがCdSe、シェルがZnSの場合、CdSe/ZnSと表記する。例えば、CdSe/ZnS、CdS/ZnS、InP/ZnS、InGaP/ZnS、Si/SiO2、Si/ZnS、Ge/GeO2、Ge/ZnS等を用いることができるが、これらに限定されない。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)等が挙げられる。
〔蛍光物質内包ナノ粒子〕
本実施の形態において蛍光物質内包ナノ粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ等を挙げることができる。
本実施の形態で用いられる蛍光物質内包ナノ粒子は、公知の方法により作製することが可能である。例えば、蛍光有機色素を内包したシリカナノ粒子は、ラングミュア 8巻 2921ページ(1992)に記載されているFITC内包シリカ粒子の合成を参考に合成することができる。FITCの代わりに所望の蛍光有機色素を用いることで種々の蛍光有機色素内包シリカナノ粒子を合成することができる。
量子ドットを内包したシリカナノ粒子は、ニュー・ジャーナル・オブ・ケミストリー 33巻 561ページ(2009)に記載されているCdTe内包シリカナノ粒子の合成を参考に合成することができる。
蛍光有機色素を内包したポリスチレンナノ粒子は、米国特許4326008(1982)に記載されている重合性官能基をもつ有機色素を用いた共重合法や、米国特許5326692(1992)に記載されているポリスチレンナノ粒子への蛍光有機色素の含浸法を用いて作製することができる。
量子ドットを内包したポリマーナノ粒子は、ネイチャー・バイオテクノロジー19巻631ページ(2001)に記載されているポリスチレンナノ粒子への量子ドットの含浸法を用いて作製することができる。
本実施の形態で用いられる蛍光物質内包ナノ粒子の平均粒径は特に限定されないが、30〜800nm程度のものを用いることができる。また、粒径のばらつきを示す変動係数(=(標準偏差/平均値)×100%)は特に限定されないが、20%以下のものを用いることが好ましい。平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、1000個の粒子の粒径の算術平均を平均粒径とした。変動係数も、1000個の粒子の粒径分布から算出した値とした。
〔生体物質認識部位と蛍光物質内包ナノ粒子との結合〕
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び/又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)、抗体等が挙げられる。したがって、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗HER2抗体及び抗ER抗体を蛍光物質内包ナノ粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
生体物質認識部位と蛍光物質内包ナノ粒子の結合の態様としては特に限定されず、共有結合、イオン結合、水素結合、配位結合、物理吸着及び化学吸着等が挙げられる。結合の安定性から共有結合等の結合力の強い結合が好ましい。
また、生体物質認識部位と蛍光物質内包ナノ粒子の間を連結する有機分子があってもよい。例えば、生体物質との非特異的吸着を抑制するため、ポリエチレングリコール鎖を用いることができ、Thermo Scientific社製SM(PEG)12を用いることができる。
蛍光物質内包シリカナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。例えば、無機物と有機物を結合させるために広く用いられている化合物であるシランカップリング剤を用いることができる。このシランカップリング剤は、分子の一端に加水分解でシラノール基を与えるアルコキシシリル基を有し、他端に、カルボキシル基、アミノ基、エポキシ基、アルデヒド基等の官能基を有する化合物であり、上記シラノール基の酸素原子を介して無機物と結合する。具体的には、メルカプトプロピルトリエトキシシラン、グリシドキシプロピルトリエトキシシラン、アミノプロピルトリエトキシシラン、ポリエチレングリコール鎖をもつシランカップリング剤(例えば、Gelest社製PEG−silane no.SIM6492.7)等が挙げられる。シランカップリング剤を用いる場合、二種以上を併用してもよい。
蛍光有機色素内包シリカナノ粒子とシランカップリング剤との反応手順は、公知の手法を用いることができる。例えば、得られた蛍光有機色素内包シリカナノ粒子を純水中に分散させ、アミノプロピルトリエトキシシランを添加し、室温で12時間反応させる。反応終了後、遠心分離又はろ過により表面がアミノプロピル基で修飾された蛍光有機色素内包シリカナノ粒子を得ることができる。続いてアミノ基と抗体中のカルボキシル基とを反応させることで、アミド結合を介し抗体を蛍光有機色素内包シリカナノ粒子と結合させることができる。必要に応じて、EDC(1−Ethyl−3−[3−Dimethylaminopropyl]carbodiimide Hydrochloride:Pierce(登録商標)社製)のような縮合剤を用いることもできる。
必要により、有機分子で修飾された蛍光有機色素内包シリカナノ粒子と直接結合しうる部位と、分子標的物質と結合しうる部位とを有するリンカー化合物を用いることができる。具体例として、アミノ基と選択的に反応する部位とメルカプト基と選択的に反応する部位の両方をもつsulfo−SMCC(Sulfosuccinimidyl 4[N−maleimidomethyl]−cyclohexane−1−carboxylate:Pierce社製)を用いると、アミノプロピルトリエトキシシランで修飾した蛍光有機色素内包シリカナノ粒子のアミノ基と、抗体中のメルカプト基を結合させることで、抗体結合した蛍光有機色素内包シリカナノ粒子ができる。
蛍光物質内包ポリスチレンナノ粒子へ生体物質認識部位を結合させる場合、蛍光物質が蛍光有機色素の場合でも、量子ドットの場合でも同様の手順を適用することができる。すなわち、アミノ基等の官能基をもつポリスチレンナノ粒子へ蛍光有機色素、量子ドットを含浸することにより、官能基もつ蛍光物質内包ポリスチレンナノ粒子を得ることができ、以降EDC又はsulfo−SMCCを用いることで、抗体結合した蛍光物質内包ポリスチレンナノ粒子ができる。
特定抗原を認識する抗体としては、M.アクチン,M.S.アクチン,S.M.アクチン,ACTH,Alk-1,α1-アンチキモトリプシン,α1-アンチトリプシン,AFP,bcl-2,bcl-6,β-カテニン,BCA 225,CA19-9,CA125,カルシトニン,カルレチニン,CD1a,CD3,CD4,CD5,CD8,CD10,CD15,CD20,CD21,CD23,CD30,CD31,CD34,CD43,CD45,CD45R,CD56,CD57,CD61,CD68,CD79a,"CD99, MIC2",CD138,クロモグラニン,c-KIT,c-MET,コラーゲン タイプIV,Cox-2,サイクリンD1,ケラチン,サイトケラチン(高分子量),パンケラチン,パンケラチン,サイトケラチン 5/6,サイトケラチン 7,サイトケラチン 8,サイトケラチン8/18,サイトケラチン 14,サイトケラチン 19,サイトケラチン 20,CMV,E-カドヘリン,EGFR,ER,EMA,EBV,第VIII因子関連抗原,ファッシン,FSH,ガレクチン-3,ガストリン,GFAP,グルカゴン,グリコフォリン A,グランザイムB,hCG,hGH,ヘリコバクターピロリ,HBc 抗原,HBs 抗原,ヘパトサイト特異抗原,HER2,HSV -I,HSV -II,HHV-8,IgA,IgG,IgM,IGF-1R,インヒビン,インスリン,カッパ L鎖,Ki67,ラムダ L鎖,LH,リゾチーム,マクロファージ,メランA,MLH-1,MSH-2,ミエロパーオキシダーゼ,ミオゲニン,ミオグロビン,ミオシン,ニューロフィラメント,NSE,p27 (Kip1),p53,p53,P63,PAX 5,PLAP,ニューモシスティス カリニ,ポドプラニン(D2-40),PGR,プロラクチン,PSA,前立腺酸性フォスファターゼ,Renal Cell Carcinoma,S100,ソマトスタチン,スペクトリン,シナプトフィジン,TAG-72,TdT,サイログロブリン,TSH,TTF-1,TRAcP,トリプターゼ,ビリン,ビメンチン,WT1,Zap-70が挙げられる。
〔染色方法〕
以下、組織切片の染色方法について述べる。以下に説明する染色方法は病理切片組織に限定せず、細胞染色にも適用可能である。
また、以下に説明する染色方法が適用できる切片の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
1)脱パラフィン工程
キシレンを入れた容器に病理切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に病理切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に病理切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
2)賦活化処理
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01Mクエン酸緩衝液(pH6.0)、1mMEDTA溶液(pH8.0)、5%尿素、0.1Mトリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50−130℃、時間は5−30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。
3)生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いた染色
生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を病理切片に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次病理切片に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光物質内包ナノ粒子による染色を行う前に、BSA含有PBS等、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の切片を浸漬させ、未反応蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。カバーガラスを切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、HE染色試薬を用いて染色を行う場合、カバーガラスによる封入前にHE染色を行う。
〔蛍光画像の取得〕
染色した病理切片に対し顕微鏡画像取得装置1Aを用いて、広視野の顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
蛍光画像の視野は、3mm2以上であることが好ましく、30mm2以上であることがさらに好ましく、300mm2以上であることがさらに好ましい。
<蛍光輝点とFISHスコアとの関係>
ここで、本件出願人は、以下に説明するように、一実施例として、Cy5内包シリカナノ粒子(以下、ナノ粒子1という。)を作製し、ナノ粒子1に対して抗HER2抗体を結合させた標識材料Aを作製した。また、CdSe/ZnS内包シリカナノ粒子(以下、ナノ粒子2という)を作製し、ナノ粒子2に対して抗HER2抗体を結合させた標識材料Bを作製した。そして、作製した標識材料A、B及び比較例としての標識材料C、Dを用いて予めFISHスコアを測定したヒト***組織の隣接切片を用いて免疫染色を行って視野を変えて複数の蛍光画像を取得し、各蛍光画像に現れている蛍光輝点の数を計測してFISHスコアとの関連を調べる実験を行った。
〔蛍光物質内包ナノ粒子の合成〕
(合成例1:蛍光有機色素内包シリカ:Cy5内包シリカナノ粒子の合成)
下記工程(1)〜(5)の方法により、Cy5内包シリカナノ粒子(ナノ粒子1)を作製した。
工程(1):Cy5のN−ヒドロキシスクシンイミドエステル誘導体(GEヘルスケア社製)1mg(0.00126mmol)とテトラエトキシシラン400μL(1.796mmol)を混合した。
工程(2):エタノール40mLと14%アンモニア水10mLを混合した。
工程(3):工程(2)で作製した混合液を室温下で撹拌しているところに、工程(1)で調製した混合液を添加した。添加開始から12時間撹拌を行った。
工程(4):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(5):エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を1回ずつ行った。
得られたナノ粒子1を走査型電子顕微鏡(SEM;日立(登録商標)社製S−800型)で観察したところ、平均粒径は110nm、変動係数は12%であった。
(合成例2:量子ドット内包シリカ:発光波長655nmのCdSe/ZnS内包シリカナノ粒子の合成)
下記工程(1)〜(5)の方法により、CdSe/ZnS内包シリカナノ粒子(以下、ナノ粒子2という。)を作製した。
工程(1):CdSe/ZnSデカン分散液(インビトロジェン社Qdot655)10μLとテトラエトキシシラン40μLを混合した。
工程(2):エタノール4mLと14%アンモニア水1mLを混合した。
工程(3):工程(2)で作製した混合液を室温下で撹拌しているところに、工程(1)で作製した混合液を添加した。添加開始から12時間撹拌を行った。
工程(4):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(5):エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を1回ずつ行った。
得られたナノ粒子2を走査型電子顕微鏡で観察したところ、平均粒径は130nm、変動係数は13%であった。
〔蛍光物質内包シリカナノ粒子への抗体の結合〕
下記工程(1)〜(12)の方法により、蛍光物質内包シリカナノ粒子に対して抗体を結合させた。ここでは、ナノ粒子1を用いた例を示すが、ナノ粒子2についても同様である。
工程(1):1mgのナノ粒子1を純水5mLに分散させた。次いで、アミノプロピルトリエトキシシラン水分散液100μLを添加し、室温で12時間撹拌した。
工程(2):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(3):エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を1回ずつ行った。
得られたアミノ基修飾したシリカナノ粒子のFT−IR測定を行ったところ、アミノ基に由来する吸収が観測でき、アミノ基修飾されたことが確認できた。
工程(4):工程(3)で得られたアミノ基修飾したシリカナノ粒子を、EDTA(エチレンジアミン四酢酸)を2mM含有したPBSを用いて3nMに調整した。
工程(5):工程(4)で調整した溶液に、最終濃度10mMとなるようSM(PEG)12(サーモサイエンティフィック社製、succinimidyl−[(N−maleomidopropionamid)−dodecaethyleneglycol]ester)を混合し、1時間反応させた。
工程(6):反応混合液を10000Gで60分遠心分離を行い、上澄みを除去した
工程(7):EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させた。
工程(8):抗HER2抗体100μgを100μLのPBSに溶解させたところに、1Mジチオスレイトール(DTT)を添加し、30分反応させた。
工程(9):反応混合物についてゲルろ過カラムにより過剰のDTTを除去し、還元化抗HER2抗体溶液を得た。
工程(10):ナノ粒子1を出発原料として工程(7)で得られた粒子分散液と工程(9)で得られた還元化抗HER2抗体溶液とをPBS中で混合し、1時間反応させた。
工程(11):10mMメルカプトエタノール4μLを添加し、反応を停止させた。
工程(12):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した後、EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させ、抗HER2抗体が結合された蛍光物質内包シリカナノ粒子を得た。
ナノ粒子1を出発原料として得られた抗HER2抗体が結合された蛍光物質内包シリカナノ粒子を標識材料A、ナノ粒子2を出発原料として得られた抗HER2抗体が結合された蛍光物質内包シリカナノ粒子を標識材料Bとする。
また、比較例として、Cy5に抗HER2抗体を結合させ、還元化抗HER2抗体溶液(標識材料D)を得た。同様に、CdSeに抗HER2抗体を結合させたものを標識材料Cとして作製した。
〔蛍光物質内包ナノ粒子を用いた組織染色〕
下記工程(1)〜(10)の方法により、作製した抗体結合標識材料A〜Dを用い、予めFISHスコアを測定したヒト***組織の隣接切片を用いて免疫染色を行った。染色切片はコスモバイオ社製の組織アレイスライド(CB−A712)を用いた。FISHスコアで1〜9の24切片を用いた。
工程(1):キシレンを入れた容器に病理切片を30分浸漬させた。途中3回キシレンを交換した。
工程(2):エタノールを入れた容器に病理切片を30分浸漬させた。途中3回エタノールを交換した。
工程(3):水を入れた容器に病理切片を30分浸漬させた。途中3回水を交換した。
工程(4):10mMクエン酸緩衝液(pH6.0)に病理切片を30分浸漬させた。
工程(5):121度で10分オートクレーブ処理を行った。
工程(6):PBSを入れた容器に、オートクレーブ処理後の切片を30分浸漬させた。
工程(7):1%BSA含有PBSを組織に載せて、1時間放置した。
工程(8):1%BSA含有PBSで0.05nMに希釈した抗HER2抗体が結合された標識材料A〜Dを、各組織切片に載せて3時間放置した。
工程(9):PBSを入れた容器に、染色後の切片をそれぞれ30分浸漬させた。
工程(10):Merck Chemicals社製Aquatexを滴下後、カバーガラスを載せ封入した。
〔実験結果〕
各標識材料A〜Dを用いて染色した組織切片について、視野(観察面積)を変えて複数の蛍光画像を取得し、画像解析ソフトにより、各蛍光画像から蛍光輝点の数(輝点数)を計測した。
なお、顕微鏡は、カールツアイス社製正立顕微鏡Axio Imager M2を用い、対物レンズを20倍に設定し、630〜670nmの波長を有する励起光を照射して、組織切片から発せられる蛍光を結像し、顕微鏡設置カメラ(モノクロ)により蛍光画像(画像データ)を取得し、画像解析ソフトにより輝点数を計測した。なお、上記カメラは画素サイズ6.4μm×6.4μm、縦画素数1040個、横画素数1388個(撮像領域8.9mm×6.7mm)を有している。
また、各標識材料A〜Dについて、各視野において、計測された輝点数とFISHスコアとの相関係数Rを算出した。FISHスコアは、HER2遺伝子の過剰発現レベルと対応しており、FISHスコアの値が大きいほど、HER2遺伝子の過剰発現レベルが高いことを示している。
図5は、標識材料A(Cy5内包標識材料)を用いた場合の、複数の異なる視野(0.3mm2、3mm2、32mm2、324mm2)の蛍光画像から計測された輝点数と、FISHスコアとの関係を示す図である。図中に示すR2の値は、輝点数とFISHスコアとの相関係数の2乗値である。
図6は、標識材料B(CdSe内包標識材料)を用いた場合の、複数の異なる視野(0.3mm2、3mm2、32mm2、324mm2)の蛍光画像から計測された輝点数と、FISHスコアとの関係を示す図である。
図7は、標識材料C(CdSe)を用いた場合の、複数の異なる視野(0.3mm2、3mm2、32mm2、324mm2)の蛍光画像から計測された輝点数と、FISHスコアとの関係を示す図である。
図8は、標識材料D(Cy5)を用いた場合の、複数の異なる視野(0.3mm2、3mm2、32mm2、324mm2)の蛍光画像から計測された輝点数と、FISHスコアとの関係を示す図である。
表1及び図9に、各標識材料A〜Dについて、各視野(観察面積)の蛍光画像から計測された輝点数とFISHスコアとの相関係数の2乗値(R2)を示す。
Figure 2015002082
標識材料Aを用いて組織切片を染色し、0.3mm2の視野の蛍光画像から輝点数を計測した場合には、輝点数とFISHスコアとの相関係数の2乗値(R2)は0.1241であり、輝点数とFISHスコアには、相関が見られなかった。0.3mm2の視野では、視野が狭すぎ、ばらつきが大きいためであると考えられる。
標識材料Aを用いて組織切片を染色し、3mm2の視野の蛍光画像から輝点数を計測した場合には、輝点数とFISHスコアとの相関係数の2乗値(R2)は0.5387であった。この値は、相関係数Rに換算すると約0.734となり、輝点数とFISHスコアには、強い相関があるといえる。
標識材料Aを用いて組織切片を染色し、32mm2の視野の蛍光画像から輝点数を計測した場合には、輝点数とFISHスコアとの相関係数の2乗値(R2)は0.9011であった。視野が32mm2の場合には、視野が3mm2の場合と比較して、さらに相関が強いといえる。
標識材料Aを用いて組織切片を染色し、324mm2の視野の蛍光画像から輝点数を計測した場合には、輝点数とFISHスコアとの相関係数の2乗値(R2)は0.9887であった。視野が324mm2の場合には、視野が32mm2の場合と比較して、さらに相関が強いといえる。
標識材料Bを用いた場合も同様に、3mm2以上の視野では、輝点数とFISHスコアには相関があり、視野が広いほど相関係数が大きくなることがわかった。
また、標識材料A,Bを用いた場合の結果から、324mm2の視野では輝点数とFISHスコアとの相関係数の2乗値(R2)が十分1に近いことがわかった。
一方、標識材料C又は標識材料Dを用いて組織切片を染色した場合には、輝点数とFISHスコアには、相関が見られなかった。
また、観察対象となる組織切片の厚さ(通常は数μm)の上方、或いは下方部に顕微鏡のピントを若干ずらした場合であっても、上記の状況に大きな差異は見られなかった。
以上の結果から、標識材料A,Bを用いて広視野で組織切片を観察した場合に、輝点数とFISHスコアとの相関が良好であり、輝点数に基づいてHER2の発現レベルを評価することが可能であることがわかった。すなわち、FISH法のような手間のかかる方法を用いなくても、特定の生体物質を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子の染色試薬で組織切片を染色し、これを顕微鏡で拡大結像して撮影することにより得られた3mm2以上の視野の画像から輝点数を計測することにより、特定の生体物質の発現レベルを評価することができ、FISH法に代わる方法として有効である。
標識材料A,Bは、蛍光物質を内包した粒子を用いており、蛍光物質単体を用いた標識材料C,Dと比較して高輝度であるため、画像から輝点の1点1点を捉えやすく、輝点数を精度良く計測することができる。
<病理診断支援システム100の動作(病理診断支援方法を含む。)>
以下、病理診断支援システム100において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について説明する。ここでは、特定のタンパク質(ここでは、乳癌組織におけるKi67タンパクとする。以下、特定タンパクと呼ぶ。)を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬を用いて染色された組織切片を観察対象とする場合を例にとり説明するが、これに限定されるものではない。
まず、操作者は、HE染色試薬と、特定タンパクを認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を蛍光標識材料とした染色試薬との、2種の染色試薬を用いて組織切片を染色する。
その後、顕微鏡画像取得装置1Aにおいて、(a1)〜(a5)の手順により明視野画像及び蛍光画像が取得される。
(a1)操作者は、HE染色試薬と蛍光物質内包ナノ粒子を含む染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
なお、本願発明者等の検討によれば、HE染色と蛍光物質内包ナノ粒子による染色を同時に行う場合、組織の自家蛍光とエオジンの発光(バックグラウンド)に対し、10%(1.1倍)以上の発光量差を蛍光物質内包ナノ粒子の蛍光輝点が有していれば、8ビット(0〜255階調)、12ビット(0〜4095階調)の何れの処理系においても、顕微鏡画像(蛍光画像)から蛍光輝点の自動検出処理が可能であった。蛍光物質内包ナノ粒子による染色のみの場合においては、組織の自家蛍光に対し、10%(1.1倍)以上の発光量差を蛍光物質内包ナノ粒子が有していれば、8ビット(0〜255階調)、12ビット(0〜4095階調)の何れの処理系においても蛍光輝点の自動検出処理が可能であった。そのため、蛍光ユニットにおける励起光波長は560〜630nmの範囲のものを選択することが好ましい。また、前記蛍光物質としては当該励起光により580〜690nmの範囲、より好ましくは600〜630nmの範囲にピークを有する蛍光を発するものを用いることが好ましい。この範囲にピークを有する蛍光物質であれば、上記範囲の励起光を選択したときに、エオジンの発光を含む組織の自家蛍光と蛍光物質内包ナノ粒子からの蛍光の発光差を確保して両者を区別して認識可能とする(両者の光量差10%(1.1倍)以上)を確保できるからである。
なお、HE染色を同時に行わない場合においては、組織の自家蛍光が微弱なため励起光の波長の範囲は、一般的な200nm〜700nmの範囲で特に限定せずとも自家蛍光と蛍光物質内包ナノ粒子からの蛍光の発光差を確保して両者を区別して認識可能とする(両者の光量差10%(1.1倍)以上)を確保することができる。
画像処理装置2Aにおいては、明視野画像及び蛍光画像に基づき画像解析処理が実行される。
図10に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。図10に示す画像解析処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
まず、通信I/F24により顕微鏡画像取得装置1Aからの明視野画像が入力されると(ステップS1)、明視野画像から細胞核の領域の抽出が行われる(ステップS2)。
図11に、ステップS2における処理の詳細フローを示す。ステップS2の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
ステップS2においては、まず、明視野画像のモノクロ画像への変換が行われる(ステップS201)。図12Aに、モノクロ画像の一例を示す。
次いで、モノクロ画像に対し予め定められた閾値を用いて閾値処理が施され、各画素の値が2値化される(ステップS202)。図12Bに、閾値処理後の二値画像の一例を示す。
次いで、ノイズ処理が行われる(ステップS203)。ノイズ処理は、具体的には、二値画像にクロージング処理が施されることにより行うことができる。クロージング処理は、膨張処理を行ってから同じ回数分だけ収縮処理を行う処理である。膨張処理は、注目画素からn×n画素(nは2以上の整数)の範囲内にある画素に1つでも白が含まれている場合に注目画素を白に置き換える処理である。収縮処理は、注目画素からn×n画素の範囲内にある画素に1つでも黒が含まれている場合に注目画素を黒に置き換える処理である。クロージング処理により、ノイズ等の小さい領域を除去することができる。図12Cに、ノイズ処理後の画像の一例を示す。図12Cに示すように、ノイズ処理後には、細胞核が抽出された画像(細胞核画像)が得られる。
次いで、ノイズ処理後の画像にラベリング処理が施され、抽出された細胞核のそれぞれにラベルLabel_nucleusが付与される(ステップS204)。ラベリング処理とは、連結している画素に同じラベル(番号)を付与していくことで画像内のオブジェクトを識別する処理である。ラベリング処理により、ノイズ処理後の画像から各細胞核を識別してラベルを付与することができる。
なお、後述する蛍光輝点の抽出におけるラベルの番号と区別するため、コンピュータの保持できる最大値をMAXとし、現在までに行ったラベリング回数をLabel_tempとすると、新たな細胞核にはラベルLabel_nucleusとして、MAX−Label_tempが付与される。例えば、101個目の細胞核にラベルを付与する場合、Label_temp=100であるので、MAX=65536とすると、Label_nucleusとして65436が付与される。ラベリング処理後、処理は図10のステップS3に移行する。
ステップS3においては、ステップS2で抽出された細胞核の領域に基づいて、明視野画像における観察対象細胞が決定される(ステップS3)。
ステップS3では、まず、ステップS2で抽出された細胞核画像内の全細胞核について、細胞核画像から、細胞核の面積A、細胞核の平均濃度B、細胞核の領域内のピクセル輝度バラツキ(σ値)C、細胞核の円形度D、細胞核の扁平率E、核縁の核面積に対する太さの割合F等の「細胞特徴量」が算出される。
細胞核の面積Aについては、予め細胞核画像に対応した基準となる長さを測定することで画素(ピクセル)の大きさを算出し、ステップ2で抽出された各細胞核内の画素数を積算することにより、細胞核の面積Aが決定される。
細胞核の平均濃度Bは、細胞核内の各画素(ピクセル)のグレイスケールに変換した輝度信号値を求め、その平均値を算出することにより決定される。
ピクセル輝度バラツキCは、細胞核内の各画素(ピクセル)の輝度信号値の標準偏差を算出することにより決定される。
細胞核の円形度D及び扁平率Eは、ステップ2で抽出された各細胞核について、細胞核画像から得られる一定の値を、下記式(d)、(e)に当てはめることで決定される。
(円形度D)=4πS/L2 … (d)
(扁平率F)=(a−b)/a … (e)
ただし、式(d)中、「S」は細胞核の面積(細胞核の面積A)を、「L」は細胞核の外周長をそれぞれ表す。式(e)中、「a」は長半径を、「b」は短半径をそれぞれ表す。
核縁の核面積に対する太さの割合Fの算出にあたっては、まず、細胞核の中心部から80%の面積の輝度信号値の平均値Laveを求め、細胞核外縁部の20%の面積領域について、画素(ピクセル)の輝度信号値がLaveに対し20%以上低い値を有する領域を細胞核の核縁とした。次に、その核縁の面積を求め、細胞核全体の面積(細胞核の面積A)との比を算出することにより、核縁の核面積に対する太さの割合Fが決定される。
次いで、算出された細胞特徴量より、以下の条件(i)〜(vi)を、1つ又は複数満たす細胞核を含む細胞が、明視野画像における観察対象細胞として決定される。
(i)細胞核の面積Aが、算出されたすべての細胞核の面積Aのうち、上位60%以上、好ましくは上位50%以上、更に好ましくは上位40%以上に含まれる
(ii)細胞核の平均濃度Bが、算出されたすべての細胞核の平均濃度Bのうち、下位50%以下、好ましくは下位40%以下、更に好ましくは上位30%以下に含まれる
(iii)細胞核領域内のピクセル輝度バラツキ(σ値)Cが、細胞核画像を、8ビット画像でかつグレイスケールに変換した画像において、σ≧30、好ましくはσ≧40、更に好ましくはσ≧50である
(iv)細胞核の円形度Dが、0.8以下、好ましくは0.6以下、更に好ましくは0.4以下である
(v)細胞核の扁平率Eが、0.6以下、好ましくは0.4以下、更に好ましくは0.2以下である
(vi)核縁の核面積に対する太さの割合Fが、3%以上、好ましくは5%以上、更に好ましくは10%以上である
上記ステップ3による観察対象細胞の決定は、基本的には、制御部21と記憶部25に記憶されているプログラムとの協働にて自動で行われるが、かかる処理には観察者による補助作業を伴ってもよい。観察者による補助作業とは、例えば、記憶部25に記憶されているプログラムに対し細胞特徴量の各閾値(例えば、細胞核の面積Aであれば、観察対象細胞を決定する際の細胞核の面積Aに対する閾値の設定)を段階的に調整し、決定された観察対象細胞の目視による確認等を含む。
なお、上記(i)〜(vi)の条件、すなわち細胞特徴量の各因子(細胞核の面積A〜核縁の核面積に対する太さの割合F)は任意に選択され適宜変更されてもよいし、各因子中の閾値も任意に選択され適宜変更されてもよい。もちろん、細胞特徴量の因子として上記とは異なる別の因子が使用されてよい。
一方、通信I/F24により顕微鏡画像取得装置1Aからの蛍光画像が入力されると(ステップS4)、蛍光画像から蛍光輝点が抽出される(ステップS5)。
図13に、ステップS5における処理の詳細フローを示す。ステップS5の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
まず、蛍光画像からR成分の抽出が行われる(ステップS501)。
次いで、R成分が抽出された画像にTophat変換が施される(ステップS502)。Tophat変換は、入力画像の各画素の値から、入力画像に最小値フィルター及び最大値フィルターをこの順でかけた画像の、対応する画素の値を減算する処理である。最小値フィルターは、注目画素の近傍の画素(例えば、3×3画素)のうちの最小値で注目画素の値を置き換えるものである。最大値フィルターは、注目画素の近傍の画素(例えば、3×3画素)のうちの最大値で注目画素の値を置き換えるものである。Tophat変換により、濃淡プロファイル上の小突起(近傍の画素に比べて輝度の高い領域)を抽出することができる。これにより、蛍光輝点候補画像を得ることができる。図14Aに、蛍光輝点候補画像の一例を示す。
次いで、蛍光輝点候補画像からノイズ除去が行われることにより、蛍光輝点が抽出された画像(蛍光輝点画像)が得られる(ステップS503)。図14Bに、図14Aに示す蛍光輝点候補画像におけるノイズ除去後に得られる蛍光輝点が抽出された画像を示す。
そして、ノイズ除去後の画像にラベリング処理が施され、抽出された蛍光輝点のそれぞれにラベルLabel_pointが付与される(ステップS504)。Label_pointは、1から順に付与される。ラベリング処理の終了後、処理は図10のステップS6に移行する。
ステップS6においては、明視野画像と蛍光画像とで共通に検出される情報源に基づき、明視野画像と蛍光画像との各画像の位置合わせが行われる。
当該位置合わせに用いられる明視野画像はステップS2で得られた細胞核画像(図12C参照)であり、当該位置合わせに用いられる蛍光画像はステップS5で得られた蛍光輝点画像(図14B参照)である。
明視野画像と蛍光画像とで共通に検出される情報源としては、明視野画像及び蛍光画像の両方で認識可能な情報が用いられ、本実施形態では組織切片の染色材料であるエオジンの染色情報が用いられる。
エオジンの染色情報からは、明視野画像及び蛍光画像の各画像においてその画像を特徴付ける画像特徴量が算出される。当該画像特徴量としては、明視野画像及び蛍光画像の両方で観察できるコントラスト情報やエッジ情報、輪郭情報等が算出され用いられる。
コントラスト情報としては、特定領域やその特定領域と画像全体との間の色差や輝度差の情報が用いられ、必要に応じ二値化処理が施され、情報そのものが強調される。
エッジ情報及び輪郭情報は、明視野画像及び蛍光画像の各画像を画像処理することより得られる。画像処理方法としては、キャニー法やアンシャープマスク法が好ましく用いられる。
ステップS6では、明視野画像と蛍光画像とのエオジンの各染色情報から細胞特徴量が算出され、それら細胞特徴量に基づき、明視野画像と蛍光画像との位置合わせが行われる。
詳しくは、明視野画像のエオジンの染色情報から、明視野画像におけるコントラスト情報、エッジ情報及び輪郭情報が算出される。これと同様に、蛍光画像のエオジンの染色情報からも、蛍光画像におけるコントラスト情報、エッジ情報及び輪郭情報が算出される。そしてこれら情報同士が比較され、その共通点を合致させることにより、明視野画像と蛍光画像との位置合わせが行われる。コントラスト情報、エッジ情報及び輪郭情報の比較では、これら情報のうち、少なくとも1つの情報同士が比較されればよく、例えばコントラスト情報同士のみが比較されてもよいし、コントラスト情報、エッジ情報及び輪郭情報のすべての情報同士が比較されてもよい。
例えば、コントラスト情報同士を比較する場合には、図15に示すように、明視野画像と蛍光画像とで、左端側の特定領域30と右端側の特定領域32とにおけるコントラスト情報を対比させ、それら特定領域30、32における各共通点(濃淡)が合致するよう、各画像が重ね合わされる(位置合わせされる)。このとき、明視野画像と蛍光画像は、特定領域30、32における各共通点が合致するよう、画像自体が拡大又は縮小されてもよい。
なお、明視野画像と蛍光画像とで共通に検出される情報源として、HE染色試薬及び蛍光物質内包ナノ粒子を含む染色試薬とは異なる、第3の染色試薬による染色情報も好ましく用いられる。
第3の染色試薬としては、蛍光画像中の蛍光輝点源の蛍光粒子(すなわち上記蛍光物質内包ナノ粒子)と発光波長が重ならない蛍光粒子や、明らかに大きさ(粒子径)や形状の異なる、可視光及び蛍光の両方で観察される蛍光粒子を含む染色試薬が挙げられる。当該蛍光粒子は発光波長、粒子径及び形状の少なくとも1つが異なっていればよく、例えば発光波長のみが異なっていてもよいし、発光波長、粒子径及び形状のすべてが異なっていてもよい。
具体的に当該蛍光粒子としては、粒子径が1.0〜5.0μmの蛍光粒子が好ましく用いられ、例えば、蛍光色素であるFITCやAlexa Fluor(登録商標)488をシリカに内包させた粒子が挙げられる。
第3の染色試薬による染色情報を情報源とした場合も、明視野画像と蛍光画像とを位置合わせするときは、上記と同様、コントラスト情報、エッジ情報及び輪郭情報等の画像特徴量が算出され、それら画像特徴量に基づき、明視野画像と蛍光画像とが正確に位置合わせされる。
次いで、位置合わせ後の明視野画像(ステップS2で得られた細胞核画像)と蛍光画像(ステップS5で得られた蛍光輝点画像)との両画像から、各観察対象細胞内の特定タンパクの発現状況の判定が行われる(ステップS7)。
詳しくは、明視野画像と蛍光画像とを重ね合わせた状態において、ステップS3で決定した観察対象細胞に対応する部分の蛍光輝点数が算出される。観察対象細胞上に重なる蛍光輝点数は、癌の悪性度や進行度の指標となる特定タンパクの発現状況を示す。
悪性度の判定や治療計画に用いる統計方法としては、特に限定されないが、例えば、観察対象細胞上の蛍光輝点数の総計値を観察対象細胞数で除した値や、観察対象細胞上の蛍光輝点数の総計値を観察対象細胞の総面積で除した値が用いられ、また観察対象細胞上の蛍光輝点数をヒストグラム化して一定数以上の蛍光輝点を有する観察対象細胞数の比率等も好ましく用いられる。
次いで、判定後の各観察対象細胞内の特定タンパクの発現状況に基づき、解析結果画面231が生成され表示部23に表示される(ステップS8)。
例えば、ステップS8では、観察対象細胞上の蛍光輝点数が予め定められた複数の閾値を超えるか否かに基づいて、特定タンパクの発現状況が複数の段階に分類され、高発現領域、中発現領域、低発現領域、極低発現領域といった態様で区分けされる。その後、明視野画像上に、分類結果に応じて異なる表示態様で区分け(例えば、色分け)された画像が生成され、解析結果画面231として表示部23に表示出力される。
図16に、解析結果画面231の一例を示す。図16に示すように、解析結果画面231には、明視野画像231aと、蛍光輝点画像231bと、タンパク発現状況表示231cと、が表示されている。
タンパク発現状況表示231cには、明視野画像上に、特定タンパクの高発現領域、中発現領域、低発現領域、極低発現領域が色分けして表示されている。特定タンパクの発現状況に応じて色分けして表示されるので、医師は、癌の悪性度の指標となる特定タンパクの過剰発現、その広がりを効率よく把握することが可能となり、適切な治療計画を立てることが可能となる。
なお、解析結果画面231の表示方法は、図16に示すものに限定されない。
例えば、タンパク発現状況表示231cのみを表示することとしてもよい。また、操作部22からの切り替え指示に応じて明視野画像231aとタンパク発現状況表示231cを切り替え表示することとしてもよい。また、解析結果画面231に表示する明視野画像231a、蛍光輝点画像231b、タンパク発現状況表示231cは、観察しやすいように何れか又は全てを拡大縮小して表示することとしてもよい。
さらに、操作部22からの指示に応じて、明視野画像231aと蛍光輝点画像231bとを単に重ね合わせた画像を表示することとしてもよく、かかる場合にはその重ね合わせた画像により、特定タンパクの発現状況を医師に視覚的に提示し、判断を促すこともできる。
解析結果は、印刷ボタン231dや送信ボタン231eを押下することでプリント出力又は外部機器への出力が可能となる。
操作部22により印刷ボタン231dが押下されると、制御部21により解析結果のデータが通信I/F24やLAN等の通信ネットワークを介して図示しないプリンタに送信され、解析結果が印刷出力される。また、操作部22により送信ボタン231eが押下されると、制御部21により解析結果のデータが通信I/F24やLAN等の通信ネットワークを介して外部機器(例えば、PACS(Picture Archiving and Communication System for medical application))に送信される。
以上説明したように、本実施形態によれば、細胞特徴量に基づき観察対象細胞を決定し、その後に明視野画像と蛍光輝点画像との画像特徴量に基づきそれら画像を位置合わせすることにより、観察対象細胞における特定タンパクの発現状況を精度良く取得している。
特に、明視野画像と蛍光画像との位置合わせでは、各画像で共通に検出される情報源としてエオジンの染色情報を用いて、かかる染色情報から各画像における画像特徴量を算出しその共通点を一致させるから、明視野画像と蛍光画像とが正確に位置合わせされる。かかる場合、細胞特徴量から決定された明視野画像の観察対象細胞に対し蛍光画像の蛍光輝点が正確に重ねられるから、結果的に明視野画像と蛍光画像との正確な位置合わせにより、観察対象細胞内での特定タンパクの発現を正確に定量することができる。
また、特定タンパクの発現状況については、観察対象細胞に対し蛍光輝点数が予め定められた複数の閾値を超えるか否かに基づいて、特定タンパクの発現状況が複数の段階に分類され、分類結果に応じた態様で区分けした画像が解析結果として出力される。そのため、観察対象細胞は、特定タンパクの発現状況に応じて異なる表示態様で表示され、医師は、癌の悪性度の指標となる特定タンパクの過剰発現、その広がりを効率よく把握することが可能となり、適切な治療計画を立てることが可能となる。
なお、上記実施の形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
例えば、上記実施の形態においては、特定タンパクの例として乳癌におけるKi67タンパクを挙げたが、これに限定されない。診断対象となる病変(がん)種に応じて、蛍光画像を取得する際の生体物質認識部位を異なるものとすれば、病変種に応じた特定タンパクの発現量を定量的に示す特徴量を医師に提供することが可能となる。
また、上記の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてHDDや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、CD-ROM等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、病理診断支援システム100を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。
本発明は、病理診断の際に、観察対象細胞内での特定のタンパク質の発現を正確に定量するのに特に好適に利用することができる。
1A 顕微鏡画像取得装置
2A 画像処理装置
3A ケーブル
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
100 病理診断支援システム

Claims (8)

  1. 組織切片における細胞の形態を表す細胞形態画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力手段と、
    前記細胞形態画像と前記蛍光画像とで共通に検出される情報源に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせする位置合わせ手段と、
    を有することを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記情報源が一定の染色試薬による染色情報であり、
    前記位置合わせ手段が、前記細胞形態画像と前記蛍光画像との前記各染色情報から、各画像における画像特徴量を算出し、それら画像特徴量に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせすることを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記情報源が前記一定の染色試薬とは異なる他の染色試薬による他の染色情報であり、
    前記位置合わせ手段が、前記細胞形態画像と前記蛍光画像との前記各他の染色情報から、各画像における画像特徴量を算出し、それら画像特徴量に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせすることを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記他の染色試薬には、前記蛍光画像中の蛍光輝点源の蛍光粒子に対し、発光波長、粒子径及び形状の少なくとも1つが異なる他の蛍光粒子が含まれていることを特徴とする画像処理装置。
  5. 請求項1〜4のいずれか一項に記載の画像処理装置において、
    前記形態観察画像から、細胞核の面積、細胞核の平均濃度、細胞核の輝度バラツキ、細胞核の円形度、細胞核の扁平率及び細胞核の核縁の核面積に対する太さのうち、少なくとも1つの因子を含む細胞特徴量を算出する算出手段と、
    前記細胞特徴量に基づき、観察対象となる観察対象細胞を決定する決定手段と、
    前記観察対象細胞に対応する位置合わせ後の前記蛍光画像の蛍光輝点数に基づき、前記観察対象細胞における前記特定タンパクの発現状況を判定する判定手段と、
    を有することを特徴とする画像処理装置。
  6. 請求項1〜5のいずれか一項に記載の画像処理装置と、
    前記画像処理装置で使用される、前記細胞形態画像と前記蛍光画像とを取得する画像取得装置と、
    を備えることを特徴とする病理診断支援システム。
  7. コンピュータを、
    組織切片における細胞の形態を表す細胞形態画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力手段、
    前記細胞形態画像と前記蛍光画像とで共通に検出される情報源に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせする位置合わせ手段、
    として機能させるための画像処理プログラム。
  8. 組織切片における細胞の形態を表す細胞形態画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを用いる病理診断支援方法であって、
    前記細胞形態画像と前記蛍光画像とで共通に検出される一定の染色試薬で前記組織切片を染色する工程と、
    染色後の前記組織切片から、前記細胞形態画像と前記蛍光画像とを取得する工程と、
    前記一定の染色試薬による染色情報に基づき、前記細胞形態画像と前記蛍光画像とを位置合わせする工程と、
    を有することを特徴とする病理診断支援方法。
JP2015525184A 2013-07-03 2014-06-27 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 Active JP6350527B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013139898 2013-07-03
JP2013139898 2013-07-03
PCT/JP2014/067146 WO2015002082A1 (ja) 2013-07-03 2014-06-27 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法

Publications (2)

Publication Number Publication Date
JPWO2015002082A1 true JPWO2015002082A1 (ja) 2017-02-23
JP6350527B2 JP6350527B2 (ja) 2018-07-04

Family

ID=52143660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015525184A Active JP6350527B2 (ja) 2013-07-03 2014-06-27 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法

Country Status (3)

Country Link
US (1) US9779500B2 (ja)
JP (1) JP6350527B2 (ja)
WO (1) WO2015002082A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122344A1 (en) 2005-09-02 2007-05-31 University Of Rochester Medical Center Office Of Technology Transfer Intraoperative determination of nerve location
US20080161744A1 (en) 2006-09-07 2008-07-03 University Of Rochester Medical Center Pre-And Intra-Operative Localization of Penile Sentinel Nodes
US8406860B2 (en) 2008-01-25 2013-03-26 Novadaq Technologies Inc. Method for evaluating blush in myocardial tissue
US10219742B2 (en) 2008-04-14 2019-03-05 Novadaq Technologies ULC Locating and analyzing perforator flaps for plastic and reconstructive surgery
EP2285421B1 (en) 2008-05-02 2018-04-11 Novadaq Technologies ULC Methods for production and use of substance-loaded erythrocytes for observation and treatment of microvascular hemodynamics
US10492671B2 (en) 2009-05-08 2019-12-03 Novadaq Technologies ULC Near infra red fluorescence imaging for visualization of blood vessels during endoscopic harvest
JP6028096B2 (ja) 2012-06-21 2016-11-16 ノバダック テクノロジーズ インコーポレイテッド 血管造影及びかん流の定量化並びに解析手法
CN107209118B (zh) * 2014-09-29 2021-05-28 史赛克欧洲运营有限公司 在自体荧光存在下生物材料中目标荧光团的成像
CA2963450A1 (en) 2014-10-09 2016-04-14 Novadaq Technologies Inc. Quantification of absolute blood flow in tissue using fluorescence-mediated photoplethysmography
JP6375925B2 (ja) * 2014-12-15 2018-08-22 コニカミノルタ株式会社 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
US9784665B1 (en) * 2014-12-29 2017-10-10 Flagship Biosciences, Inc. Methods for quantitative assessment of muscle fibers in muscular dystrophy
JP6372370B2 (ja) * 2015-01-23 2018-08-15 コニカミノルタ株式会社 生体物質定量方法、画像処理装置、及びプログラム
JP6520961B2 (ja) 2015-02-10 2019-05-29 コニカミノルタ株式会社 生体物質定量方法、病理診断支援システム及びプログラム
EP3312605A4 (en) * 2015-06-16 2018-05-30 Konica Minolta, Inc. Image processing device, image processing method and image processing program
US20170064287A1 (en) * 2015-08-24 2017-03-02 Itseez3D, Inc. Fast algorithm for online calibration of rgb-d camera
JP6578928B2 (ja) * 2015-12-16 2019-09-25 コニカミノルタ株式会社 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム
USD817966S1 (en) * 2016-01-26 2018-05-15 Sony Corporation Portion of display panel or screen with animated graphical user interface
JP6922444B2 (ja) * 2016-11-11 2021-08-18 コニカミノルタ株式会社 蛍光ナノ粒子を用いた、病理学的完全奏効(pCR)の予測を支援するための検査支援方法
US11275087B2 (en) * 2016-11-11 2022-03-15 Konica Minolta, Inc. Test support method for supporting prediction of pathological complete response (pCR) using fluorescent nanoparticles
JPWO2018143406A1 (ja) * 2017-02-06 2019-12-26 コニカミノルタ株式会社 画像処理装置及びプログラム
WO2018145193A1 (en) 2017-02-10 2018-08-16 Novadaq Technologies ULC Open-field handheld fluorescence imaging systems and methods
DE102017107348B4 (de) * 2017-04-05 2019-03-14 Olympus Soft Imaging Solutions Gmbh Verfahren zur zytometrischen Analyse von Zellproben
WO2019032723A1 (en) * 2017-08-09 2019-02-14 Allen Institute IMAGE PROCESSING SYSTEMS, DEVICES, AND METHODS FOR GENERATING AN IMAGE HAVING PREDICTIVE MARKING
CN112132772B (zh) * 2019-06-24 2024-02-23 杭州迪英加科技有限公司 一种病理切片实时判读方法、装置及***
CN111323362A (zh) * 2020-03-17 2020-06-23 宁波江丰生物信息技术有限公司 一种基于荧光切片的循环肿瘤细胞检测***及检测方法
JP2023098287A (ja) 2021-12-28 2023-07-10 株式会社Screenホールディングス 画像表示方法、コンピュータープログラムおよび記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010019656A (ja) * 2008-07-10 2010-01-28 Univ Of Tokushima 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
JP2010085219A (ja) * 2008-09-30 2010-04-15 Nec Soft Ltd 顕微質量分析の二次元解析画像と、光学顕微鏡撮影の二次元可視画像との自動的位置重ね合わせ方法
JP2012065800A (ja) * 2010-09-22 2012-04-05 Olympus Corp 蛍光観察装置
US20120082978A1 (en) * 2006-09-15 2012-04-05 Linda Pilarski Cell Analysis On Microfluidic Chips
JP2013506129A (ja) * 2009-09-29 2013-02-21 ゼネラル・エレクトリック・カンパニイ 蛍光画像を用いて明視野画像を生成するためのシステム及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57153367A (en) 1981-03-18 1982-09-21 Toshiba Corp Diagnostic device of cell
JP5040597B2 (ja) 2007-11-06 2012-10-03 日本電気株式会社 評価システム、評価方法および評価プログラム
JP5438962B2 (ja) * 2008-12-25 2014-03-12 シスメックス株式会社 細胞画像表示装置
JP2012013804A (ja) * 2010-06-29 2012-01-19 Sony Corp 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP5733939B2 (ja) 2010-10-05 2015-06-10 三菱電機株式会社 情報提供システム
WO2012066827A1 (ja) 2010-11-19 2012-05-24 オリンパス株式会社 生体試料調製方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120082978A1 (en) * 2006-09-15 2012-04-05 Linda Pilarski Cell Analysis On Microfluidic Chips
JP2010019656A (ja) * 2008-07-10 2010-01-28 Univ Of Tokushima 蛍光集団の評価装置、コンピュータ実行可能な蛍光集団の評価プログラム、及び蛍光集団の評価システム
JP2010085219A (ja) * 2008-09-30 2010-04-15 Nec Soft Ltd 顕微質量分析の二次元解析画像と、光学顕微鏡撮影の二次元可視画像との自動的位置重ね合わせ方法
JP2013506129A (ja) * 2009-09-29 2013-02-21 ゼネラル・エレクトリック・カンパニイ 蛍光画像を用いて明視野画像を生成するためのシステム及び方法
JP2012065800A (ja) * 2010-09-22 2012-04-05 Olympus Corp 蛍光観察装置

Also Published As

Publication number Publication date
JP6350527B2 (ja) 2018-07-04
US20160371834A1 (en) 2016-12-22
US9779500B2 (en) 2017-10-03
WO2015002082A1 (ja) 2015-01-08

Similar Documents

Publication Publication Date Title
JP6350527B2 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法
JP5892238B2 (ja) 医用画像処理装置及びプログラム
JP5804194B2 (ja) 医用画像処理装置及びプログラム
JP6443450B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5822054B1 (ja) 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法
JP6635108B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6597316B2 (ja) 画像処理装置及びプログラム
JP5768948B1 (ja) 画像処理装置および画像処理プログラム
JP6763407B2 (ja) 画像処理装置及びプログラム
JP7173034B2 (ja) 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム
JP6493398B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP5835536B1 (ja) 組織評価方法、画像処理装置、病理診断支援システム及びプログラム
JP6375925B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法
JPWO2018143406A1 (ja) 画像処理装置及びプログラム
JP6337629B2 (ja) 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム
JP6702339B2 (ja) 画像処理装置及びプログラム
JP6405985B2 (ja) 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180508

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180521

R150 Certificate of patent or registration of utility model

Ref document number: 6350527

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150