JP7450942B2 - 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム - Google Patents

画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム Download PDF

Info

Publication number
JP7450942B2
JP7450942B2 JP2021508213A JP2021508213A JP7450942B2 JP 7450942 B2 JP7450942 B2 JP 7450942B2 JP 2021508213 A JP2021508213 A JP 2021508213A JP 2021508213 A JP2021508213 A JP 2021508213A JP 7450942 B2 JP7450942 B2 JP 7450942B2
Authority
JP
Japan
Prior art keywords
image
image analysis
cancer
binarization
cell nucleus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021508213A
Other languages
English (en)
Other versions
JPWO2020195258A1 (ja
Inventor
和昭 中根
浩文 山本
サチ子 南雲
康嘉 堤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Publication of JPWO2020195258A1 publication Critical patent/JPWO2020195258A1/ja
Application granted granted Critical
Publication of JP7450942B2 publication Critical patent/JP7450942B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Description

本発明は、組織を撮像した画像を解析して、癌化した細胞を判別する画像解析方法、画像解析装置、および画像解析システムなどに関する。
病理診断に用いられる組織スライドなどの画像を、計算機技術を用いて解析するために、位相幾何学的な考え方の導入が提案されている。病理診断を支援する技術の例として、特許文献1には、病理画像に基づいて癌病変部を抽出する画像解析装置が開示されている。特許文献1に記載の画像解析装置は、病理画像における単位面積当たりのホモロジーを領域ごとに算出することにより、各領域が注目領域(例えば、癌病変部を含む領域)であるか否かを判断する。
また、非特許文献1には、肝臓を撮像した画像を、パーシステントホモロジー(persistent homology)の概念を適用して解析し、肝臓の病変を分類する方法について記載されている。
WO2010/087112号(2010年8月5日公開)
Aaron Adcock et al.,「Classification of Hepatic Lesions using the Matching Metric」,Computer Vision and Image Understanding, Vol. 121, p.36-42,2014.
一般に、画像診断では、癌細胞の早期発見が重要である。そのため、画像解析技術においては、被検者から採取された細胞について、その細胞が癌細胞であるか否かを簡便に判定できる技術が求められている。
また、例えば、肺癌の場合、小細胞癌に分類される癌細胞は、進行が早く、迅速な診断と治療が必要である。このように、癌細胞の中には、進行が早く、迅速な診断と治療が要求される癌細胞の種別もあるため、癌細胞の有無に加えて、癌の種別の判定ができることが望ましい。
一般的に癌細胞では、細胞核内のクロマチン量の増量が見られるため、従来の癌の診断では細胞核内のクロマチン量の増量を癌の指標のひとつとしている。しかし、クロマチンは細胞核内において3次元的に分布しているため、細胞におけるクロマチン量の増量を3次元的に画像として検出するためには、焦点を変更して撮像した複数の撮像画像を取得する必要があった。しかし、焦点を変更した撮像画像を複数取得することは、検査技師および病理医などにとって手間であった。
本発明の一態様は、細胞検体の画像を解析することにより、当該画像に写っている細胞の癌化の有無、および癌の種別などを従来よりも簡易に判定することを目的とする。
上記の課題を解決するために、本発明の一態様に係る画像解析方法は、組織を撮像した撮像画像を解析する方法であって、1つの上記撮像画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行うことにより、複数の二値化画像を生成する二値化工程と、上記二値化工程にて生成した複数の二値化画像のそれぞれについて、穴形状の領域の数である領域数を算出する領域数算出工程と、上記領域数が、所定の値に一致したときの当該二値化画像の二値化の基準値に基づいて、上記組織に含まれる細胞の癌の種別を判定する判定工程とを含む。
上記の課題を解決するために、本発明の一態様に係る画像解析装置は、組織を撮像した撮像画像を解析する画像解析装置であって、1つの上記撮像画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行うことにより、複数の二値化画像を生成する二値化部と、生成した上記複数の二値化画像のそれぞれについて、穴形状の領域の数である領域数を算出する領域数算出部と、上記領域数が、所定の値に一致したときの当該二値化画像の二値化の基準値に基づいて、上記組織に含まれる細胞の癌の種別を判定する癌判定部とを備える。
本発明の一態様によれば、細胞検体の画像を解析することにより、当該画像に写っている細胞の癌化の有無、および癌の種別などを従来よりも簡易に判定できる。
本発明の実施形態1に係る画像解析装置の構成の一例を示すブロック図である。 画像解析装置に適用可能な1次元ベッチ数について説明する図である。 画像解析装置における処理の流れの一例を示すフローチャートである。 細胞核の画像を抽出する処理を模式的に示す図である。 細胞核の画像において、二値化の基準値を変化させた場合に生成される二値化画像の特徴を説明する図である。 細胞核の画像における0次元ベッチ数と、二値化の基準値との関係性を示すグラフの一例である。 細胞核の画像における1次元ベッチ数と、二値化の基準値との関係性を示すグラフの一例である。 癌細胞判定処理の流れの一例を示すフローチャートである。 正常細胞および各種別の癌細胞における、二値化の基準値Th2の値の比較例を示す図である。 正常細胞および各種別の癌細胞における、1次元ベッチ数の最大値b1maxの値の比較例を示す図である。 判定結果の一例を示す図である。 本発明の実施形態2に係る画像解析装置の構成の一例を示すブロック図である。 本発明に係る画像解析装置を含む画像解析システムの構成例を示す概略図である。 細胞核内のクロマチンの状態と、撮像される撮像画像との関係を説明する概念図である。
(本発明の技術思想)
まず、本発明の技術思想について以下に説明する。本発明の目的は、組織を撮像した撮像画像を解析することにより、当該撮像画像に写っている組織の癌の種別を判定することである。
本発明の発明者は、所定の染色法を用いて染色された細胞検体の標本を撮像した撮像画像を調べ、以下の(1)~(3)について詳細に比較・検討した。
(1)細胞核の撮像画像から得られるクロマチン(Chromatin)量に関する情報
(2)癌化した細胞か否かに関する情報
(3)癌の種別との対応関係を示す情報。
ここで、「細胞検体」とは、被検者の組織から採取された細胞を含む検体であってもよいし、被検者の組織から遊離あるいは剥離した細胞を含む検体であってもよい。
本発明の発明者は、細胞核の撮像画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行った。そして、本発明の発明者は、変化させた二値化の基準値と、当該基準値を用いて二値化された画像に含まれる組織の像が示す0次元ベッチ数0および1次元ベッチ数b1との関係を調べた。その結果、本発明の発明者は、癌化した細胞か否か、および癌の種別を、二値化された画像に含まれる組織の像が示す0次元ベッチ数0および1次元ベッチ数b1との関係に基づいて判定することが可能となることを見出した。
<細胞診断による癌の判定>
癌化した細胞に見られる特徴として、細胞核の大型化およびクロマチン量の増量などが挙げられる。ここで、クロマチン量の増量とは、正常細胞の間期(すなわち、G1期-S期-G2期)よりもクロマチン量が増している状態を意図している。クロマチンは、真核生物の細胞核内に存在し、塩基性色素によく染まる物質である。クロマチンは、DNAおよびヒストンを主成分とする複合体である。また、クロマチンは、細胞周期および遺伝子の活性状態などに応じて凝集したり脱凝集したりするなど、構造的に大きく変化することが知られている。
細胞診断において細胞検体の標本の作製には、これに限定されるものではないが、パパニコロー(Papanicolaou)染色法が適用されている。パパニコロー染色法は、細胞核および細胞質を染色する方法である。パパニコロー染色法において、まず、ガラス面(例えば、スライドグラスなど)に塗り付けた細胞が乾燥しないうちにアルコールで湿固定し、ヘマトキシリン(hematoxylin)で細胞核が染色される。次いで、エオシン(eosin)、オレンジG、またはライトグリーンで細胞質が染色される。クロマチンは、細胞核内の他の分子に比べて、ヘマトキシリンによって青藍色により濃く染色される。それゆえ、クロマチンの像は、濃い色の微顆粒、粗顆粒、あるいは顆粒どうしが多数凝集した状態として確認される。なお、核小体もクロマチンと同様、ヘマトキシリンによって濃く染色される。
従来の細胞診断において、クロマチン量の増量は、細胞核が写っている撮像画像における、各顆粒(クロマチンの像)の大きさと数、および、顆粒どうしが多数凝集した状態(クロマチンの像)における凝集具合によって評価され得る。例えば、(1)顆粒の直径が大きい場合、(2)細胞核内の顆粒の数が多い場合、および(3)顆粒どうしの凝集が多い場合などに、クロマチン量が増量していると判断される。
しかし、細胞検体の標本を撮像した撮像画像は、2次元の明暗パターンとして表されるため、細胞核内のクロマチンの3次元的な存在状態を撮像画像から正確に把握することはできない。
<撮像画像におけるクロマチンの像>
細胞検体に含まれる細胞を撮像した撮像画像におけるクロマチンの像について、図14を用いて説明する。図14は、細胞核内のクロマチンの状態と、撮像される撮像画像との関係を説明する概念図である。なお、図14は、Z軸の正の側から撮像されている細胞をZ軸を含む平面で切断した断面を示す断面図である。
図14に示すように、細胞核内のクロマチンは線状であると考えられ、かつ、細胞核内において3次元的に分布している。クロマチンの焦点面上の位置P1~P4に対応する像は、撮像画像において高コントラストで明瞭な像として撮像される。なお、焦点面とは、撮像に用いられている光学系の焦点を通り、該光学系の光軸に垂直な平面を意図している。また、焦点深度内の焦点面の手前側および奥側に存在する部分に存在するクロマチンの像のコントラストは、位置P1~P4に対応する像に比べて低くなる。焦点面からさらに離れた位置(すなわち、焦点深度外)に存在するクロマチンの像は、ぼやけて薄霧のようになるため、細胞質の像などとの区別がつきにくくなる。ここで、高コントラストとは、クロマチンの像とクロマチンが存在していない周囲の像との明度の差が大きいことを意図している。例えば、染色されたクロマチンの像は、コントラストが高くなるにつれて、細胞質などの背景の像に比べてより明瞭でかつ暗い像となる。一方、コントラストが低くなるにつれて、染色されたクロマチンの像は、細胞質などの背景の像との明度の差が無くなる。
発明者らは、焦点深度とコントラストとの上記の関連性に着目した。発明者らは、撮像画像の明度に関する画素値を二値化した二値化画像を数学的に解析することで、細胞核内において3次元的に分布しているクロマチンの存在状態に関する情報を読み取ることが可能であることを見いだした。図14に示すように、クロマチンが3次元的に分散した線状であれば、細胞核内のクロマチンは、絡まった毛糸のように、交錯して絡まった状態で存在していると考えられる。クロマチン量が増量すれば、クロマチンの密集度合い、および交錯度合いが上昇する。焦点深度内におけるクロマチンの密集度合い、および交錯度合いは、二値化画像を数学的に解析することで評価することが可能であるため、焦点を変更して撮像した複数の撮像画像を取得する必要はない。
<細胞核内のクロマチン量を評価するための数学的表現>
細胞核内のクロマチン量の増量をクロマチンの交錯度合いに基づいて評価するために、本発明の発明者らは、ホモロジーの概念、特にパーシステントホモロジーの適用を試みた。ホモロジーとは、図形の形態上の性質を代数的に置き換えて、図形の結合などの解析を容易にする数学の一分野である。本発明の発明者らは、ホモロジーの概念の中でも0次元ベッチ数b0および1次元ベッチ数b1の利用に着目した。
ホモロジーの概念は、構成要素の接触を表す数学的な概念である。検体を撮像した撮像画像の明度に関して二値化の基準値を設定し、二値化された画像から1細胞核当たりの0次元ベッチ数b0および1次元ベッチ数b1を算出することにより、細胞核内のクロマチンの密集度合いおよび交錯度合いの評価が可能である。
ベッチ数とは、図形(構成要素)の形状には無関係であり、図形の接触と分離とにのみ関係するトポロジカルな特徴量である。q次元特異ホモロジー群が有限生成のとき、このq次特異ホモロジー群は、自由アーベル群と有限アーベル群との直和に分けられる。この自由アーベル群の階級をベッチ数という。2次元平面内の図形の場合、0次元ベッチ数b0は連結成分の数であり、1次元ベッチ数b1は当該連結成分が外縁となって囲んだ空間(穴形状の領域)の数、すなわち連結成分中に存在する「穴」の数である。
<0次元ベッチ数b0>
0次元ベッチ数b0は、数学的には以下のように定義される。一般に有限個の線分を繋ぎ合わせて成る図形(1次元複体とも呼称される)Kの連結成分の個数を0次元ベッチ数b0という。「有限個の点を有限個の線分で結んだ図形が連結である」とは、この図形の任意の頂点から他の任意の頂点に、この図形の辺を辿って到達し得ることを意図する。
二値化画像において細胞核あたりに計数される0次元ベッチ数b0は、細胞核内のクロマチンの分布を示す顆粒の数を反映している。したがって、二値化画像において細胞核あたりに計数される0次元ベッチ数b0は、当該細胞核内において3次元的に分散しているクロマチン量が増量するに応じて多くなる、と考えられる。
<1次元ベッチ数b1>
1次元ベッチ数b1は、数学的には以下のように定義される。一般に有限個の線分を繋ぎ合わせて成る図形(1次元複体)Kに対して、Kの辺eの両端が異なる頂点のとき、辺eを取り去り両端の点を1つにするという操作をレトラクションと呼ぶ。図形Kに対して、このレトラクションが可能な各辺に操作をして得られた図形をK’とする。このK’の辺の数がb1である。
図2に示す図形を用いて、1次元ベッチ数b1について説明する。図2は、本発明に係る画像解析装置1に適用可能なベッチ数について説明する図である。図2に示す図は、環C1と環C2が互いに交わっている。この図形が有している「穴」の数は3つである。一方、この図形の1次元ベッチ数b1は3と算出される。すなわち、ある図形について1次元ベッチ数b1を算出するということは、当該図形が有している「穴」の数を数えていることに等しい。
二値化画像において細胞核あたりに計数される1次元ベッチ数b1は、細胞核内の3次元的なクロマチンの交錯状態を平面に投射した場合にできる閉空間の数を反映している。したがって、二値化画像において細胞核あたりに計数される1次元ベッチ数b1は、当該細胞核内において3次元的に分散しているクロマチン量が増量し、互いに交錯している度合いが高くなるにつれて多くなる、と考えられる。
〔実施形態1〕
以下、本発明の一実施形態について、詳細に説明する。なお、以下では、肺癌の細胞か否か、および肺癌の種別を判定する画像解析装置1を例に挙げて説明するが、本発明の解析対象は、癌化によって細胞核内のクロマチン量の増量が見られる組織および細胞の癌の判定に適用可能であり、肺癌に限定されない。画像解析装置1は、例えば、肺癌、前立腺癌、膀胱癌、乳癌、甲状腺癌、卵巣癌、子宮頸癌、胃癌、膵癌、胆管癌、および悪性リンパ腫などさまざまな癌の種別の判定に適用することができる。
また、細胞検体は、細胞の核が観察可能なものであればよく、採取方法に依存しない。例えば、肺癌の種別を判定するためには、喀痰検体、気管内採痰検体、経気管吸引痰検体、気管支擦過検体、気管支生検鉗子洗浄液、腫瘤捺印検体、および腫瘤穿刺検体などを撮像した撮像画像を適用することが可能である。
なお、以下では、0次元ベッチ数b0および1次元ベッチ数b1を算出する構成について説明するが、いずれか一方のみを算出して利用する構成であってもよい。ただし、細胞核内のクロマチンの分布は様々であり、撮像画像に表れる特徴も様々であるため、0次元ベッチ数b0および1次元ベッチ数b1を算出する構成が望ましい。なぜなら、細胞核内のクロマチンの量および存在状態を、細胞核の画像中の連結領域の数の変化と、穴形状の領域数の変化とに基づいて検出する構成を採用すれば、癌細胞であるか否か、および癌の種別を精度良く判定できるからである。
(画像解析装置1の構成)
ここでは、画像解析装置1の構成について図1を用いて説明する。図1は、本発明の実施形態1に係る画像解析装置1の構成の一例を示すブロック図である。図示のように、画像解析装置1は、画像取得部2、記憶部3、画像解析部4、表示制御部5、および一次記憶部7を備えている。なお、画像解析装置1が別体として設けられた表示装置6と接続されている例を図示しているが、これに限定されない。例えば、画像解析装置1が表示装置6を内蔵する構成であってもよいし、複数の表示装置6と無線/有線で接続された構成であってもよい。
画像取得部2は、外部機器8から組織を撮像した撮像画像(以下、組織画像と称する)を取得し、取得した組織画像を記憶部3に格納する。外部機器8は、例えば、顕微鏡に接続された撮像装置、画像データを保存・管理するサーバなどであってもよい。上記組織画像は、組織を適当な拡大倍率で撮像した画像である。なお、組織画像の撮像倍率は、好ましくは1000倍である。しかし、組織画像の撮像倍率は、解析の対象となる組織、および組織画像の画素数などに応じて、当業者によって適宜設定されればよい。
組織を染色する方法は、クロマチンを染色可能な任意の染色方法が適用される染色法であればよい。例えば、上述のパパニコロー染色法、およびHE(Hematoxylin-Eosin)染色法などが用いられ得る。これらの染色法を用いれば、細胞核および細胞質がそれぞれ異なる色に染色され、かつクロマチンが濃く染色されるため、細胞内の細胞核内のクロマチンを観察することに適している。
記憶部3は、画像取得部2が取得した組織画像とともに、画像解析部4が実行する(1)各部の制御プログラム、(2)OSプログラム、(3)アプリケーションプログラム、および、(4)これらプログラムを実行するときに読み出す各種データを記録するものである。記憶部3は、ハードディスク、フラッシュメモリなどの不揮発性の記憶装置によって構成される。
一次記憶部7は、上述の各種プログラムを実行する過程でデータを一時的に保持するための作業領域として使用されるものであり、RAM(Random Access Memory)などの揮発性の記憶装置によって構成される。
表示制御部5は、表示装置6を制御することにより、画像解析部4から出力される解析結果を含む情報を表示装置6に表示する。
表示装置6は、画像解析部4から出力される解析結果を含む情報を表示する表示装置であり、例えば液晶ディスプレイである。なお、画像解析装置1が専用の表示装置6を備える構成であってもよい。なお、表示装置6の表示画面にタッチセンサが重畳されており、ユーザによる表示面へのタッチ操作を表示装置6が検出できる構成であってもよい。
(画像解析部4の構成)
画像解析部4は、画像取得部2が取得した組織画像を解析することにより、当該組織画像に含まれる細胞の癌化の有無および癌の種別を判定する。この画像解析部4は、画質判定部40、二値化部41、ベッチ数算出部42(領域数算出部)、および癌判定部43を備えている。
画質判定部40は、組織画像が解析対象として適しているか否かを判定する。具体的には、画質判定部40は、記憶部3から組織画像を読み出して、該組織画像に含まれる全画素の明度に関する画素値の度数分布を解析する。画質判定部40は、明度に関する画素値の度数分布において、極大となる画素値が複数存在しておらず、かつ、所定範囲内の値である場合、当該組織画像を適切と判定する。画質判定部40によって適切と判断された組織画像は画像解析部4の解析対象となる。
図1は、画質判定部40が組織画像を記憶部3から取り出す構成について図示しているが、これに限定されない。例えば、画像取得部2が取得した解析対象となる組織画像を記憶部3に記憶させることなく、画質判定部40に出力する構成であってもよい。
次に、二値化部41は、標準化した細胞核の画像に対して二値化処理を行う。ここで、二値化処理とは、例えば、二値化の基準値よりも大きい画素値を有する画素を白色の画素に変換し、二値化の基準値以下の画素値を有する画素を黒色の画素に変換する処理である。このとき二値化部41は、1つの細胞核の画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行うことにより、複数の二値化画像を生成する。
なお、二値化部41が公知の画像認識機能(あるいは、画像検出機能)を備え、組織画像の明度を示す画素値に基づいて、細胞核の画像を自動的に抽出する構成であってもよい。しかし、これに限定されず、画像解析装置1を使用する検査技師および医療関係者などに細胞核の画像を選択させてもよい。この場合、組織画像を検査技師および医療関係者が使用するコンピュータが備える表示部の表示画面に表示させ、検査技師および医療関係者による細胞核の画像の選択を受け付ければよい。
ベッチ数算出部42は、二値化部41が生成した複数の二値化画像について、当該二値化画像に含まれる、(1)二値化後の画素値が0である画素が連結して成る連結領域の数(2)二値化後の画素値が0である画素に囲まれた穴形状の領域の数(領域数)を算出する。すなわち、ベッチ数算出部42は、複数の二値化画像にそれぞれ含まれる組織の像について、0次元ベッチ数b0および1次元ベッチ数b1を算出する。
上記連結領域は、二値化画像において、黒色の画素が隣接しつつ集まった領域である。それぞれの連結領域は、白色の画素によって囲まれており、互いに独立した顆粒状の像として視認される。
上記穴形状は、二値化画像において、黒色の画素によって白色の画素が囲まれている領域を意図している。例えば、黒色の画素が線状である場合、穴形状は黒色の線によって囲まれた穴であり得る。
ベッチ数算出部42として、既存のプログラムを用いてもよい。このようなプログラムの一例としてCHomPを挙げることができる。CHomPは、GNU(General PublicLicense)に準拠したフリーウェアであり、ホームページ(http://chomp.rutgers.edu/)からダウンロードできる。画像に関する0次元ベッチ数および1次元ベッチ数を算出できるプログラムであれば、CHomP以外のプログラムを用いてもよい。
具体的には、ベッチ数算出部42が各細胞核の画像から、0次元ベッチ数b0および1次元ベッチ数b1と、二値化の基準値との対応関係を解析し、0次元ベッチ数b0の最大値b0maxを与える二値化の基準値Th1、1次元ベッチ数b1が第1所定値となるときの二値化の基準値Th2、および、1次元ベッチ数b1の最大値b1maxを算出する。ここで、二値化の基準値Th2は、二値化の基準値を0から徐々に大きくしていった場合に、1次元ベッチ数b1が最初に第1所定値に達するときの二値化の基準値である。すなわち、二値化の基準値Th2は、1次元ベッチ数b1が第1所定値である二値化の基準値のうち最小の値である。
なお、二値化の基準値Th1およびTh2を算出する場合、ベッチ数算出部42は、画素値の標準化処理を行うことが望ましい。ここで、標準化処理とは、各細胞検体の染色具合、および分析対象の各細胞核の画像の明度に応じて、二値化の基準値Th1および基準値Th2を補正するための処理である。具体的には、ベッチ数算出部42は、細胞核の画像毎に明度に関する画素値のうち、最頻値を与える画素値が127となるように、二値化の基準値Th1およびTh2を補正する。なお、127は、画素値の最低値0および最大値255との中間の値である。ベッチ数算出部42は、標準化処理を行うことにより、各細胞検体の染色具合に差があることに起因する各組織画像の明度のばらつきがあっても、二値化の基準値Th1およびTh2を適切に算出することができる。二値化の基準値Th1およびTh2を適切に算出することは、各細胞核の画像を解析して細胞核内のクロマチン量を正しく評価するために重要である。
例えば、ある細胞核の画像の明度に関する画素値の度数分布において、最頻値を与える画素値がQであった場合、ベッチ数算出部42は、基準値Th1および基準値Th2を下記の式によって算出する。
(補正後の基準値Th1)=(補正前の基準値Th1)-{Q-127}
(補正後の基準値Th2)=(補正前の基準値Th2)-{Q-127}
以下では、特に言及しない場合、二値化の基準値Th1およびTh2は、補正後の基準値Th1およびTh2を意図している。
癌判定部43は、ベッチ数算出部によって算出された、1次元ベッチ数b1が第1所定値となるときの二値化の基準値Th2、および1次元ベッチ数b1の最大値b1maxに基づいて、組織に含まれる細胞について癌細胞か否かを判定する。
また、癌判定部43は、組織に含まれる細胞について癌細胞か否か、および癌細胞の種別を、下記の(1)~(4)に基づいて判定してもよい。
(1)0次元ベッチ数b0の最大値b0maxを与える二値化の基準値Th1
(2)1次元ベッチ数b1が第1所定値となるときの二値化の基準値Th2
(3)1次元ベッチ数b1の最大値b1max
(4)細胞核の形態上の特徴
なお、細胞核の形態上の特徴としては、細胞核の形状および細胞核の大きさなどを表す特徴が適用され得る。なお、以下では、細胞核の形態上の特徴として、細胞核の大きさを適用した場合を例に挙げて説明する。この場合、癌判定部43は、細胞核の大きさを任意の方法で算出すればよい。例えば、細胞核の画像が四角形である場合、該四角形の対角線または辺の長さが表す実際の寸法を、撮像倍率を用いて算出し、この値を細胞核の大きさを示す値として用いてもよい。あるいは、癌判定部43は、細胞核の画像に含まれる細胞核に対応する領域の実際の面積を、撮像倍率を用いて算出し、該面積と同じ面積の円の直径を該細胞核の大きさとして算出してもよい。
(画像解析装置1の処理の流れ)
次に、画像解析装置1における処理の流れの一例について、図3を用いて説明する。図3は、画像解析装置1における処理の流れの一例を示すフローチャートである。なお、ここでは、二値化部41が、組織画像から細胞核の画像を抽出する機能を備えている場合を例に挙げて説明する。
まず、二値化部41は、画質判定部40によって適切と判定された組織画像を取得し、取得した組織画像から、図4に示すように、1つの細胞核の画像Gを抽出する(ステップS1:抽出工程)。図4は、細胞核の画像を抽出する処理を模式的に示す図である。なお、細胞核の画像Gは当該細胞核を1つだけ含む画像であればよい。なお、細胞核の画像Gは、好ましくは、細胞核に対応する領域が該細胞核の画像全体に対して所定の割合(例えば85%)以上を占める画像である。図4では、細胞核の画像Gとして、1つの細胞核が写っている領域を四角形Gで囲んだ領域として抽出した例を示しているが、細胞核全体を囲む任意の多角形、円形、および楕円形で囲んだ領域として抽出してもよい。
二値化部41は、二値化の基準値を変化させながら二値化処理を行い、ステップS1において抽出した細胞核の画像から複数の二値化画像を生成する(ステップS2:二値化工程)。
図5は、細胞核の画像において、二値化の基準値を変化させた場合に生成される二値化画像の特徴を説明する図である。細胞核の画像G1は、正常細胞の細胞核の画像である。一方、細胞核の画像G2は、癌細胞の細胞核の画像である。
二値化の基準値が十分小さい値(例えば、0)のとき、細胞核の画像は真白である。二値化の基準値を徐々に大きくしていくと、まず、焦点面上に存在している核小体などの像が粒または点状に出現する。さらに、二値化の基準値を大きくすると、焦点面上のクロマチンの像が出現する。このとき出現するクロマチンの像は顆粒状である。さらに、二値化の基準値を大きくすると、次に、焦点深度内のクロマチンの像が出現する。この段階で出現するクロマチンの像は、顆粒状、または線状である。さらに、二値化の基準値を大きくすると、焦点深度外の影響により細胞核内のクロマチンの像はノイズに埋もれる。二値化の基準値が十分大きい値(例えば、255)のとき、細胞核の画像は真黒である。
上記のような二値化画像における傾向は正常細胞の細胞核の画像G1においても、癌細胞の細胞核の画像G2においても同様にみられる。しかし、図5に示すように、癌細胞の細胞核の画像G2における二値化画像は、正常細胞の細胞核の画像G1における二値化画像に比べて、より低い二値化の基準値のときから、クロマチンの顆粒状および線状の像が顕在化する。また、癌細胞の細胞核の画像G2における二値化画像は、正常細胞の細胞核の画像G1における二値化画像に比べてクロマチンの像が密に存在している。これは、正常細胞に比べて癌細胞の細胞核内のクロマチン量が増量しているためである。
図3に戻り、次に、ベッチ数算出部42は、二値化部41によって生成された各二値化画像中の0次元ベッチ数b0、および1次元ベッチ数b1を算出する(ステップS3:領域数算出工程)。
図6は、細胞核の画像における0次元ベッチ数と、二値化の基準値との関係性を示すグラフの一例である。このように、各細胞核の画像における0次元ベッチ数は、最大値b0maxを1つ有する釣鐘形状のグラフとなる。例えば、ベッチ数算出部42は、0次元ベッチ数の最大値b0maxを与える二値化の基準値Th1を算出する(図6参照)。
図7は、細胞核の画像における1次元ベッチ数と、二値化の基準値との関係性を示すグラフの一例である。このように、各細胞核の画像における1次元ベッチ数は、最大値b1maxを1つ有する釣鐘形状のグラフとなる。例えば、ベッチ数算出部42は、1次元ベッチ数b1が第1所定値(例えば、b1=5)となるときの二値化の基準値Th2、および、1次元ベッチ数b1の最大値b1maxを算出する(図7参照)。
図3に戻り、次に、癌判定部43は、ベッチ数算出部42によって算出された1次元ベッチ数b1が第1所定値に一致したときの二値化画像の二値化の基準値に基づいて、細胞の癌化の有無、および癌の種別を判定する(ステップS4:判定工程)。癌判定部43が行う処理については、後に具体例を挙げて説明する。
表示制御部5は、癌判定部43による判定結果を表示装置6に表示させる(ステップS6)。
(癌細胞か否か、および癌の種別を判定する処理)
次に、癌細胞か否か、および癌の種別を判定する処理の具体例について、図8を用いて説明する。図8は、癌細胞判定処理の流れの一例を示すフローチャートである。なお、各判定の順序は、癌細胞判定処理に適用する細胞の形態上の特徴、判定したい細胞の種類、および判定対象となる癌の種別などに応じて適宜変更可能であり、図8に示す例に限定されない。
まず、画質判定部40は、組織画像が解析対象として適しているか否かを判定する(ステップS401)。画質判定部40が解析対象として適していないと判定した場合(ステップS401にてNO)、画質判定部40は、別の組織画像を選択し(ステップS403)、ステップS401に戻り、組織画像が解析対象として適しているか否かの判定を行う。なお、別の組織画像が無い場合、あるいは、全ての組織画像について解析対象として適しているか否かの判定が完了した場合、画像解析部4は処理を終了する。なお、図8では、細胞核の画像を抽出する直前に画質判定部40が解析に適した組織画像か否かを判定する場合を例に挙げているが、これに限定されない。例えば、画質判定部40は、細胞核の画像を抽出する前の任意のタイミングで、解析に適した組織画像か否かの判定をすればよい。
画質判定部40が解析対象として適していると判定した場合(ステップS401にてYES)、二値化部41は、細胞核の画像を抽出する(ステップS402)。ベッチ数算出部42は、抽出された細胞核の画像を解析して、0次元ベッチ数の最大値b0maxを与える二値化の基準値Th1、1次元ベッチ数b1が第1所定値(例えば、b1=5)となるときの二値化の基準値Th2、および、1次元ベッチ数b1の最大値b1maxを算出する(図3のステップS3参照)。また、癌判定部43は、抽出された細胞核の画像および撮像倍率に基づいて該細胞核の大きさを算出する。算出された二値化の基準値Th1およびTh2、1次元ベッチ数b1の最大値b1max、および細胞核の大きさは、癌判定部43における以下の判定において用いられる。
次に、癌判定部43は、二値化の基準値Th2が第1閾値以下か否かを判定する(ステップS404)。肺の癌細胞か否かを判定する場合、第1閾値は、例えば50であってもよい。二値化の基準値Th2が第1閾値より大きい場合(ステップS404にてNO)、次に、癌判定部43は、細胞核の大きさが第2閾値以下か否かを判定する(ステップS405)。癌判定部43が、細胞核の大きさが第2閾値以下と判定した場合(ステップS405にてYES)、当該細胞核を有する細胞は正常細胞である(あるいは、癌細胞では無い)と判定する(ステップS406)。一方、癌判定部43が、細胞核の大きさが第2閾値より大きいと判定した場合(ステップS405にてNO)、処理はステップS403に戻る。第2閾値は、正常細胞か癌細胞かを区別することが可能な任意の閾値であってもよく、例えば、肺の場合、第2閾値を48μmとすればよい。
<第1閾値>
ここで、第1閾値について図9を用いて説明する。図9は、正常細胞および肺の各種別の癌細胞における、二値化の基準値Th2の値の比較例を示す図である。比較に用いた各細胞数は、正常細胞が40、扁平上皮癌に分類される細胞が29、腺癌に分類される細胞が35、および小細胞癌に分類される細胞が37である。
正常細胞の二値化の基準値Th2の値は、55.9±1.10、扁平上皮癌に分類される細胞の基準値Th2の値は、29.5±2.51、腺癌に分類される細胞の基準値Th2の値は39.0±1.64、小細胞癌に分類される細胞の基準値Th2の値は、27.9±2.85であった。なお、これらの二値化の基準値Th2の各値は、平均値±標準誤差として記載している。
例えば、第1閾値としてTh=50を採用すれば、癌判定部43は、二値化の基準値Th2の値が50より大きい場合は正常細胞である可能性が高く、二値化の基準値Th2の値が50以下であれば、癌細胞である可能性が高い、と判定することが可能である。
図8に戻り、二値化の基準値Th2が第1閾値以下である場合(ステップS404にてYES)、次に、癌判定部43は、細胞核の大きさが第3閾値以下か否かを判定する(ステップS407)。癌判定部43は、細胞核の大きさが第3閾値以下である場合(ステップS407にてYES)、当該細胞核を有する細胞の癌の種別は腺癌であると判定する(ステップS408)。第3閾値は、腺癌に分類される癌細胞か、他の種別に分類される癌細胞かを区別することが可能な任意の閾値であってもよく、例えば、第3閾値を60μmとすればよい。
細胞核の大きさが第3閾値より大きい場合(ステップS407にてNO)、次に、癌判定部43は、二値化の基準値Th1が第4閾値以下か否かを判定する(ステップS409)。癌判定部43は、二値化の基準値Th1が第4閾値より大きい場合(ステップS409にてNO)、当該細胞核を有する細胞の癌の種別は扁平上皮癌であると判定する(ステップS410)。第4閾値は、扁平上皮癌に分類される癌細胞か、小細胞癌に分類される癌細胞かを区別することが可能な任意の閾値であってもよく、例えば、第4閾値を30とすればよい。例えば、第4閾値として二値化の基準値Th1=30を採用すれば、癌判定部43は、ステップ409において、下記のように判定する。
・二値化の基準値Th1の値が30より大きい場合は扁平上皮癌である可能性が高い。
・二値化の基準値Th1の値が30以下であれば、小細胞癌である可能性が高い。
二値化の基準値Th1が第4閾値以下である場合(ステップS409にてYES)、次に、癌判定部43は、1次元ベッチ数の最大値b1maxが第5閾値以下か否かを判定する(ステップS411)。癌判定部43は、1次元ベッチ数の最大値b1maxが第5閾値以下である場合(ステップS411にてYES)、当該細胞核を有する細胞の癌の種別は小細胞癌であると判定する(ステップS412)。第5閾値は、小細胞癌に分類される癌細胞か、小細胞癌に分類されない癌細胞かを区別することが可能な任意の閾値であってもよく、例えば、第5閾値を25とすればよい。
<第5閾値>
ここで、第5閾値について図10を用いて説明する。図10は、正常細胞および各種別の癌細胞における、1次元ベッチ数の最大値b1maxの値の比較例を示す図である。比較に用いた各細胞数は、正常細胞が40、扁平上皮癌に分類される細胞が29、腺癌に分類される細胞が35、および小細胞癌に分類される細胞が37である。
各細胞における1次元ベッチ数の最大値b1maxは以下であった。
正常細胞:23.5±1.68
扁平上皮癌に分類される細胞:28.0±3.11
腺癌に分類される細胞:38.7±2.27
小細胞癌に分類される細胞:14.8±1.08
なお、これらの1次元ベッチ数の最大値b1maxの各値は、平均値±標準誤差として記載している。
例えば、第5閾値としてb1max=25を採用すれば、1次元ベッチ数の最大値b1maxの値が25以下である場合は正常細胞または小細胞癌である可能性が高い、と判定することが可能である。一方、1次元ベッチ数の最大値b1maxの値が25より大きい場合は、小細胞癌である可能性は低い、と判定することが可能である。図8のステップS404においてYESと判定される細胞には正常細胞が含まれていないため、ステップS411においてYESと判定される細胞は小細胞癌である可能性が高い。
図8に戻り、1次元ベッチ数の最大値b1maxが第5閾値より大きい場合(ステップS411にてNO)、癌判定部43は、当該細胞核を有する細胞の癌の種別は判定不能とする判定結果を出力する(ステップS413)。
1つの組織画像から複数の細胞核の画像が抽出可能である場合、各細胞核の画像のそれぞれについて、ステップS404~S413の処理を行ってもよい。これにより、組織画像に写っている各細胞に対する癌の種別の判定結果に基づいて、より正確に癌の種別を判定することができる。
(実施例)
図11は、図8に示すフローチャートに従って、癌細胞であるか否か、および癌の種別の判定を行う処理を行った場合の判定結果の一例を示す図である。なお、予め病理医などによって正常細胞か否か、およびいかなる種別に分類される癌細胞かが判定されている147の組織画像を用いた。各組織画像から1つの細胞核の画像が抽出された。
用いた147の組織画像のうち、画質判定部40によって解析対象として適していると判定された組織画像は113であった(図8のステップS401参照)。これら113の画像の各々から抽出された細胞核の画像が以降の処理に用いられた。残りの34の組織画像は解析対象とならなかった(図8のステップS403参照)。
解析された113の細胞核の画像のうち、図8のステップS404にて、癌判定部43によってYESと判定された細胞核の画像は74、NOと判定された細胞核の画像は38であった。図8のステップS404にて、癌判定部43によってYESと判定された74の細胞核の画像のすべてが、病理医によって癌細胞であると予め判定されていた組織画像由来の細胞核の画像であった(判定の正確さ100%)。一方、図8のステップS404にて、癌判定部43によってNOと判定された38の細胞核の画像のうち、34の細胞核の画像のすべてが、病理医によって正常細胞であると予め判定されていた組織画像由来の細胞核の画像であった(判定の正確さ100%)。なお、残りの4の細胞核の画像はステップ405においてNOと判定され、解析対象とならなかった(図8のステップS403参照)。
74の細胞核の画像のうち、図8のステップS407にて、癌判定部43によってNOと判定された細胞核の画像は55、YESと判定された細胞核の画像は19であった。図8のステップS407にて、癌判定部43によってYESと判定された19の細胞核の画像のうち18が、病理医によって腺癌に分類される癌細胞であると予め判定されていた組織画像由来の細胞核の画像であった(判定の正確さ94.7%)。
55の細胞核の画像のうち、図8のステップS409にて、癌判定部43によってYESと判定された細胞核の画像は33、NOと判定された細胞核の画像は22であった。図8のステップS409にて、癌判定部43によってNOと判定された22の細胞核の画像のうち20が、病理医によって扁平上皮癌に分類される癌細胞であると予め判定されていた組織画像由来の細胞核の画像であった(判定の正確さ90.9%)。
33の細胞核の画像のうち、図8のステップS411にて、癌判定部43によってYESと判定された細胞核の画像は28、NOと判定された細胞核の画像は5であった。図8のステップS411にて、癌判定部43によってYESと判定された28の細胞核の画像のうち23が、病理医によって小細胞癌に分類される癌細胞であると予め判定されていた組織画像由来の細胞核の画像であった(判定の正確さ82.1%)。なお、NOと判定された、残りの5の細胞核の画像は、種別不能と判定された(図8のステップS413参照)。その内訳は、病理医によって、予め小細胞癌と判定されていた組織画像由来の細胞核の画像が1つ、腺癌と判定されていた組織画像由来の細胞核の画像が1つ、および扁平上皮癌と判定されていた組織画像由来の細胞核の画像が3つであった。
このように、画像解析装置1は、癌細胞か否か、および癌細胞の種別を高精度で判定することが可能であることが示された。
〔実施形態2〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
(画像解析装置1aの構成)
次に、図12を用いて、画像解析装置1aの構成について説明する。図12は、本発明の実施形態2に係る画像解析装置1aの構成の一例を示すブロック図である。画像解析装置1aは、表示制御部5の代わりに判定結果送信部9を備えている点で、画像解析装置1と異なっている。判定結果送信部9は、外部機器8から受信した画像データが示す撮像画像を解析した結果を癌判定部43から取得し、提示装置10に送信する。なお、外部機器8および提示装置10の数は複数であってもよい。
(画像解析システム)
ここでは、画像解析装置1aを含む画像解析システム100および100aの構成例について、図13を用いて説明する。図13は、本発明に係る画像解析装置1aを含む画像解析システム100および100aの構成例を示す概略図である。図13の(a)は、外部機器8と提示装置10とが離れた場所に設置されている例を示しており、(b)は、提示装置10が外部機器8aに接続されている例を示している。
画像解析システム100は、外部機器8、画像解析装置1a、および提示装置10を有している。外部機器8、画像解析装置1a、および提示装置10は、インターネットなどの情報通信ネットワーク50に接続されており、相互にデータの送受信が可能である。
外部機器8は、例えば、組織を撮像する機能を備える顕微鏡などの機器であってもよいし、組織を撮像した画像を集約して管理するサーバ、例えば、電子カルテサーバ、顕微鏡画像データサーバなどであってもよい。
提示装置10は、ユーザに画像解析の結果を提示する機能を有する装置であればよく、例えば、提示装置10はディスプレイを備える表示装置である。あるいは、医療関係者が携帯するタブレット端末などの通信端末機器であってもよい。
組織を撮像した撮像画像の画像データは、外部機器8から画像解析装置1aへと送信される。画像データを受信した画像解析装置1aは、画像解析部4が該画像を解析し、癌細胞か否か、および癌の種別を判定する。判定結果送信部9は、判定結果を提示装置10または外部機器8に送信する。
画像解析システム100aは、外部機器8a、画像解析装置1a、および提示装置10を有している。外部機器8aおよび画像解析装置1aは、インターネットなどの情報通信ネットワーク50に接続されており、相互にデータの送受信が可能である。提示装置10は、外部機器8aに接続されている。
すなわち、画像解析装置1aは、遠隔地で撮像された画像を外部機器8から受信して、画像解析を行い、判定結果を、提示装置10に送信することができる。提示装置10は、外部機器8に接続された装置であってもよいし、画像解析装置1aおよび外部機器8と独立している装置であってもよい。
〔ソフトウェアによる実現例〕
画像解析装置1、1aの制御ブロック(特に画質判定部40、二値化部41、ベッチ数算出部42、および癌判定部43)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、画像解析装置1、1aは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔まとめ〕
本発明の態様1に係る画像解析方法は、組織を撮像した撮像画像を解析する方法であって、1つの上記撮像画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行うことにより、複数の二値化画像を生成する二値化工程(ステップS2)と、上記二値化工程にて生成した複数の二値化画像のそれぞれについて、穴形状の領域の数である領域数を算出する領域数算出工程(ステップS3)と、上記領域数が、所定の値に一致したときの当該二値化画像の二値化の基準値に基づいて、上記組織に含まれる細胞の癌の種別を判定する判定工程(ステップS4)とを含む。
ここで、「組織」とは、被検者の細胞を含む生体組織である。また、「穴形状の領域」とは、二次元平面である撮像画像における空間(穴)である。穴形状の領域の数を算出する処理としては、上記複数の二値化画像の各々について1次元ベッチ数を求める処理を行ってもよい。なお、画像からベッチ数を算出するためのプログラムは公知のものを用いてもよい。
細胞が癌化すると、その細胞の細胞核内のクロマチン量が増量する。細胞核内のクロマチンは線状であると考えられ、かつ3次元的に分布している。発明者らは、焦点深度とコントラストとの関連性に着目し、組織を撮像した撮像画像を二値化した二値化画像を用いることによって、細胞核内において3次元的に分布しているクロマチンの存在状態に関する情報を読み取ることが可能であることを見いだした。例えば、細胞核内のクロマチン量が増量すれば、クロマチンの密集度合いおよび交錯度合いが上昇する。すなわち、細胞核内におけるクロマチンの密集度合いおよび交錯度合いは、二値化画像における穴形状の領域の数によって評価することが可能である。
上記の構成によれば、組織を撮像した撮像画像に対して、まず二値化の基準値が異なる複数の二値化画像が生成され、複数の二値化画像のそれぞれについて、穴形状の領域の数である領域数が算出される。そして、領域数が、所定の値に一致したときの二値化画像の二値化の基準値に基づいて、組織に含まれる細胞の癌の種別が判定される。
これにより、二次元平面である撮像画像において、組織の細胞の癌化などを高精度に検出し、癌細胞であるか否か、および癌の種別は何か、を判定することができる。
本発明の態様2に係る上記画像解析方法は、上記態様1において、上記撮像画像に含まれる細胞核の画像を抽出する抽出工程(ステップS1)をさらに含み、上記抽出工程にて抽出された細胞核の画像に対して上記二値化工程(ステップS2)を行ってもよい。
前述のように、クロマチンは細胞核内に存在している。上記の構成によれば、組織を撮像した撮像画像から、細胞核の画像を抽出して二値化を行う。これにより、細胞核以外の部分からの影響を受けることなく、組織に含まれる細胞の癌の種別を適切に判定することができる。
本発明の態様3に係る上記画像解析方法では、上記態様1または2において、上記判定工程(ステップS4)にて、さらに、上記細胞が有する細胞核の大きさに基づいて、上記癌の種別を判定してもよい。
癌細胞のある種別では、正常細胞に比べて細胞核が大型化することが知られている。上記の構成によれば、クロマチン量の増量に加えて、細胞核の大きさも考慮して、癌の種別を判定する。これにより、癌の種別をより詳細に判定することができる。
本発明の態様4に係る上記画像解析方法では、上記態様1から3のいずれかにおいて、上記判定工程(ステップS4)にて、さらに、上記複数の二値化画像から算出される複数の上記領域数のうちの最大値が所定の値以下であるかどうかに基づいて、上記癌の種別を判定してもよい。
発明者らは、癌のある種別の中には、複数の二値化画像から算出される複数の領域数のうちの最大値が、他の種別の癌と明確に異なるものがあることを見いだした。上記の構成によれば、癌の種別をより詳細に判定することができる。
上記態様1から4のいずれかに記載の画像解析方法に含まれる各工程をコンピュータに実行させるための画像解析プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
上記の課題を解決するために、本発明の態様7に係る画像解析装置(1、1a)は、組織を撮像した撮像画像を解析する画像解析装置であって、1つの上記撮像画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行うことにより、複数の二値化画像を生成する二値化部(41)と、生成した上記複数の二値化画像のそれぞれについて、穴形状の領域の数である領域数を算出する領域数算出部(ベッチ数算出部42)と、上記領域数が、所定の値に一致したときの当該二値化画像の二値化の基準値に基づいて、上記組織に含まれる細胞の癌の種別を判定する癌判定部(43)と、を備える。上記の構成によれば、上記本発明の態様1に係る画像解析方法と同様の効果を奏する。
上記の課題を解決するために、本発明の態様8に係る画像解析システム(100、100a)は、上記態様7に記載の画像解析装置(1、1a)と、上記撮像画像の画像データを、上記画像解析装置へ送信する外部機器(8)と、上記画像解析装置(1、1a)による判定の結果を取得して、該判定の結果を提示する提示装置(10)を含む。
上記の構成によれば、例えば遠隔地の外部機器(8)を用いて撮像された撮像画像を受信して、当該画像を解析することができ、かつ判定結果を遠隔地のユーザに提示することができる。ここで、ユーザは、医師などの医療関係者であってもよい。
1、1a 画像解析装置
2 画像取得部
3 記憶部
4 画像解析部
5 表示制御部
6 表示装置
7 一次記憶部
8 外部機器
9 判定結果送信部
10 提示装置
40 画質判定部
41 二値化部
42 ベッチ数算出部(領域数算出部)
43 癌判定部
100、100a 画像解析システム
S1 抽出工程
S2 二値化工程
S3 領域数算出工程
S4 判定工程

Claims (8)

  1. 組織を撮像した撮像画像を解析する方法であって、
    1つの上記撮像画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行うことにより、複数の二値化画像を生成する二値化工程と、
    上記二値化工程にて生成した複数の二値化画像のそれぞれについて、穴形状の領域の数である領域数を算出する領域数算出工程と、
    上記領域数が、所定の値に一致したときの当該二値化画像の二値化の基準値に基づいて、上記組織に含まれる細胞の癌の種別を判定する判定工程とを含むことを特徴とする画像解析方法。
  2. 上記撮像画像に含まれる細胞核の画像を抽出する抽出工程をさらに含み、
    上記抽出工程にて抽出された細胞核の画像に対して上記二値化工程を行うことを特徴とする請求項1に記載の画像解析方法。
  3. 上記判定工程にて、さらに、上記細胞が有する細胞核の大きさに基づいて、上記癌の種別を判定することを特徴とする請求項1または2に記載の画像解析方法。
  4. 上記判定工程にて、さらに、上記複数の二値化画像から算出される複数の上記領域数のうちの最大値が所定の値以下であるかどうかに基づいて、上記癌の種別を判定することを特徴とする請求項1から3のいずれか1項に記載の画像解析方法。
  5. 請求項1から4のいずれか1項に記載の画像解析方法に含まれる各工程をコンピュータに実行させるための画像解析プログラム。
  6. 請求項5に記載の画像解析プログラムを記録したコンピュータ読み取り可能な記録媒体。
  7. 組織を撮像した撮像画像を解析する画像解析装置であって、
    1つの上記撮像画像に対して、二値化の基準値を異ならせながら複数回の二値化処理を行うことにより、複数の二値化画像を生成する二値化部と、
    生成した上記複数の二値化画像のそれぞれについて、穴形状の領域の数である領域数を算出する領域数算出部と、
    上記領域数が、所定の値に一致したときの当該二値化画像の二値化の基準値に基づいて、上記組織に含まれる細胞の癌の種別を判定する癌判定部と、を備えることを特徴とする画像解析装置。
  8. 請求項7に記載の画像解析装置と、
    上記撮像画像の画像データを、上記画像解析装置へ送信する外部機器と、
    上記画像解析装置による判定の結果を取得して、該判定の結果を提示する提示装置とを含むことを特徴とする画像解析システム。
JP2021508213A 2019-03-26 2020-02-12 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム Active JP7450942B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019059164 2019-03-26
JP2019059164 2019-03-26
PCT/JP2020/005213 WO2020195258A1 (ja) 2019-03-26 2020-02-12 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム

Publications (2)

Publication Number Publication Date
JPWO2020195258A1 JPWO2020195258A1 (ja) 2020-10-01
JP7450942B2 true JP7450942B2 (ja) 2024-03-18

Family

ID=72611808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021508213A Active JP7450942B2 (ja) 2019-03-26 2020-02-12 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム

Country Status (5)

Country Link
US (1) US12039722B2 (ja)
EP (1) EP3951386B1 (ja)
JP (1) JP7450942B2 (ja)
CN (1) CN113614529A (ja)
WO (1) WO2020195258A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230005148A1 (en) * 2019-12-05 2023-01-05 Osaka University Image analysis method, image analysis device, image analysis system, control program, and recording medium
JP7122017B2 (ja) * 2020-12-28 2022-08-19 株式会社APSAM Imaging 画像解析方法、推定装置、推定システム、制御プログラム、記録媒体
JPWO2022176665A1 (ja) * 2021-02-18 2022-08-25
CN116664413B (zh) * 2023-03-27 2024-02-02 北京拙河科技有限公司 一种基于阿贝尔收敛算子的图像体积雾消除方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050260583A1 (en) 2001-07-19 2005-11-24 Paul Jackway Chromatin segmentation
WO2005121784A1 (ja) 2004-06-10 2005-12-22 Kurume University 医用画像処理システム
WO2010087112A1 (ja) 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
JP2010193883A (ja) 2009-02-19 2010-09-09 Chiba Univ 成長因子に誘発されるユークロマチン化(euchromatinization)に必要な、SRC−ファミリーチロシンキナーゼの核局在

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5257182B1 (en) * 1991-01-29 1996-05-07 Neuromedical Systems Inc Morphological classification system and method
US7991221B1 (en) * 2006-03-06 2011-08-02 Kling Daniel H Data processing system utilizing topological methods to manipulate and categorize n-dimensional datasets
US8103115B2 (en) * 2007-02-26 2012-01-24 Sony Corporation Information processing apparatus, method, and program
JP2010042065A (ja) * 2008-08-08 2010-02-25 Toshiba Corp 医用画像処理装置、処理方法
JP5273734B2 (ja) 2009-09-15 2013-08-28 国立大学法人宇都宮大学 ボケの抽出方法、位置決め方法及びマイクロマニピュレーションシステム
CA3010836C (en) * 2010-07-30 2020-09-08 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions
US9053384B2 (en) 2011-01-20 2015-06-09 Panasonic Intellectual Property Management Co., Ltd. Feature extraction unit, feature extraction method, feature extraction program, and image processing device
EP3324183B1 (en) * 2015-07-15 2019-03-13 Osaka University Image analysis device, image analysis method, image analysis system, image analysis program, and recording medium
JP7030423B2 (ja) * 2017-04-27 2022-03-07 シスメックス株式会社 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法
JP7069581B2 (ja) * 2017-07-07 2022-05-18 富士通株式会社 分析方法、分析装置及び分析プログラム
JP6950504B2 (ja) 2017-12-08 2021-10-13 富士通株式会社 異常候補抽出プログラム、異常候補抽出方法および異常候補抽出装置
CN108629761B (zh) * 2018-03-12 2020-11-03 中山大学 一种乳腺癌图像识别方法、装置和用户终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050260583A1 (en) 2001-07-19 2005-11-24 Paul Jackway Chromatin segmentation
WO2005121784A1 (ja) 2004-06-10 2005-12-22 Kurume University 医用画像処理システム
WO2010087112A1 (ja) 2009-01-27 2010-08-05 国立大学法人大阪大学 画像解析装置、画像解析方法、画像解析プログラムおよび記録媒体
JP2010193883A (ja) 2009-02-19 2010-09-09 Chiba Univ 成長因子に誘発されるユークロマチン化(euchromatinization)に必要な、SRC−ファミリーチロシンキナーゼの核局在

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中根和昭,計量(デジタル)病理学 画像の数値化から補助診断まで 位相幾何学的指標による癌病変部抽出技術,病理と臨床,2017年01月01日,Vol.35/No.1,pp.48-54,ISSN:0287-3745

Also Published As

Publication number Publication date
EP3951386A4 (en) 2022-12-28
WO2020195258A1 (ja) 2020-10-01
EP3951386A1 (en) 2022-02-09
JPWO2020195258A1 (ja) 2020-10-01
EP3951386B1 (en) 2024-04-03
US20220156927A1 (en) 2022-05-19
CN113614529A (zh) 2021-11-05
US12039722B2 (en) 2024-07-16

Similar Documents

Publication Publication Date Title
JP7450942B2 (ja) 画像解析方法、画像解析プログラム、記録媒体、画像解析装置、画像解析システム
EP2472473B1 (en) Image analysis device
US9946953B2 (en) Apparatus and method for processing images of tissue samples
Tsai et al. Nucleus and cytoplast contour detector of cervical smear image
JP4748059B2 (ja) 医用画像処理システム
JP6506700B2 (ja) 細胞レベルfishドットカウントのための方法及びシステム
MX2014002843A (es) Sistema y metodo para la deteccion de anormalidades en una muestra biologica.
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP6168426B2 (ja) 疾患分析装置、制御方法、及びプログラム
US10956795B2 (en) Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei
JP6745874B2 (ja) 組織認識のための方法および装置
JP2018529103A (ja) 組織認識のための方法および装置
JP2021524575A (ja) ステイン集合体における信号の定量
JP2023017808A (ja) 生体試料の合成デジタル画像を生成するシステム
dos Santos et al. Automated detection of tumor regions from oral histological whole slide images using fully convolutional neural networks
Koehoorn et al. Effcient and effective automated digital hair removal from dermoscopy images
Rickman et al. The growing role for semantic segmentation in urology
Shirazi et al. Automated pathology image analysis
Oprisescu et al. Automatic pap smear nuclei detection using mean-shift and region growing
Li et al. Localisation of luminal epithelium edge in digital histopathology images of IHC stained slides of endometrial biopsies
Alshawwa et al. [Retracted] Segmentation of Oral Leukoplakia (OL) and Proliferative Verrucous Leukoplakia (PVL) Using Artificial Intelligence Techniques
Fang et al. Automatic detection of ultrasound breast lesions: a novel saliency detection model based on multiple priors
Vandana et al. Automated segmentation using histopathology images as a diagnostic confirmatory tool in detection of bone cancer
Xu et al. Segmentation of digitized histological sections for quantification of the muscularized vasculature in the mouse hind limb
US20240242344A1 (en) Automated analysis of computerized morphological features of cell clusters associated with malignancy on bile duct brushing images

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240228

R150 Certificate of patent or registration of utility model

Ref document number: 7450942

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150