JP4947589B2 - 類似画像検索装置 - Google Patents

Description

本発明は、医療分野の、特に胃生検診断において、画像処理を用いて過去の類似の症例画像を検索することにより、医師の診断の支援が可能な類似画像検索装置に関する。

従来、病理診断を支援する画像処理技術として以下のような手法が提案されている。病理組織診断における知見として、癌細胞では細胞内に占める核と細胞質の割合（核−細胞質比：nucleocytoplasmic ratio，N/C比）が正常細胞と比較して顕著に増大することが知られている。このような基本的かつ重要な知見を病理組織診断に盛り込むことができれば、診断精度が大きく向上するものと考えられる。

そこで、本出願人による下記の特許文献１に示される出願発明は、このN/C比画像を方形ブロックに分割し、そのN/C比を計算し、各ブロックのN/C比の値を画像全体の度数分布で表現したものを特徴量として利用することで類似画像検索システムを実現している。
特願２００７−０５４３５３号公報

病理医が目視によって診断を行う場合、核および腔の形状(細胞異型度)や分布（構造異型度）を総合的に判断し、診断を下すことが知られている。前記出願発明の手法では、細胞異型度の特徴のひとつであるN/C比を利用して類似画像検索システムを実現している。しかしながら該出願発明の手法では、細胞異型度の特徴による類似画像を提示することはできるが、構造異型度の観点で類似画像検索を行うことができなかった。また該出願発明の手法は入力される症例画像に応じた最適な特徴量を用いる具体的な手法が明記されていなかった。

本発明は、上記の課題に鑑みてなされたものであり、細胞核の構築情報を抽出し、これを画像の特徴量として利用することにより、医師が画像診断の観点から主観的に似ていると感じるのに支配的な成分を用いて、対象病理組織標本と医師が主観的に類似していると感じる病理組織標本を過去のデータベースから検索し、医師の診断の支援を行うことが可能な類似画像検索装置を提供することを目的とする。

前記の目的を達成するために、本発明は、標本組織の画像データを保持する画像データベースと、標本組織の画像データが入力される画像データ入力手段と、画像全体あるいは指定されたＲＯＩ領域全体に対して、医学的に主観的な類似度の高い成分を抽出する医学的主観類似度算出部と、前記医学的主観類似度算出部により抽出された類似度を基に類似する画像データを前記画像データベースから検索する類似度検索手段と、前記画像データベース入力手段から入力された画像データと前記類似度検索手段で検索された画像データベースからの画像データを表示する検索結果出力手段とを具備し、前記医学的主観類似度算出部が、
前記画像データ入力手段に入力された画像データを、細胞質領域と背景・腔領域とに分離する画像データ背景分離手段と、前記画像データ背景分離手段で分離された細胞質領域から、細胞核領域とその周辺の細胞質領域とからなる細胞核構築領域を抽出する細胞核構築領域抽出手段と、前記画像データ背景分離手段で分離された細胞質領域と前記細胞核構築領域抽出手段で抽出された細胞核構築領域を用いて、局所的な細胞核構築領域−細胞質面積比を算出する局所細胞核構築特徴算出手段と、前記局所細胞核構築特徴算出手段で算出された局所細胞核構築領域−細胞質面積比を総合して画像全体に対する局所細胞核構築領域−細胞質面積比を求め、該画像全体に対する局所細胞核構築領域−細胞質面積比の度数分布から画像全体が持つ特徴量を算出する広域特徴量算出手段とで構成され、前記類似度検索手段は、前記広域特徴量算出手段で算出された前記画像全体が持つ特徴量を基に前記画像データベースに蓄積されている画像データとの類似度を算出することにより、医学的に主観的な類似度の高い成分を抽出するようにした点に第一の特徴がある。

また上記医学的主観類似度算出部の局所細胞核構築特徴算出装置から広域特徴量算出装置に画像全体の局所細胞核構築特徴を出力することにより、局所的な特徴を画像全体を利用した特徴に変換し画像全体の平均的な特徴を利用した点に第二の特徴がある。

また上記医学的主観類似度算出部の局所細胞核構築特徴算出装置から複数のパラメータの特徴を広域特徴量算出装置に出力し、類似度検索装置において複数の特徴を用いて最適な検索結果を利用する点に第三の特徴がある。

本発明によれば対象病理組織標本に対して医師が主観的に類似していると感じる病理組織標本を過去のデータベースから検索し、医師の診断の支援を行うことが可能な類似画像検索装置を提供することができる。

また本発明によれば、細胞核の構築情報（分布）を定量的に定め、該分布を標本画像間の類似度として利用するようにしているので、特別なしきい値を設定せずに医師の診断の支援を行える類似画像を提供することができるようになる。

また本発明によれば、入力される画像の異型度に応じた最適な特徴量の利用により、より正確な類似画像装置を提供することができる。

なお、本発明は、胃癌の診断において特に有用であるが、同様の特徴を持つ大腸・肝臓その他数多くの標本組織画像にも適用可能である。

以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の類似画像検索装置の一実施形態の構成を示すブロック図である。

図において、画像データベース１には、過去の症例の画像データ、該画像データの中の着目したい領域（ＲＯＩ；Region of Interest）画像の類似度の特徴量（細胞核構築情報など）、および画像に対する医師の所見データ等が保存されている。該画像データと医師の所見データとは、互いにリンクされている。

画像データ入力装置２には、一般的な画像フォーマットであるJPEGやBITMAP等、あるいは医療画像フォーマットであるDICOM画像等の画像データを入力することができる。また入力する際に、画像データの特定の領域を検索するためにＲＯＩを指定することができる。

図２は、該画像データ入力装置２に入力される画像データの一例を示す。この画像データ１０は、胃の生検画像例を示し、ＨＥ染色液により染色されたものである。ＨＥ染色液は、ヘマトキシリンとエオジンからなる周知の染色液であり、対象画像の細胞領域と細胞核領域とを異なる色に染色する。なお、画像データ１０の透けて見えている色の薄い領域（図２の、例えばＡ、Ｂ領域）は背景領域、その他の領域は細胞質領域であり、その中の色の濃い領域（図２の、例えばＣ領域）は細胞核領域である。なお、前記Ｂ領域は一般的には腔領域と呼ばれるが、本発明では背景領域とみなされる。

医学的主観類似度算出部３は、画像全体あるいは指定されたＲＯＩ領域全体に対して、医師が画像診断の観点から主観的に似ていると感じるのに支配的な成分を抽出するものであり、画像データ背景分離装置３１、細胞核構築領域抽出装置３２、局所細胞核構築特徴算出装置３３、および広域特徴量算出装置３４から構成されている。

画像データ背景分離装置３１は、入力画像から背景領域を分離し、細胞質領域３１ａを出力する。背景領域は細胞質領域とは彩度が異なり、ほとんど均一な輝度の傾向がある。また背景領域の一部は画面端（図２のＥ）に接していることが多い。まず画像をＨＳＶ色空間に変換する（Ｈ:色相、Ｓ:彩度、Ｖ：明度）。続いて利用するＳ成分においてメディアンフィルタを実施する。メディアンフィルタは、着目画素の値をその周辺領域の画素値の中央値に置き換え、エッジを保存したままごま塩ノイズを除去する手法である。これにより、領域分割性能が向上する。そして画像全体に対して上記の彩度値を用いて、周知の判別分析法（J. Kittler, J. Illingworth,“ Minimum Error Thresholding, ”Pattern Recognition, Vol.19, No.1, pp.41-47, 1986.）にて背景領域候補を得る。背景領域候補のうち画面端に接している領域の輝度値の平均と分散を求め、この平均値から該分散に相関するある一定のしきい値α内の領域、すなわち、（平均±α）内の領域を背景領域と判断する。この手法により、固定しきい値によらないロバストな背景領域の分離を行うことができる。

該画像データ背景分離装置３１の上記した処理をフローチャートで表すと図３のようになる。ステップＳ１では、画像データ入力装置２から画像データが入力する。ステップＳ２では該入力画像をＨＳＶ色空間に変換する。ステップＳ３ではステップＳ２で得られた画像のうちＳ成分を用いて、メディアンフィルタを施す。ステップＳ４では、ステップＳ３で得られた画像に対して画像を２値化し、前記判別分析法により背景領域候補を得る。ステップＳ５では、該背景領域候補のうち、画面端に接する領域を取得する。ステップＳ６では、該画面端Ｅに接する領域の輝度値の平均値と分散値とを計算する。ステップＳ７では、前記平均値±αの領域を背景と判断する。ステップＳ８では、前記画像データから背景領域を除去する。したがって、該画像データ背景分離装置３１からは、画像データの中の細胞質領域３１ａが出力される。

次に、細胞核構築領域抽出装置３２では、該細胞質領域３１ａを、細胞核領域とその周辺の細胞質領域（以下、細胞核構築領域という）、およびその他細胞領域に分離する。ここに、該細胞核構築領域は、腺管などの、細胞核とこれに隣接する細胞質領域ということができる。

前記したように、画像データは例えばＨＥ染色液により染色されたものであるので、対象画像の細胞領域と細胞核構築領域とは異なる色に染色されている。そこで、前記画像データ背景分離装置３１により背景領域を除去された画像は、該細胞領域と細胞核領域の色情報の違い(輝度成分)を利用して、輝度成分による判別分析法（大津、“ 判別および最小２乗基準に基づく自動しきい値選定法、”電子通信学会論文誌，Vol.J63-D，No.4，pp.349-356，1980.）を用いる。この手法により求められたしきい値Ｔｈ１を用いて、正確な核領域を抽出することができるが、本手法ではこのしきい値よりβだけしきい値を細胞質領域側にずらし、しきい値を、細胞質領域を含む設定のしきい値Ｔｈ２に変更する（図４参照）。このようにすることで正確な細胞核構築領域３２ａを抽出する。これにより、しきい値Ｔｈ１では、例えば、図５(a)のように核領域ｃのみが抽出されたのが、しきい値Ｔｈ２を用いることにより、図５(b)のように細胞核構築領域ｄを検出できるようになる。

局所細胞核構築特徴算出装置３３では、図６(a)に示すように、図２の画像１０を予め定められた大きさの方形状（例えば、正方形）のブロックに分割する。次いで、分割された方形領域１０ａ、１０ｂ、１０ｃ、・・、１０ｐ、・・、１０ｎ内にて細胞核構築特徴を計算する。すなわち、全ての方形領域の各々について、例えば図７に代表として示されている方形領域１０ｐの画像からまず一つ目の特徴として背景領域または腔領域を除去した細胞質の面積に対して細胞核構築領域ｄが占める面積の占有率を、１００分率で表現する（図８(1)参照）。続いて二つ目の特徴として上記方形領域１０ｐの画像から細胞核構築領域の総面積を細胞核構築領域の個数で除した値の１００分率で表現する（図８(2)参照）。細胞核構築領域の個数は他の細胞核構築領域と隣接していない領域を一つの領域として計上する。この手法により細胞核構築領域の平均サイズの情報を取得することができる。

広域特徴量算出手段３４では、局所細胞核構築特徴算出装置３３により取得した全ての方形領域における第１、第２の局所細胞核構築特徴を、それぞれ度数分布のヒストグラムで表現する。対象方形領域がすべて背景領域の場合はヒストグラムに加算しない。次に、好ましくは、ヒストグラムの正規化、次元圧縮を行う。これらの特徴はベクトルで表現される。

病理画像により最適なブロックサイズは異なる。このため病理画像に応じた最適な特徴を抽出するために、局所細胞核構築特徴算出装置３３において、図６(b)に示すような他のブロックサイズにおける細胞核構築特徴を上記と同様の方法で求め、これらの特徴を広域特徴量算出手段３４に出力する。該広域特徴量算出手段３４では、前記と同様に、局所細胞核構築特徴算出装置３３から取得した全ての方形領域における第１、第２の局所細胞核構築特徴を、それぞれ度数分布のヒストグラムで表現する。本実施形態では、単に特徴パラメータを増やすのではなく、データベースに存在する既知の病理画像の最適パラメータを利用することで、入力された未知の画像に対して予測を行い有限個の特徴パラメータを利用する。なお、前記画像１０を、さらに他のサイズのブロックで分割し、病理画像に応じた最適なブロックサイズを選択するようにするのが好ましい。

図６(a)のブロックサイズにおける前記度数分布のヒストグラムが図９のような場合（横軸；％、縦軸；頻度）、度数の小さい所は考慮外とし、度数の大きい範囲Ｐに次元圧縮する。次元圧縮された範囲Ｐの特徴は、（ｐ１，ｐ２，・・・・，ｐｎ）＝（Ｖ_１，Ｖ_２，・・・・，Ｖ_ｎ）とベクトルで表現される。図６(b)等のブロックサイズにおける前記度数分布のヒストグラムについても同様にベクトル表現される。

類似度検索装置６では、前記広域特徴量算出手段３４で求められた各特徴（ベクトル）に基づき、画像データベース１に蓄積されている画像データとの類似度を算出する。例えば、類似度をベクトルのユークリッド距離で表現する。２つの画像ａ、ｂの特徴量ベクトルをＶａ、Ｖｂとし、それぞれのｋ番目のベクトルをＶａｋ、Ｖｂｋとする時、類似度Ｄは下記の(1)式で表される。

検索結果出力装置７では、前記類似度Ｄに基づいて、前記各特徴別にあるいは各特徴の区別なく検索結果を表示する。該検索結果の表示は、例えば、予め定められた大きさ以上の類似度Ｄを有する画像データについて、あるいは予め定められた画像データ数について、好ましくは該類似度の大きさ順に、前記入力画像とデータベース１上の画像とを、該データベース１上の医師の所見データを付けて表示する。

本実施形態によれば、例えば、図１０(a)、(b)に示すような構造異型度が異なる病理画像の判別が可能となり、より医師が主観的に類似していると感じる特徴に基づいて類似画像を提示することができる。また入力される画像は異型度に応じて細胞核構築特徴の傾向が異なる。このため一つのブロックサイズを用いるのではなく複数のブロックサイズを用いて類似度検索装置で類似度を求め、その最適な類似度を利用することで入力画像の異型度に応じた検索結果を表示することができるようになる。

図１０(a),(b)は、それぞれ、分化型癌、未分化型癌の例を示す。分化型癌は単純化すると図示のように単純閉曲線上に細胞核が配列され、未分化型癌は点状に細胞核が配置されており、その構造は大きく異なる。本実施形態によれば、分化型癌と未分化型癌では、核の構築情報がそれぞれ単純閉曲線と点になり、細胞核構築領域の占める割合や、平均サイズが異なることになる。よって、該分化型癌、未分化型癌等の異型度に応じた検索結果を表示することができるようになる。また、さらに分化型癌および未分化型癌等の個々の癌においても類似度を求め、表示することができるようになる。

以上のように、本実施形態によれば、対象病理組織標本と類似の病理組織標本をデータベースから検索し医師等に提供できるので、医師の診断の支援を行うことができる。また、固定しきい値によらないロバストな類似画像を提供することができる。

次に、本発明の第２実施形態を、図１１のブロック図を参照して説明する。図１１において、８は色情報抽出装置を示し、他の符号は図１と同一または同等物を示す。この実施形態が前記第１実施形態と異なる所は、色情報抽出装置８を付加した点にある。

色情報抽出装置８は、図６(a)、(b)のように複数のサイズの方形状に分割し、該方形の細胞質領域の色情報を抽出し、広域特徴量算出装置３４に送出する。広域特徴量算出装置３４は、色情報の特徴を例えばヒストグラムで表現する。細胞質領域は色空間の全てのレンジに分布していることは少なく、色空間のレンジを圧縮しても良い。さらに、画像サイズに柔軟な性質をもつように正規化を行うこともでき、また計算速度向上のためわずかな色差に対するロバスト性を保つため次元を圧縮してもよい。これらの特徴はベクトルで表現される。

例えば、前記色情報のヒストグラムが図１２のような場合（横軸；色の濃度（８ビットで表現）、縦軸；頻度）、色空間は例えば図のＱの範囲に分布している場合が多いので、レンジＱに次元圧縮する。次元圧縮された範囲Ｑの特徴は、（ｑ１，ｑ２，・・・・，ｑｎ）＝（Ｖ_１，Ｖ_２，・・・・，Ｖ_ｎ）とベクトルで表現される。

類似度検索装置６は、前記と同様に、前記方形状毎の抽出された特徴（ベクトル）に基づき、画像データベース１に蓄積されている画像データとの類似度を算出する。そして、該色情報の特徴の類似度と前記細胞核構築特徴の類似度の両方に基づいて検索結果を表示する。上記以外は前記第１実施形態と同じであるので説明を省略する。

この実施形態によれば、細胞核構築特徴の類似度と色情報の特徴の類似度との両方で画像データベースを検索できるので、より精度の良い検索結果を得ることができる。

また、本発明の変形例として、図１、図１１に点線で示したように、画像データ、広域特徴量算出装置３４、色情報抽出装置８で得たデータは、所見データを付されて画像データベース１に記憶される。

また、前記画像データ入力装置に入力される画像データは、胃癌に限らず、肝臓、大腸等のあらゆる生検画像を対象とする画像データとすることができる。また、前記所見データは、疾患名、疾患部位、治療方法、所見、患者名、患者性別、患者年齢、担当医師名、撮影日時、撮影手段、および経過観察情報のうちの少なくとも一つとすることができる。

本発明の第１実施形態の構成を示すブロック図である。 ＨＥ染色液により染色された生検画像例を示す図である。 図１の画像データ背景分離装置の処理例を示すフローチャートである。 細胞核構築領域の抽出手法の説明図である。 図４の手法により得られる細胞核構築領域の概念図である。 ＨＥ染色液により染色された生検画像を、複数サイズの方形状のブロックに分割する場合の説明図である。 １つのブロック内の細胞核構築領域の生検画像例を示す図である。 局所細胞核構築特徴の説明図である。 局所細胞核構築特徴のヒストグラムの説明図である。 分化型癌、未分化型癌の細胞核構築情報の一例を示す図である。 本発明の第２実施形態の構成を示すブロック図である。 細胞質の色情報のヒストグラムの説明図である。

符号の説明

１・・・画像データベース、２・・・画像データ入力装置、３・・・医学的主観類似度算出部、６・・・類似度検索装置、７・・・検索結果出力装置、８・・・色情報抽出装置、１０・・・画像データ、１０ａ、１０ｂ、・・、１０ｎ；１０ａ’、１０ｂ’、・・、１０ｎ’・・・ブロック、３１・・・画像データ背景分離装置、３２・・・細胞核構築領域抽出装置、３３・・・局所細胞核構築特徴算出装置、３４・・・広域特徴量算出装置、３１ａ・・・細胞質領域、３２ａ・・・細胞核構築領域。

Claims (13)

1. 標本組織の画像データを保持する画像データベースと、
   標本組織の画像データが入力される画像データ入力手段と、
   画像全体あるいは指定されたＲＯＩ領域全体に対して、医学的に主観的な類似度の高い成分を抽出する医学的主観類似度算出部と、
   前記医学的主観類似度算出部により抽出された類似度を基に類似する画像データを前記画像データベースから検索する類似度検索手段と、
   前記画像データベース入力手段から入力された画像データと前記類似度検索手段で検索された画像データベースからの画像データを表示する検索結果出力手段とを具備し、
   前記医学的主観類似度算出部が、
   前記画像データ入力手段に入力された画像データを、細胞質領域と背景・腔領域とに分離する画像データ背景分離手段と、
   前記画像データ背景分離手段で分離された細胞質領域から、細胞核領域とその周辺の細胞質領域とからなる細胞核構築領域を抽出する細胞核構築領域抽出手段と、
   前記画像データ背景分離手段で分離された細胞質領域と前記細胞核構築領域抽出手段で抽出された細胞核構築領域を用いて、局所的な細胞核構築領域−細胞質面積比を算出する局所細胞核構築特徴算出手段と、
   前記局所細胞核構築特徴算出手段で算出された局所細胞核構築領域−細胞質面積比を総合して画像全体に対する局所細胞核構築領域−細胞質面積比を求め、該画像全体に対する局所細胞核構築領域−細胞質面積比の度数分布から画像全体が持つ特徴量を算出する広域特徴量算出手段とで構成され、
   前記類似度検索手段は、前記広域特徴量算出手段で算出された前記画像全体が持つ特徴量を基に前記画像データベースに蓄積されている画像データとの類似度を算出することにより、医学的に主観的な類似度の高い成分を抽出することを特徴とする類似画像検索装置。
2. 請求項１に記載の類似画像検索装置において、
   前記画像データ背景分離手段で分離された細胞質領域から色情報を抽出する色情報抽出手段をさらに具備し、
   前記類似度検索手段は、該色情報を加味して、類似する画像データを前記画像データベースから検索することを特徴とする類似画像検索装置。
3. 請求項１または２に記載の類似画像検索装置において、
   前記細胞質領域と背景・腔領域とに分離する画像データ背景分離手段は、細胞質領域と背景・腔領域との色情報の違いと、背景・腔領域が画面端に接していることを利用し、細胞質領域と背景・腔領域とに分離することを特徴とする類似画像検索装置。
4. 請求項１または２に記載の類似画像検索装置において、
   前記局所細胞核構築特徴算出手段は、細胞核領域を色情報を用いて判別分析法を利用して抽出する場合のしきい値を変化させることにより、細胞核構築領域を抽出することを特徴とする類似画像検索装置。
5. 請求項１または２に記載の類似画像検索装置において、
   前記局所細胞核構築特徴算出手段は、前記画像データ入力手段から入力される画像データを予め定められたサイズのブロックに分割し、各ブロック毎に細胞核構築特徴を算出することを特徴とする類似画像検索装置。
6. 請求項５に記載の類似画像検索装置において、
   前記予め定められたサイズは、複数の異なるサイズであることを特徴とする類似画像検索装置。
7. 請求項５または６に記載の類似画像検索装置において、
   前記局所細胞核構築特徴算出手段により算出される局所的な細胞核構築特徴が、前記各ブロック毎の、細胞質領域と細胞核構築領域の総面積に対する細胞核構築領域の面積の比率であることを特徴とする類似画像検索装置。
8. 請求項５または７に記載の類似画像検索装置において、
   前記局所細胞核構築特徴算出手段により算出される局所的な細胞核構築特徴が、前記各ブロック毎の、細胞核構築領域の個数に対する細胞核構築領域の総面積であることを特徴とする類似画像検索装置。
9. 請求項５または８に記載の類似画像検索装置において、
   前記広域特徴量算出手段は、局所細胞核構築特徴算出手段により算出される局所的な細胞核構築特徴のブロック全体の度数分布（ヒストグラム）を求め、該度数分布をベクトル化することを特徴とする類似画像検索装置。
10. 請求項１ないし９のいずれかに記載の類似画像検索装置において、
    前記類似度検索手段は、前記広域特徴量算出手段によって算出された画像全体に対する細胞核構築特徴を基に、類似する画像データを前記画像データベースから検索することを特徴とする類似画像検索装置。
11. 請求項１ないし１０のいずれかに記載の類似画像検索装置において、
    前記類似度検索手段は、前記局所細胞核構築特徴算出手段において複数の異なるサイズのブロックに分割した細胞核構築特徴を、前記広域特徴量算出手段で、複数の異なるサイズのブロック全体の度数分布（ヒストグラム）を求め、該度数分布をベクトル化した特徴を基に、最も高い類似度を示したブロックサイズの組み合わせで作成された特徴量とその時の類似度に基づいて類似する画像データを前記画像データベースから検索することを特徴とする類似画像検索装置。
12. 請求項１ないし１１のいずれかに記載の類似画像検索装置において、
    前記検索結果出力手段は、前記画像データに類似する類似画像と、該類似画像に付属する所見データとを、類似度の順位を付けて表示することを特徴とする類似画像検索装置。
13. 請求項１ないし１２のいずれかに記載の類似画像検索装置において、
    前記画像データ入力手段は、ＲＯＩ指定された画像データを出力することを特徴とする類似画像検索装置。