JP2011118543A - 症例画像検索装置、方法およびプログラム - Google Patents

Abstract

【課題】類似画像検索結果の妥当性をユーザが判断するため、類似と判断したポイントをユーザが理解可能な形式で表現する。
【解決手段】本発明に係る症例画像検索装置は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量とデータベースの特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索する検索部と、検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、を備える。
【選択図】 図１

Description

本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と関係する症例を検索する技術に関する。

特許文献１は、画像データ入力手段が、被写体画像中に設定されたＲＯＩの画像データＰ′を入力し、検索手段が、入力されたＲＯＩ画像データＰ′と画像の特性が類似している部分を有する類似画像データとその類似画像データに関連する診断データを症例データベースから検索して読み込む。検索手段は、選択手段により選択された類似判定項目について類似性を判定して検索を行う。出力手段が、検索手段による検索結果を表す検索結果情報を表示手段に出力し表示手段が検索結果をモニタに表示させる。

特許文献２は、電子化された医学書を格納したデータベースの検索システムの一例である。一般に電子医学書とは、医学書を電子化することによりコンピュータ上で閲覧できるようにされているコンテンツである。症例データベースの各症例データには、関連する電子医学書の情報を参照できるハイパーリンクなどのデータを対応づけることがある。

特許文献３および４は、階層化された医用データベースの一例である。

特許文献５は、医用情報を分類してデータベースに登録する一例である。

特許文献６は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。

特許文献７によると、医用画像撮影装置によって取得した被検体の画像データセットを読み込み、その画像データセットから濃度情報を算出する対象となる対象臓器を抽出する。次に、対象臓器の任意の断面像を作成し、断面像における対象臓器領域内の任意の回転中心、又は領域を基準として径方向に連続する濃度情報(プロファイル)を算出する。算出された濃度情報が、特異量(正常の濃度情報とどれだけ異なっているかを表す指標)を算出し、その特異量の分布を示す特異量マップを作成・表示する。濃度プロファイルにおいて、異常部位付近では、濃度プロファイルが正規形状とは異なる形状を示す。この形状変化や濃度勾配の急激な変化に基づいて、濃度値の差異を操作者に提示することで、操作者は効率的に異常部位の有無や位置を把握することが可能となる。

特許文献８によると、医用画像に含まれる関心領域の特徴量と医療情報とが、互いに関連付けられて格納される医療情報格納手段と、医療情報を提供するために参照される参照医用画像が入力される画像入力手段と、参照医用画像に含まれる関心領域を抽出する関心領域抽出手段と、関心領域を計測して特徴量を算出する特徴量算出手段と、特徴量算出手段が算出した特徴量に基づいて医療情報格納手段を検索し、医療情報を抽出する医療情報検索手段と、医療情報検索手段が抽出した医療情報を出力する処理結果出力手段と、を備える。特徴量は、被検体の肺野領域の体積に占める低濃度吸収値領域の体積の割合である。また、医療情報は、患者又は健康診断の受診者向けのコメントである。

特許文献９によると、断層像のテクスチャー情報を用いて陰影の正常異常を判別するものであり、正常異常の判別方法の一つとして、原画像と補間画像とのそれぞれのテクスチャー情報に基づいて正常異常の判別を行なうようにした。これ以外にも、原画像と補間画像との間の濃度テクスチャー情報、又は原画像と補間画像との間の陰影形状の相似度に基づいて、正常異常の判別を行なう。

特許文献１０では、注目領域が肺野に現れる腫瘍や肺結節などの異常陰影である場合、異常陰影は形態、大きさ、辺縁や領域内の濃度に特徴が表れる。また、各異常陰影が現れた解剖学的な位置もその異常陰影の特徴であると考えられる。そこで、注目領域を解析して、形態の特徴、大きさの特徴、注目領域内の濃度の特徴、注目領域の辺縁部の濃度の特徴、解剖学的な位置などを求める。異常陰影は、濃度によってPure GGO（スリガラス影）、Mixed GGO（スリガラス影と高濃度）、Solid（高濃度）に分けられる。抽出手段によって抽出された注目領域内の平均値、偏差、最大値、最小値を特徴量として、既存の非線形判別手法、設計判別手法などを用いて判別することができる。さらに、濃度値から、異常陰影の領域内に石灰化有無や空洞有無でわけることができる。石灰化は、注目領域内の濃度の最大値が一定のしきい値（例えば、目安CT値500）以上の場合は、石灰化が存在するものと判定する。空洞は、注目領域内の濃度の最小値が一定のしきい値（例えば、目安CT値500）以下の場合に空洞が存在すると判定する。また、所見を読影レポートに自動入力するために、特徴量と所見とを一致させている。

非特許文献１は関心領域中の画像特徴量の算出技術の一例である。

特開２００４−５３６４号公報 特開２００４−１１８５６６号公報 特開２００７−１０５４６１号公報 特開２００４−１８５３３０号公報 特開２００４−３３４６４７号公報 特開２００８−２４５７１９号公報 特開２００７−２７５１４１号公報 特開２００８−１４２５３２号公報 特開２００６−１４９６７号公報 特開２００７−３０５１０７号公報

クーツ、エドワーズ、テイラー、「動的見えモデル」、第５回計算機視覚欧州会議報、ドイツ、シュプリンガー、１９９８年、第２巻４８４−４９８頁（T. F. Coootes, G. J. Edwards, C. J. Taylor "Active Appearance Models", In Proc. 5th European Conference on Computer Vision, Springer）

従来技術の類似画像検索システムにて類似画像を表示したときに、何をポイントに類似性を判断したのかがユーザである画像診断医には分からない。例えば図１１に示すような画像Ｉ１をクエリー画像とし、クエリー画像および症例画像の平均濃度値を特徴量とした類似画像検索、すなわちクエリー画像との間で平均濃度が近い症例画像を検索し、類似画像Ｉ２が検索結果として出力されたとする。この検索結果では、単に画像が表示されるだけで、双方の何の特徴が似かよっているのかがユーザに示されない。

本発明は、類似画像検索結果の妥当性をユーザが判断するため、類似と判断したポイントをユーザが理解可能な形式で表現することを目的とする。

本発明は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量とデータベースの特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索する検索部と、検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、を備える症例画像検索装置を提供する。

ここで、所見情報出力部は、類似画像が特定の所見を特徴づけるか否かを判別する判別器を有し、判別器が類似画像が特定の所見を特徴づけると判別したことに応じ、特定の所見を示す所見情報を類似画像に対応づけて所定の出力装置に出力する。

所見情報出力部は、判別器により、類似画像が特定の所見を特徴づける程度を示すスコアを算出し、スコアに応じて判別を行う。

所見情報出力部は、複数の類似画像のうち最も高いスコアに対応する類似画像に特定の所見を示す所見情報を対応づけて所定の出力装置に出力する。

所見情報出力部は、類似画像が特定の所見を特徴づけるか否かを判別する判別器を特徴量の種類ごとに有し、判別器により類似画像のスコアを特徴量の種類ごとに算出し、類似画像に対応する特徴量の種類ごとのスコアのうち最も高いスコアを算出した判別器は類似画像が特定の所見を特徴づけると判別する。

スコアをＺとすると、Ｚ＝α×（１００−Ｐ）＋β×Ｑ（ここで、Ｐはクエリー画像と類似画像の類似度の差、Ｑは特定の所見に対応する典型画像と類似画像の類似度の差、αおよびβは重み、類似度は特徴量空間上の距離）により算出される。

所見情報出力部は、類似検索部が検索した類似画像の特徴量をパラメータとした各所見の出現確率を示す確率分布曲線に基づき、類似画像の特徴量において最も高い出現確率を示す所見を特定し、特定された所見を示す所見情報を出力する。

検索部が出力した類似画像に対応する特徴量と各所見に対応する特徴量の分布範囲とを比較し、類似画像の特徴量が属する分布範囲に対応する所見を特定し、特定された所見を示す情報を出力する。

クエリー画像および症例画像はびまん性肺疾患のＣＴ画像であり、クエリー画像および類似画像の特徴量は、ＣＴ画像の平均濃度値を含み、類似画像の特徴量が属する分布範囲に対応する所見は、−２００以上の平均濃度値範囲に対応するコンソリデーション、−８００超〜−２００未満の平均濃度値範囲に対応するＧＧＯ（Ground Glass Opacity;すりガラス陰影）、−８００以下の平均濃度値範囲に対応する正常肺を含む。

所見情報出力部は、所定の記録媒体に格納された、類似画像の注目領域の位置に対応する所見情報、形状に対応する所見情報、大きさに対応する所見情報、濃度値に対応する所見情報、および注目領域内外の濃度差に対応する所見情報を規定するテーブルを参照することで類似画像の検索に寄与した特徴量に対応する所見情報を特定し、特定された所見情報を所定の出力装置に出力する。

類似画像の注目領域の位置は肺野内の解剖学的な位置を含む。

本発明は、コンピュータが、クエリー画像を入力するステップと、入力したクエリー画像の特徴量を算出するステップと、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースの特徴量と算出したクエリー画像の特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索するステップと、検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力するステップと、を実行する症例画像検索方法を提供する。

この症例画像検索方法をコンピュータに実行させるための症例画像検索プログラムも本発明に含まれる。

本発明によると、クエリー画像に類似する画像として検索された類似画像に所見情報が対応づけられて出力されるため、どういうポイントで類似画像の類似性が判断されたかがよく分かる。

症例画像検索システムの概略構成図 クエリー画像の一例を示す図 類似画像（コンソリデーション、ＧＧＯおよび正常肺）の一例を示す図 ＣＴ画像の濃度値に対応するコンソリデーション、ＧＧＯおよび正常肺の判別データの一例を示す図 寄与特徴量同定部に設けられた各所見に対応する判別器のブロック図 類似画像Ｘ、Ｙ、Ｚの一例を示す図 各判別器の算出した、クエリー画像の所見Ａ、Ｂ、Ｃに対応するスコア、類似画像の所見Ａ、Ｂ、Ｃに対応するスコア、および各類似画像Ｘ、Ｙ、Ｚの各所見Ａ、Ｂ、Ｃに対応する寄与度の一例を示す図 所見情報の表示例を示す図 特徴量−所見テーブルの一例を示す図 類似画像の各特徴量に対応する各所見の表示例を示す図 従来の類似画像検索の出力例を示す図

図１は本発明の好ましい実施形態に係る症例画像検索システム１００の概略構成図である。このシステムは、特徴量計算部１、類似検索部２、寄与特徴量同定部３、変換部４、特徴量／所見変換ＤＢ５、表示部６、症例登録部７、特徴量計算部８、症例データベース（ＤＢ）１０を含む。

症例画像検索システム１００は、コンピュータ（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの）で構成することができる。各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータやロジック回路で構成し、かつそれらをネットワークやシステムバスなどのデータ通信手段で接続することでこのシステムを構成してもよい。また、特徴量計算部１、類似検索部２、寄与特徴量同定部３、変換部４、症例登録部７、特徴量計算部８はコンピュータおよび当該コンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。表示部６は表示ディスプレイ、特徴量／所見変換ＤＢ５および症例ＤＢ１０はハードディスクなどの大容量記憶媒体で構成できる。

症例ＤＢ１０は、検索対象画像となる症例画像と各症例画像に対応する付随情報を格納している。ここで、症例画像は、対応する付随情報に含まれる疾患分類情報に従い、疾患別（例えば特許文献５と同様、ＩＣＤ１０に対応した病名コード別）や所見（病変の性状）別に分類されて症例ＤＢ１０に格納されている。

症例ＤＢ１０には、疾患分類別に統計情報、疾患情報、電子医学書の医学情報（特定の疾患に対しては間違えられやすい疾患の疾患情報や当該疾患に関する症例画像など）がハイパーリンクなどでリンクされている。リンク情報は付随情報に含めることができる。１つの症例画像にリンクする医学情報は１つでも複数でもよい。電子医学書は症例ＤＢ１０に蓄積されていてもよいし症例ＤＢ１０とは別のデータベース（例えば特許文献２参照）に蓄積されてもよい。

付随情報には症例情報を含めることができる。症例情報には、画像診断名、病理診断名、所見（浸潤影、腫瘤、蜂窩肺など）、「ＣＲ」や「ＣＴ」などの撮像モダリティ情報、患者の氏名、年令、性別等の患者に関する個人情報を示す患者関連情報、登録者（担当医師名）、症例カンファレンスのあった年月日、撮像部位を示す撮像部位情報、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。

また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度（疾患内の最高類似度）
・平均類似度
・症例ＤＢ内の該当疾患の総登録件数
・代表症例に近い症例(症例パターン)の登録件数
・症例パターンにおける特徴…主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国／地域別罹患率
・その他
症例ＤＢ１０には、特徴量計算部８により各症例画像の部位から抽出された特徴量（第２の特徴量）が格納されている。ただし、症例画像自体が症例ＤＢ１０に蓄積されていれば、事後的にその症例画像を特徴量計算部８などで解析することで第２の特徴量を得ることができるから、症例ＤＢ１０に第２の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。症例画像は症例登録部７から特徴量計算部８に入力される。特徴量計算部８の特徴量の計算方式は、特徴量計算部１と同様である。

症例登録部７は、症例ＤＢ１０の情報を登録する。症例登録部７は、所望の医用撮像装置から症例画像を入力する。症例登録部７によって症例ＤＢ１０に登録される症例画像は、クエリー画像と同様に各種の医用撮像装置（ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、ＵＳ装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど）から得られる。また、症例登録部７によって症例ＤＢ１０に登録される付随情報は、医用撮像装置、操作装置、ネットワーク経由で接続した情報端末などから入力することができる。

症例ＤＢ１０に含まれる個々の付随情報の個々の疾患分類は、ディレクトリ、フォルダ、パーティションのように症例ＤＢ１０に設けられた論理的な格納単位に対応する。この論理的な格納単位は、階層構造（ツリー構造）をとることができる。

各疾患分類に対応するデータセットを物理的な格納単位に格納することで分類してもよい。物理的な格納単位ごとに個別の論理的な格納単位を設けることもできる。例えば、症例ＤＢ１０とは別の物理的あるいは論理的な格納単位に、電子医学書のデータベースを構築し、その中では、症例ＤＢ１０とは異なる階層構造を構築できる。

症例登録部７による症例ＤＢ１０へのデータ登録のタイミングは任意である。また、登録すべきデータのソースは任意であり、操作装置、ネットワーク経由で接続した情報端末、ＣＤＲＯＭやＤＶＤその他の記憶媒体読取装置、あるいは電子医学書のデータベース（ただし、症例画像がなく特徴量だけが格納されているレコードの全部または一部を対象とする）などからデータを入力して登録することができる。

特徴量計算部１は、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、Ｘ線画像（ＣＲ画像含む）、ＵＳ（超音波）画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像（クエリー画像）を入力する。例えばＣＴ画像は個々のピクセルのＣＴ値を輝度に変えたデジタル画像であるが、このＣＴ画像をクエリー画像として入力することができる。特徴量計算部１は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。特徴量計算部１および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）のような所定の規格に従っている。

特徴量計算部１は、入力されたクエリー画像を解析し、症例ＤＢ１０に蓄積された症例画像または疾患分類の検索に必要な特徴量（第１の特徴量）を作成する。

特徴量計算部１によって算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラム、関心領域を構成する画素の画素値（以下、濃度値と呼称）といった画素値に関する特徴量や、関心領域の位置、関心領域の輪郭の円形度やモーメントなど形状に関する特徴量や、関心領域や断面の半径、体積、面積など大きさに関する特徴量の他、非特許文献２などの手法によって得られるＲＯＩ（関心領域）の病変部の形状情報やテクスチャ情報でもよい。

あるいは、症例ＤＢ１０に一旦登録された情報を所定の数式（例えば主成分分析、独立成分分析）で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。

また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献６のような注目領域の位置情報をもとに領域を抽出する手法などがある。

また、病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量（画素値に関する特徴量あるいは輪郭など形状に関する特徴量）を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。どの種類の特徴量を使用して症例画像を検索するかは、特徴量計算部１に撮像モダリティ情報ごとに予め設定されている。例えば、「ＣＴ」には濃度値が設定され、ＣＴ画像の特徴量として濃度値が計算される。

特徴量計算部１は、算出した特徴量の種類を寄与特徴量同定部３に通知する。算出した特徴量の種類とは、画素値に関する特徴量、形状に関する特徴量、大きさに関する特徴量が挙げられる。

類似検索部２は、特徴量計算部１の算出した第１の特徴量と症例ＤＢ１０に蓄積された特徴量（第２の特徴量）とを比較し、両者の類似度を算出する。第２の特徴量はクエリー画像と同じ手法に従って予め作成および蓄積されている。

類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間（重み付き空間も可）上の最小２乗法などが採用できる。説明の便宜上、類似度Ｓは以下の数式で定義する。ただし、本願発明の実施のために、類似度Ｓの算出基準がこの定義に限定されるわけではない。

特徴量ｍ_ｉ(i＝1,2,…,n)は登録済みの症例画像の注目領域の特徴量、Ｍ_ｉ(i＝1,2,…,n)は診断画像の注目領域から抽出された特徴量である。ｗ_ｉ(i＝1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。ｍ_ｉ、Ｍ_ｉ、ｗ_ｉの添え字ｉは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Ｓの値が小さくなり、双方の特徴量が遠いほど類似度Ｓの値が大きくなる。

類似検索部２は、症例ＤＢ１０に蓄積された全ての症例画像あるいは予め操作装置から指定された付随検索項目に対応する症例画像のうち、クエリー画像の特徴量情報との類似度Ｓが所定の閾値よりも高い第２の特徴量（類似特徴量）を特定する。付随検索項目はユーザが任意に指定できる情報であり、例えば、撮像部位（胸部、***など）、解剖学的位置情報（肝臓右葉、肺Ｓ１など）、撮像モダリティ情報、患者関連情報、画像診断名、病理診断名、所見（浸潤影、腫瘤、蜂窩肺など）、撮像モダリティ情報、担当医師名など、症例ＤＢ１０の付随情報とマッチングによる症例画像の絞り込みが可能な情報が挙げられる。

類似検索部２は、症例ＤＢ１０において類似検索部２の特定した類似特徴量に対応する症例画像である類似画像と、その類似画像に対応する付随情報（疾患分類など）を表示部６に出力する。

表示部６は、類似画像、後述する所見情報、付随情報に含まれる疾患情報、例えば症例情報（画像診断名、病理診断名、所見など）や、当該症例情報によってリンクされた電子医学書に含まれる医学情報（電子医学書における病名、病原体、症状、患部ごとの分類など）などを表示する。表示項目をキーボードやマウスなどの操作装置で選択できてもよい。

表示部６は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークＩ／Ｆとし、所望の通信端末（パソコン、携帯電話、ＰＤＡなど）に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。

操作装置からの指示に応じ、類似画像の表示／非表示を切り替えてもよい。類似画像の非表示が指示されれば、疾患名だけが表示される。

また、付随情報に含まれる疾患名以外の情報、例えば医学情報へのリンクを表示し、そのリンクを指定することで対応する医学情報を表示してもよい。

寄与特徴量同定部３は、類似検索部２が類似画像の検索に寄与した特徴量の種類（キー特徴量）を、特徴量計算部１が通知してきた特徴量の種類に従って同定する。例えば、寄与特徴量同定部３は、特徴量計算部１が「濃度値」を通知してくればキー特徴量は濃度値と同定する。あるいは、特徴量計算部１が「関心領域の形状」を通知してくればキー特徴量は関心領域の形状と同定する。複数の特徴量の種類が通知された場合は、その中から類似画像の検索に寄与した特徴量の種類を判別する。この処理は後述する。

変換部４は、特徴量／所見変換ＤＢ５に蓄積された、寄与特徴量同定部３が同定した特徴量の種類に対応する判別データと、類似画像に対応する当該種類の特徴量とを比較することで、類似画像に対応する所見を特定する。

特徴量／所見変換ＤＢ５は、特徴量の種類に対応する判別データを格納した不揮発性記憶媒体（ハードディスクユニットなど）を有している。判別データは、当該種類の特徴量の分布に対応した所見を示している。

例えば、図２に示すようなＣＴ画像をクエリー画像として類似検索部２に入力して、図３のような類似画像を得たとする。

特徴量の種類「濃度値」に対応する判別データの単純な一例としては、注目領域内の平均濃度値の範囲に１：１に対応する所見を規定することが挙げられる。すなわち、特徴量／所見変換ＤＢ５は、−２００以上の平均濃度値範囲Ｒ１に対応する所見は「コンソリデーション」、−８００超〜−２００未満の平均濃度値範囲Ｒ２に対応する所見は「ＧＧＯ（Ground Glass Opacity;すりガラス陰影）」、−８００以下の平均濃度値範囲Ｒ３に対応する所見は「正常肺」であることを規定する判別データを格納している。

この場合、変換部４は、類似検索部２が出力した類似画像に対応する特徴量に含まれる注目領域内の平均濃度値と特徴量／所見変換ＤＢ５の当該判別データとを比較し、類似画像の平均濃度値に対応する所見を特定して、特定された所見を表示部６に出力する。

なお、寄与特徴量同定部３に設けられた「コンソリデーション」の判別器３Ａ、「ＧＧＯ」の判別器３Ｂ、「正常肺」の判別器３Ｃが、それぞれ、類似画像の平均濃度値がＲ１、Ｒ２、Ｒ３に属するか否かを判定した上で、その結果”Ｙｅｓ”または”Ｎｏ”を変換部４に出力し、変換部４は”Ｙｅｓ”の結果を出力した判別器に対応する所見情報（「コンソリデーション」、「ＧＧＯ」、または「正常肺」）を表示部６に出力してもよい。

特徴量の種類「濃度値」に対応するより精緻な判別データの一例としては、特徴量に対応した各所見の出現確率を示す確率分布曲線が挙げられる。すなわち、図４に示すような、特徴量の種類「濃度値」に対応する判別データは、濃度値＝２０近傍を平均値に取る「コンソリデーション」の確率分布曲線ｆ１、濃度値＝−５８０近傍を平均値に取る「ＧＧＯ」の濃度値の確率分布曲線ｆ２、濃度値＝−９３０近傍を平均値に取る「正常肺」の濃度値の確率分布曲線ｆ３を有しており、ｆ１、ｆ２、ｆ３はそれぞれコンソリデーション、ＧＧＯ、正常肺の所見に対応する。横軸は注目領域内の平均濃度値、縦軸は当該濃度値に対応する所見（コンソリデーション、ＧＧＯまたは正常肺）の出現する確からしさを表す。ｆ１、ｆ２、ｆ３は、ＣＴ画像の平均濃度値のサンプルをもとに統計学的手法に従って作成されて特徴量／所見変換部５に格納されている。なお図４のｆ１、ｆ２、ｆ３は正規分布であるが、統計的解析の結果それ以外の分布に従う可能性もあり、必ずしも正規分布となることを意味するのではない。

まず、変換部４は、類似検索部２が出力した類似画像に対応する特徴量と特徴量／所見変換ＤＢ５に蓄積された各所見に対応する確率分布曲線とに基づき、各所見の出現確率を特定する。例えば、ある類似画像に対応する注目領域内の平均濃度値が２０の場合を考える。変換部４は、ｆ１、ｆ２、ｆ３から、濃度値＝２０に対応する「コンソリデーション」、「ＧＧＯ」および「正常肺」の出現確率ｐ１〜ｐ３、すなわち５５％、略０％、略０％を特定する。

変換部４は、特定した出現確率のうち最も高い出現確率に対応する所見を、類似画像の検索のポイントとなった所見（ポイント所見Ｒ）と特定する。そして、変換部４は、ポイント所見Ｒを表示部６に出力する。異なる所見に同一の出現確率が複数存在する場合、その旨を表示部６に出力する。あるいはその場合はポイント所見を出力しないことも考えられる。

表示部６は、類似画像とポイント所見とを対応づけて表示する。表示部６は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークＩ／Ｆとし、所望の通信端末（パソコン、携帯電話、ＰＤＡなど）に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。あるいはメディアライタによりＣＤＲＯＭやフレキシブルディスクのような記録媒体に情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。

上記では１次元の特徴量から単一の所見を特定しているが、多次元（２次元以上）の特徴量から単一の所見を特定してもよい。例えば、特徴量が濃度値および形状に関する値の２次元のパラメータを含んでいる場合、特徴量／所見変換ＤＢ５には上記のように「コンソリデーション」、「ＧＧＯ」および「正常肺」の各所見の濃度値に対応した出現頻度を示す確率分布曲線ｆ１〜ｆ３と、「蜂窩肺」の所見の形状に関する値に対応した出現頻度を示す確率分布曲線ｆ４（図示せず）を格納しておく。変換部４は、特徴量に含まれる濃度値から、「コンソリデーション」、「ＧＧＯ」および「正常肺」の各所見に対応する出現確率ｐ１〜ｐ３を特定するとともに、特徴量に含まれる形状に関する値から「蜂窩肺」の所見に対応する出現確率ｐ４を特定する。変換部４は、特定した出現確率ｐ１〜ｐ４のうち最も高い出現確率に対応する所見を、ポイント所見Ｒと特定し、これを表示部６に出力する。要するに多次元の特徴量であっても、その特徴量の各次元の要素に対応する特定の所見（１つでも複数でも可）の出現確率（スコア）を特定する判別器を用意しておき、各判別器の出力した各所見の出現確率を比較して、最も高い出現確率の所見をポイント所見とすればよい。

例えば、図５に示すように、寄与特徴量同定部３に、びまん性肺疾患の所見Ａ「コンソリデーションのみ」、所見Ｂ「空洞を伴ったコンソリデーション」、所見Ｃ「気管支を含んだコンソリデーション」の各々に対応する３つの判別器３Ａ、３Ｂ、３Ｃを設ける。なお、その他の所見Ｄ、Ｅ・・があれば、それに対応する判別器３Ｄ、３Ｅ・・を設けることもできる。

判別器３Ａ、３Ｂ、３Ｃは、それぞれ、特徴量計算部１が算出したクエリー画像の特徴量から、クエリー画像が所見Ａ、Ｂ、Ｃに該当する確からしさを表すスコアを算出するとともに、類似検索部２が検索した類似画像に対応する特徴量から、類似画像が所見Ａ、Ｂ、Ｃに該当する確からしさを表すスコアを算出する。ここでは類似画像はＸ、Ｙ、Ｚの３つとする（図６参照）。ただし、判別器３Ａ、３Ｂ、３Ｃは、図示したものよりも多いあるいは少ない類似画像からスコアを算出することができる。

スコアの算出は、例えば、予め判別器３Ａ、３Ｂ、３Ｃの不揮発性記録媒体（ＲＯＭなど）に記憶された所見Ａ、Ｂ、Ｃを示す典型的な類似画像の特徴量とクエリー画像の特徴量の間で算出した類似度γ、所見Ａ、Ｂ、Ｃを示す典型的な症例画像の特徴量と類似画像の特徴量の間で算出した類似度δに基づいて行うことができる。これらの類似度γ・δの算出方法は上述のＳと同様である。

次に判別器３Ａ、３Ｂ、３Ｃは、所見Ａ、Ｂ、Ｃの各々に対応するクエリー画像のスコアと類似画像のスコアとに基づいて、各類似画像の各所見Ａ、Ｂ、Ｃに対応する寄与度を算出する。

例えば、まず判別器３Ａ、３Ｂ、３Ｃは、それぞれ、所見Ａ、Ｂ、Ｃの各々に対応するクエリー画像のスコアＲＡ、ＲＢ、ＲＣ（まとめてＲと称する）と類似画像Ｘ、Ｙ、ＺのスコアＱＡ、ＱＢ、ＱＣ（まとめてＱと称する）との差ＰＡ、ＰＢ、ＰＣ（まとめてＰと称する）を算出する。次に判別器３Ａ、３Ｂ、３Ｃは、所見の各々に対応する類似画像の寄与度Ｚを、Ｚ＝α×（１００−Ｐ）＋β×Ｑにより算出する。なお例えばＲ＝γ、Ｑ＝δで計算する。

つまり、所見Ａに対応する寄与度ＺＡ＝α×（１００−ＰＡ）＋β×ＱＡ、所見Ｂに対応する寄与度ＺＢ＝α×（１００−ＰＢ）＋β×ＱＢ、所見Ｃに対応する寄与度ＺＣ＝α×（１００−ＰＣ）＋β×ＱＣである。

ここで、１−Ｐは数値順を反転するために使用される。１−Ｐは、両スコアの差が小さい（クエリー画像と類似画像の特徴量が近い）ことを表す。また、Ｑは、類似画像が典型症例画像によく類似していることを表す。αおよびβは重みであり、α＋β＝１であるが、寄与度を決めるに当たって１−ＰまたはＱのいずれを重視するかによりαおよびβは決定される。双方とも重視する場合はα＝β＝０．５とする。

図７は、判別器３Ａ、３Ｂ、３Ｃの算出した、クエリー画像の所見Ａ、Ｂ、Ｃに対応するスコア、類似画像の所見Ａ、Ｂ、Ｃに対応するスコア、および各類似画像Ｘ、Ｙ、Ｚの各所見Ａ〜Ｃに対応する寄与度の一例を示す。

変換部４は、寄与特徴量同定部３が算出した各所見に対応する寄与度のうち最も大きい値に対応する所見である寄与所見を類似画像ごとに特定する。図７の例では、所見Ａに対応する類似画像Ｘの寄与度、所見Ｂに対応する類似画像Ｙの寄与度、所見Ｃに対応する類似画像Ｚの寄与度が最も高いので、類似画像Ｘに対応する寄与所見は所見Ａ、類似画像Ｙに対応する寄与所見は所見Ｂ、類似画像Ｚに対応する寄与所見は所見Ｃと特定する。

変換部４は、寄与所見に対応する所見情報を特徴量／所見変換ＤＢ５から取得し、寄与所見ごとに取得した所見情報を当該寄与所見に対応する類似画像と対応づけて表示部６に出力する。特徴量／所見変換ＤＢ５には、所見Ａ、Ｂ、Ｃごとの所見情報、例えば「コンソリデーションのみ」、「空洞を伴ったコンソリデーション」、「気管支を含んだコンソリデーション」という文字情報が蓄積されているとすると、類似画像Ｘには「コンソリデーションのみ」、類似画像Ｙには「空洞を伴ったコンソリデーション」、類似画像Ｚには「気管支を含んだコンソリデーション」という文字情報が対応づけられる。

所見情報は文字情報、アイコン、表、グラフのような視覚的に認識できる映像情報でもよいし、聴覚的に認識できる音声情報、あるいはそれらの組み合わせでもよい。また、所見情報そのものを表示する代わりに、所見情報を表示するためのハイパーリンクを表示してもよい。

表示部６は、変換部４から入力された各類似画像と各所見情報とを対応づけて表示する。例えば図８のように、各類似画像の近傍に「類似特徴」という見出しを設け、その見出しに続けて、各類似画像に対応する所見情報を表示する。その他、各類似画像に対応する付随情報、例えば、症例番号、分類、画像診断名などを表示してもよい。

以上のように、クエリー画像に類似する症例画像として検索された類似画像ごとに、その類似画像がクエリー画像と似ていると判断された特徴量に対応する所見を所見情報として出力するから、ユーザは、類似画像検索のポイントを容易に理解できるし、検索結果の妥当性を判断できる。

＜第２実施形態＞
上述のように、同一の画像から抽出された多次元（２次元以上）の特徴量に基づいて種類の異なる複数の所見を特定してもよい。例えば、特徴量／所見変換ＤＢ５は、肺野結節の画像の注目領域の形態に関する所見（類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形）に対応する特徴量（円形度、２次モーメントなどで表現）、大きさに関する所見（小、中、大）に対応する特徴量（面積、長径、短径などで表現）、濃度値に関する所見（Pure GGO（スリガラス影）、Mixed GGO（スリガラス影と高濃度）、Solid（高濃度））に対応する特徴量（濃度値の平均値、偏差、最大値、最小値などで表現）、注目領域の辺縁部の濃度に関する所見（明瞭、不明瞭）に対応する特徴量（濃度差などで表現）、解剖学的な位置に関する所見（肺葉分類（右上、中、下葉、左上、下葉））に対応する特徴量（肺野内座標などで表現）を規定した特徴量−所見テーブル（図９参照）を不揮発性記憶媒体に記憶しておく。

変換部４は、類似検索部２から出力された類似画像の特徴量に対応する所見を特定する。この所見と特徴量の関係は、特許文献１０と同様にして定めることができる。また、寄与特徴量同定部３による各類似画像の各所見に対応する寄与度の計算は、第１実施形態と同様クエリー画像の特徴量と類似画像の特徴量とに基づいて行うことができる。ただしここでは、各所見に対応する寄与度は、当該所見に関係する特徴量のみを用いて算出する。

例えば、寄与特徴量同定部３は、類円形、分葉状など形状に関する所見の寄与度を、クエリー画像および類似画像の円形度および２次モーメントに基づいて計算する。あるいは、大きさに関する所見の寄与度を、クエリー画像および類似画像の面積、長径および短径に基づいて計算する。あるいは、濃度値に関する所見の寄与度を、クエリー画像および類似画像の濃度の平均値などに基づいて計算する。あるいは注目領域の辺縁部の濃度に関する所見の寄与度を、クエリー画像および類似画像の注目領域の内外の辺縁部の濃度差に基づいて計算する。あるいは解剖学的な位置に関する所見の寄与度を、クエリー画像および類似画像の肺野内座標に基づいて計算する。

表示部６は、各類似画像と、変換部４によって特定された当該類似画像の各特徴量に対応する各所見とを表示する。表示の仕方は任意であるが、例えば、類似画像の特長として、まず形状から位置までの５つの所見の分類のうち、寄与度が所定の閾値より高いものを表示し、その中でどの所見の寄与度が最も高いかも表示する（図１０参照）。この閾値は所見ごとに設けることができる。このため、同じ類似画像が複数の所見に対して寄与度が高い旨が表示されることもあるし、またどのような所見にも寄与度が高くない類似画像、単一の所見だけに寄与度が高い類似画像もありうる。

このように、類似画像から抽出された様々な種類の特徴量に対応した所見を出力し、ユーザは、類似画像検索のポイントを容易に理解できるし、検索結果の妥当性を判断できる。

１：特徴量計算部、２：類似検索部、３：寄与特徴量同定部、４：変換部、５：特徴量／所見変換ＤＢ、７：症例登録部、８：特徴量計算部、１０：症例ＤＢ

Claims (13)

1. クエリー画像を入力するクエリー画像入力部と、
   前記クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、
   症例画像と前記症例画像の特徴量とを対応づけて記憶するデータベースと、
   前記クエリー画像特徴量算出部の算出したクエリー画像の特徴量と前記データベースの特徴量とを比較することで、前記クエリー画像に類似する症例画像である類似画像を検索する検索部と、
   前記検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を前記類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、
   を備える症例画像検索装置。
2. 前記所見情報出力部は、前記類似画像が特定の所見を特徴づけるか否かを判別する判別器を有し、前記判別器が前記類似画像が特定の所見を特徴づけると判別したことに応じ、前記特定の所見を示す所見情報を前記類似画像に対応づけて所定の出力装置に出力する請求項１に記載の症例画像検索装置。
3. 前記所見情報出力部は、前記判別器により、前記類似画像が特定の所見を特徴づける程度を示すスコアを算出し、前記スコアに応じて前記判別を行う請求項２に記載の症例画像検索装置。
4. 前記所見情報出力部は、複数の類似画像のうち最も高いスコアに対応する類似画像に前記特定の所見を示す所見情報を対応づけて所定の出力装置に出力する請求項３に記載の症例画像検索装置。
5. 前記所見情報出力部は、前記類似画像が特定の所見を特徴づけるか否かを判別する判別器を特徴量の種類ごとに有し、前記判別器により前記類似画像のスコアを特徴量の種類ごとに算出し、前記類似画像に対応する特徴量の種類ごとのスコアのうち最も高いスコアを算出した判別器は前記類似画像が特定の所見を特徴づけると判別する請求項３に記載の症例画像検索装置。
6. 前記スコアをＺとすると、Ｚ＝α×（１００−Ｐ）＋β×Ｑ（ここで、Ｐはクエリー画像と類似画像の類似度の差、Ｑは前記特定の所見に対応する典型画像と類似画像の類似度の差、αおよびβは重み、類似度は特徴量空間上の距離）により算出される請求項３〜５のいずれかに記載の症例画像検索装置。
7. 前記所見情報出力部は、前記類似検索部が検索した類似画像の特徴量をパラメータとした各所見の出現確率を示す確率分布曲線に基づき、前記類似画像の特徴量において最も高い出現確率を示す所見を特定し、前記特定された所見を示す所見情報を出力する請求項１に記載の症例画像検索装置。
8. 前記検索部が出力した類似画像に対応する特徴量と各所見に対応する特徴量の分布範囲とを比較し、前記類似画像の特徴量が属する分布範囲に対応する所見を特定し、前記特定された所見を示す情報を出力する請求項１に記載の症例画像検索装置。
9. 前記クエリー画像および前記症例画像はびまん性肺疾患のＣＴ画像であり、
   前記クエリー画像および前記類似画像の特徴量は、前記ＣＴ画像の平均濃度値を含み、
   前記類似画像の特徴量が属する分布範囲に対応する所見は、−２００以上の平均濃度値範囲に対応するコンソリデーション、−８００超〜−２００未満の平均濃度値範囲に対応するＧＧＯ（Ground Glass Opacity;すりガラス陰影）、−８００以下の平均濃度値範囲に対応する正常肺を含む請求項８に記載の症例画像検索装置。
10. 所見情報出力部は、所定の記録媒体に格納された、前記類似画像の注目領域の位置に対応する所見情報、形状に対応する所見情報、大きさに対応する所見情報、濃度値に対応する所見情報、および注目領域内外の濃度差に対応する所見情報を規定するテーブルを参照することで前記類似画像の検索に寄与した特徴量に対応する所見情報を特定し、前記特定された所見情報を所定の出力装置に出力する請求項１に記載の症例画像検索装置。
11. 前記類似画像の注目領域の位置は肺野内の解剖学的な位置を含む請求項１０に記載の症例画像検索装置。
12. コンピュータが、
    クエリー画像を入力するステップと、
    前記入力したクエリー画像の特徴量を算出するステップと、
    症例画像と前記症例画像の特徴量とを対応づけて記憶するデータベースの特徴量と前記算出したクエリー画像の特徴量とを比較することで、前記クエリー画像に類似する症例画像である類似画像を検索するステップと、
    前記検索した類似画像の検索に寄与した特徴量に対応する所見情報を前記類似画像と対応づけて所定の出力装置に出力するステップと、
    を実行する症例画像検索方法。
13. 請求項１２に記載の症例画像検索方法をコンピュータに実行させるための症例画像検索プログラム。