JP5094775B2 - 症例画像検索装置、方法およびプログラム - Google Patents

Description

本発明は、診断画像から抽出した特徴量に基づいてその診断画像と類似する症例画像を検索・提示する技術に関する。

特許文献１では、診断画像から注目領域を抽出し、注目領域の特徴量を用いて類似検索を行う。

特許文献２は、ユーザからの注目領域の位置情報をもとに病変領域を抽出する技術の一例である。

特許文献３および４は病変領域を自動抽出する手法の一例である。

非特許文献１は注目領域の位置情報をもとに領域を抽出する手法の例を示す。ユーザが位置を指定し、指定領域の輪郭を検出し、修正があればユーザが輪郭の補正を行うことで、高精度な領域抽出を数回の位置情報入力で得ることができる。

非特許文献２はＲＯＩ（関心領域）の病変部の形状情報やテクスチャ情報を得る手法の例を示す。

特開２００１−１１７９３６号公報 特開２００８−２４５７１９号公報 特開２００５−１９８８８７号公報 特開２００５−２４６０３２号公報

リー、ハラ、イトウ、シムラ「インタラクティブな病変分割のマシンラーニングアプローチ」、SPIE議事録第６５１２巻６５１２４６頁（２００７）（Y. Li, S. Hara, W. Ito, K. Shimura, "A Machine learning approach for interactive lesion segmentation", Proceedings of the SPIE, Volume 6512, pp 651246 (2007) クーツ、エドワーズ、テイラー、「動的見えモデル」、第５回計算機視覚欧州会議報、ドイツ、シュプリンガー、１９９８年、第２巻４８４−４９８頁（T. F. Coootes, G. J. Edwards, C. J. Taylor "Active Appearance Models", In Proc. 5th European Conference on Computer Vision, Springer)

特許文献１は、診断画像から注目領域を抽出し、注目領域の特徴量を用いて類似検索を行うシステムである。このようなシステムの場合、複雑かつバリエーションが豊富な組織の領域を正確に検出しなければならない。非特許文献１のような修正手法を用いたとしても、組織の周辺と内部の濃度が異なる病変領域を抽出しようとした場合、クリック位置やパラメータによって異なる領域が抽出される可能性があり、指定位置によって選択領域にばらつきが生じる（図６）。このような場合、上記修正機能などでさらに周辺を細かく修正する必要があるが、境界の曖昧な症例では領域の認識が異なるため、検索に用いる領域が異なる可能性がある。その結果、領域内の特徴量が変化し、同じ病変でも検索結果が異なるという問題が生じてしまう可能性がある。

本発明は、領域抽出の結果を用いた類似症例画像検索において、領域抽出のばらつきによる検索ばらつきを抑制する。

本発明に係る症例画像検索装置は、所望の診断画像を入力する第１入力部と、第１入力部の入力した診断画像の注目領域を抽出する第１抽出部と、第１抽出部の抽出した注目領域の特徴量である第１の特徴量を算出する第１算出部と、所望の症例画像を入力する第２入力部と、第２入力部の入力した症例画像の注目領域の位置情報を指定する第２指定部と、第２指定部の指定した位置情報に基づいて、第２入力部の入力した症例画像に対応する複数の注目領域を抽出する第２抽出部と、第２抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量である第２の特徴量を算出する第２算出部と、症例画像と第２の特徴量とを対応づけて所定のデータベースに登録する登録部と、第１の特徴量と第２の特徴量の各々とを比較することで、診断画像に類似する類似症例画像をデータベースから検索する検索部と、を備える。

好ましくは、第１入力部の入力した診断画像の注目領域の位置情報を指定する第１指定部を備え、第１抽出部は、第１指定部の指定した位置情報に基づいて、第１入力部の入力した診断画像に対応する複数の注目領域を抽出し、第１算出部は、第１抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量である第１の特徴量を算出し、検索部は、第１の特徴量の各々と第２の特徴量の各々とを比較することで、診断画像に類似する類似症例画像をデータベースから検索する。

第１抽出部は、第１指定部の指定した位置情報に基づいて初期検索注目領域を抽出した後、第１指定部の指定した補正位置情報に基づいて初期検索注目領域を補正した補正済検索注目領域を抽出し、第１算出部は、初期検索注目領域に対応する特徴量および補正済検索注目領域に対応する特徴量を含む第１の特徴量を算出する。

好ましくは、第２抽出部は、第２指定部の指定した位置情報に基づいて初期登録注目領域を抽出した後、第２指定部の指定した補正位置情報に基づいて初期登録注目領域を補正した補正済登録注目領域を抽出し、第２算出部は、初期登録注目領域に対応する特徴量および補正済登録注目領域に対応する特徴量を含む第２の特徴量を算出する。

本発明に係る症例画像検索装置は、所望の診断画像を入力する第１入力部と、第１入力部の入力した診断画像の注目領域の位置情報を指定する第１指定部と、第１指定部の指定した位置情報に基づいて、第１入力部の入力した診断画像に対応する複数の注目領域を抽出する第１抽出部と、第１抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量を算出した上、複数の特徴量を平均した第１の特徴量を算出する第１算出部と、所望の症例画像を入力する第２入力部と、第２入力部の入力した症例画像の注目領域の位置情報を指定する第２指定部と、第２指定部の指定した位置情報に基づいて、第２入力部の入力した症例画像に対応する複数の注目領域を抽出する第２抽出部と、第２抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量を算出した上、複数の特徴量を平均した第２の特徴量を算出する第２算出部と、症例画像と第２の特徴量とを対応づけて所定のデータベースに登録する登録部と、第１の特徴量と第２の特徴量とを比較することで、診断画像に類似する類似症例画像をデータベースから検索する検索部と、を備える。

好ましくは、第１抽出部は、第１指定部の指定した位置情報に基づいて初期検索注目領域を抽出した後、第１指定部の指定した補正位置情報に基づいて初期検索注目領域を補正した補正済検索注目領域を抽出し、第１算出部は、初期検索注目領域に対応する特徴量および補正済検索注目領域に対応する特徴量を平均した第１の特徴量を算出し、第２抽出部は、第２指定部の指定した位置情報に基づいて初期登録注目領域を抽出した後、第２指定部の指定した補正位置情報に基づいて初期登録注目領域を補正した補正済登録注目領域を抽出し、第２算出部は、初期登録注目領域に対応する特徴量および補正済登録注目領域に対応する特徴量を平均した第２の特徴量を算出する。

第１抽出部は、診断画像の画素値および形状のうち少なくとも一方とに基づいて注目領域を抽出し、第２抽出部は、診断画像の画素値および形状のうち少なくとも一方とに基づいて注目領域を抽出する。

本発明に係る症例画像検索装置は、所望の診断画像を入力する第１入力部と、第１入力部の入力した診断画像の注目領域の位置情報を指定する第１指定部と、第１指定部の指定した位置情報に基づいて、第１入力部の入力した診断画像に対応する複数の注目領域を抽出する第１抽出部と、第１抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量である第１の特徴量を算出する算出部と、第１の特徴量の各々と、所定のデータベースに登録された症例画像に対応する注目領域の特徴量である第２の特徴量とを比較することで、診断画像に類似する類似症例画像をデータベースから検索する検索部と、を備える。

好ましくは、第１抽出部は、第１指定部の指定した位置情報に基づいて初期登録注目領域を抽出した後、第１指定部の指定した補正位置情報に基づいて初期登録注目領域を補正した補正済登録注目領域を抽出し、第１算出部は、初期登録注目領域に対応する特徴量および補正済登録注目領域に対応する特徴量を含む第１の特徴量を算出する。

好ましくは、位置情報は操作装置から入力される座標情報を含む。

好ましくは、検索部の検索した類似症例画像を出力する出力部を備える。

好ましくは、データベースは、症例画像に対応する診断レポートその他の付帯情報を記憶し、出力部は、類似症例画像に対応するデータベースの付帯情報を出力する。

好ましくは、第１の特徴量は、診断画像の注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量を含み、第２の特徴量は、症例画像の注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量を含み、検索部は、診断画像の注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量と、症例画像の注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量とを比較することで類似症例画像をデータベースから検索する。

本発明に係る症例画像検索方法は、コンピュータが、所望の診断画像を入力するステップと、入力した診断画像の注目領域を抽出するステップと、抽出した注目領域の特徴量である第１の特徴量を算出するステップと、所望の症例画像を入力するステップと、入力した症例画像の注目領域の位置情報を指定するステップと、指定した位置情報に基づいて、入力した症例画像に対応する複数の注目領域を抽出するステップと、抽出した複数の注目領域の各々に対応する複数の特徴量である第２の特徴量を算出するステップと、症例画像と第２の特徴量とを対応づけて所定のデータベースに登録するステップと、第１の特徴量と第２の特徴量の各々とを比較することで、診断画像に類似する類似症例画像をデータベースから検索するステップと、を実行する。

本発明に係る症例画像検索方法は、コンピュータが、所望の診断画像を入力するステップと、入力した診断画像の注目領域の位置情報を指定するステップと、指定した位置情報に基づいて、入力した診断画像に対応する複数の注目領域を抽出するステップと、抽出した複数の注目領域の各々に対応する複数の特徴量を算出した上、複数の特徴量を平均した第１の特徴量を算出するステップと、所望の症例画像を入力するステップと、入力した症例画像の注目領域の位置情報を指定するステップと、指定した位置情報に基づいて、入力した症例画像に対応する複数の注目領域を抽出するステップと、抽出した複数の注目領域の各々に対応する複数の特徴量を算出した上、複数の特徴量を平均した第２の特徴量を算出するステップと、症例画像と第２の特徴量とを対応づけて所定のデータベースに登録するステップと、第１の特徴量と第２の特徴量とを比較することで、診断画像に類似する類似症例画像をデータベースから検索するステップと、を実行する。

本発明に係る症例画像検索方法は、コンピュータが、所望の診断画像を入力するステップと、入力した診断画像の注目領域の位置情報を指定するステップと、指定した位置情報に基づいて、入力した診断画像に対応する複数の注目領域を抽出するステップと、抽出した複数の注目領域の各々に対応する複数の特徴量である第１の特徴量を算出するステップと、第１の特徴量の各々と、所定のデータベースに登録された症例画像に対応する注目領域の特徴量である第２の特徴量とを比較することで、診断画像に類似する類似症例画像をデータベースから検索するステップと、を実行する。

これらの症例画像検索方法をコンピュータに実行させるためのプログラムも本発明に含まれる。

本発明によると、ユーザが指定した注目領域の位置情報のばらつきや曖昧さを考慮して症例画像に対応する複数の注目領域の特徴量をデータベースに登録し、診断画像の特徴量をデータベースの各症例画像に対応する複数の注目領域の特徴量と比較するため、類似症例画像の検索精度が向上する。

あるいは、本発明によると、診断画像の注目領域の位置情報のばらつきや曖昧さを考慮して複数の注目領域を診断画像から抽出し、それらに対応する複数の特徴量を算出して、データベースの各症例画像の注目領域の特徴量と比較するため、類似症例画像の検索精度が向上する。

類似症例検索システムの概略構成図 登録部の詳細を示すブロック図 注目領域抽出部の詳細を示すブロック図 類似画像検索部の詳細を示すブロック図 算出パターンの一例を示す図 抽出領域のばらつきの一例を示す図

図１は本発明の好ましい実施形態に係る類似症例検索システム１００の概略構成図である。このシステムは、画像データ入力部１ａ、注目領域抽出部２ａ、類似画像検索部３、画像情報ＤＢ４、表示部５、登録部６、注目位置入力部７ａを含む。類似症例検索システム１００は、コンピュータ（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの）で構成することができる。

類似症例検索システム１００の各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで類似症例検索システム１００を構成してもよい。また、注目領域抽出部２ａ、類似画像検索部３、登録部６はコンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。表示部５は液晶ディスプレイ、画像情報ＤＢ４はハードディスクなどで構成できる。

画像データ入力部１ａは、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、Ｘ線画像（ＣＲ画像含む）、ＵＳ（超音波）画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像（クエリー画像）を入力する。画像データ入力部１ａは、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。画像データ入力部１ａおよび医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）のような所定の規格に従っている。後述する画像データ入力部１ｂも画像データ入力部１ａと同様の構成を有するものとし、画像データ入力部１ａ・１ｂをまとめて画像データ入力部１で表す。

注目領域抽出部２ａは、注目位置入力部７ａから入力された位置情報に基づいて画像データ入力部１ａから入力されたクエリー画像を解析し、画像情報ＤＢ４に蓄積された類似画像の検索に必要な注目領域を抽出し、その特徴量（第１の特徴量）を作成する。後述の注目領域抽出部２ｂは、注目領域抽出部２ａと同様にして、画像データ入力部１ｂから入力されたクエリー画像から注目領域の抽出を行う。

注目位置入力部７ａは、登録候補画像の中から、症例画像に含まれる病変や臓器などの注目領域の位置の指定を受け付ける。注目位置入力部７ａは、キーボード、マウス、タッチパネルなどの公知の操作装置で構成することができる。後述する注目位置入力部７ｂは、注目位置入力部７ａと同様の構成を有するものとし、注目位置入力部７ａ・７ｂをまとめて注目位置入力部７で表す。

類似画像検索部３は、注目領域抽出部２ａから出力されたクエリー画像の注目領域の特徴量（第１の特徴量）と画像情報ＤＢ４に蓄積された症例画像の注目領域の特徴量（第２の特徴量）とを比較し、両者の類似度を算出する。第２の特徴量は症例画像から注目領域抽出部２ａの取る特徴量の計算手法と同じ手法に従って予め作成および蓄積されている。類似画像検索部３は、画像情報ＤＢ４に蓄積された全ての症例画像あるいは予め操作装置から指定された部位に対応する症例画像のうち、クエリー画像の注目領域の第１の特徴量との類似度が最も高い第２の特徴量に対応する症例画像を特定する。そして、類似画像検索部３は、特定された症例画像と、その症例画像に対応する画像情報ＤＢ４に蓄積された各種の症例情報を、表示部５に表示する。

表示部５は、映像出力手段以外の出力手段に代替できる。例えば表示部５に代えて、あるいは表示部５とともに、特定された症例画像と、その症例画像に対応する画像情報ＤＢ４に蓄積された各種情報を印刷手段によって出力してもよい。また、画像情報でなければ、音声出力手段からの合成音声の出力などによって検索結果を出力できる。あるいは出力手段をネットワークＩ／Ｆとし、所望の端末（パソコン、携帯電話、ＰＤＡなど）に検索結果を出力してもよい。所望の端末が表示部５を備えていてもよいが、この端末の表示部５に検索した症例画像を表示する場合は、当該端末のユーザを認証して類似症例画像検索を許可してもよい。

画像情報ＤＢ４には、検索対象画像となる症例画像を含む症例情報が格納されている。ここで、症例情報は、疾患別に分類されて格納されていてもよく、さらに疾患別に統計情報、疾患情報、特定の疾患に対しては間違えられやすい疾患の疾患情報や医学情報がリンクされて登録されていてもよい。

また、症例情報には、確定診断された各疾患の症例画像、症例画像の注目領域の第２の特徴量の他に、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。

また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度（疾患内の最高類似度）
・平均類似度
・症例ＤＢ内の該当疾患の総登録件数
・代表症例に近い症例 (症例パターン) の登録件数
・症例パターンにおける特徴… 主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国／地域別罹患率
・その他
画像情報ＤＢ４には、登録されている各症例画像の病変部位から抽出された特徴量（第２の特徴量）が格納されている。ただし、症例画像自体が画像情報ＤＢ４に蓄積されていれば、事後的にその症例画像を注目領域抽出部２などで解析することで第２の特徴量を得ることができるから、画像情報ＤＢ４に第２の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。

表示部５は、類似度が高い画像データだけでなく、データベース内における類似画像の疾患ごとの類似画像検索結果といった統計情報を表示してもよい。

登録部６によって画像情報ＤＢ４に登録される症例画像は、クエリー画像と同様に各種の医用撮像装置（ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、ＵＳ装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど）から得られる。また、登録部６によって画像情報ＤＢ４に登録される症例画像に対応する第２の特徴量は、後述の画像解析で得られる。また、登録部６によって画像情報ＤＢ４に登録される症例画像に対応する症例情報は、ユーザによる操作装置の入力操作や外部機器からのインポートなどで得られる。

図２は登録部６の詳細を示す。登録部６は、画像データ入力部１ｂ、注目位置入力部７ｂ、注目領域抽出部２ｂ、特徴量計算部３１ｂ、診断レポート入力部６４、症例情報登録部６５を含む。登録部６の各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで登録部６を構成してもよい。また、注目領域抽出部２ｂ、特徴量計算部３１ｂ、症例情報登録部６５はコンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。

注目領域抽出部２ｂは、各種の医用撮像装置と接続された画像データ入力部１ｂを介して、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、Ｘ線画像（ＣＲ画像含む）、ＵＳ（超音波）画像、内視鏡画像、病理画像などの所望の症例画像を、登録候補画像として入力する。診断レポート入力部６４は、登録候補画像に対応する診断情報などの各種情報を入力する。診断レポート入力部６４は、キーボード、マウス、タッチパネルなどの公知の操作装置か、他の装置から診断情報をインポートできる装置（通信デバイスやメディアリーダなど）で構成することができる。

注目位置入力部７ｂは、登録候補画像の中から、症例画像に含まれる病変や臓器などの注目領域の位置の指定を受け付ける。注目位置入力部７ｂは、キーボード、マウス、タッチパネルなどの公知の操作装置で構成することができ、注目位置入力部７ａや診断レポート入力部６４と兼用することもできる。症例画像を検索しようとするユーザは、注目位置入力部７ｂを用いて所望の注目領域の位置を指定できるが、これがユーザごとにばらついたり、あるいは元々組織領域が曖昧で正確な注目領域の位置指定が困難であると、検索の精度（ヒット率）が低下する。本願実施形態ではこれを解決する。

図３は、注目領域抽出部２の詳細な構成を示す。注目領域抽出部２ａ（図１）および注目領域抽出部２ｂ（図２）は、画像の入力元がそれぞれ画像データ入力部１ａまたは１ｂであり、注目領域の出力先がそれぞれ特徴量計算部３１ａまたは３１ｂである点を除いて注目領域抽出部２と同じ構成であるとする。よって、注目領域抽出部２ａ・２ｂをまとめて注目領域抽出部２で表す。

注目領域抽出部２は、画像解析部６０１および抽出領域出力部６０２を含む。注目領域抽出部２の各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで構成してもよい。また、画像解析部６０１はコンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。

画像解析部６０１は、画像データ入力部１から入力された画像に含まれる病変や臓器などの注目領域を、注目位置入力部７から入力された位置情報に基づいて抽出する。例えば、特許文献２などと同様、ユーザが注目位置入力部７から注目領域の座標位置を指定し、当該指定された位置の近傍に存在する輪郭を検出してその輪郭で包含される領域を初期注目領域とする。あるいは、特許文献３や４のように、注目領域を自動で抽出し、それをそのまま初期注目領域としてもよい。ここでさらに、ユーザが注目位置入力部７から初期注目領域に対する任意の補正位置を１または複数パターン指定し、それらの指定に応じて初期注目領域を補正することで補正済み注目領域を抽出する。補正位置は、画像およびその初期注目領域を表示部５に表示しておき、表示部５上で補正したい初期注目領域の境界の座標をクリックやタッチすることで指定できる。そして、抽出領域出力部６０２は、画像解析部６０１が抽出した初期注目領域および補正済み注目領域を、ともに画像に対応する注目領域として、特徴量計算部３１に出力する。これを注目領域の出力パターンＸとする。補正済み注目領域を初期注目領域として、これをさらに補正して別の補正済み注目領域を抽出することもでき、理論上注目領域の補正回数に制限はない。

ユーザがポインティングデバイスの入力座標をずらすなどして複数の補正位置パターンを指定し、それらの補正位置に対応する複数の最終的な注目領域パターンを抽出してもよい。この場合、補正済み注目領域が複数抽出されることになる。補正位置の入力に応じた注目領域の補正は非特許文献１などと同様に行う。注目領域の抽出自体は、公知の画像の輪郭・画素値、位置情報などの特徴を利用した半自動的あるいは全自動的な注目領域検出技術を用いればよい。

あるいは、抽出領域出力部６０２は、第２の注目領域だけを特徴量計算部３１に出力する。これを注目領域の出力パターンＹとする。出力パターンＸ・Ｙのいずれで注目領域を出力するかを操作装置で選択させ、選択結果に従って出力してもよい。

再び図２を参照すると、特徴量計算部３１ｂは、注目領域抽出部２ｂの抽出した注目領域に対応する特徴量の計算を行う。算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラムといった画素値に関する特徴量や、抽出領域の位置、抽出領域の輪郭の円形度やモーメントなど形状に関する特徴量や、断面の半径、体積、面積など大きさに関する特徴量の他、非特許文献２などの手法によって得られるＲＯＩ（関心領域）の病変部の形状情報やテクスチャ情報でもよい。あるいは、画像情報ＤＢ４に一旦登録された情報を所定の数式（例えば主成分分析、独立成分分析）で処理した値を特徴量としてもよい。要するに、公知の手法で得られた注目領域の輪郭・画素値、位置情報などを特徴量とすることができる。出力パターンＸの場合は初期注目領域・補正済み注目領域を含む複数の注目領域に対応する特徴量が得られるが、出力パターンＹの場合は補正済み注目領域に対応する特徴量が得られる。

症例情報登録部６５は、特徴量計算部３１ｂの算出した注目領域に対応する特徴量（第２の特徴量）と、当該注目領域の抽出元となった登録候補画像と、当該登録候補画像に関して診断レポート入力部６４から入力された診断情報その他の情報を対応づけた症例情報を、画像情報ＤＢ４に登録する。

ただし、有意な差異のない複数の注目領域の特徴量をいたずらに画像情報ＤＢ４に登録しても記憶領域の浪費につながる。そこで、症例情報登録部６５は、同一の登録候補画像から抽出した異なる２つの注目領域の特徴量の間で類似度を算出し、類似度が所定の閾値よりも近い場合は、２つの注目領域の特徴量のうち任意の一方のみを登録する。あるいは、２つの注目領域の特徴量の平均値を登録する。３つ以上の注目領域がある場合は、その中の２つ注目領域について上記のような登録方法を繰り返せばよい。特徴量の類似度の算出は、後述する類似度比較部３２の類似度算出と同様に行えばよい。

図４は類似画像検索部３の詳細を示すブロック図である。類似画像検索部３は、特徴量計算部３１ａ、類似度比較部３２および類似度計算結果出力部３３を含む。特徴量計算部３１ａは特徴量計算部３１ｂ（図２）と同様の構成を有するものとする。類似画像検索部３の各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータで構成し、かつそれらをネットワークで接続することで構成してもよい。また、特徴量計算部３１ａおよび類似度比較部３２はコンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。

特徴量計算部３１ａは、注目領域抽出部２ａから出力されたクエリー画像の注目領域の特徴量（第１の特徴量）を算出する。その算出手法は第２の特徴量と場合と同様である。

類似度比較部３２は、特徴量計算部３１ａから出力されたクエリー画像の注目領域の特徴量（第１の特徴量）と画像情報ＤＢ４に蓄積された各症例画像の注目領域の特徴量（第２の特徴量）とを比較し、両者の類似度を算出する。

類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間（重み付き空間も可）上の最小２乗法などが採用できる。説明の便宜上、類似度Ｓは以下の数式で定義する。ただし、本願発明の実施のために、類似度Ｓの算出基準（ノルム）がこの定義に限定されるわけではない。

特徴量ｍ_ｉ(i＝1,2,…,n)は登録済みの症例画像の注目領域の特徴量、Ｍ_ｉ(i＝1,2,…,n)は診断画像の注目領域から抽出された特徴量である。ｗ_ｉ(i＝1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。ｍ_ｉ、Ｍ_ｉ、ｗ_ｉの添え字ｉは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Ｓの値が小さくなり、双方の特徴量が遠いほど類似度Ｓの値が大きくなる。

類似度比較部３２は、クエリー画像の注目領域の第１の特徴量との類似度が所定の閾値よりも高い第２の特徴量に対応する症例画像（類似症例画像）を特定する。そして、類似度計算結果出力部３３は、特定された類似症例画像と、その類似症例画像に対応する画像情報ＤＢ４に蓄積された各種の症例情報を、表示部５に表示する。

ここで、画像情報ＤＢ４に複数パターンの注目領域の特徴量が登録されていれば、その各々のパターンに対応する特徴量について第１の特徴量との類似度を算出し、類似症例画像を特定する。ただし、画像情報ＤＢ４に特徴量の平均値が登録されている場合は、クエリー画像の注目領域の特徴量についても平均値を算出し、その平均値同士で類似度を算出する。

また、複数パターンの症例画像の注目領域の特徴量を画像情報ＤＢ４に登録する代わりに、あるいは複数パターンの症例画像の注目領域の特徴量の登録とともに、クエリー画像から複数パターンの注目領域を抽出し、そのクエリー画像の各々の注目領域パターンについて特徴量を算出し、クエリー画像の注目領域パターンに対応する各々の特徴量と症例画像の注目領域パターンに対応する各々の特徴量の間で類似度を算出し、類似症例画像を特定することもできる。クエリー画像から複数パターンの注目領域を抽出するには、症例画像と同様に、注目位置入力部７ａで補正位置座標をずらすなどすればよい。

すなわち、図５に示すように、クエリー画像から抽出された単数の注目領域と画像情報ＤＢ４に登録された複数パターンの症例画像の注目領域との間で類似度を算出する算出パターンＡ、クエリー画像から抽出された複数の注目領域と画像情報ＤＢ４に登録された症例画像の補正済み注目領域（単数でも複数でも可）との間で類似度を算出する算出パターンＢ、クエリー画像から抽出された複数パターンの注目領域の各々と画像情報ＤＢ４に登録された複数パターンの症例画像の注目領域の各々との間で類似度を算出する算出パターンＣ、特徴量の平均同士で類似度を算出するパターンＤのうち、クエリー画像および症例画像の双方からの注目領域の抽出数に合ったパターンで類似度を算出し、類似症例画像を特定する。なお、算出パターンＡ・Ｃ・Ｄの画像情報ＤＢ４の注目領域は出力パターンＸ、算出パターンＢの画像情報ＤＢ４の注目領域は出力パターンＹに対応する。

要するに、クエリー画像の注目領域がｍパターン、症例画像の注目領域がｎパターンあれば、類似度はｍ×ｎ個算出されることになる。この類似度の中で１つでも類似度が高いものがあれば、対応する症例画像が検索結果として表示部５に出力される。従来では、診断画像の注目領域と画像情報ＤＢ４の注目領域のパターンが異なると類似度が低くなって検索結果として現れないが、本実施形態によると、注目領域の形状のばらつきを考慮して診断画像および／または症例画像の注目領域を複数パターン用意しておき、そのパターンの特徴量に基づいて類似度を比較するから、ユーザが指定した注目領域の位置情報のばらつきや注目領域の曖昧さによる類似症例画像の検索精度の低下を防げる。

表示部５やプリンタなどへの症例画像の出力方法は任意である。例えば、クエリー画像に対する類似症例画像を類似度の高い順に並べて表示部５に表示したりプリントアウトしたりする。類似度が最も高いものや典型症例の症例情報が対応づけられているものなど特定の条件を満たす類似症例画像を他の類似症例画像に比して拡大して表示したり、色付きの線分で類似症例画像あるいはその注目領域を囲むなどの視覚的効果を付与してもよい。あるいは、レポートなどの診断情報に基づいて症例ごとに類似症例画像を表示する。所望の類似症例画像がクリックなどで選択された場合、選択された画像に対応する診断情報を表示してもよい。

また、画像情報ＤＢ４の診断情報が、部外者の閲覧を予定していない患者の個人情報を含む場合、これを部外者に無制限に開示するのは好ましくない。そこで、類似画像検索部３が「施設外」あるいは「部外者」のユーザを認証した場合、表示部５は、診断情報に含まれる個人情報（患者氏名、生年月日など個人を特定できる情報）を、無意味な文字列で置換するなどして匿名化して表示するか、個人情報の表示を全く行わないようにしてもよい。

１：画像データ入力部、２：注目領域抽出部、３：類似画像検索部、４：画像情報ＤＢ、５：表示部、６：登録部、３１：特徴量計算部

Claims (17)

1. 所望の診断画像を入力する第１入力部と、
   前記第１入力部の入力した診断画像の注目領域を抽出する第１抽出部と、
   前記第１抽出部の抽出した注目領域の特徴量である第１の特徴量を算出する第１算出部と、
   所望の症例画像を入力する第２入力部と、
   前記第２入力部の入力した症例画像の注目領域の位置情報を指定する第２指定部と、
   前記第２指定部の指定した位置情報に基づいて初期登録注目領域を抽出するとともに、前記初期登録注目領域に対して任意に指定された１または複数の補正位置に基づいて１または複数の補正済み注目領域を抽出することで、前記第２入力部の入力した症例画像に対応する複数の注目領域を抽出する第２抽出部と、
   前記第２抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量である第２の特徴量を算出する第２算出部と、
   前記症例画像と前記第２の特徴量とを対応づけて所定のデータベースに登録する登録部と、
   前記第１の特徴量と前記第２の特徴量の各々とを比較することで、前記診断画像に類似する類似症例画像を前記データベースから検索する検索部と、
   を備える症例画像検索装置。
2. 前記第１入力部の入力した診断画像の注目領域の位置情報を指定する第１指定部を備え、
   前記第１抽出部は、前記第１指定部の指定した位置情報に基づいて、前記第１入力部の入力した診断画像に対応する複数の注目領域を抽出し、
   前記第１算出部は、前記第１抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量である第１の特徴量を算出し、
   前記検索部は、前記第１の特徴量の各々と前記第２の特徴量の各々とを比較することで、前記診断画像に類似する類似症例画像を前記データベースから検索する請求項１に記載の症例画像検索装置。
3. 前記第１抽出部は、前記第１指定部の指定した位置情報に基づいて初期検索注目領域を抽出した後、前記第１指定部の指定した補正位置情報に基づいて前記初期検索注目領域を補正した補正済検索注目領域を抽出し、
   前記第１算出部は、前記初期検索注目領域に対応する特徴量および前記補正済検索注目領域に対応する特徴量を含む第１の特徴量を算出する請求項２に記載の症例画像検索装置。
4. 前記第２抽出部は、前記第２指定部の指定した位置情報に基づいて初期登録注目領域を抽出した後、前記第２指定部の指定した補正位置情報に基づいて前記初期登録注目領域を補正した補正済登録注目領域を抽出し、
   前記第２算出部は、前記初期登録注目領域に対応する特徴量および前記補正済登録注目領域に対応する特徴量を含む第２の特徴量を算出する請求項１〜３のいずれかに記載の症例画像検索装置。
5. 所望の診断画像を入力する第１入力部と、
   前記第１入力部の入力した診断画像の注目領域の位置情報を指定する第１指定部と、
   前記第１指定部の指定した位置情報に基づいて初期検索注目領域を抽出するとともに、前記初期検索注目領域に対して任意に指定された１または複数の補正位置に基づいて１または複数の補正済み注目領域を抽出することで、前記第１入力部の入力した診断画像に対応する複数の注目領域を抽出する第１抽出部と、
   前記第１抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量を算出した上、前記複数の特徴量を平均した第１の特徴量を算出する第１算出部と、
   所望の症例画像を入力する第２入力部と、
   前記第２入力部の入力した症例画像の注目領域の位置情報を指定する第２指定部と、
   前記第２指定部の指定した位置情報に基づいて初期登録注目領域を抽出するとともに、前記初期登録注目領域に対して任意に指定された１または複数の補正位置に基づいて１または複数の補正済み注目領域を抽出することで、前記第２入力部の入力した症例画像に対応する複数の注目領域を抽出する第２抽出部と、
   前記第２抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量を算出した上、前記複数の特徴量を平均した第２の特徴量を算出する第２算出部と、
   前記症例画像と前記第２の特徴量とを対応づけて所定のデータベースに登録する登録部と、
   前記第１の特徴量と前記第２の特徴量とを比較することで、前記診断画像に類似する類似症例画像を前記データベースから検索する検索部と、
   を備える症例画像検索装置。
6. 前記第１抽出部は、前記第１指定部の指定した位置情報に基づいて初期検索注目領域を抽出した後、前記第１指定部の指定した補正位置情報に基づいて前記初期検索注目領域を補正した補正済検索注目領域を抽出し、
   前記第１算出部は、前記初期検索注目領域に対応する特徴量および前記補正済検索注目領域に対応する特徴量を平均した第１の特徴量を算出し、
   前記第２抽出部は、前記第２指定部の指定した位置情報に基づいて初期登録注目領域を抽出した後、前記第２指定部の指定した補正位置情報に基づいて前記初期登録注目領域を補正した補正済登録注目領域を抽出し、
   前記第２算出部は、前記初期登録注目領域に対応する特徴量および前記補正済登録注目領域に対応する特徴量を平均した第２の特徴量を算出する請求項５に記載の症例画像検索装置。
7. 前記第１抽出部は、前記診断画像の画素値および形状のうち少なくとも一方とに基づいて前記注目領域を抽出し、
   前記第２抽出部は、前記診断画像の画素値および形状のうち少なくとも一方とに基づいて前記注目領域を抽出する請求項１〜６のいずれかに記載の症例画像検索装置。
8. 所望の診断画像を入力する第１入力部と、
   前記第１入力部の入力した診断画像の注目領域の位置情報を指定する第１指定部と、
   前記第１指定部の指定した位置情報に基づいて初期登録注目領域を抽出するとともに、前記初期登録注目領域に対して任意に指定された１または複数の補正位置に基づいて１または複数の補正済み注目領域を抽出することで、前記第１入力部の入力した診断画像に対応する複数の注目領域を抽出する第１抽出部と、
   前記第１抽出部の抽出した複数の注目領域の各々に対応する複数の特徴量である第１の特徴量を算出する第１算出部と、
   前記第１の特徴量の各々と、所定のデータベースに登録された症例画像に対応する注目領域の特徴量である第２の特徴量とを比較することで、前記診断画像に類似する類似症例画像を前記データベースから検索する検索部と、
   を備える症例画像検索装置。
9. 前記第１抽出部は、前記第１指定部の指定した位置情報に基づいて初期登録注目領域を抽出した後、前記第１指定部の指定した補正位置情報に基づいて前記初期登録注目領域を補正した補正済登録注目領域を抽出し、
   前記第１算出部は、前記初期登録注目領域に対応する特徴量および前記補正済登録注目領域に対応する特徴量を含む第１の特徴量を算出する請求項８に記載の症例画像検索装置。
10. 前記位置情報は操作装置から入力される座標情報を含む請求項１〜９のいずれかに記載の症例画像検索装置。
11. 前記検索部の検索した類似症例画像を出力する出力部を備える請求項１〜１０のいずれかに記載の症例画像検索装置。
12. 前記データベースは、前記症例画像に対応する診断レポートその他の付帯情報を記憶し、
    前記出力部は、前記類似症例画像に対応する前記データベースの付帯情報を出力する請求項１１に記載の症例画像検索装置。
13. 前記第１の特徴量は、前記診断画像の注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量を含み、
    前記第２の特徴量は、前記症例画像の注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量を含み、
    前記検索部は、前記診断画像の注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量と、前記症例画像の注目領域の画素値、形状および大きさのうち少なくとも一つに関する特徴量とを比較することで前記類似症例画像を前記データベースから検索する請求項１〜１２のいずれかに記載の症例画像検索装置。
14. コンピュータが、
    所望の診断画像を入力するステップと、
    前記入力した診断画像の注目領域を抽出するステップと、
    前記抽出した注目領域の特徴量である第１の特徴量を算出するステップと、
    所望の症例画像を入力するステップと、
    前記入力した症例画像の注目領域の位置情報を指定するステップと、
    前記指定した位置情報に基づいて初期登録注目領域を抽出するとともに、前記初期登録注目領域に対して任意に指定された１または複数の補正位置に基づいて１または複数の補正済み注目領域を抽出することで、前記入力した症例画像に対応する複数の注目領域を抽出するステップと、
    前記抽出した複数の注目領域の各々に対応する複数の特徴量である第２の特徴量を算出するステップと、
    前記症例画像と前記第２の特徴量とを対応づけて所定のデータベースに登録するステップと、
    前記第１の特徴量と前記第２の特徴量の各々とを比較することで、前記診断画像に類似する類似症例画像を前記データベースから検索するステップと、
    を実行する症例画像検索方法。
15. コンピュータが、
    所望の診断画像を入力するステップと、
    前記入力した診断画像の注目領域の位置情報を指定するステップと、
    前記指定した位置情報に基づいて初期検索注目領域を抽出するとともに、前記初期検索注目領域に対して任意に指定された１または複数の補正位置に基づいて１または複数の補正済み注目領域を抽出することで、前記入力した診断画像に対応する複数の注目領域を抽出するステップと、
    前記抽出した複数の注目領域の各々に対応する複数の特徴量を算出した上、前記複数の特徴量を平均した第１の特徴量を算出するステップと、
    所望の症例画像を入力するステップと、
    前記入力した症例画像の注目領域の位置情報を指定するステップと、
    前記指定した位置情報に基づいて初期登録注目領域を抽出するとともに、前記初期登録注目領域に対して任意に指定された１または複数の補正位置に基づいて１または複数の補正済み注目領域を抽出することで、前記入力した症例画像に対応する複数の注目領域を抽出するステップと、
    前記抽出した複数の注目領域の各々に対応する複数の特徴量を算出した上、前記複数の特徴量を平均した第２の特徴量を算出するステップと、
    前記症例画像と前記第２の特徴量とを対応づけて所定のデータベースに登録するステップと、
    前記第１の特徴量と前記第２の特徴量とを比較することで、前記診断画像に類似する類似症例画像を前記データベースから検索するステップと、
    を実行する症例画像検索方法。
16. コンピュータが、
    所望の診断画像を入力するステップと、
    前記入力した診断画像の注目領域の位置情報を指定するステップと、
    前記指定した位置情報に基づいて初期登録注目領域を抽出するとともに、前記初期登録注目領域に対して任意に指定された１または複数の補正位置に基づいて１または複数の補正済み注目領域を抽出することで、前記入力した診断画像に対応する複数の注目領域を抽出するステップと、
    前記抽出した複数の注目領域の各々に対応する複数の特徴量である第１の特徴量を算出するステップと、
    前記第１の特徴量の各々と、所定のデータベースに登録された症例画像に対応する注目領域の特徴量である第２の特徴量とを比較することで、前記診断画像に類似する類似症例画像を前記データベースから検索するステップと、
    を実行する症例画像検索方法。
17. 請求項１４〜１６のいずれかに記載の症例画像検索方法をコンピュータに実行させるための症例画像検索プログラム。

Images