JP6527614B2 - 画像処理装置及び画像処理装置の作動方法 - Google Patents

Description

本発明は、３次元医用画像データを処理して表示する技術に関する。

近年の医用画像データは３次元のボリュームデータが主流である。医師が画像診断を行う際には、断層像を連続的に切り替えて表示（スクロール表示）して、異常陰影がないかどうかを確認する。画像診断によって医師が異常陰影を見つけた場合、異常陰影を含む断層像付近で繰り返しスクロール表示させたり、表示パラメータを調整したりしながら、詳細な観察からその異常陰影の特徴を掴む。そして、異常陰影の特徴を画像所見として入力し、その異常陰影を代表するような（例えば異常陰影のサイズが最大になる）断層像を選んでレポートに貼りつけるなどしてまとめる。

画像診断において、画像データの３次元化により詳細な診断ができるようになった。しかし、２次元の断層像として表示する際やレポートにまとめる際など、３次元画像データの中から断層像を選ばなければならず、医師の負担が増加している。この一連の作業において、医師の負担を減らすための発明が今までに提案されている。特許文献１では、関心領域内の画像特徴量に基づいて表示パラメータを自動調整する手法を提案している。また、一般的な手法として、３次元画像データ中における関心領域の重心を求め、この重心を通る断面の断層像を表示する手法などが考えられる。

特開２００７−１４３９８２

しかしながら、従来の技術では以下の課題があった。特許文献１では検診時や精密検査時などの状況に応じて表示パラメータを調整する発明であり、３次元画像データから断層像を選ぶということはできない。また、表示する断層像の選択手段として、３次元画像データ中における関心領域の重心を通る断層像を選ぶ方法を用いたとしても、その断層像が必ずしも異常陰影を代表するような断層像とはならない。そのため、結局医師が断層像を選ぶ作業は発生してしまい、医師の負担を減らすことはできない。

本発明は上記の課題を鑑みてなされたものであり、三次元医用画像に関する所見を用いて、診断名を推論する推論手段と、前記推論に用いられた所見のうち、前記診断名の推論に寄与した所見を選択する選択手段と、前記選択された所見の特徴を表す少なくとも１つの断層像を、前記三次元医用画像から特定する特定手段と、を有することを特徴とする画像処理装置を提供する。

本発明によれば、注目するべき画像所見の特徴を表す断層像を自動で選んで表示することができる。その結果として、医師の負担を減らすことができる。

第１実施例に係る画像処理装置の機器構成例を示す図。 画像処理装置の各部をソフトウェアにより実現するコンピュータの基本構成を示す図。 第１実施例における、画像処理装置の処理の概要を示す図。 画像処理装置の第１実施例の処理手順を示すフローチャート。 画像処理装置の第２実施例の処理手順を示すフローチャート。 画像処理装置の第３実施例の処理手順を示すフローチャート。

以下、添付図面に従って本発明に係る画像処理装置及びその制御方法の好ましい実施形態について説明する。ただし、発明の範囲は図示例に限定されるものではない。

＜第１実施例＞
本実施例に係る画像処理装置１の構成を図１に従い説明する。画像処理装置１では、３次元医用画像取得部１００１がデータベース２から画像を取得する。次に注目所見取得部１００２が、ユーザによるこの画像の読影結果として注目した画像所見を取得する。本実施例では、注目所見取得部１００２が取得した画像所見を注目所見とする。次に、特徴量種別同定部１００３が、取得した注目所見に基づいて算出する画像特徴量種別を同定し、特徴量算出部１００４が、同定した画像特徴量を算出する。そして、断層像特定部１００５が、夫々の断層像における断層像選択指標を算出し、この断層像選択指標に基づいて断層像を決定する。最後に、表示制御部１００６が、特定された断層像の表示を行う。

図２は、第１実施例に係る画像処理装置をコンピュータで実現する場合の構成例を示す図である。画像処理装置１は、制御部１０、モニタ１０４、マウス１０５、キーボード１０６を有する。制御部１０は、中央処理装置（ＣＰＵ）１００、主メモリ１０１、磁気ディスク１０２、表示メモリ１０３を有する。そして、ＣＰＵ１００が主メモリ１０１に格納されたプログラムを実行することにより、データベース２との通信、画像処理装置１の全体制御、等の各種制御が実行される。ＣＰＵ１００は、主として画像処理装置１の各構成要素の動作を制御する。主メモリ１０１は、ＣＰＵ１００が実行する制御プログラムを格納したり、ＣＰＵ１００によるプログラム実行時の作業領域を提供したりする。磁気ディスク１０２は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライブ、後述する診断支援処理等を行うためのプログラムを含む各種アプリケーションソフト等を格納する。表示メモリ１０３は、表示制御部１００６に従って、表示用データを一時記憶する。モニタ１０４は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１０３からのデータに基づいて画像を表示する。マウス１０５及びキーボード１０６はユーザ（医師）によるポインティング入力及び文字等の入力をそれぞれ行う。上記各構成要素は共有バス１０７により互いに通信可能に接続されている。

本実施例において、画像処理装置１はＬＡＮ（Local Area Network）３を介して、データベース２から医用画像データを読み出すことができる。ここで、データベース２として既存のＰＡＣＳ（Picture Archiving and Communicating System）を利用することができる。なお、３次元医用画像データの種類には、Ｘ線ＣＴ画像、ＭＲI画像、ＰＥＴ画像、ＳＰＥＣＴ画像などがある。

なお、上述の機器構成は、一般的なコンピュータ及びその周辺装置を用いて構成することができる。また、図４を用いて後述する本発明に係る画像処理装置の制御手順は、コンピュータ上で実行されるコンピュータプログラムとして実現することができる。

図３に本実施例の画像処理の概要を示す。図３においてＭＩ３は診断対象となる３次元医用画像であり、データベースから入力されたものである。本実施例では胸部Ｘ線ＣＴ像を例に挙げ、異常陰影の有無や特徴を画像診断する際に用いる処理装置について説明する。ＩＦ３は画像所見入力エリアであり、プルダウンメニューから画像所見を入力することができる。画像所見が入力されると、予め画像所見と対応付けられた画像特徴量の種別が同定される。そして、各断層像について当該画像特徴量を算出して、そこからさらに断層像選択指標を算出する。そして、断層像選択指標に従って、入力された画像所見の特徴を表す断層像が選択される。図３においては、画像所見として「棘状突起」が入力され、予め「棘状突起」に対応付いている画像特徴量から断層像選択指標が算出される。そして算出結果より、断層像Ｔ３が選択される。

図４は本実施例のフローチャートである。画像処理装置１が実行する具体的な処理手順を、このフローチャートに沿って説明する。

＜ステップＳ４１０＞
ステップＳ４１０において、３次元医用画像取得部１００１は、データベース２から３次元医用画像を取得する。本実施例では、取得した画像をそのまま後段の処理に用いてもよいし、ユーザが関心領域（ＲＯＩ、Region of Interest）を指定し、画像の領域を限定してもよい。領域を限定する場合、例えば不図示のＧＵＩを介して３次元医用画像中から領域を指定し、それを後段の処理で扱う３次元医用画像として置き換えてもよい。

＜ステップＳ４２０＞
ステップＳ４２０において、注目所見取得部１００２は、３次元医用画像について、ユーザが不図示のＧＵＩを介して入力した画像所見を注目所見として取得する。本実施例では、取得した３次元医用画像をユーザが画像診断し、図３のＩＦ３に示すような画像所見入力フォームを用いて画像所見を入力する。ここで、入力できる画像所見は例えば、「類球形」、「棘状突起」、「境界不明瞭」などである。ユーザは、これらのうち少なくとも一つ入力する。なお、画像所見の選択方法はこれに限定されるものではない。例えばデータベースに同一患者の過去の診断結果が保存されている場合、その診断結果で入力されている画像所見を注目所見として用いてもよい。

＜ステップＳ４３０＞
ステップＳ４３０において、特徴量種別同定部１００３は、注目所見取得部１００２で得た注目所見に基づいて算出する画像特徴量の種別を同定する。本実施例では、夫々の画像所見に対して画像特徴量の種別が予め対応付けられており、選ばれた注目所見から自動的に算出する画像特徴量の種別が決定される。画像所見と画像特徴量種別を対応付けた例は下記の通りである。
「類球形」 ：円形度Ｃ、縦横比Ａ
「棘状突起」：輪郭線長Ｌ、充填率Ｆ
「境界不明瞭」：境界エッジ成分の総和Ｅ

＜ステップＳ４４０＞
ステップＳ４４０において、特徴量算出部１００４は、注目所見取得部１００２で得た注目所見に基づいて、３次元医用画像の夫々の断層像に対して、ステップＳ４３０で種別を同定した画像特徴量を算出する。
ここで、円形度Ｃ、縦横比Ａ、輪郭線長Ｌ、充填率Ｆは３次元医用画像から生成された二値画像から算出される。二値画像の生成法について、本実施例では、３次元医用画像のヒストグラムから判別分析法で閾値を決定し、二値化処理を施す。生成した二値画像を用いて、円形度Ｃ、縦横比Ａ、充填率Ｆは下記の式で算出される。

ここで、Areaは二値画像中の各領域の面積である。また、Ferethは水平方向フェレ径、Feretvは垂直方向フェレ径であり、いずれも二値画像における各領域の外接矩形から算出される。二値画像中に複数領域が存在する場合、本実施例では、一番面積の大きな領域を対象領域とし、画像特徴量を算出する。輪郭線長Ｌは対象領域の輪郭線の長さとする。エッジ成分の総和Ｅは対象領域の輪郭線上におけるエッジ成分の総和とする。エッジ成分は３次元医用画像にＳｏｂｅｌフィルタを適用し得られる成分とする。

これらの算出方法で、注目所見に対応付けられた画像特徴量を各断層像において算出する。本実施例ではａｘｉａｌ、ｃｏｒｏｎａｌ、ｓａｇｉｔａｌの各切断方向における断層像群（例えば、１ｍｍ間隔で生成した断層像群）について画像特徴量を算出する。なお、画像特徴量を算出する断層像の選び方はこれに限定されるものではない。例えば断層像の切断方向はａｘｉａｌ、ｃｏｒｏｎａｌ、ｓａｇｉｔａｌに限定されるものではなく、自由な切断方向で断層像群を作成してよい。例えば画像の中心を通るｘ軸、ｙ軸、ｚ軸を設定し、いずれか１つ、ないし２つの軸を回転中心として、１０°ずつ１８０°回転させてできる切断方向の断層像群から画像特徴量を算出してもよい。

＜ステップＳ４５０＞
ステップＳ４５０において、断層像特定部１００５は、特徴量算出部１００４で算出した画像特徴量を基に、注目所見の特徴を表す断層像を決定する。本実施例では、ステップＳ４４０で算出した画像特徴量から各断層像が「注目所見を表す度合い」を示す値を算出し（数値化し）、これを当該注目所見に基づく「断層像選択指標」とする。例として、前記３つの画像所見に対応する断層像選択指標を算出するための数式の例を下記に示す。

ここで，wは予め定めた重みである。本実施例ではw1〜w5 = 1.0としている。

なお、指標算出の数式の中に、「注目所見を表す度合い」以外の他の選択基準を組み込んでもよい。例えば、二値画像中の領域の大きさや、関心領域の重心への近さなどを表す項を上記の数式に加算することで、注目所見以外の基準が考慮されるようにしてもよい。

これらの式を用いて注目所見に対応する断層像選択指標を各断層像について算出する。そして断層像選択指標が最大となる断層像を表示する断層像として決定する。なお、ステップＳ４２０において複数所見が選択された場合には、本実施例では、選ばれた全ての注目所見について断層像選択指標を算出し、指標の合計値が一番大きい断層像を表示する断層像として決定する。そして、レポートのためのデータとしてこれを保存する。

＜ステップＳ４６０＞
ステップＳ４６０において、表示制御部１００６は、断層像特定部１００５で特定された断層像を表示する。

このように、画像所見に対応付いた画像特徴量を基に表示する断層像を選ぶことで、入力された画像所見の特徴を表す断層像を自動的に選ぶことができる。

＜変形例１＞
上記実施例では、ステップＳ４５０において、注目所見が複数存在する場合、夫々の断層像選択指標を算出し、その合計値から断層像を決定している。しかし、各断層像選択指標を最大化する断層像を夫々選び、各注目所見に対応付けて表示してもよい。また、この場合、レポートに用いる断層像をこの中からユーザが選択できるようにしてもよい。

＜第２実施例＞
本実施例では、画像所見の入力において、ユーザの指示を用いずに、３次元医用画像から画像特徴量を算出し、注目所見を自動選択する例を説明する。取得した画像から算出した画像特徴量に基づいて、画像中に含まれるであろう画像所見を同定し、これを注目所見として自動選択することができる。

装置の構成については第１実施例と同様であるため、説明は省略する。ただし、注目所見取得部１００２が３次元医用画像から注目所見を自動選択する点が第１実施例とは異なっている。また、画像処理装置１がソフトウェアの指令に基づき動作する場合には、ＲＯＭまたはＨＤＤに格納されたプログラムは図５の処理を実行し、また、そのための機能を実現するためのプログラムである点が異なっている。

図５に従い、第２実施例に係るステップＳ５２０とステップＳ５３０の詳細を説明する。なお、ステップＳ５１０と、ステップＳ５４０からステップＳ５７０までの処理については第１実施例の図４のフローチャートにおけるステップＳ４１０とステップＳ４３０からステップＳ４６０までの処理と同様であるため、説明は省略する。

＜ステップＳ５２０＞
ステップＳ５２０において、注目所見取得部１００２は、３次元画像取得部１００１で取得した３次元医用画像から注目所見選択用の特徴量を算出する。

本実施例では、まず、ステップＳ４５０の式（４）〜（６）を用いて各断層像において全ての種類の断層像選択指標を算出する。次に、各断層像から算出した断層像選択指標を断層像枚数分合計し、注目所見選択用の特徴量とする。つまり本実施例では、各３次元医用画像において、類球形指標、分葉状指標、不整形指標、棘状突起指標、境界不整指標など、用意された全種類の指標が算出され、各指標について断層像枚数分合計した値が特徴量として算出される。なお、注目所見選択用の特徴量の算出方法はこれに限定されるものではない。例えば、各断層像において算出した指標の最大値を注目所見選択用の特徴量として用いてもよい。

＜ステップＳ５３０＞
ステップＳ５３０において、注目所見取得部１００２は、ステップＳ５２０で算出した注目所見選択用の特徴量を基に画像中に含まれるであろう画像所見を同定し、これを注目所見として選択する。

本実施例では、ステップＳ５２０で算出した注目所見選択用の特徴量に閾値処理を施すことにより３次元医用画像の画像所見を選択する。各特徴量について予め閾値を設定しておき、閾値以上の特徴量に対応する画像所見を注目所見として選択する。閾値以上の特徴量が複数存在した場合、それら全てを注目所見として扱い、次のステップへ渡す。ただし、同じカテゴリに属する画像所見（例えば「形状」のカテゴリに属する画像所見は「類球形」、「分葉状」、「不整形」）が複数選択された場合、それらのうち特徴量が最大のものを一つ選び、注目所見とする。なお、画像所見の選択方法はこれに限られるものではない。例えば過去の診断結果に対して求めた特徴量と画像所見との組を用いた学習によって、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ ＭａｃｈｉｎｅやＡｄａＢｏｏｓｔなどで識別器を構築することで、特徴量から画像所見を選択してもよい。

このように、特徴量から注目所見を選ぶことで、医師による画像所見入力作業が自動化される。つまり、画像所見の入力から、画像所見の特徴を表す断層像を表示するまでの処理が全て自動になる。

＜第３実施例＞
本実施例では、第１実施例、または第２実施例の方法を用いて注目所見を取得した後、推論器を用いて鑑別診断を行うとともに、診断に寄与した注目所見の特徴を表した断層像を表示する。なお、本実施例では医師は注目所見以外の画像所見も入力しているものとする。

装置の構成については第１実施例と同様であるため、説明は省略する。ただし、注目所見取得部１００２が多数の画像所見から注目所見を自動選択する点が第１実施例とは異なっている。また、画像処理装置１がソフトウェアの指令に基づき動作する場合には、ＲＯＭまたはＨＤＤに格納されたプログラムは図６の処理を実行し、また、そのための機能を実現するためのプログラムである点が異なっている。

図６に従い、第３実施例に係るステップＳ６３０、Ｓ６４０の詳細を説明する。なお、ステップＳ６１０、Ｓ６２０と、ステップＳ６５０〜Ｓ６８０までの処理については第１実施例の図４のフローチャートにおけるステップＳ４１０、Ｓ４２０とステップＳ４３０からステップＳ４６０までの処理と同様であるため、説明は省略する。

＜ステップＳ６３０＞
ステップＳ６３０において、注目所見取得部１００２は、取得した全ての画像所見を推論器に入力する。推論手段として、ベイジアンネットワーク、ニューラルネットワークなど既存の推論手法が利用できる。本実施例では、推論手段としてベイジアンネットワークを用いる。ベイジアンネットワークは条件付確率を用いた推論モデルであり、本実施例に適用すると、画像所見を入力として各診断名の推論確率が取得できる。本実施例で扱う診断名は「原発性肺癌」、「癌の肺転移」、「その他」である。

また、本実施例では、各診断名をDi，各所見をSjとすると、Sjの寄与度を事前確率P(Di)（入力がない場合の各診断名の確率）とSjのみが入力された場合の確率P(Di|Sj)との差を用いて算出する。例えば、診断名Diに対する所見Sjの寄与度 C(Di|Sj)は次式で表される。

各診断名における寄与度は、選択肢として用意した全ての画像所見について算出される。本実施例では、ベイジアンネットワークによる推論結果で一番確率の高い診断名（推定診断名）における各画像所見の寄与度を次のステップに送る。

＜ステップＳ６４０＞
ステップＳ６４０において、注目所見取得部１００２は、ステップＳ６３０で算出した寄与度にしたがって注目所見を選択する。本実施例では、ステップＳ６３０で算出した寄与度について閾値処理を行うことにより注目所見を選択する。寄与度について予め閾値を設定しておき、閾値以上の寄与度を得た注目所見が選択される。寄与度が閾値以上の注目所見が複数存在する場合、それら全てが選択される。寄与度が閾値以上の注目所見が存在しない場合、寄与度が最大の注目所見が選択される。なお、この選択方法以外にも、閾値を用いずに寄与度が最大の注目所見を選択してもよい。

このように、推論器から得られる診断名への寄与度を基に注目所見を選択することで、推論結果を裏付ける画像所見の特徴を表した断層像を表示することができる。

＜変形例２＞
上記実施例では、ステップＳ６３０において、ベイジアンネットワークによる推論結果で一番確率の高い診断名において寄与度を算出し、注目所見選択の対象としていた。しかし、ユーザ（医師）の入力した診断名における寄与度から注目所見を選択してもよい。具体的には、医師がインプレッションとして入力した診断名とベイジアンネットワークの推論した診断名が違ったとき、医師の選んだ診断名への寄与度を基に注目所見を選択してもよい。これによると、医師の診断の根拠を説明するような画像所見を表す断層像が選択されるという効果が得られる。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１ 画像処理装置
２ データベース
３ ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）
１００１ ３次元医用画像取得部
１００２ 注目所見取得部
１００３ 特徴量種別同定部
１００４ 特徴量算出部
１００５ 断層像特定部
１００６ 表示制御部

Claims (11)

1. 三次元医用画像に関する所見を用いて、診断名を推論する推論手段と、
   前記推論に用いられた所見のうち、前記診断名の推論に寄与した所見を選択する選択手段と、
   前記選択された所見の特徴を表す少なくとも１つの断層像を、前記三次元医用画像から特定する特定手段と、
   を有することを特徴とする画像処理装置。
2. 前記特定手段は、前記選択された所見の特徴を表す値である特徴量に基づいて、前記三次元医用画像から前記少なくとも１つの断層像を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記推論に用いられた所見ごとに、前記診断名の推論に寄与した度合いを示す寄与度を算出する算出手段
   を更に有し、
   前記選択手段は、前記寄与度を用いて、前記診断名の推論に寄与した所見を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記選択手段は、前記寄与度が閾値以上の所見を、前記診断名の推論に寄与した所見として選択することを特徴とする請求項３に記載の画像処理装置。
5. 前記選択手段は、前記寄与度が最も高い所見を、前記診断名の推論に寄与した所見として選択することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記算出手段は、前記所見を用いた場合の前記診断名の推論確率と、前記所見を用いない場合の前記診断名の推論確率との差を用いて、前記寄与度を算出することを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. ユーザから診断名の入力を受け付ける受付手段
   を更に有し、
   前記選択手段は、前記入力を受け付けた診断名と、前記推論された診断名とが異なる場合に、前記入力を受け付けた診断名の推論に寄与した所見を選択することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記特定された断層像を表示部に表示させる表示制御手段を更に有することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記断層像の切断方向は、アキシャル、コロナル、サジタルのいずれかの切断方向、または自由な切断方向であることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 三次元医用画像に関する所見を用いて、診断名を推論する工程と、
    前記推論に用いられた所見のうち、前記診断名の推論に寄与した所見を選択する工程と、
    前記選択された所見の特徴を表す少なくとも１つの断層像を、前記三次元医用画像から特定する工程と、
    を有することを特徴とする画像処理装置の作動方法。
11. 請求項１０に記載の方法をコンピュータに実行させるためのプログラム。

Images