JP2009028248A - 医療用画像処理装置及び医療用画像処理方法 - Google Patents

Abstract

【課題】内視鏡画像から***形状を有する病変を検出する際の検出精度を従来に比べて向上させることが可能な医療用画像処理装置及び医療用画像処理方法を提供する。
【解決手段】本発明の医療用画像処理装置は、生体組織の像の二次元画像に基づいて三次元モデルを推定する三次元モデル推定部と、二次元画像において、注目画素を中心とした複数の局所領域を設定する局所領域設定部と、複数の局所領域夫々に対応する三次元座標データを用いつつ、注目画素に相当するボクセルの形状特徴量を夫々算出する形状特徴量算出部と、複数の形状特徴量のうち、最適な三次元座標データ量を含む一の局所領域に応じて算出された形状特徴量を、注目画素に相当するボクセルの形状特徴量として選択する形状特徴量選択部と、形状特徴量選択部の選択結果に基づき、二次元画像内に存在する***形状を検出する***形状検出部と、を有する。
【選択図】図１

Description

本発明は、医療用画像処理装置及び医療用画像処理方法に関し、特に、生体組織の像の二次元画像に基づき、該二次元画像内に存在する、***形状を有する病変を検出する医療用画像処理装置及び医療用画像処理方法に関するものである。

内視鏡及び医療用画像処理装置等を具備して構成される内視鏡システムは、医療分野等において広く用いられている。具体的には、内視鏡システムは、例えば、生体としての体腔内に挿入される挿入部と、該挿入部の先端部に配置された対物光学系と、該対物光学系により結像された体腔内の像を撮像して撮像信号として出力する撮像部とを有して構成される内視鏡と、該撮像信号に基づき、表示部としてのモニタ等に該体腔内の像を画像表示させるための処理を行う医療用画像処理装置とを具備して構成されている。そして、ユーザは、表示部としてのモニタ等に画像表示された体腔内の像に基づき、例えば、体腔内における被写体としての臓器等の観察を行う。

また、前述した構成を具備する内視鏡システムは、体腔内における被写体として、例えば、大腸等の消化管粘膜の像を撮像することもまた可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。

さらに、近年においては、内視鏡により撮像された被写体の像の撮像信号に応じた二次元画像のデータに基づき、該被写体の三次元モデルを生成することが可能であるような内視鏡装置が提案されている。

一方、例えばＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｙ）により生成された三次元モデルにおいてポリープ等の***形状を有する病変を特定するための方法として、ＳｈａｐｅＩｎｄｅｘ及びＣｕｒｖｅｄｎｅｓｓといった形状特徴量に基づいて該三次元モデルの形状の評価を行うことにより該病変を特定可能な、特許文献１に記載されている方法が提案されている。
ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７

特許文献１に提案されている方法において用いられている前記形状特微量は、***形状を有する病変の大きさに算出精度が依存する特微量である。そのため、ＣＴにより生成された三次元モデルとは異なり、例えば、***形状を有する病変の大きさについての詳細な情報を得ることが困難である内視鏡画像に対して特許文献１に提案されている方法が適用された場合、該***形状の大きさに応じた形状特微量の算出が困難であることにより、該病変の検出精度が低下してしまう、という課題が生じている。

本発明は、前述した点に鑑みてなされたものであり、内視鏡画像から***形状を有する病変を検出する際の検出精度を従来に比べて向上させることが可能な医療用画像処理装置及び医療用画像処理方法を提供することを目的としている。

本発明における医療用画像処理装置は、医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、前記二次元画像において、注目画素を中心とした複数の局所領域を設定する局所領域設定部と、前記三次元モデル推定部により推定された前記生体組織の三次元モデルに基づき、前記複数の局所領域夫々に対応する三次元座標データを用いつつ、前記注目画素に相当するボクセルの形状特徴量を夫々算出する形状特徴量算出部と、前記複数の局所領域夫々に応じて算出された複数の前記形状特徴量のうち、最適な三次元座標データ量を含む一の局所領域に応じて算出された形状特徴量を、前記注目画素に相当するボクセルの最適な形状特徴量として選択する形状特徴量選択部と、前記形状特徴量選択部の選択結果に基づき、前記二次元画像内に存在する***形状を検出する***形状検出部と、を有することを特徴とする。

本発明における医療用画像処理方法は、医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定し、前記二次元画像において、注目画素を中心とした複数の局所領域を設定し、前記生体組織の三次元モデルに基づき、前記複数の局所領域夫々に対応する三次元座標データを用いつつ、前記注目画素に相当するボクセルの形状特徴量を夫々算出し、前記複数の局所領域夫々に応じて算出された複数の前記形状特徴量のうち、最適な三次元座標データ量を含む一の局所領域に応じて算出された形状特徴量を、前記注目画素に相当するボクセルの最適な形状特徴量として選択し、前記選択した結果に基づき、前記二次元画像内に存在する***形状を検出することを特徴とする。

本発明における医療用画像処理装置及び医療用画像処理方法によると、内視鏡画像から***形状を有する病変を検出する際の検出精度を従来に比べて向上させることが可能である。

以下、図面を参照して本発明の実施の形態を説明する。

図１から図６は、本発明の実施形態に係るものである。図１は、本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムにおける、要部の構成の一例を示す図である。図２は、図１の医療用画像処理装置において行われる処理の一例を示すフローチャートである。図３は、図２に示す処理の対象となる二次元画像の一例を示す図である。図４は、図２に示す処理において、一の画素の形状特徴量を算出するために適用される各局所領域の一例を示す図である。図５は、図２に示す処理により算出された、一の画素の形状特徴量各々の分布を示す散布図である。図６は、図１の医療用画像処理装置において、図２に示す処理の後に行われる処理の一例を示すフローチャートである。

内視鏡システム１は、図１に示すように、被写体を撮像するとともに、該被写体の像の二次元画像を出力する医療用観察装置２と、パーソナルコンピュータ等により構成され、医療用観察装置２から出力される二次元画像の映像信号に対して画像処理を行うとともに、該画像処理を行った後の映像信号を画像信号として出力する医療用画像処理装置３と、医療用画像処理装置３から出力される画像信号に基づく画像を表示するモニタ４とを有して要部が構成されている。

また、医療用観察装置２は、体腔内に挿入されるとともに、該体腔内の被写体を撮像して撮像信号として出力する内視鏡６と、内視鏡６により撮像される被写体を照明するための照明光を供給する光源装置７と、内視鏡６に対する各種制御を行うとともに、内視鏡６から出力される撮像信号に対して信号処理を行い、二次元画像の映像信号として出力するカメラコントロールユニット（以降、ＣＣＵと略記する）８と、ＣＣＵ８から出力される二次元画像の映像信号に基づき、内視鏡６により撮像された被写体の像を画像表示するモニタ９とを有して要部が構成されている。

内視鏡６は、体腔内に挿入される挿入部１１と、挿入部１１の基端側に設けられた操作部１２とを有して構成されている。また、挿入部１１内の基端側から、挿入部１１内の先端側の先端部１４にかけての部分には、光源装置７から供給される照明光を伝送するためのライトガイド１３が挿通されている。

ライトガイド１３は、先端側が内視鏡６の先端部１４に配置されるとともに、後端側が光源装置７に接続される。ライトガイド１３がこのような構成を有することにより、光源装置７から供給される照明光は、ライトガイド１３により伝送された後、挿入部１１の先端部１４の先端面に設けられた、図示しない照明窓から出射される。そして、図示しない照明窓から照明光が出射されることにより、被写体としての生体組織等が照明される。

内視鏡６の先端部１４には、図示しない照明窓に隣接する図示しない観察窓に取り付けられた対物光学系１５と、対物光学系１５の結像位置に配置され、例えば、ＣＣＤ（電荷結合素子）等により構成される撮像素子１６とを有する撮像部１７が設けられている。このような構成により、対物光学系１５により結像された被写体の像は、撮像素子１６により撮像された後、撮像信号として出力される。

撮像素子１６は、信号線を介してＣＣＵ８に接続されている。そして、撮像素子１６は、ＣＣＵ８から出力される駆動信号に基づいて駆動するとともに、ＣＣＵ８に対して撮像信号を出力する。

また、ＣＣＵ８に入力された撮像信号は、ＣＣＵ８の内部に設けられた図示しない信号処理回路において信号処理されることにより、二次元画像の映像信号として変換されて出力される。ＣＣＵ８から出力された二次元画像の映像信号は、モニタ９及び医療用画像処理装置３に対して出力される。これにより、モニタ９には、ＣＣＵ８から出力される映像信号に基づく被写体の像が二次元の画像として表示される。

医療用画像処理装置３は、医療用観察装置２から出力される二次元画像の映像信号に対し、Ａ／Ｄ変換を行って出力する画像入力部２１と、画像入力部２１から出力される映像信号に対して画像処理を行う、中央演算処理装置としてのＣＰＵ２２と、該画像処理に関する処理プログラムが書き込まれた処理プログラム記憶部２３と、画像入力部２１から出力される映像信号等を記憶する画像記憶部２４と、ＣＰＵ２２の画像処理結果としての画像データ等を記憶する解析情報記憶部２５とを有する。

また、医療用画像処理装置３は、記憶装置インターフェース２６と、記憶装置インターフェース２６を介してＣＰＵ２２の画像処理結果としての画像データ等を記憶する、記憶装置としてのハードディスク２７と、ＣＰＵ２２の画像処理結果としての画像データに基づき、該画像データをモニタ４に画像表示するための表示処理を行うとともに、該表示処理を行った後の画像データを画像信号として出力する表示処理部２８と、ＣＰＵ２２が行う画像処理におけるパラメータ及び医療用画像処理装置３に対する操作指示をユーザが入力可能な、キーボード等により構成される入力操作部２９とを有する。そして、モニタ４は、表示処理部２８から出力される画像信号に基づく画像を表示する。

なお、医療用画像処理装置３の画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、解析情報記憶部２５、記憶装置インターフェース２６、表示処理部２８及び入力操作部２９は、データバス３０を介して相互に接続されている。

次に、内視鏡システム１の作用について説明を行う。

まず、ユーザは、例えば、大腸等の管状器官内に内視鏡６の挿入部１１を挿入する。そして、ユーザにより挿入部１１が管状器官に挿入されると、例えば、該管状器官の内壁に存在する、***形状を有する生体組織の像が、先端部１４に設けられた撮像部１７により撮像される。そして、***形状を有する生体組織の像は、撮像信号として、撮像部１７からＣＣＵ８に対して出力される。

ＣＣＵ８は、図示しない信号処理回路において、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより、該撮像信号を二次元画像の映像信号として変換して出力する。そして、モニタ９は、ＣＣＵ８から出力される映像信号に基づき、***形状を有する生体組織の像を二次元画像として表示する。また、ＣＣＵ８は、撮像部１７の撮像素子１６から出力される撮像信号に対して信号処理を行うことにより得られた二次元画像の映像信号を、医療用画像処理装置３に対して出力する。

医療用画像処理装置３に対して出力された二次元画像の映像信号は、画像入力部２１においてＡ／Ｄ変換された後、ＣＰＵ２２に入力される。

そして、三次元モデル推定部としての機能を有するＣＰＵ２２は、例えば、画像入力部２１から出力された二次元画像の映像信号の輝度情報等に基づき、幾何学的な変換等の処理を行うことにより、***形状を有する生体組織の三次元モデルを推定する（三次元座標データを取得する）。具体的には、ＣＰＵ２２は、画像入力部２１から出力された二次元画像の映像信号に対し、対物光学系１５の像面湾曲により生じる歪みを補正する処理を施した後、例えば、特開平１１−３３７８４５公報に記載された画像処理方法を、該映像信号に含まれるＲ（赤）成分に適用することにより、***形状を有する生体組織の三次元モデルを推定する（三次元座標データを取得する）。

次に、***形状を有する生体組織の三次元モデル（三次元座標データ）に基づいて形状特微量を算出する際の処理について説明を行う。

まず、ＣＰＵ２２は、***形状を有する生体組織の像を含む二次元画像として、図３に示すような、サイズＩＳＸ×ＩＳＹ（例えば４５×４５）の二次元画像を取得する（図２のステップＳ１）。なお、図３に示す画像に含まれる、***形状を有する生体組織の像は、該***形状の上面側から撮像された場合の像であるとする。

そして、局所領域設定部としての機能を有するＣＰＵ２２は、注目画素としての画素ｋ（１≦ｋ≦ＩＳＸ×ＩＳＹ）の値を１とし（図２のステップＳ２）、変数ｘ（１≦ｘ≦Ｎ）の値を１とし、変数ｍａｘの値を０とした（図２のステップＳ３）後、図２のステップＳ１の処理により取得した二次元画像内において、該画素ｋを中心とした局所領域Ｌ_ｋ（ｘ）を設定する（図２のステップＳ４）。なお、本実施形態において、局所領域Ｌ_ｋ（ｘ）は、１辺の長さがＡ_ｋ（ｘ）の（Ａ_ｋ（ｘ）×Ａ_ｋ（ｘ）のサイズを有する）領域であるとする。

その後、ＣＰＵ２２は、予め取得した三次元座標データのうち、局所領域Ｌ_ｋ（ｘ）内の各二次元座標に対応する三次元座標データに基づいて該局所領域Ｌ_ｋ（ｘ）における近似曲面方程式を算出する（図２のステップＳ５）。さらに、形状特徴量算出部としての機能を有するＣＰＵ２２は、算出した前記近似曲面方程式に基づき、画素ｋに相当するボクセルの形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値ＳＩ_ｋ（ｘ）及びＣｕｒｖｅｄｎｅｓｓ値ＣＶ_ｋ（ｘ）の各値を算出する（図２のステップＳ６）。

なお、前述したＳｈａｐｅＩｎｄｅｘ値は、三次元モデルが有する各ボクセルにおける凹凸の状態を示すための値であり、０以上１以下の範囲内の数値として示される。具体的には、三次元モデル内に存在する一のボクセル（または一のボクセル群）において、ＳｈａｐｅＩｎｄｅｘ値が０に近い場合には凹型形状の存在が示唆され、また、ＳｈａｐｅＩｎｄｅｘ値が１に近い場合には凸型形状の存在が示唆される。また、前述したＣｕｒｖｅｄｎｅｓｓ値は、三次元モデルが有する各ボクセルにおける曲率に相当する値である。具体的には、三次元モデル内に存在する一のボクセル（または一のボクセル群）において、Ｃｕｒｖｅｄｎｅｓｓ値が小さければ小さい程鈍く曲がった曲面の存在が示唆され、また、Ｃｕｒｖｅｄｎｅｓｓ値が大きければ大きい程鋭く曲がった曲面の存在が示唆される。さらに、ＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセル（または一のボクセル群）におけるＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の具体的な算出方法に関しては、説明を省略する。

ＣＰＵ２２は、変数ｍａｘ、ＳｈａｐｅＩｎｄｅｘ値ＳＩ_ｋ（ｘ）、及びＣｕｒｖｅｄｎｅｓｓ値ＣＶ_ｋ（ｘ）の各値に基づき、該各値が下記数式（１）の関係を満たすか否かを判定する（図２のステップＳ７）。

（ｍａｘ）^２＜（ＳＩ_ｋ（ｘ））^２＋（ＣＶ_ｋ（ｘ））^２ ・・・（１）

そして、形状特徴量選択部としての機能を有するＣＰＵ２２は、変数ｍａｘ、ＳｈａｐｅＩｎｄｅｘ値ＳＩ_ｋ（ｘ）、及びＣｕｒｖｅｄｎｅｓｓ値ＣＶ_ｋ（ｘ）の各値が数式（１）の関係を満たさない場合、後述する図２のステップＳ１０の処理を引き続き行う。また、形状特徴量選択部としての機能を有するＣＰＵ２２は、変数ｍａｘ、ＳｈａｐｅＩｎｄｅｘ値ＳＩ_ｋ（ｘ）、及びＣｕｒｖｅｄｎｅｓｓ値ＣＶ_ｋ（ｘ）の各値が数式（１）の関係を満たす場合、ＳｈａｐｅＩｎｄｅｘ値の最適値ＳＩｐ（ｋ）を、図２のステップＳ６において算出したＳＩ_ｋ（ｘ）の値に更新するとともに、Ｃｕｒｖｅｄｎｅｓｓ値の最適値ＣＶｐ（ｋ）を、図２のステップＳ６において算出したＣＶ_ｋ（ｘ）の値に更新する（図２のステップＳ８）。

さらに、ＣＰＵ２２は、ＳｈａｐｅＩｎｄｅｘ値の最適値ＳＩｐ（ｋ）と、Ｃｕｒｖｅｄｎｅｓｓ値の最適値ＣＶｐ（ｋ）とを下記数式（２）に代入することにより、変数ｍａｘの値を算出する（図２のステップＳ９）。

ｍａｘ＝｛（ＳＩｐ（ｋ））^２＋（ＣＶＩｐ（ｋ））^２｝^１／２ ・・・（２）

その後、ＣＰＵ２２は、変数ｘがＮであるか否かの判定を行う（図２のステップＳ１０）。そして、ＣＰＵ２２は、変数ｘがＮでない場合には、該変数ｘに１を加えた（図２のステップＳ１１）後、前述した図２のステップＳ４からステップＳ１０までの処理を繰り返し行う。また、ＣＰＵ２２は、変数ｘがＮである場合には、ＳｈａｐｅＩｎｄｅｘ値の最適値ＳＩｐ（ｋ）及びＣｕｒｖｅｄｎｅｓｓ値の最適値ＣＶｐ（ｋ）の各値を画素ｋに相当するボクセルの形状特徴量として設定した（図２のステップＳ１２）後、後述する図２のステップＳ１３の処理を引き続き行う。

ここで、計Ｎ回繰り返して行われる処理である、図２のステップＳ４からステップＳ９までの処理について、図３、図４及び図５を参照しつつ説明を行う。なお、以降においては、一例としてＮ＝６の場合について説明を行う。

図２のステップＳ４の処理が繰り返して行われることにより、図４に示すように、図３の画像内において、画素ｋを中心とした６個の局所領域Ｌ_ｋ（１）〜Ｌ_ｋ（６）が設定される。

なお、本実施形態における局所領域Ｌ_ｋ（ｘ）は、変数ｘの値により各々サイズの異なる、Ｎ個の領域として予め設定されたものであるとする。具体的には、局所領域Ｌ_ｋ（ｘ）は、例えばＮ＝６の場合、Ｌ_ｋ（１）＝Ａ_ｋ（１）×Ａ_ｋ（１）＝５×５、Ｌ_ｋ（２）＝Ａ_ｋ（２）×Ａ_ｋ（２）＝７×７、Ｌ_ｋ（３）＝Ａ_ｋ（３）×Ａ_ｋ（３）＝９×９、Ｌ_ｋ（４）＝Ａ_ｋ（４）×Ａ_ｋ（４）＝１１×１１、Ｌ_ｋ（５）＝Ａ_ｋ（５）×Ａ_ｋ（５）＝１３×１３、及びＬ_ｋ（６）＝Ａ_ｋ（６）×Ａ_ｋ（６）＝１５×１５のサイズを各々有する領域として予め設定されているものとする。

そして、図２のステップＳ５及びステップＳ６の処理が繰り返して行われることにより、局所領域Ｌ_ｋ（１）〜Ｌ_ｋ（６）のサイズに応じたＳｈａｐｅＩｎｄｅｘ値ＳＩ_ｋ（１）〜ＳＩ_ｋ（６）、及び、局所領域Ｌ_ｋ（１）〜Ｌ_ｋ（６）のサイズに応じたＣｕｒｖｅｄｎｅｓｓ値ＣＶ_ｋ（１）〜ＣＶ_ｋ（６）が各々算出される。

その後、図２のステップＳ７からステップＳ９の処理が繰り返して行われることにより、６組のＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値から、最適値としての一組のＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値が選択される。

具体的には、例えば、図２のステップＳ５及びステップＳ６の処理により算出された６組のＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、ＳｈａｐｅＩｎｄｅｘ値を横軸及びＣｕｒｖｅｄｎｅｓｓ値を縦軸とした座標平面において、各々図５に示すような座標位置に存在する。このとき、前記座標平面において、原点から最も遠い座標位置に存在する一組のＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値が、最適な三次元座標データ量により算出された形状特徴量、すなわち、ＳｈａｐｅＩｎｄｅｘ値の最適値ＳＩｐ（ｋ）及びＣｕｒｖｅｄｎｅｓｓ値の最適値ＣＶｐ（ｋ）として選択される。そして、図５に示す場合においては、ＳｈａｐｅＩｎｄｅｘ値ＳＩ_ｋ（３）がＳｈａｐｅＩｎｄｅｘ値の最適値ＳＩｐ（ｋ）として選択されるとともに、Ｃｕｒｖｅｄｎｅｓｓ値ＣＶ_ｋ（３）がＣｕｒｖｅｄｎｅｓｓ値の最適値ＣＶｐ（ｋ）として選択される。

以上に述べたように、図２のステップＳ４からステップＳ９までの処理がＮ回繰り返されることにより、***形状を特定する際に用いられる形状特徴量の算出に最適なサイズを有する、すなわち、該形状特徴量の算出に最適な三次元座標データ量を含む一の局所領域が、Ｎ個の局所領域の中から選択される。また、図２のステップＳ４からステップＳ９までの処理がＮ回繰り返されることにより、最適な三次元座標データ量により算出された形状特徴量としての、一組のＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値が、前記Ｎ個の局所領域夫々に応じて算出されたＮ組のＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の中から選択される。

一方、ＣＰＵ２２は、図２のステップＳ１０の処理において変数ｘがＮであると判定した場合、さらに、図２のステップＳ１２までの処理が全ての画素ｋに対して行われたか否かを判定する（図２のステップＳ１３）。そして、ＣＰＵ２２は、図２のステップＳ１２までの処理が全ての画素ｋに対して行われていないと判定した場合、次の画素（ｋ＋１）を設定した（図２のステップＳ１４）後、該画素（ｋ＋１）において、前述した図２のステップＳ３からステップＳ１３までの処理を繰り返し行う。また、ＣＰＵ２２は、図２のステップＳ１２までの処理が全ての画素ｋに対して行われたと判定した場合、図２のステップＳ１において取得した一の二次元画像に対して施される、図２に示す一連の処理を終了する。

その後、ＣＰＵ２２は、図２に示す一連の処理により算出された、ＳｈａｐｅＩｎｄｅｘ値の最適値ＳＩｐ（ｋ）及びＣｕｒｖｅｄｎｅｓｓ値の最適値ＣＶｐ（ｋ）の各値に対して閾値処理を施すことにより、図２のステップＳ１の処理により取得した二次元画像において、ポリープ等の***形状を有する病変が存在する位置を検出する。具体的には、例えば、ＳｈａｐｅＩｎｄｅｘ値の閾値をＳＩｔｈとし、Ｃｕｒｖｅｄｎｅｓｓ値の閾値をＣＶｔｈとした場合、***形状検出部としての機能を有するＣＰＵ２２は、図２のステップＳ１の処理により取得した二次元画像において、ＳＩｐ（ｋ）＞ＳＩｔｈかつＣＶｐ（ｋ）＞ＣＶｔｈを満たす形状特徴量が算出された各画素を、（ポリープ等の）***形状を有する病変の像を含む画素であるとして検出する。

以上に述べたように、本実施形態の医療用画像処理装置３は、***形状を特定する際に用いられる形状特徴量を、該***形状の大きさに応じて算出することができる。そのため、本実施形態の医療用画像処理装置３は、内視鏡画像から***形状を有する病変を検出する際の検出精度を従来に比べて向上させることができる。

なお、本実施形態の医療用画像処理装置３は、図２のステップＳ１において取得した一の二次元画像に対し、図２のフローチャートに示す一連の処理を施した後、図６のフローチャートに示す一連の処理をさらに施すものであっても良い。

まず、画素抽出部としての機能を有するＣＰＵ２２は、図２の一連の処理の結果に基づき、（図２の）処理の対象となった二次元画像から、該二次元画像に応じた三次元モデルにおける***形状の頂点に相当する画素として、ＣＶｐ（ｋ）が極大値となるボクセルに相当する各画素を抽出する（図６のステップＳ２１）。なお、以降においては、図６のステップＳ２１の処理により、ＣＶｐ（ｋ）が極大値となる画素がＱ個抽出されたものとして説明を行う。また、以降において説明を行う一連の処理は、ＣＶｐ（ｋ）が極大値となる画素以外の各画素に対しては行われないものとする。

次に、ＣＰＵ２２は、抽出したＱ個の画素のうち、一の画素ｔ（１≦ｔ≦Ｑ）の値を１とした（図６のステップＳ２２）後、ＳＩｐ（ｔ）及びＣＶｐ（ｔ）の算出に用いた局所領域Ｌ_ｔ（ｘ）における１辺の長さＡ_ｔ（ｘ）を検出する（図６のステップＳ２３）。

ＣＰＵ２２は、Ａ_ｔ（ｘ）の値に基づき、局所領域Ｌ_ｔ（ｘ）が三次元モデルにおいてどの程度のサイズを有するかを推定する（図６のステップＳ２４）。そして、ＣＰＵ２２は、局所領域Ｌ_ｔ（ｘ）の三次元モデルに含まれる***形状の半径ｒ_ｔを算出する（図６のステップＳ２５）。

ＣＰＵ２２は、半径ｒ_ｔの値に基づき、局所領域Ｌ_ｔ（ｘ）の三次元モデルに含まれる***形状を半球形状とみなしつつ、画素tにおけるＣｕｒｖｅｄｎｅｓｓ値ＣＶ_ｔを、下記数式（３）を用いて算出する（図６のステップＳ２６）。

ＣＶ_ｔ＝（２（１／ｒ_ｔ）^２）^１／２ ・・・（３）

また、ＣＰＵ２２は、半径ｒ_ｔの値及び基準半径ｒに基づき、Ｃｕｒｖｅｄｎｅｓｓ値ＣＶ_ｔを補正するための補正係数Ｂ_ｔを、下記数式（４）を用いて算出する（図６のステップＳ２７）。

Ｂ_ｔ＝ｒ_ｔ／ｒ ・・・（４）

そして、特徴量補正部としての機能を有するＣＰＵ２２は、Ｃｕｒｖｅｄｎｅｓｓ値ＣＶ_ｔ及び補正係数Ｂ_ｔの値に基づき、画素tにおけるＣｕｒｖｅｄｎｅｓｓ値の補正値ＣＶ_ｔ（ｒ）を、下記数式（５）を用いて算出する（図６のステップＳ２８）。

ＣＶ_ｔ（ｒ）＝Ｂ_ｔ×ＣＶ_ｔ＝（２／ｒ^２）^１／２ ・・・（５）

なお、上記数式（４）及び（５）における基準半径ｒは、理想的な形状を有する半球状の三次元モデルにおける半径の値として予め設定される所定の基準値であるとする。

すなわち、ＣＰＵ２２は、前述した処理を行うことにより、様々なサイズ（様々な半径）を有する***形状の頂点における各Ｃｕｒｖｅｄｎｅｓｓ値を、該サイズ（該半径）に依存しない、基準半径ｒという１つの尺度を用いつつ同一の値として算出する。

そして、ＣＰＵ２２は、画素ｔに相当するボクセルのＣｕｒｖｅｄｎｅｓｓ値の最適値ＣＶｐ（ｔ）を、（図２の処理により算出されたＣＶ_ｔ（ｘ）から、）図６のステップＳ２８において算出したＣＶ_ｔ（ｒ）の値に更新する（図６のステップＳ２９）。

さらに、ＣＰＵ２２は、画素ｔの値がＱであるか否かの判定を行う（図６のステップＳ３０）。そして、ＣＰＵ２２は、画素ｔの値がＱでないことを検出した場合、該画素ｔの値に１を加えた（図６のステップＳ３１）後、前述した図６のステップＳ２３からステップＳ３０までの処理を繰り返し行う。また、ＣＰＵ２２は、画素ｔの値がＱであることを検出した場合、図２のステップＳ１において取得した一の二次元画像に対して施される、図２及び図６に示す一連の処理を終了する。

その後、ＣＰＵ２２は、ＣＰＵ２２は、図２及び図６に示す一連の処理により算出された、ＳｈａｐｅＩｎｄｅｘ値の最適値ＳＩｐ（ｋ）及びＣｕｒｖｅｄｎｅｓｓ値の最適値ＣＶｐ（ｔ）の各値に対して閾値処理を施すことにより、図２のステップＳ１の処理により取得した二次元画像において、ポリープ等の***形状を有する病変が存在する位置を検出する。具体的には、例えば、ＳｈａｐｅＩｎｄｅｘ値の閾値をＳＩｔｈとし、Ｃｕｒｖｅｄｎｅｓｓ値の閾値をＣＶｔｈとした場合、***形状検出部としての機能を有するＣＰＵ２２は、図２のステップＳ１の処理により取得した二次元画像において、ＳＩｐ（ｋ）＞ＳＩｔｈかつＣＶｐ（ｔ）＞ＣＶｔｈ、または、ＳＩｐ（ｋ）＞ＳＩｔｈかつＣＶｐ（ｋ）＞ＣＶｔｈのいずれか一方を満たす形状特徴量が算出された各画素を、（ポリープ等の）***形状を有する病変の像を含む画素であるとして検出する。

以上に述べたように、本実施形態の医療用画像処理装置３は、図２のステップＳ１において取得した一の二次元画像に対し、図２のフローチャートに示す一連の処理を施した後、図６のフローチャートに示す一連の処理をさらに施すことにより、様々なサイズ（様々な半径）を有する***形状の頂点における各Ｃｕｒｖｅｄｎｅｓｓ値を同一の値として算出することができ、その結果、内視鏡画像から***形状を有する病変を検出する際の検出精度を従来に比べて向上させることができる。

なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

本発明の実施形態に係る医療用画像処理装置が用いられる内視鏡システムにおける、要部の構成の一例を示す図。 図１の医療用画像処理装置において行われる処理の一例を示すフローチャート。 図２に示す処理の対象となる二次元画像の一例を示す図。 図２に示す処理において、一の画素の形状特徴量を算出するために適用される各局所領域の一例を示す図。 図２に示す処理により算出された、一の画素の形状特徴量各々の分布を示す散布図。 図１の医療用画像処理装置において、図２に示す処理の後に行われる処理の一例を示すフローチャート。

符号の説明

１・・・内視鏡システム、２・・・医療用観察装置、３・・・医療用画像処理装置、４，９・・・モニタ、６・・・内視鏡、７・・・光源装置、８・・・ＣＣＵ、１１・・・挿入部、１７・・・撮像部、２２・・・ＣＰＵ

Claims (10)

1. 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定する三次元モデル推定部と、
   前記二次元画像において、注目画素を中心とした複数の局所領域を設定する局所領域設定部と、
   前記三次元モデル推定部により推定された前記生体組織の三次元モデルに基づき、前記複数の局所領域夫々に対応する三次元座標データを用いつつ、前記注目画素に相当するボクセルの形状特徴量を夫々算出する形状特徴量算出部と、
   前記複数の局所領域夫々に応じて算出された複数の前記形状特徴量のうち、最適な三次元座標データ量を含む一の局所領域に応じて算出された形状特徴量を、前記注目画素に相当するボクセルの最適な形状特徴量として選択する形状特徴量選択部と、
   前記形状特徴量選択部の選択結果に基づき、前記二次元画像内に存在する***形状を検出する***形状検出部と、
   を有することを特徴とする医療用画像処理装置。
2. 前記形状特徴量算出部は、少なくとも、前記注目画素に相当するボクセルの曲率を示す第１の特徴量を前記形状特徴量として算出することを特徴とする請求項１に記載の医療用画像処理装置。
3. 前記形状特徴量算出部は、さらに、前記注目画素に相当するボクセルの凹凸の状態を示す第２の特徴量を前記形状特徴量として算出することを特徴とする請求項２に記載の医療用画像処理装置。
4. 前記形状特徴量選択部は、前記複数の局所領域夫々に応じて算出された複数の前記形状特徴量夫々において、前記第１の特徴量と、前記第２の特徴量との二乗和を算出するとともに、該二乗和が最大となる形状特徴量を前記注目画素に相当するボクセルの最適な形状特徴量として選択することを特徴とする請求項３に記載の医療用画像処理装置。
5. 前記二次元画像において、前記第１の特徴量が極大値となるボクセル群に相当する各画素を抽出する画素抽出部と、
   前記各画素に相当するボクセル群における第１の特徴量を、理想的な形状を有する半球状の三次元モデルにおける所定の基準値を用いて補正する特徴量補正部と、をさらに有し、
   前記***形状検出部は、前記形状特徴量選択部の選択結果、及び、前記特徴量補正部の補正結果に基づき、前記二次元画像内に存在する***形状を検出することを特徴とする請求項２乃至請求項４のいずれか一に記載の医療用画像処理装置。
6. 医療用撮像装置から入力される生体組織の像の二次元画像に基づき、該生体組織の三次元モデルを推定し、
   前記二次元画像において、注目画素を中心とした複数の局所領域を設定し、
   前記生体組織の三次元モデルに基づき、前記複数の局所領域夫々に対応する三次元座標データを用いつつ、前記注目画素に相当するボクセルの形状特徴量を夫々算出し、
   前記複数の局所領域夫々に応じて算出された複数の前記形状特徴量のうち、最適な三次元座標データ量を含む一の局所領域に応じて算出された形状特徴量を、前記注目画素に相当するボクセルの最適な形状特徴量として選択し、
   前記選択した結果に基づき、前記二次元画像内に存在する***形状を検出する
   ことを特徴とする医療用画像処理方法。
7. 少なくとも、前記注目画素に相当するボクセルの曲率を示す第１の特徴量を、前記注目画素に相当するボクセルの前記形状特徴量として算出することを特徴とする請求項６に記載の医療用画像処理方法。
8. さらに、前記注目画素に相当するボクセルの凹凸の状態を示す第２の特徴量を、前記注目画素に相当するボクセルの前記形状特徴量として算出することを特徴とする請求項７に記載の医療用画像処理方法。
9. 前記複数の局所領域夫々に応じて算出された複数の前記形状特徴量夫々において、前記第１の特徴量と、前記第２の特徴量との二乗和を算出するとともに、該二乗和が最大となる形状特徴量を前記注目画素に相当するボクセルの最適な形状特徴量として選択することを特徴とする請求項８に記載の医療用画像処理方法。
10. さらに、前記二次元画像において、前記第１の特徴量が極大値となるボクセル群に相当する各画素を抽出し、
    前記各画素に相当するボクセル群における第１の特徴量を、理想的な形状を有する半球状の三次元モデルにおける所定の基準値を用いて補正するとともに、
    前記選択した結果、及び、前記補正した結果に基づき、前記二次元画像内に存在する***形状を検出することを特徴とする請求項７乃至請求項９のいずれか一に記載の医療用画像処理方法。

Images