JP2010115260A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】泡の形状に関わらず精度良く泡領域を検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供すること。
【解決手段】画像処理装置１０は、体内管腔内を撮像した体内管腔内画像を複数の領域に分割する領域分割部１５１と、領域分割部１５１が分割した複数の領域毎の輝度高周波特徴量を算出する高周波特徴量算出部１５２と、各領域の輝度高周波特徴量に基づいて、領域毎に泡領域を検出する泡領域検出部１５５とを備える。
【選択図】図７

Description

本発明は、体内管腔内を撮像した体内管腔内画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。

特許文献１には、体内管腔内を撮像した画像に映る泡領域を検出する技術が開示されている。この特許文献１では、先ず、画像内の画素のエッジ強度を算出し、算出したエッジ強度と、泡の特徴をもとに予め設定された泡モデルとの相関値を算出する。そして、泡モデルとの相関が高い部分を泡領域として検出している。

特開２００７−３１３１１９号公報

特許文献１では、体内管腔内の画像に映る泡の形状的な特徴、例えば円形状や楕円形状といった泡の外形形状を予め想定し、泡モデルを設定していた。このため、泡モデルに合致しない形状の泡は検出できないという問題があった。なお、様々な形状の泡を想定して複数の泡モデルを用意しておく構成とすると、手間であるとともに、用意した泡モデルとの相関をそれぞれ算出しなければならず、処理時間が増大するという問題があった。

本発明は、上記に鑑み為されたものであって、泡の形状に関わらず精度良く泡領域を検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、体内管腔内を撮像した体内管腔内画像を処理する画像処理装置であって、前記体内管腔内画像を複数の領域に分割する領域分割手段と、前記複数の領域毎に輝度高周波特徴量を算出する高周波特徴量算出手段と、各領域の輝度高周波特徴量に基づいて、前記領域毎に泡領域を検出する泡領域検出手段と、を備えることを特徴とする。

泡の輪郭部及び泡の内部には、照明光の正反射成分による輝度の凸エッジが存在し、これらは高い振幅の輝度高周波成分となる。この態様にかかる画像処理装置によれば、体内管腔内画像を分割した領域毎に輝度高周波特徴量を算出し、各領域の輝度高周波特徴量に基づいて領域毎に泡領域を検出することができる。したがって、泡の形状に関わらず安定して泡領域を検出することができ、泡領域の検出精度を向上させることができる。

また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、体内管腔内を撮像した体内管腔内画像を処理させるための画像処理プログラムであって、前記体内管腔内画像を複数の領域に分割する領域分割ステップと、前記複数の領域毎に輝度高周波特徴量を算出する高周波特徴量算出ステップと、各領域の輝度高周波特徴量に基づいて、前記領域毎に泡領域を検出する泡領域検出ステップと、を前記コンピュータに実行させることを特徴とする。

また、本発明の別の態様にかかる画像処理方法は、体内管腔内を撮像した体内管腔内画像を処理する画像処理方法であって、前記体内管腔内画像を複数の領域に分割する領域分割工程と、前記領域分割工程で分割された複数の領域毎に輝度高周波特徴量を算出する高周波特徴量算出工程と、前記高周波特徴量算出工程で算出された各領域の輝度高周波特徴量に基づいて、前記領域毎に泡領域を検出する泡領域検出工程と、を含むことを特徴とする。

本発明によれば、泡の形状に関わらず安定して泡領域を検出することができ、泡領域の検出精度を向上させることができる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
先ず、実施の形態１について説明する。図１は、実施の形態１の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検体１内部の画像（体内管腔内画像）を撮像するカプセル内視鏡３、カプセル内視鏡３から無線送信される体内管腔内画像を受信する受信装置５、受信装置５によって受信された体内管腔内画像をもとに、カプセル内視鏡３によって撮像された体内管腔内画像を処理して表示する画像処理装置１０等で構成される。受信装置５と画像処理装置１０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）７が使用される。

カプセル内視鏡３は、撮像機能や無線機能等を具備するものであって、被検体１の口から飲み込まれて被検体１内部に導入され、体内管腔内を移動しながら逐次体内管腔内画像を撮像する。そして、撮像した体内管腔内画像を体外に無線送信する。

受信装置５は、被検体１内におけるカプセル内視鏡３の通過経路に対応する体表上の位置に分散配置される受信用アンテナＡ１〜Ａｎを備える。そして、受信装置５は、各受信用アンテナＡ１〜Ａｎを介してカプセル内視鏡３から無線送信される画像データを受信する。この受信装置５は、可搬型記録媒体７の着脱が自在に構成されており、受信した画像データを可搬型記録媒体７に逐次保存する。このようにして、カプセル内視鏡３が撮像した被検体１内部の体内管腔内画像は、受信装置５によって時系列順に可搬型記録媒体７に蓄積され、保存される。

画像処理装置１０は、カプセル内視鏡３によって撮像された体内管腔内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置１０は、可搬型記録媒体７の着脱が自在に構成されており、可搬型記録媒体７に保存された体内管腔内画像を処理し、例えばＬＣＤやＥＬディスプレイ等のディスプレイに時系列順に順次表示する。

カプセル内視鏡３によって撮像され、画像処理装置１０によって処理される体内管腔内画像には、粘膜や、体内管腔内を浮遊する内容物、泡等が映るとともに、時として病変等の重要箇所が映る。実施の形態１の画像処理装置１０は、この体腔内画像に映る泡の領域を検出する。なお、カプセル内視鏡３によって撮像される管空内画像は、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。

ここで、泡領域の検出原理について、背景技術で説明した従来の手法と比較して説明する。図２および図３は、泡領域が映る体内管腔内画像の一例を示す模式図である。図２では、外形形状が略円形状の複数の泡２１〜２３が映った体内管腔内画像を示している。一方、図３では、図面に向かって左下の領域に泡３１が大きく映った体内管腔内画像を示している。例えば、図２の泡２１の領域に着目すると、泡２１の輪郭部および泡２１の内部において、高輝度部分２１１，２１３が生じている。同様に、図３に示す泡３１では、泡３１の輪郭部および泡３１の内部において、高輝度部分３１１，３１３，３１５が生じている。

図４は、従来の泡検出（特許文献１を参照）で用いられる泡モデル４１の一例を示す図である。図４では、リング形状の高輝度構造部４１１とリング形状の内部に位置する高輝度構造部４１３とを有する泡モデル４１を示している。特許文献１に開示されている従来の手法では、画像内のエッジ強度とこの泡モデル４１との相関値をもとに泡領域を検出しており、図２に示す泡２１〜２３のように、泡モデル４１と類似するものについては検出が可能である。

これに対し、図３に示す泡３１の検出は難しい。図５は、図３に示す泡３１を図４の泡モデル４１を用いて検出する様子を示す図である。図５に示すように、例えば破線５１で示す部分については、図５中に一点鎖線で示す泡モデル４１との相関値をもとに例えば泡領域に属するとして検出が可能であるが、破線５３で示す部分については、泡モデル４１との相関が低く、泡モデル４１を用いた検出では泡領域として検出することができない。

このような従来の手法に対し、実施の形態１では、体内管腔内画像の輝度高周波成分に着目して泡領域を検出する。図６は、実施の形態１における泡領域の検出原理を説明する説明図である。なお、図６では、体内管腔内画像に映る泡領域を最上段の（ａ）に示す泡領域６１とし、この泡領域６１を検出する様子を示している。

実施の形態１では、先ず、体内管腔内画像を輝度エッジに基づいて領域分割する。ここで、泡領域６１は、その輪郭部の高輝度部分６１１と内部の高輝度部分６１３とを有する。このため、例えば、図６（ａ）に示すラインＬ５に着目すると、体内管腔内画像は、一点鎖線で示す境界位置で領域分割される。

そして、分割した領域毎の輝度高周波特徴量を算出する。すなわち先ず、体内管腔内画像を構成する各画素の輝度成分を得る。図６（ｂ）は、ラインＬ５上の各画素の輝度成分ａを示している。次いで、輝度成分ａに平滑化処理を施す。図６（ｃ）は、平滑化後の輝度成分ｂを示している。次いで、輝度成分ａと平滑化後の輝度成分ｂとの差分を算出して高輝度成分のみを取り出し、図６（ｄ）に示すように、輝度高周波成分ａ−ｂを得る。

そして、分割した領域毎に輝度高周波特徴量を算出する。例えば、図６（ｅ）では、領域を構成する画素の輝度高周波成分の平均値を算出し、輝度高周波特徴量Ｆ（ｘ，ｙ）としている。そして、輝度高周波特徴量が所定の閾値Ｄ５以上の領域を泡領域とする。図６（ｅ）では、図中にハッチングを付して示したように、ラインＬ５上で隣接する５つの領域を泡領域として検出している。

以上説明した手法によれば、体内管腔内画像を輝度エッジに基づいて領域分割し、領域毎の輝度高周波特徴量を算出することで泡領域を検出することができるので、泡の形状に関わらず安定して泡領域を検出することができ、泡領域の検出精度を向上させることができる。また、従来の手法のように予め泡モデルを用意する必要がなく、さらには様々な形状の泡を想定して複数の泡モデルを用意しておく場合のように処理時間が増大することもない。

図７は、実施の形態１の画像処理装置１０の機能構成を説明するブロック図である。実施の形態１では、画像処理装置１０は、外部インターフェース部１１と、操作部１２と、表示部１３と、記録部１４と、演算部１５と、画像処理装置１０全体の動作を制御する制御部１７とを備える。

外部インターフェース部１１は、カプセル内視鏡３で撮像され、受信装置５で受信した画像データを取得するためのものであり、例えば可搬型記録媒体７を着脱自在に装着し、この可搬型記録媒体７に保存された画像データを読み出すリーダ装置で構成される。この外部インターフェース部１１を介して可搬型記録媒体７から読み出された画像データは記録部１４に保持され、演算部１５によって処理されて制御部１７の制御のもと表示部１３に表示される。なお、カプセル内視鏡３によって撮像された画像の取得は、可搬型記録媒体７を用いた構成に限定されるものではない。例えば、可搬型記録媒体７のかわりに別途サーバを設置し、このサーバにカプセル内視鏡３によって撮像された画像を予め保存しておく構成としてもよい。この場合には、外部インターフェース部１１を、サーバと接続するための通信装置等で構成する。そして、この外部インターフェース部１１を介してサーバとデータ通信を行い、画像を取得することとしてもよい。あるいは、記録部１４内にカプセル内視鏡３によって撮像された画像を予め保存しておき、記録部１４から読み出して画像を取得する構成としてもよい。

操作部１２は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作信号を制御部１７に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等の表示装置によって実現されるものであり、制御部１７の制御のもと、カプセル内視鏡３で撮像された画像の表示画面を含む各種画面を表示する。

記録部１４は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置１０を動作させ、この画像処理装置１０が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。例えば、記録部１４には、外部インターフェース部１１を介して取り込まれた体内管腔内画像の画像データ１４１や、処理対象の体内管腔内画像から泡領域を検出するための画像処理プログラム１４３が格納される。

演算部１５は、カプセル内視鏡３によって撮像された画像を処理し、体内管腔内画像から泡領域を検出するための種々の演算処理を行う。この演算部１５は、領域分割手段としての領域分割部１５１と、高周波特徴量算出手段としての高周波特徴量算出部１５２と、泡領域検出手段としての泡領域検出部１５５とを含む。領域分割部１５１は、体内管腔内画像を複数の領域に分割する。高周波特徴量算出部１５２は、領域分割部１５１が分割した領域毎の輝度高周波特徴量を算出する。この高周波特徴量算出部１５２は、高周波成分算出手段としての高周波成分算出部１５３と、統計値算出手段としての領域内統計値算出部１５４とを備える。高周波成分算出部１５３は、体内管腔内画像を構成する各画素の輝度高周波成分を算出する。領域内統計値算出部１５４は、領域毎に、領域を構成する画素について高周波成分算出部１５３が算出した輝度高周波成分の統計値を算出する。泡領域検出部１５５は、各領域の輝度高周波特徴量に基づいて、領域毎に泡領域を検出する。この泡領域検出部１５５は、高周波特徴量判別手段としての高周波特徴量判別部１５６を備える。高周波特徴量判別部１５６は、各領域の輝度高周波特徴量が所定の閾値以上か否かを判別する。

制御部１７は、ＣＰＵ等のハードウェアによって実現される。この制御部１７は、外部インターフェース部１１を介して取得される画像データや操作部１２から入力される操作信号、記録部１４に格納されるプログラムやデータ等に基づいて画像処理装置１０を構成する各部への指示やデータの転送等を行い、画像処理装置１０全体の動作を統括的に制御する。

図８は、実施の形態１の画像処理装置１０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、記録部１４に格納された画像処理プログラム１４３に従って画像処理装置１０の各部が動作することによって実現される。

図８に示すように、先ず演算部１５が、処理対象とする体内管腔内画像を取得する（ステップａ１）。ここでの処理によって、演算部１５は、外部インターフェース部１１を介して取得されて記録部１４に記録された画像データ１４１の中から、処理対象とする体内管腔内画像を読み出して取得する。

続いて、領域分割部１５１が、領域分割処理を実行する（ステップａ３）。領域分割の手法としては、様々な手法が知られているが、ここでは、例えばＷＯ２００６／０８０２３９に開示されている手法を用い、体内管腔内画像の輝度エッジに基づいて領域分割を行うこととする。図９は、領域分割処理の詳細な処理手順を示すフローチャートである。

領域分割処理では、図９に示すように、領域分割部１５１は先ず、体内管腔内画像から輝度成分を算出する（ステップｂ１）。具体的には、体内管腔内画像の各画素のカラー成分（Ｒ，Ｇ，Ｂ）をもとに、次式（１）に従って各画素の輝度成分Ｙを算出する。
Ｙ＝０．３×Ｒ＋０．５９×Ｇ＋０．１１×Ｂ ・・・（１）

なお、ここでは、一般的なＹＣｂＣｒ色空間（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２９９Ｐ）における輝度Ｙの算出式に従って輝度成分を算出することとしたが、これに相当する他の値を用いてもよい。あるいは、体内管腔内画像のＧ成分の値を輝度成分として用いてもよい。Ｇ成分の値は、ヘモグロビンの吸収波長帯域に近く、感度も得易いことから、体内管腔内画像の構造をよく表すためである。

続いて、領域分割部１５１は、算出した輝度成分Ｙをもとに体内管腔内画像のエッジ情報を算出する（ステップｂ３）。具体的には、体内管腔内画像の輝度成分Ｙに対して、ソーベルフィルタを用いた空間フィルタリング処理を行い、エッジ抽出を行う（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１６Ｐ）。なお、ソーベルフィルタ以外の例えばプリューウィットフィルタ等の１次微分フィルタ、あるいはラプラシアンフィルタやＬＯＧ（Laplacian of Gaussian）フィルタ等の２次微分フィルタを用いてエッジ抽出を行うこととしてもよい（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１１４Ｐ）。

続いて、領域分割部１５１は、算出した体内管腔内画像のエッジ情報に対して平滑化処理を行う（ステップｂ５）。この平滑化処理は、ノイズ除去を目的として行うものであり、例えばガウシアンフィルタを用いた空間フィルタリング処理で実現できる。なお、バイラテラルフィルタや平均化フィルタ等を用いてもよい（参考：ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１０８Ｐ）。

続いて、領域分割部１５１は、各画素における輝度勾配の下り方向を算出する（ステップｂ７）。簡単に手順を説明する。ここで、注目画素の輝度値をＰｘとし、この注目画素を中心として注目画素と隣接する８つの隣接画素の輝度値をＰ＿ｉ（ｉ＝１〜８）とする。先ず、注目画素の輝度値Ｐｘと隣接画素の輝度値Ｐ＿ｉ（ｉ＝１〜８）との差を次式（２）に従ってそれぞれ算出する。
ｄＰ＝Ｐ＿ｉ−Ｐｘ ・・・（２）

次いで、差ｄＰが最小すなわち負の値が最大となる隣接画素を選出し、注目画素から選出した隣接画素への方向を輝度勾配の下り方向とする。なお、差ｄＰが全て正の値の場合には、注目画素を極小値画素とする。極小値画素とは、輝度勾配の下り方向に沿って移動した際に最終的に到達する画素のことである。以上の処理を、全画素を注目画素として行うことで、各画素における輝度勾配の下り方向が算出できる。

続いて、領域分割部１５１は、各画素における極小値画素の座標を算出する（ステップｂ９）。例えば先ず、注目画素について設定された輝度勾配の下り方向にある隣接画素を選出する。次いで、選出した隣接画素について設定された輝度勾配の下り方向にある隣接画素を選出する。この処理を繰り返し行い、最終的に到達する画素を注目画素の極小値画素とし、その座標値を得る。以上の処理を、全画素を注目画素として行うことで、各画素における極小値画素の座標が算出できる。

そして、領域分割部１５１は、到達する極小値画素の座標が同じ画素に対して同一のラベルを付けることによって、体内管腔内画像を領域分割する（ステップｂ１１）。同一の極小値画素に到達する画素の領域は、その周囲が輝度エッジに囲まれていることになる。このため、領域分割処理の結果、輝度エッジを境とする領域分割を行うことができる。体内管腔内画像を領域分割したならば、図８のステップａ３にリターンし、その後ステップａ５に移る。

なお、他の領域分割の手法として、公知の分水嶺（watershed）アルゴリズム（参考：Luc Vincent and Pierre Soille. Watersheds in digital spaces:An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence，Vol.13，No.6，pp.583-598，June 1991.）による手法を用いてもよい。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割していく手法である。このため、エッジ情報に対して分水嶺アルゴリズムを適用することによって、上記した領域分割と同等の領域分割が実現できる。

また、ここでは、輝度エッジに基づいて領域分割する場合について説明したが、エッジを考慮せずに所定サイズの格子状に画像を領域分割してもよい。この場合、図９に示して説明した各処理ステップが不要となり、処理時間を短縮できる。

続いて、図８に示すステップａ５において、高周波特徴量算出部１５２が、高周波特徴量算出処理を実行し、ステップａ３で領域分割した領域毎に輝度高周波特徴量を算出する。図１０は、高周波特徴量算出処理の詳細な処理手順を示すフローチャートである。

高周波特徴量算出処理では、図１０に示すように、先ず、高周波特徴量算出部１５２の高周波成分算出部１５３が、体内管腔内画像の輝度成分をもとに各画素の輝度高周波成分を算出する（ステップｃ１）。具体的には、先ず、体内管腔内画像の輝度成分（図６（ｂ）の輝度成分ａ）に平滑化処理を施し、平滑化画像（図６（ｃ）の平滑化後の輝度成分ｂ）を作成する。平滑化処理に用いるフィルタは限定されるものではなく、例えばバイラテラルフィルタやガウシアンフィルタ、平均化フィルタ等を用いることができる。続いて、体内管腔内画像の輝度成分と平滑化画像との差分を画素毎に算出し、算出した差分を各画素の輝度高周波成分（図６（ｄ）の輝度高周波成分ａ−ｂ）とする。ここで、先ず体内管腔内画像全体の輝度高周波成分を算出するため、処理の高速化が図れる。

なお、輝度高周波成分を算出する手法としては、例示した手法に限定されない。例えば、公知のハイパスフィルタ処理を適用して輝度高周波成分を算出することとしてもよい。ハイパスフィルタ処理の代表的なものとしては、例えば、先ず、画像を高速フーリエ変換（ＦＦＴ）して周波数空間へ変換する。そして、高周波成分のみを通過させる窓関数を用いて処理し、逆ＦＦＴを行うことで高周波成分を算出する処理が知られている。

続いて、図８のステップａ３で領域分割した領域を順次注目領域としてループＡの処理を行う（ステップｃ３〜ステップｃ７）。すなわち、領域内統計値算出部１５４が、ステップｃ１で算出した各画素の輝度高周波成分をもとに、注目領域の統計値を算出する（ステップｃ５）。具体的には、先ず、注目領域を構成する各画素における輝度高周波成分の値の絶対値を算出する。次いで、算出した絶対値の平均値を算出し、注目領域における統計値とする。なお、ここでは、統計値として平均値を算出する場合を例示したが、平均値に限定されるものではない。例えば、最大値、中央値、最頻値等を統計値として算出することとしてもよい。

そして、領域内統計値算出部１５４は、全ての領域を注目領域としてループＡの処理を行って、領域毎の統計値を算出する。そして、このようにして領域毎に算出した統計値を、各領域の輝度高周波特徴量（図６（ｅ）の輝度高周波特徴量Ｆ（ｘ，ｙ））とする。全ての領域についてループＡの処理を行ったならば、図８のステップａ５にリターンし、その後ステップａ７に移る。

そして、図８のステップａ７では、泡領域検出部１５５が、泡領域検出処理を実行する。上記したように、泡の輪郭部および泡の内部には、照明光の正反射成分による輝度の凸エッジが存在し、これらは高い振幅の輝度高周波成分となる。このため、泡が映る領域では、図８のステップａ５で算出される輝度高周波特徴量の値が高くなる。泡領域検出処理では、各領域の輝度高周波特徴量が予め設定される所定の閾値（図６（ｅ）の閾値Ｄ５）以上である領域を検出して泡領域とする。なお、閾値の値は適宜設定しておくことができる。また、閾値の値は、ユーザ操作に従って可変に設定される値としてもよい。

図１１は、実施の形態１における泡領域検出処理の詳細な処理手順を示すフローチャートである。泡領域検出処理では、図８のステップａ３で領域分割した領域を順次注目領域としてループＢの処理を行う（ステップｄ１〜ステップｄ９）。すなわち、先ず、泡領域検出部１５５の高周波特徴量判別部１５６が、注目領域の輝度高周波特徴量を閾値処理し（ステップｄ３）、注目領域の輝度高周波特徴量が所定の閾値以上であれば（ステップｄ５：Ｙｅｓ）、泡領域検出部１５５が、注目領域を泡領域として検出する（ステップｄ７）。ここで、注目領域の輝度高周波特徴量を閾値処理するという簡単な処理で泡領域を検出することができるので、処理の高速化が図れる。全ての領域についてループＢの処理を行ったならば、図８のステップａ７にリターンし、その後ステップａ９に移る。

そして、図８のステップａ９では、演算部１５が、処理対象の体内管腔内画像内の泡領域の検出結果を出力し、画像処理装置１０の演算部１５での処理を終了する。例えば演算部１５は、ステップａ７で領域毎に検出した泡領域の検出結果をもとに、体内管腔内画像の画素毎に泡領域か否かを示すフラグ情報を設定して画像化し、制御部１７を介して表示部１３に表示出力させる。

（実施の形態２）
次に、実施の形態２について説明する。図１２は、実施の形態２の画像処理装置１０ｂの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。図１２に示すように、画像処理装置１０ｂは、外部インターフェース部１１と、操作部１２と、表示部１３と、記録部１４ｂと、演算部１５ｂと、画像処理装置１０ｂ全体の動作を制御する制御部１７とを備える。

記録部１４ｂには、外部インターフェース部１１を介して取り込まれた体内管腔内画像の画像データ１４１や、処理対象の体内管腔内画像から泡領域を検出するための画像処理プログラム１４３ｂが格納される。

また、演算部１５ｂは、領域分割手段としての領域分割部１５１と、色特徴量算出手段としての色特徴量算出部１６１ｂと、輝度特徴量算出手段としての輝度特徴量算出部１６２ｂと、高周波特徴量算出手段としての高周波特徴量算出部１５２と、泡領域検出部としての泡領域検出部１５５ｂとを含む。

領域分割部１５１は、実施の形態１と同様にして体内管腔内画像を複数の領域に分割する。色特徴量算出部１６１ｂは、領域分割部１５１が分割した領域毎に色特徴量を算出する。輝度特徴量算出部１６２ｂは、領域毎に輝度特徴量を算出する。高周波特徴量算出部１５２は、実施の形態１と同様にして、領域毎の輝度高周波特徴量を算出する。この高周波特徴量算出部１５２は、図示しないが、実施の形態１で説明した高周波成分算出部１５３と領域内統計値算出部１５４とを備える。

泡領域検出部１５５ｂは、色特徴量算出部１６１ｂが算出した色特徴量、輝度特徴量算出部１６２ｂが算出した輝度特徴量および高周波特徴量算出部１５２が算出した輝度高周波特徴量をもとに、泡領域を検出する。この泡領域検出部１５５ｂは、色特徴量判別手段としての色特徴量判別部１６３ｂと、輝度特徴量判別手段としての輝度特徴量判別部１６４ｂと、高周波特徴量判別手段としての高周波特徴量判別部１５６ｂとを備える。色特徴量判別部１６３ｂは、色特徴量が所定の範囲内である領域を否泡領域と判別する。輝度特徴量判別部１６４ｂは、輝度特徴量が所定の閾値以下の領域を否泡領域と判別する。高周波特徴量判別部１５６ｂは、色特徴量判別部１６３ｂまたは輝度特徴量判別部１６４ｂによって否泡領域と判別されなかった領域について、その輝度高周波特徴量が所定の閾値以上か否かを判別する。

図１３は、実施の形態２の画像処理装置１０ｂが行う処理手順を示す全体フローチャートである。ここで説明する処理は、記録部１４ｂに格納された画像処理プログラム１４３ｂに従って画像処理装置１０ｂの各部が動作することによって実現される。なお、図１３において、実施の形態１と同様の処理工程には、同一の符号を付する。

実施の形態２では、領域分割処理（ステップａ３）の後、続いて色特徴量算出部１６１ｂが、ステップａ３で領域分割した領域毎に色特徴量を算出する（ステップｅ４１）。色特徴量としては様々な値があるが、ここでは、例えばＹＣｂＣｒ色空間の色差Ｃｂ，Ｃｒを色特徴量として用いる。先ず、体内管腔内画像の各画素のカラー成分（Ｒ，Ｇ，Ｂ）をもとに、次式（３），（４）に従って各画素の色差Ｃｂ，Ｃｒを算出する。
Ｃｂ＝０．１７×Ｒ−０．３３×Ｇ＋０．５０×Ｂ ・・・（３）
Ｃｒ＝０．５０×Ｒ−０．４２×Ｇ＋０．０８×Ｂ ・・・（４）

次いで、各画素の色差Ｃｂの値の領域毎の平均値および各画素の色差Ｃｒの値の領域毎の平均値をそれぞれ算出し、各領域の色特徴量とする。ここで色特徴量は、各領域のＣｂの平均値とＣｒの平均値とで構成される２次元の特徴量データとなる。なお、ここでは、色特徴量として色差を用いることとしたが、これに限定されるものではない。例えば、色相や彩度、色比等を色特徴量として用いてもよい。また、平均値に限らず、最大値や中央値、最頻値等を算出して色特徴量としてもよい。

続いて、輝度特徴量算出部１６２ｂが、ステップａ３で領域分割した領域毎に輝度特徴量を算出する（ステップｅ４３）。具体的には先ず、体内管腔内画像の輝度成分Ｙを算出する。輝度成分Ｙの算出に関しては、実施の形態１で図９のステップｂ１の処理として説明した手法を用いることができる。領域分割処理で既に輝度成分Ｙを算出している場合には、この値を用いることができる。次いで、各画素の輝度成分Ｙの値の領域毎の平均値を算出し、各領域の輝度特徴量とする。なお、ここでは、輝度特徴量として輝度成分Ｙの平均値を算出することとしたが、平均値に限らず、例えば、最大値や中央値、最頻値等を算出して輝度特徴量としてもよい。

また、実施の形態２では、高周波特徴量算出部１５２が行う高周波特徴量算出処理（ステップａ５）の後、泡領域検出部１５５ｂが、泡領域検出処理を行う（ステップｅ７）。図１４は、実施の形態２における泡領域検出処理の詳細な処理手順を示すフローチャートである。

泡領域検出処理では、図１３のステップａ３で領域分割した領域を順次注目領域としてループＣの処理を行う（ステップｆ１〜ステップｆ１９）。すなわち、先ず、泡領域検出部１５５ｂの色特徴量判別部１６３ｂが、注目領域の色特徴量を閾値処理し（ステップｆ３）、注目領域の色特徴量が予め設定される所定の範囲内の場合には（ステップｆ５：Ｙｅｓ）、ステップｆ７に移行して注目領域を否泡領域とする。

輝度高周波特徴量を算出して泡領域を判別する手法では、まれに出血や発赤部に起因する輝度高周波成分を泡領域として誤検出する場合がある。そこで、色特徴量を判別して出血や発赤部等の領域を否泡領域とすることで泡領域の判別対象から除外し、誤検出を抑制する。具体的には、事前に複数のサンプル画像を用意し、ステップｆ７で否泡領域として泡領域の判別対象から除外する例えば出血や発赤部等の領域の色特徴量を教師データとして取得する。そして、取得した色特徴量をもとに、色特徴量空間における否泡領域の範囲を決定しておく。

なお、ここでは、色特徴量空間における否泡領域の範囲を閾値として設定しておく場合について説明したが、色特徴量空間における否泡領域の範囲を分布関数や教師データ点として設定しておき、公知の統計判別処理や近傍法等を適用して所定の範囲内か否かを判別することとしてもよい。

注目領域の色特徴量が予め設定される所定の範囲内でなければ（ステップｆ５：Ｎｏ）、続いて輝度特徴量判別部１６４ｂが、注目領域の輝度特徴量を閾値処理し（ステップｆ９）、注目領域の輝度特徴量が予め設定される所定の閾値以下の場合には（ステップｆ１１：Ｙｅｓ）、ステップｆ７に移行して注目領域を否泡領域とする。

輝度高周波特徴量を算出して泡領域を判別する手法では、まれに暗部のノイズに起因する輝度高周波成分を泡領域として誤検出する場合がある。そこで、輝度特徴量を判別してノイズ部分を否泡領域とすることで泡領域の判別対象から除外し、誤検出を抑制する。具体的には、事前に複数のサンプル画像を用意し、ステップｆ７で否泡領域として泡領域の判別対象から除外する例えばノイズ等の領域の輝度特徴量を教師データとして取得する。そして、取得した輝度特徴量をもとに、輝度特徴量空間における否泡領域の範囲を決定しておく。

そして、注目領域の色特徴量が所定の範囲内でない場合であって（ステップｆ５：Ｎｏ）、注目領域の輝度特徴量が所定の閾値より大きい場合には（ステップｆ１１：Ｎｏ）、高周波特徴量判別部１５６ｂが、実施の形態１と同様にして注目領域の輝度高周波特徴量を閾値処理し（ステップｆ１３）、注目領域の輝度高周波特徴量が所定の閾値以上であれば（ステップｆ１５：Ｙｅｓ）、泡領域検出部１５５ｂが、注目領域を泡領域として検出する（ステップｆ１７）。全ての領域についてループＣの処理を行ったならば、図１３のステップｅ７にリターンし、その後ステップｅ９に移る。

そして、図１３のステップｅ９では、演算部１５ｂが、処理対象の体内管腔内画像内の泡領域の検出結果を出力し、画像処理装置１０ｂの演算部１５ｂでの処理を終了する。

以上説明したように、実施の形態２によれば、実施の形態１と同様の効果を奏するとともに、色特徴量が出血や発赤部の色範囲にある領域を否泡領域として泡領域の検出対象から除外することができ、出血や発赤部に対する誤検出を低減することができる。さらに、輝度特徴量をもとに、ノイズ部分を否泡領域として泡領域の検出対象から除外することができ、暗部で生じるノイズに対する誤検出を低減することができる。

なお、上記した実施の形態２では、先ず色特徴量判別部１６３ｂが、各領域の色特徴量を閾値処理して否泡領域を判別し、続いて輝度特徴量判別部１６４ｂが、色特徴量判別部１６３ｂによって否泡領域と判定されなかった領域の輝度特徴量を閾値処理して否泡領域を判別することとした。すなわち、色特徴量に基づく否泡領域と輝度特徴量に基づく否泡領域とを合わせて否泡領域とすることとした。

これに対し、輝度特徴量判別部１６４ｂが、各領域の輝度特徴量を閾値処理して否泡領域を判別し、続いて色特徴量判別部１６３ｂが、輝度特徴量判別部１６４ｂによって否泡領域と判定されなかった領域の色特徴量を閾値処理して否泡領域を判別することとしてもよい。

また、色特徴量判別部１６３ｂが、各領域の色特徴量を閾値処理して否泡領域を判別するとともに、輝度特徴量判別部１６４ｂが、各領域の輝度特徴量を閾値処理して否泡領域を判別することとしてもよい。

また、色特徴量に基づく否泡領域のみを判別することとし、輝度特徴量に基づく否泡領域の判別を行わない構成としてもよい。あるいは、輝度特徴量に基づく否泡領域のみを判別することとし、色特徴量に基づく否泡領域の判別を行わない構成としてもよい。

また、輝度特徴量算出部１６２ｂが、色特徴量判別部１６３ｂによって否泡領域と判別されなかった領域について輝度特徴量を算出することとしてもよい。この場合には先ず、色特徴量算出部１６１ｂが、各領域の色特徴量を算出し、続いて色特徴量判別部１６３ｂが、各領域の色特徴量を閾値処理して否泡領域を判別する。次いで輝度特徴量算出部１６２ｂが、色特徴量判別部１６３ｂによって否泡領域と判定されなかった領域の輝度特徴量を算出し、輝度特徴量判別部１６４ｂが、この輝度特徴量を閾値処理して否泡領域を判別する。

あるいは、色特徴量算出部１６１ｂが、輝度特徴量判別部１６４ｂによって否泡領域と判別されなかった領域について色特徴量を算出することとしてもよい。この場合には先ず、輝度特徴量算出部１６２ｂが、各領域の輝度特徴量を算出し、続いて輝度特徴量判別部１６４ｂが、各領域の輝度特徴量を閾値処理して否泡領域を判別する。次いで色特徴量算出部１６１ｂが、輝度特徴量判別部１６４ｂによって否泡領域と判定されなかった領域の色特徴量を算出し、色特徴量判別部１６３ｂが、この色特徴量を閾値処理して否泡領域を判別する。

また、上記した実施の形態では、カプセル内視鏡３によって撮像された体内管腔内画像から泡領域を検出する場合について説明したが、処理の対象となる画像はカプセル内視鏡３で撮像された画像に限定されるものではなく、体内管腔内を撮像した画像から泡領域を検出する場合であれば同様に適用できる。

実施の形態１の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 泡領域が映る体内管腔内画像の一例を示す模式図である。 泡領域が映る体内管腔内画像の他の例を示す模式図である。 従来の泡検出で用いられる泡モデルの一例を示す図である。 図３に示す泡を図４の泡モデルを用いて検出する様子を示す図である。 実施の形態１の泡領域の検出原理を説明する説明図である。 実施の形態１の画像処理装置の機能構成を説明するブロック図である。 実施の形態１の画像処理装置が行う処理手順を示す全体フローチャートである。 領域分割処理の詳細な処理手順を示すフローチャートである。 高周波特徴量算出処理の詳細な処理手順を示すフローチャートである。 実施の形態１における泡領域検出処理の詳細な処理手順を示すフローチャートである。 実施の形態２の画像処理装置の機能構成を説明するブロック図である。 実施の形態２の画像処理装置が行う処理手順を示す全体フローチャートである。 実施の形態２における泡領域検出処理の詳細な処理手順を示すフローチャートである。

符号の説明

３ カプセル内視鏡
５ 受信装置
Ａ１〜Ａｎ 受信用アンテナ
７ 可搬型記録媒体
１０，１０ｂ 画像処理装置
１１ 外部インターフェース部
１２ 操作部
１３ 表示部
１４，１４ｂ 記録部
１４１ 画像データ
１４３，１４３ｂ 画像処理プログラム
１５，１５ｂ 演算部
１５１ 領域分割部
１５２ 高周波特徴量算出部
１５３ 高周波成分算出部
１５４ 領域内統計値算出部
１５５，１５５ｂ 泡領域検出部
１５６，１５６ｂ 高周波特徴量判別部
１６１ｂ 色特徴量算出部
１６２ｂ 輝度特徴量算出部
１６３ｂ 色特徴量判別部
１６４ｂ 輝度特徴量判別部
１７ 制御部
１ 被検体

Claims (8)

1. 体内管腔内を撮像した体内管腔内画像を処理する画像処理装置であって、
   前記体内管腔内画像を複数の領域に分割する領域分割手段と、
   前記複数の領域毎の輝度高周波特徴量を算出する高周波特徴量算出手段と、
   各領域の輝度高周波特徴量に基づいて、前記領域毎に泡領域を検出する泡領域検出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記高周波特徴量算出手段は、
   前記体内管腔内画像を構成する各画素の輝度高周波成分を算出する高周波成分算出手段と、
   前記領域毎に、前記領域を構成する画素について前記高周波成分算出手段が算出した前記輝度高周波成分の統計値を算出する統計値算出手段と、
   を備え、
   前記領域毎に算出した統計値を前記領域毎の輝度高周波特徴量とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記泡領域検出手段は、前記輝度高周波特徴量が所定の閾値以上である領域を泡領域と判別する高周波特徴量判別手段を備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記領域毎に色特徴量を算出する色特徴量算出手段と、
   前記色特徴量が所定の範囲内の領域を否泡領域と判別する色特徴量判別手段と、
   を備え、
   前記泡領域検出手段は、前記色特徴量判別手段によって否泡領域と判別されなかった領域について泡領域の検出を行うことを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
5. 前記領域毎に輝度特徴量を算出する輝度特徴量算出手段と、
   前記輝度特徴量が所定の閾値以下の領域を否泡領域と判別する輝度特徴量判別手段と、
   を備え、
   前記泡領域検出手段は、前記輝度特徴量判別手段によって否泡領域と判別されなかった領域について泡領域の検出を行うことを特徴とする請求項１〜４のいずれか１つに記載の画像処理装置。
6. 前記色特徴量判定手段によって否泡領域と判定されなかった領域の輝度特徴量を算出する輝度特徴量算出手段と、
   前記輝度特徴量が所定の閾値以下の領域を否泡領域と判別する輝度特徴量判別手段と、
   を備え、
   前記泡領域検出手段は、前記輝度特徴量判別手段によって否泡領域と判別されなかった領域について泡領域の検出を行うことを特徴とする請求項４に記載の画像処理装置。
7. コンピュータに、体内管腔内を撮像した体内管腔内画像を処理させるための画像処理プログラムであって、
   前記体内管腔内画像を複数の領域に分割する領域分割ステップと、
   前記複数の領域毎の輝度高周波特徴量を算出する高周波特徴量算出ステップと、
   各領域の輝度高周波特徴量に基づいて、前記領域毎に泡領域を検出する泡領域検出ステップと、
   を前記コンピュータに実行させることを特徴とする画像処理プログラム。
8. 体内管腔内を撮像した体内管腔内画像を処理する画像処理方法であって、
   前記体内管腔内画像を複数の領域に分割する領域分割工程と、
   前記領域分割工程で分割された複数の領域毎の輝度高周波特徴量を算出する高周波特徴量算出工程と、
   前記高周波特徴量算出工程で算出された各領域の輝度高周波特徴量に基づいて、前記領域毎に泡領域を検出する泡領域検出工程と、
   を含むことを特徴とする画像処理方法。

Images