WO2009104315A1

WO2009104315A1 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: WO2009104315A1
Application number: PCT/JP2008/071047
Authority: WO
Inventors: 誠北村
Original assignee: オリンパス株式会社
Priority date: 2008-02-21
Filing date: 2008-11-19
Publication date: 2009-08-27
Also published as: JP2009136655A

Abstract

　ある実施形態に係る画像処理装置は、目的の画像に含まれる所定範囲の画像部分について、その画像部分の複数の周波数成分を表す周波数情報としてＤＣＴ係数を取得するＤＣＴ係数取得部（５１）と、前記周波数情報が表す複数の周波数成分のうち一の周波数成分の強度を示すパワー値としてＤＣＴ係数のＡＣ成分の強度を示すパワー値を算出し、このパワー値をもとに各ＤＣＴ係数が対応する画像部分の特徴を示すＤＣＴ特徴量を生成するＤＣＴ特徴量生成部（５２）と、ＤＣＴ特徴量をもとに各画像部分に撮像された領域を判別する領域判別部（５３）とを備える。

Description

画像処理装置、画像処理方法および画像処理プログラム

　本発明は、各画像の所定範囲の画像部分に撮像された領域の種別を判別する処理を行う画像処理装置、画像処理方法および画像処理プログラムに関するものである。

　従来、画像の領域判別を行う技術は、画像内の主要対象物を背景等と分離するために用いるなど応用範囲が広く、様々な方法が提案されている。なかでも、所定範囲の画素の集合の特徴量をもとに画像の領域判別を行う方法は、画素単位の特徴量をもとに領域判別を行う方法に比べ、情報量が多い分、分割精度の向上が期待できる。

　ここで、画素の集合の特徴量として代表的なものにテクスチャの特徴量がある。テクスチャとは、繰り返しの画素値パターンである。一般に、画像処理装置では、テクスチャの特徴量を扱うために、２次元フーリエ変換や同時生起行列などによる数値化処理を行っている（例えば、非特許文献１参照）。

ディジタル画像処理編集委員会、「ディジタル画像処理」、第二版、ＣＧ－ＡＲＴＳ協会、2006年3月、p.192－195

　ところで、従来の画像処理装置では、２次元フーリエ変換や同時生起行列による演算にかかる計算負荷が非常に大きいため、テクスチャの特徴量に基づく領域判別を高速に行うことができないという問題があった。

　本発明は、上記に鑑みてなされたものであって、処理対象画像に撮像された領域の種別の判別を高速に行うことができる画像処理装置を提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、目的の画像に含まれる所定範囲の画像部分について、その画像部分の複数の周波数成分を表す周波数情報を取得する取得部と、前記周波数情報が表す複数の周波数成分のうち一の周波数成分の強度を示すパワー値を所定の周波数帯域ごとに算出し、前記パワー値をもとに前記周波数情報に対応づけられた画像部分の特徴を示す特徴量を生成する特徴量生成部と、前記特徴量をもとに前記画像部分に撮像された領域の種別を判別する領域判別部と、を備えることを特徴とする。

　この態様によれば、周波数情報が表す複数の周波数成分のうち一の周波数成分の強度を示すパワー値を算出してパワー値をもとに各画像部分の特徴量を生成するため、各パワー値が対応する画像部分の特徴量が簡易な処理で得られる。そのため、処理対象画像に撮像された領域の種別の判別を高速に行うことができるという効果を奏する。

　本発明の別の態様にかかる画像処理方法は、目的の画像に含まれる所定範囲の画像部分について、その画像部分の複数の周波数成分を表す周波数情報を取得する取得ステップと、前記周波数情報が表す複数の周波数成分のうち一の周波数成分の強度を示すパワー値を所定の周波数帯域ごとに算出し、前記パワー値をもとに前記周波数情報に対応づけられた画像部分の特徴を示す特徴量を生成する特徴量生成ステップと、前記特徴量をもとに前記画像部分に撮像された領域の種別を判別する判別ステップと、を備えることを特徴とする。

　本発明のさらに別の態様にかかる画像処理プログラムは、目的の画像に含まれる所定範囲の画像部分について、その画像部分の複数の周波数成分を表す周波数情報を取得する取得ステップと、前記周波数情報が表す複数の周波数成分のうち一の周波数成分の強度を示すパワー値を所定の周波数帯域ごとに算出し、前記パワー値をもとに前記周波数情報に対応づけられた画像部分の特徴を示す特徴量を生成する特徴量生成ステップと、前記特徴量をもとに前記画像部分に撮像された領域の種別を判別する判別ステップと、をコンピュータに発揮させることを特徴とする。

　なお、以上の構成要素の任意の組合せ、本発明の表現をシステム、記録媒体などの間で変換したものもまた、本発明の別の態様として有効である。

　本発明によれば、領域判別を高速に行うことができる技術を提供できる。

図１は、本発明の実施の形態１にかかる画像処理装置の概略構成を示すブロック図である。図２は、画素ブロックのＤＣＴ係数を示す図である。図３は、ＤＣＴ係数のＡＣ成分の配置を説明する図である。図４は、ＡＣ成分が属する周波数帯域と各周波数帯域のパワー値とを示す図である。図５は、図１に示す画像処理装置が行う画像処理手順を示すフローチャートである。図６は、図１に示すＤＣＴ特徴量生成部が行うＤＣＴ特徴量生成処理の手順を示すフローチャートである。図７は、図１に示す領域判別部が行う領域判別処理の手順を示すフローチャートである。図８は、ＡＣ成分が属する周波数帯域と値が０となるＡＣ成分の割合との関係を示す図である。図９は、変形例１にかかる画像処理装置が行うＤＣＴ特徴量生成処理の手順を示すフローチャートである。図１０は、変形例２にかかる画像処理装置が行うＤＣＴ特徴量生成処理の手順を示すフローチャートである。図１１は、ＡＣ成分が属する周波数帯域と各周波数帯域のＡＣ成分の値の絶対値の平均値との関係を示す図である。図１２は、変形例３にかかる画像処理装置が行うＤＣＴ特徴量生成処理の手順を示すフローチャートである。図１３は、ＡＣ成分が属する周波数帯域と各周波数帯域のＡＣ成分の値の絶対値の平均値に重み付けをした値との関係を示す図である。図１４は、本発明の実施の形態２にかかる画像処理装置の概略構成を示すブロック図である。図１５は、図１４に示す領域判別部が行う領域判別処理の手順を示すフローチャートである。図１６は、教師データの一例を示す図である。

符号の説明

　１，２　画像処理装置
　１０　入力部
　２０，６０　記憶部
　２１　体内画像記憶部
　２２　閾値記憶部
　３０　出力部
　４０，７０　制御部
　５０，８０　画像処理部
　５１　ＤＣＴ係数取得部
　５２　ＤＣＴ特徴量生成部
　５３，８３　領域判別部
　６２　教師データ記憶部
　Ｆ１～Ｆ１４　パワー値
　Ｈ１～Ｈ１４　周波数帯域

　以下、添付図面を参照しつつ本発明にかかる画像処理装置の好適な実施の形態について説明する。各実施の形態や各変形例における画像処理装置として、カプセル型内視鏡によって撮像され、ＤＣＴ符号化によって圧縮処理された体内画像を処理対象画像とする画像処理装置を例に説明する。ただし、本発明にかかる画像処理装置が処理可能な画像は、ＤＣＴ符号化によって圧縮処理された体内画像に限定されるものではない。また、本実施の形態によって本発明が限定されるものではない。なお、図面の記載において同一部分または相当する部分には同一の符号を付している。

　ここで、カプセル型内視鏡を用いて体内画像を撮像して記憶するシステムについて説明する。カプセル型内視鏡は、撮像装置およびデータ送信装置を備え、被検体に飲み込まれた後、自然排出されるまでの間、胃、小腸、大腸などの管状臓器内を各臓器の蠕動運動などによって移動しながら所定の撮像レートで体内画像の撮像を行うとともに、撮像した体内画像の画像データを被検体の体外に設置された受信装置に順次送信する。カプセル型内視鏡が被検体内で撮像する体内画像の枚数は、撮像レート（通常、２～４ｆｒａｍｅ／ｓｅｃ）と、カプセル型内視鏡の被検体内滞在時間（通常、８時間＝２８８０ｓｅｃ）とを乗算することによって示され、概ね６～１２万枚程度という大量な枚数になる。このため、カプセル型内視鏡が撮像した体内画像は、通常、ＤＣＴ符号化を用いて圧縮処理され、受信装置が備える携帯型記憶媒体に記憶される。

（実施の形態１）
　本実施の形態１にかかる画像処理装置について、図１を参照して説明する。図１は、本実施の形態１にかかる画像処理装置１の概略構成を示すブロック図である。画像処理装置１は、各種情報を入力する入力部１０、体内画像を含む各種情報を記憶する記憶部２０、各種情報を出力する出力部３０および画像処理装置１の各部の動作を制御する制御部４０を備える。さらに、画像処理装置１は、体内画像を処理して体内画像の各画像部分に撮像された領域の種別を判別する領域判別処理を行う画像処理部５０を備える。

　入力部１０は、キーボード、マウスおよびデータ通信インターフェイスなどによって実現され、観察者から直接に各種情報の入力を受け付けるとともに、各種メモリカード、ＣＤ、ＤＶＤなどの携帯型記憶媒体から体内画像の画像情報の入力を受け付ける。

　記憶部２０は、ハードディスク、ＲＯＭおよびＲＡＭなどによって実現され、制御部４０が実行させる各種処理プログラム、処理結果などの各種情報を記憶する。また、記憶部２０は、ＤＣＴ符号化によって圧縮処理された体内画像の圧縮データおよび画像処理部５０で復号化処理されて復元された体内画像の復元データを記憶する体内画像記憶部２１と、画像処理部５０で行う領域判別処理に用いる閾値を記憶する閾値記憶部２２とを備える。

　出力部３０は、液晶ディスプレイなどによって実現され、画像処理部５０で行われた領域判別処理の結果および体内画像などの各種情報を表示する。また、出力部３０は、観察者に対して各種処理情報の入力を依頼するＧＵＩ（Graphical User Interface）画面を表示する。

　制御部４０は、ＣＰＵによって実現され、記憶部２０に記憶された各種処理プログラムを実行することで、画像処理装置１が備える各部の処理および動作を制御する。特に、制御部４０は、画像処理プログラムを実行することで、画像処理部５０に領域判別処理を行わせるとともに、出力部３０に領域判別処理の結果を表示させる。

　画像処理部５０は、例えばＣＰＵによって実現され、ＤＣＴ係数取得部５１、ＤＣＴ特徴量生成部５２および領域判別部５３を備え、体内画像記憶部２１に記憶された体内画像に対して画像処理を行う。

　ＤＣＴ係数取得部５１は、周波数情報を取得する取得部に対応し、所定範囲の画像部分の周波数情報として、ＤＣＴ符号化方式によって圧縮処理された体内画像の圧縮データの復号化処理の際に算出されるＤＣＴ係数を取得する。なお、制御部４０は、出力部３０に体内画像を表示させる場合、ＤＣＴ係数取得部５１を制御して圧縮画像を復元処理させて体内画像の原画像を取得する。

　ここで、ＤＣＴ係数を説明する。ＤＣＴ係数は、８×８画素の画像部分ごとに離散コサイン変換して得られる周波数情報であり、各画像部分の周波数成分などを示している。（以下、８×８画素の画像部分を画素ブロックと呼ぶ。）各画素ブロックのＤＣＴ係数は、８×８マトリクスで示される６４個の係数の集合である。図２に示すように、ＤＣＴ係数の８×８マトリクスは、ＤＣ（直流）成分を示す値およびＡＣ（交流）成分を示す６３個の値によって構成され、ＤＣ成分は、８×８マトリクスの左上角に配置され、ＡＣ成分は、そのほかの部分に配置される。図３に示すように、８×８マトリクス内の左上から右下に向かって、低周波な周波数特性を示すＡＣ成分から高周波な周波数特性を有するＡＣ成分が、順に配置されている。また、ＪＰＥＧによる処理では、画素ブロックごとに、輝度成分（Ｙ値）のＤＣＴ係数および色差成分（Ｕ値、Ｖ値）の２つのＤＣＴ係数の合計３つのＤＣＴ係数が算出され、各々のＤＣＴ係数のＤＣ成分は、画素ブロックの平均輝度または平均色差に相当する値を示す。

　ＤＣＴ特徴量生成部５２は、各画像部分の特徴量を生成する特徴量生成部に対応し、周波数情報が表す複数の周波数成分のうちの一の周波数成分のパワー値として、所定の周波数帯域ごとにＤＣＴ係数のＡＣ成分のパワー値を算出し、このパワー値をもとに各画素ブロックの特徴を示す特徴量であるＤＣＴ特徴量を生成する。なお、パワー値とは、各周波数成分の強度を示す情報であり、本実施の形態１では各周波数帯域のＡＣ成分の強度を示し、テクスチャの方向性を示す情報は含まない。図４は、各ＡＣ成分が属する周波数帯域および各周波数帯域のパワー値を示す図である。図４では、同一の周波数帯域に属するＡＣ成分のマトリクスに、同一の数字が割り当ててある。図４に示すように、ＡＣ成分は、１４つの周波数帯域Ｈ１～Ｈ１４の各周波数帯域に属するＡＣ成分ごとに、具体的には、８×８マトリクスの左下角と右上角とを結ぶ対角線に平行な１４つの線上にそれぞれ配置されたＡＣ成分ごとに分類される。なお、実施の形態では、１４つの周波数帯域に分けた場合を説明するが、これに限られず、他の例として、任意の数の帯域に分けてもよい。図４において、左上の「１」と示されたＡＣ成分が属する周波数帯域が、最低周波数帯域である周波数帯域Ｈ１であり、右下の「１４」と示されたＡＣ成分が属する周波数帯域が、最高周波数帯域である周波数帯域Ｈ１４である。ＤＣＴ特徴量生成部５２は、画素ブロックごとに、周波数帯域Ｈ１～Ｈ１４のＡＣ成分のパワー値Ｆ１～Ｆ１４を算出し、パワー値Ｆ１～Ｆ１４をもとにＤＣＴ特徴量を生成する。

　領域判別部５３は、各画素ブロックのＤＣＴ特徴量をもとに各画素ブロックに撮像された領域の種別を判別する。領域判別部５３は、各画素ブロックに撮像された体内領域のうち、例えば泡領域、病変領域、出血領域、粘膜領域、粘液領域または便などの内容物領域などの領域の種別を判別する。

　各画素ブロックは、撮像された領域が例えば病変領域、出血領域、粘膜領域、粘液領域または内容物領域であるかによって、各々、色味およびテクスチャが異なる。また、内容物および体内の水分によって生じた泡領域が撮像された画像部分は、撮像時の照明光の反射などによって他の領域と比較してエッジの情報が多く含まれ、粘膜領域など泡領域以外のその他の領域が撮像された画像部分とは輝度の分布が異なり、周波数分布が異なる。ＤＣＴ特徴量は、輝度情報および色差情報を含むＤＣＴ係数のＡＣ成分をもとに生成されるため、領域判別部５３は、ＤＣＴ特徴量を用いて、各画素ブロックに撮像された領域を判別できる。

　図５は、画像処理装置１が行う画像処理手順を示すフローチャートである。図５に示すように、まず制御部４０は、体内画像記憶部２１に記憶されている体内画像の圧縮データを読み込み（ステップＳ１０１）、ＤＣＴ係数取得部５１に圧縮データを復号化させて各画素ブロックのＤＣＴ係数を取得する（ステップＳ１０２）。その後、制御部４０は、ＤＣＴ特徴量生成部５２を制御して各画素ブロックのＤＣＴ特徴量を生成する処理を行い（ステップＳ１０３）、領域判別部５３を制御して各画素ブロックに撮像された領域の種別を判別する処理を行う（ステップＳ１０４）。その後、制御部４０は、出力部３０に領域判別処理の結果を出力する（ステップＳ１０５）。ステップＳ１０１～Ｓ１０５の処理によって、制御部４０は、体内画像の各画像部分に撮像された領域を判別し、体内画像の観察者に対して領域判別処理の結果を提示する。

　図６は、ステップＳ１０３の処理において、ＤＣＴ特徴量生成部５２が行う処理の手順を示すフローチャートである。図６に示すように、ＤＣＴ特徴量生成部５２は、制御部４０の制御のもと、画素ブロックごとにＤＣＴ係数のＡＣ成分の値を取得する（ステップＳ２０１）。その後、ＤＣＴ特徴量生成部５２は、各周波数帯域のパワー値として周波数帯域ごとに値が０となるＡＣ成分の個数を算出し、全周波数帯域Ｈ１～Ｈ１４のパワー値Ｆ１～Ｆ１４の集合を各画素ブロックのＤＣＴ特徴量とする（ステップＳ２０２）。なお、この場合、パワー値が小さいほどＡＣ成分の強度が大きいことを示し、パワー値が大きいほどＡＣ成分の強度が小さいことを示す。ステップＳ２０１～Ｓ２０２の処理によって、ＤＣＴ特徴量生成部５２は、ＤＣＴ係数のＡＣ成分を用いて各画素ブロックのＤＣＴ特徴量を生成する。

　なお、ＤＣＴ特徴量生成部５２は、Ｙ値、Ｕ値およびＶ値のすべてのＤＣＴ係数のＡＣ成分の値を取得してＤＣＴ特徴量を生成してもよく、Ｙ値、Ｕ値またはＶ値のいずれか一つのＤＣＴ係数のＡＣ成分の値を取得してＤＣＴ特徴量を生成してもよい。例えば、泡領域を判別する場合、泡領域は輝度成分に特徴があるので、ＤＣＴ特徴量生成部５２は、Ｙ値のＤＣＴ係数のＡＣ成分のみを用いてＤＣＴ特徴量を生成してもよい。また、ＤＣＴ特徴量生成部５２は、全周波数帯域Ｈ１～Ｈ１４のパワー値Ｆ１～Ｆ１４の集合ではなく、所定の周波数帯域のパワー値の集合をＤＣＴ特徴量としてもよい。

　図７は、ステップＳ１０４において領域判別部５３が行う領域判別処理の手順を示すフローチャートである。図７に示すように、領域判別部５３は、制御部４０の制御のもと、画像全体の各画素ブロックのＤＣＴ特徴量を取得する（ステップＳ３０１）。その後、領域判別部５３は、ＤＣＴ特徴量のうち、所定の周波数帯域のパワー値と閾値とを比較して比較結果をもとに各画素ブロックに撮像された領域の種別を判別する（ステップＳ３０２）。なお、閾値および閾値と比較するパワー値の周波数帯域については、判別する領域ごとに、予め閾値記憶部２２に記憶されている。ステップＳ３０１～Ｓ３０２の処理によって、領域判別部５３は、ＤＣＴ特徴量をもとに各画素ブロックに撮像された領域の種別を判別する。

　図８は、泡領域および泡領域以外のその他の領域が撮像された画素ブロックのＹ値のＤＣＴ係数について、周波数帯域Ｈ１～Ｈ１４ごとに、値が０となるＡＣ成分の割合を模式的に示す図である。なお、その他の領域は、病変領域、出血領域、粘膜領域、内容物領域および粘液領域などである。

　図８に示すように、泡領域およびその他の領域ともに、高周波帯域になるほど値が０であるＡＣ成分が含まれる割合が高くなる。しかし、泡領域は、エッジ成分を多く含むため、その他の領域と比較して周波数帯域Ｈ３～Ｈ８で、値が０であるＡＣ成分が含まれる割合が低くなる。このため、周波数帯域Ｈ３～Ｈ８で、泡領域のパワー値は、その他の領域のパワー値と比較して小さくなる。領域判別部５３は、泡領域の判別を行う場合、パワー値Ｆ３～Ｆ８のうち予め定められた周波数帯域のパワー値と、泡領域を判別するための閾値とを比較して、パワー値が閾値より小さい場合、ＤＣＴ特徴量が対応する画素ブロックに撮像された領域を泡領域と判別する。

　泡領域に限らず、各画素ブロックに撮像された領域によってパワー値の分布は異なるので、領域判別部５３は、パワー値の分布に応じて設定された閾値を用いて各画素ブロックに撮像された領域の種別を判別する処理を行う。なお、領域判別部５３が閾値と比較するパワー値の周波数帯域についても、パワー値の分布に応じて予め設定される。

　なお、閾値は、判別する領域ごとに、１つであっても複数であってもよい。例えば、泡領域を判別する場合、領域判別部５３は、パワー値Ｆ５を閾値と比較してパワー値Ｆ５が閾値よりも小さい場合に画素ブロックに撮像された領域が泡領域であると判別してもよく、パワー値Ｆ４およびＦ７を各々に対応する閾値と比較して両方のパワー値が各々の閾値よりも小さい場合に画素ブロックに撮像された領域が泡領域であると判別してもよい。

　本実施の形態１にかかる画像処理装置１は、ＤＣＴ係数のＡＣ成分のパワー値をもとに生成した特徴量をもとに領域判別処理を行うので、２次元フーリエ変換および同時生起行列などによる演算処理を用いて領域判別処理を行う従来の画像処理装置と比較し、高速に領域判別処理を行うことができる。

　また、画像処理装置１は、ＤＣＴ符号化方式によって圧縮処理された圧縮画像の復元処理が行われる際に算出されるＤＣＴ係数をもとに各画像部分の特徴量を生成するので、処理対象画像がＤＣＴ符号化方式によって圧縮処理されていた場合、従来の画像処理装置と比較して特徴量生成にかかる演算処理時間を短縮でき、さらに高速に判別処理を行うことができる。

　また、画像処理装置１は、ＤＣＴ係数のＡＣ成分を用いて生成したＤＣＴ特徴量をもとに領域判別処理を行うため、周波数情報および色差情報をもとに領域判別処理を行うことができるので、色味の分布が広く、色味が変化しやすい領域の判別も高精度に行うことができる。例えば、泡領域の色味の分布は広く、泡領域以外のその他の領域の色味の分布と重なるため、色情報のみを特徴量として領域判別処理を行うとすると、泡領域を高精度で判別することが難しい場合があった。しかし、泡領域は、エッジ成分を多く含み、中周波から高周波なテクスチャを有し、他の領域と周波数成分を比較すると中周波帯域から高周波帯域のＡＣ成分の値が大きいので、画像処理装置１は、中周波帯域から高周波帯域のＡＣ成分を評価することによって、泡領域の判別処理を高精度に行うことができる。

　さらに、画像処理装置１は、パワー値を用いて領域判別を行うので、符号化係数のＡＣ成分の値をそのまま画素ブロックの特徴量として領域判別処理を行う場合と比較して精度良く行うことができる。ＡＣ成分はテクスチャの方向性の情報を含んでいるため、ＡＣ成分の値をそのまま画素ブロックの特徴量として領域判別を行うと、テクスチャの方向性の相違によって所定の領域を判別することが難しい場合がある。しかし、画像処理装置１は、テクスチャの方向性の情報を含まないパワー値の集合を特徴量として領域判別を行うので、高精度に領域判別を行うことができる。

　なお、実施の形態１において、ＤＣＴ特徴量生成部５２は、パワー値Ｆ１～Ｆ１４とＤＣ成分の値との集合をＤＣＴ特徴量としてもよい。この場合、領域判別部５３は、例えば泡領域の判別を行う際、予め設定された閾値とＹ値のＤＣ成分とを比較し、Ｙ値のＤＣ成分が閾値以上であれば画素ブロックに撮像された領域が泡領域である可能性があると判別してパワー値と閾値とを比較する処理を行う。また、領域判別部５３は、色に特性がある領域の判別を行う際は、Ｕ値またはＶ値のＤＣ成分と閾値とを比較し、画素ブロックに撮像された領域が判別を所望する領域である可能性があると判別された後、パワー値と閾値とを比較する処理を行う。この場合、画像処理装置１は、パワー値に加えてＤＣ成分を用いて領域判別処理を行うため、領域判別の精度が向上する。なお、パワー値による領域判別処理の後、ＤＣ成分により領域判別処理を行うとしてもよい。

（変形例１）
　ところで、実施の形態１では、周波数情報に含まれる一の周波数成分のパワー値として、ＤＣＴ係数の各周波数帯域に属するＡＣ成分のうち値が０となるＡＣ成分の個数を算出したが、本変形例１では、パワー値として、値が所定範囲内であるＡＣ成分の個数を算出する。

　本変形例１にかかる画像処理装置は、実施の形態１にかかる画像処理装置１と同様の構成を有する。図９は、本変形例１にかかる場合、ステップＳ１０３において、ＤＣＴ特徴量生成部５２が行う処理の手順を示すフローチャートである。図９に示すように、ＤＣＴ特徴量生成部５２は、制御部４０の制御のもと、画素ブロックごとにＤＣＴ係数のＡＣ成分の値を取得する（ステップＳ２１１）。その後、ＤＣＴ特徴量生成部５２は、各周波数帯域のパワー値として、周波数帯域ごとに値が所定の範囲内に収まるＡＣ成分の個数を算出し、全周波数帯域Ｈ１～Ｈ１４のパワー値Ｆ１～Ｆ１４の集合を各画素ブロックのＤＣＴ特徴量とする（ステップＳ２１２）。ステップＳ２１１～Ｓ２１２の処理によって、ＤＣＴ特徴量生成部５２は、ＤＣＴ係数のＡＣ成分を用いて各画素ブロックのＤＣＴ特徴量を生成する。

　なお、所定の範囲とは、０値を含み０値に近い値の範囲であり、例えばＡＣ成分の値が－１０以上、１０以下となる範囲である。また、その範囲は実験によってその他の値に定められてもよい。値が所定の範囲内となるＡＣ成分が含まれる割合は、図８に示した、値が０となるＡＣ成分が含まれる割合の分布と同様であり、例えば値が０となるＡＣ成分を含む割合の大きい周波数帯域では、０値近傍の値となるＡＣ成分を含む割合も大きい。このため、本変形例１にかかる画像処理装置は、実施の形態１にかかる画像処理装置１と同様に、領域判別処理を行うことができる。

（変形例２）
　また、実施の形態１および変形例１では、周波数情報に含まれる一の周波数成分のパワー値として、ＤＣＴ係数のＡＣ成分のうち所定の条件に当てはまるＡＣ成分の個数を算出したが、本変形例２では、パワー値として各周波数帯域に属するＡＣ成分の絶対値の平均値を算出する。

　本変形例２にかかる画像処理装置は、実施の形態１にかかる画像処理装置１と同様の構成を有する。図１０は、本変形例２にかかる場合、ステップＳ１０３において、ＤＣＴ特徴量生成部５２が行う処理の手順を示すフローチャートである。図１０に示すように、ＤＣＴ特徴量生成部５２は、制御部４０の制御のもと、画素ブロックごとにＤＣＴ係数のＡＣ成分の値を取得する（ステップＳ２２１）。その後、ＤＣＴ特徴量生成部５２は、各周波数帯域のパワー値として、周波数帯域ごとにＡＣ成分の値の絶対値の平均値を算出し、全周波数帯域Ｈ１～Ｈ１４のパワー値Ｆ１～Ｆ１４の集合を各画素ブロックのＤＣＴ特徴量とする（ステップＳ２２２）。なお、この場合、パワー値が大きいほどＡＣ成分の強度が大きいことを示し、パワー値が小さいほどＡＣ成分の強度が小さいことを示す。ステップＳ２２１～Ｓ２２２の処理によって、ＤＣＴ特徴量生成部５２は、ＤＣＴ係数のＡＣ成分を用いて各画素ブロックのＤＣＴ特徴量を生成する。

　ＤＣＴ係数のＡＣ成分の値は、テクスチャの方向性によって正負両方の値を取りうる。このため、ＤＣＴ特徴量生成部５２は、ＡＣ成分の値を絶対値に変換して平均値を算出することによって、各周波数帯域Ｈ１～Ｈ１４のＡＣ成分の強度の情報をパワー値として取得してＤＣＴ特徴量を生成する。

　図１１は、泡領域および泡領域以外のその他の領域が撮像された画像部分のＹ値のＤＣＴ係数のＡＣ成分について、周波数帯域Ｈ１～Ｈ１４の各々に属するＡＣ成分の値の絶対値の平均値、すなわち本変形例２にかかるパワー値Ｆ１～Ｆ１４の分布を示す図である。図１１に示すように、泡領域およびその他の領域ともに、高周波帯域になるほどパワー値は小さくなる。しかし、泡領域は、エッジ成分を多く含むため、周波数帯域Ｈ３～Ｈ８でその他の領域と比較してパワー値が大きくなる。領域判別部５３は、泡領域の判別を行う場合、パワー値Ｆ３～Ｆ８のうち予め定められた周波数帯域のパワー値と、泡領域を判別するための閾値とを比較して、パワー値が閾値より大きい場合、ＤＣＴ特徴量が対応する画素ブロックに撮像された領域を泡領域と判別する。

　泡領域に限らず、撮像された領域によってパワー値の分布は異なるので、実施の形態１の場合と同様に、領域判別部５３は、パワー値の分布に応じて予め設定された閾値を用いて各画素ブロックに撮像された領域を判別する処理を行う。このため、変形例２にかかる画像処理装置は、実施の形態１と同様に、領域判別処理を行うことができる。

（変形例３）
　また、変形例２では、周波数情報に含まれる一の周波数成分のパワー値としてＤＣＴ係数のＡＣ成分の値の絶対値の平均値を算出したが、本変形例３では、パワー値としてＡＣ成分の値の絶対値の平均値に周波数帯域ごとに重み付けをした値を算出する。

　本変形例３にかかる画像処理装置は、実施の形態１にかかる画像処理装置１と同様の構成を有する。図１２は、本変形例３にかかる場合、ステップＳ１０３において、ＤＣＴ特徴量生成部５２が行う処理の手順を示すフローチャートである。図１２に示すように、ＤＣＴ特徴量生成部５２は、制御部４０の制御のもと、画素ブロックごとにＤＣＴ係数のＡＣ成分の値を取得する（ステップＳ２３１）。その後、ＤＣＴ特徴量生成部５２は、各周波数帯域のパワー値として、各周波数帯域に属するＡＣ成分の値の絶対値の平均値に各周波数帯域に応じて重み付けをした値を算出し、全周波数帯域Ｈ１～Ｈ１４のパワー値Ｆ１～Ｆ１４の集合を各画素ブロックのＤＣＴ特徴量とする（ステップＳ２３２）。なお、ＡＣ成分の値の絶対値は、属する周波数帯域が高周波帯域になるほど小さくなる傾向があるので、高周波帯域のＡＣ成分の絶対値の平均値ほど、大きく重み付けを行う。ステップＳ２３１～Ｓ２３２の処理によって、ＤＣＴ特徴量生成部５２は、ＤＣＴ係数のＡＣ成分を用いて各画素ブロックのＤＣＴ特徴量を生成する。

　本変形例３にかかる場合、ステップＳ１０４において、領域判別部５３は、所定の複数のパワー値の平均値と閾値とを比較して比較結果をもとに各画素ブロックに撮像された領域を判別する。

　ここで、本変形例３にかかるパワー値Ｆ１～Ｆ１４は、各周波数帯域のＡＣ成分の値の絶対値の平均値をＡ１～Ａ１４とし、各周波数帯域に応じた重みをＷ１～Ｗ１４とすると、下式（１）に示される。
　Ｆ１＝Ａ１×Ｗ１，・・・，Ｆ１４＝Ａ１４×Ｗ１４　　　　　　　・・・（１）

　この場合、領域判別部５３が閾値と比較する際に用いるパワー値の平均値Ｆは、閾値との比較に用いるパワー値の周波数帯域を周波数帯Ｈ３～Ｈ８とすると、下式（２）で示される。
Ｆ＝（Ｆ３＋Ｆ４＋Ｆ５＋Ｆ６＋Ｆ７＋Ｆ８）／６　　　　　　　　　・・・（２）

　図１３は、泡領域および泡領域以外のその他の領域が撮像された画像部分のＹ値のＤＣＴ係数のＡＣ成分をもとに算出した本変形例３にかかるパワー値の周波数帯域ごとの分布を示す図である。図１３に示すように、例えば、泡領域以外のその他の領域を撮像した画像部分のパワー値が周波数帯域によらずほぼ一定となるように重み付けを行った場合、泡領域を撮像した画像部分のパワー値は、周波数帯域Ｈ３～Ｈ８で、その他の領域のパワー値と比較して大きくなる。この場合、泡領域のパワー値Ｆ３～Ｆ８の平均値ＢＦ_３－８は、その他の領域のパワー値Ｆ３～Ｆ８の平均値ＭＦ_３－８よりも大きい。このため、領域判別部５３は、例えばパワー値Ｆ３～Ｆ８の平均値が予め設定した閾値と比較して大きい場合、画素ブロックに撮像された領域は泡領域であると判別する。

　泡領域に限らず、撮像された領域によってパワー値の分布は異なるので、領域判別部５３は、パワー値の分布に応じて設定された閾値と所定のパワー値の平均値とを比較して各画素ブロックに撮像された領域を判別する処理を行う。なお、本変形例３にかかる画像処理装置では、判別する領域に応じて、重み付けの程度、閾値との比較の際に用いるパワー値の周波数帯域および閾値が予め定められ、閾値記憶部２２に記憶されている。

　本変形例３にかかる画像処理装置は、ＡＣ成分の値の絶対値の加重平均値、すなわち複数の周波数帯域のＡＣ成分の強度を反映した値と閾値とを比較した結果をもとに領域判別を行うので、１つの周波数帯域のパワー値と閾値とを比較して領域判別処理を行う場合と比較して、同程度の計算負荷で精度良く領域判別処理を行うことができる。

　なお、実施の形態１および変形例１～３では、各々異なるパワー値を算出して各々異なるＤＣＴ特徴量を生成したが、本発明の実施の形態にかかる画像処理装置では、実施の形態１および変形例１～３に記載した４種類のＤＣＴ特徴量のなかから、領域判別処理に用いるＤＣＴ特徴量を選択して設定するＤＣＴ特徴量設定部を備えるとしてもよい。

（実施の形態２）
　ところで、実施の形態１では、パワー値と閾値との大小を比較することによって領域判別処理を行ったが、本実施の形態２では、特徴空間内でのパワー値の分布と教師データの分布とを比較することによって領域判別処理を行う。

　図１４は、本実施の形態２にかかる画像処理装置２の概略構成を示すブロック図である。画像処理装置２は、画像処理装置１が備えた記憶部２０、制御部４０および画像処理部５０に替えて、記憶部６０、制御部７０および画像処理部８０を備える。記憶部６０は、記憶部２０が備えた閾値記憶部２２に替えて、教師データ記憶部６２を備える。画像処理部８０は、画像処理部５０が備えた領域判別部５３に替えて、領域判別部８３を備える。制御部７０は、制御部４０と同様に、画像処理装置２の各部の処理および動作を制御する。なお、画像処理装置２のその他の構成は、画像処理装置１のその他の構成と同様である。

　教師データ記憶部６２は、教師データとして、画素ブロックに撮像された領域ごとに、複数のＤＣＴ特徴量をクラス分けして記憶している。領域判別部８３は、各画素ブロックのＤＣＴ特徴量と教師データのＤＣＴ特徴量とをもとに、各画素ブロックの領域判別処理を行う。

　画像処理装置２が行う画像処理の手順は、画像処理装置１が行う画像処理の手順（図５：ステップＳ１０１～Ｓ１０５）と同様であるが、ステップＳ１０４の領域判別処理が異なる。図１５は、ステップＳ１０４において、領域判別部８３が行う処理の手順を示すフローチャートである。図１５に示すように、領域判別部８３は、制御部７０の制御のもと、画像全体の各画素ブロックのＤＣＴ特徴量を取得し（ステップＳ４０１）、教師データ記憶部６２より教師データを読み込む（ステップＳ４０２）。その後、領域判別部８３は、各画素ブロックのＤＣＴ特徴量および教師データのＤＣＴ特徴量をもとに、各画素ブロックに撮像された領域の種別を判別する（ステップＳ４０３）。ステップＳ４０１～Ｓ４０３の処理によって、領域判別部８３は、ＤＣＴ特徴量をもとに各画素ブロックに撮像された領域の種別を判別する。

　図１６は、教師データの一例であり、特徴空間上で泡領域のＤＣＴ特徴量および粘膜領域のＤＣＴ特徴量の分布を示す図である。図１６では、特徴空間は２次元であり、特徴空間の特徴軸として低周波帯域のパワー値と高周波帯域のパワー値が選択されている。低周波帯域のパワー値とは、例えばパワー値Ｆ４であり、高周波帯域のパワー値とは、例えばパワー値Ｆ７である。図１６に示すパワー値とは、各周波数帯域のＡＣ成分の絶対値の平均値であり、泡領域は、粘膜領域と比較して高周波帯域のパワー値が大きいことが分かる。

　なお、各周波数帯域のＡＣ成分の絶対値の平均値に各周波数帯域に応じて重み付けした値をパワー値とした場合、所定の複数のパワー値の平均値を特徴軸とすることができる。例えば、図１６に示す場合、低周波帯域のパワー値としてパワー値Ｆ３～Ｆ５の平均値をとり、高周波帯域のパワー値としてパワー値Ｆ６～Ｆ８の平均値をとり、各平均値を特徴軸としてもよい。また、図１６では、特徴空間を２次元としたが、特徴空間は２次元に限られず、例えばパワー値Ｆ１～Ｆ１４の各々を特徴軸とすれば、最大で１４次元の特徴空間とすることができる。さらに、特徴軸としてＤＣ成分の値を追加してもよい。

　泡領域および粘膜領域に限られず、病変領域、出血領域などその他の領域についても各々、特徴空間上でのＤＣＴ特徴量の分布は異なるので、領域判別部８３は、教師データを用いて各画素ブロックに撮像された領域の種別を判別する処理を行う。

　ステップＳ４０３において、領域判別部８３は、特徴空間上での、各画素ブロックのＤＣＴ特徴量と教師データのＤＣＴ特徴量の分布とをもとに、ｋＮＮ（k-Nearest Neighbor Method）法および部分空間法などの公知の判別手法を用いて、各画素ブロックに撮像された領域の種別を判別する。

　本実施の形態２にかかる画像処理装置２は、１領域につき複数のＤＣＴ特徴量を教師データとして記憶し、特徴空間上での教師データのＤＣＴ特徴量および各画素ブロックのＤＣＴ特徴量の分布をもとに各画素ブロックに撮像された領域を判別するので、例えば、被検体の個体差や撮像時の照明の具合などの影響によってＤＣＴ係数が変動しても、精度良く領域判別処理を行うことができる。

　ところで、上記の実施形態および変形例では、ＤＣＴ符号化による画像データの圧縮処理の一例としてＪＰＥＧをあげたが、ＤＣＴ符号化による圧縮処理は、ＪＰＥＧによる処理に限られず、ＭＰＥＧなどによる処理も含まれる。特に、ＭＰＥＧは、動画像データの圧縮処理であるが、ＪＰＥＧと同様にＤＣＴ符号化処理によって圧縮処理を行っているので、本発明にかかる技術思想を適用できる。

　また、上記の実施形態および変形例では、周波数情報としてＤＣＴ係数をあげたが、圧縮画像の復号化処理に伴って所定の画像部分ごとに周波数情報が算出される圧縮符号化手法であれば、本発明に係る技術思想を適用できるのである。例えば、領域判別部５３は、ＤＣＴ符号化以外の、既知である離散ウェーブレット変換（ＤＷＴ）、離散フーリエ変換（ＤＦＴ）、アダマール変換やラプラス変換などの周波数変換を用いた符号化方式によって算出された周波数情報（例えば、ＤＣＴ符号化の変換方式であればＤＣＴ係数を、アダマール変換方式であれば、周波数変換の変換結果がこれに該当する。）であって、各画像部分の複数の周波数成分の情報を含む周波数情報をもとに生成された特徴量をもとに画像部分に撮像された領域の種別を判別してもよい。もちろん、所定範囲ごとに圧縮する圧縮符号化の手法であれば、上記に挙げた離散ウェーブレット変換などの例に限られないことは当業者に理解されることである。この場合でも、ＤＣＴ符号化の場合と同様に、領域判別を高速に行うことができる。

　近年、画像処理装置では、符号化圧縮処理によって原画像を圧縮して記憶することが一般化されているので、圧縮画像の復号化処理が行われる際に周波数情報が算出される場合、本実施の形態１などと同様に、領域判別処理にかかる時間をさらに短縮できる。

　なお、周波数情報は、圧縮画像の復号化処理の際に算出される周波数情報に限られない。すなわち、本発明にかかる画像処理装置は、復号化処理の有無に関係なく、所定の周波数情報を算出する処理を行った後、領域判別処理を行うとしてもよい。

　また、上記の実施形態および変形例にかかる画像処理装置が行う領域判別処理として、１枚の体内画像に対する領域判別処理を説明したが、体内画像が複数ある場合、一連の体内画像群の体内画像に対して順次、自動的に領域判別処理を行うこととしてもよい。

　また、上記の実施形態および変形例では、処理対象となる目的の画像を所定範囲、例えば８×８画素の画像部分ごとに圧縮する圧縮符号化の手法を説明したが、その範囲の大きさはこれに限定されるものではない。例えば、４×４画素の画像部分ごとに圧縮してもよいし、１６×１６画素の画像部分ごとに圧縮する手法であってもよい。一方、他の例では、画像部分を画像全体とみなして、画像全体を圧縮する圧縮符号化の手法であってもよい。

　また、上記の実施形態および変形例では、ＤＣＴ係数取得部５１が圧縮画像の復号化処理を行ってＤＣＴ係数を取得する（算出する）こととしたが、別の変形例として、所定の周波数変換処理を行う他の外部装置（図示せず）からＤＣＴ係数などの周波数情報を取得するとしてもよい。

　以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　以上のように、本発明の画像処理装置、画像処理方法および画像処理プログラムは、処理対象画像に撮像された領域の種別の判別を高速に行うのに有用である。

Claims

　目的の画像に含まれる所定範囲の画像部分について、その画像部分の複数の周波数成分を表す周波数情報を取得する取得部と、
　前記周波数情報が表す複数の周波数成分のうち一の周波数成分の強度を示すパワー値を所定の周波数帯域ごとに算出し、前記パワー値をもとに前記周波数情報に対応づけられた画像部分の特徴を示す特徴量を生成する特徴量生成部と、
　前記特徴量をもとに前記画像部分に撮像された領域の種別を判別する領域判別部と、
　を備えることを特徴とする画像処理装置。
　前記特徴量生成部は、各周波数帯域に属する前記一の周波数成分のうち値が０となる前記一の周波数成分の個数を前記パワー値として算出して前記特徴量を生成することを特徴とする請求項１に記載の画像処理装置。
　前記特徴量生成部は、各周波数帯域に属する前記一の周波数成分のうち値が所定の範囲内となる前記一の周波数成分の個数を前記パワー値として算出して前記特徴量を生成することを特徴とする請求項１に記載の画像処理装置。
　前記特徴量生成部は、各周波数帯域に属する前記一の周波数成分の絶対値の平均値を前記パワー値として算出して前記特徴量を生成することを特徴とする請求項１に記載の画像処理装置。
　前記特徴量生成部は、各周波数帯域に属する前記一の周波数成分の絶対値の平均値に各周波数帯域に応じた重み付けを行って算出した値を前記パワー値として算出して前記特徴量を生成することを特徴とする請求項１に記載の画像処理装置。
　前記特徴量生成部は、前記一の周波数成分である輝度成分をもとに前記パワー値を算出して前記特徴量を生成することを特徴とする請求項１～５のいずれか一つに記載の画像処理装置。
　前記特徴量生成部は、前記一の周波数成分とは異なる他の周波数成分および前記パワー値をもとに前記特徴量を生成することを特徴とする請求項１～６のいずれか一つに記載の画像処理装置。
　前記領域判別部は、前記特徴量と閾値とを比較して前記特徴量に対応する前記画像部分に撮像された領域の種別を判別することを特徴とする請求項１～７のいずれか一つに記載の画像処理装置。
　異なる領域ごとにクラス分けされた複数の前記特徴量である教師データを記憶する教師データ記憶部をさらに備え、
　前記領域判別部は、前記教師データの前記特徴量および前記画像部分の前記特徴量をもとに前記画像部分に撮像された領域の種別を判別することを特徴とする請求項１～７のいずれか一つに記載の画像処理装置。
　処理対象画像は、医療用画像であることを特徴とする請求項１～９のいずれか一つに記載の画像処理装置。
　処理対象画像は、カプセル型内視鏡によって撮像された体内画像であることを特徴とする請求項１～１０のいずれか一つに記載の画像処理装置。
　前記領域判別部は、前記画像部分に撮像された領域の種別として泡領域、病変領域、出血領域、粘膜領域、内容物領域または粘液領域のうち少なくとも１つの領域の種別を判別することを特徴とする請求項１～１１のいずれか一つに記載の画像処理装置。
　前記取得部は、前記周波数情報として、前記画像部分ごとに所定の周波数変換処理を施すことで得られた情報を取得することを特徴とする請求項１～１２のいずれか一つに記載の画像処理装置。
　前記周波数変換処理は、ＤＣＴ符号化方式を用いた変換であることを特徴とする請求項１３に記載の画像処理装置。
　前記周波数情報は、前記周波数変換処理としてＤＣＴ符号化方式によって圧縮処理された圧縮画像の復号化処理が行われる際に算出されるＤＣＴ係数であることを特徴とする請求項１３または１４に記載の画像処理装置。
　前記周波数情報は、ＤＣＴ符号化方式によって圧縮処理された圧縮画像の復号化処理が行われる際に算出されるＤＣＴ係数であり、
　前記一の周波数成分は、前記ＤＣＴ係数のＡＣ成分であることを特徴とする請求項１～７のいずれか一つに記載の画像処理装置。
　前記周波数情報は、ＤＣＴ符号化方式によって圧縮処理された圧縮画像の復号化処理が行われる際に算出されるＤＣＴ係数であり、
　前記他の周波数成分は、前記ＤＣＴ係数のＤＣ成分であることを特徴とする請求項７に記載の画像処理装置。
　目的の画像に含まれる所定範囲の画像部分について、その画像部分の複数の周波数成分を表す周波数情報を取得する取得ステップと、
　前記周波数情報が表す複数の周波数成分のうち一の周波数成分の強度を示すパワー値を所定の周波数帯域ごとに算出し、前記パワー値をもとに前記周波数情報に対応づけられた画像部分の特徴を示す特徴量を生成する特徴量生成ステップと、
　前記特徴量をもとに前記画像部分に撮像された領域の種別を判別する判別ステップと、
　を備えることを特徴とする画像処理方法。
　目的の画像に含まれる所定範囲の画像部分について、その画像部分の複数の周波数成分を表す周波数情報を取得する取得ステップと、
　前記周波数情報が表す複数の周波数成分のうち一の周波数成分の強度を示すパワー値を所定の周波数帯域ごとに算出し、前記パワー値をもとに前記周波数情報に対応づけられた画像部分の特徴を示す特徴量を生成する特徴量生成ステップと、
　前記特徴量をもとに前記画像部分に撮像された領域の種別を判別する判別ステップと、
　をコンピュータに発揮させることを特徴とする画像処理プログラム。