以下、添付図面を参照して、本発明にかかる画像処理装置および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態では、本発明にかかる画像処理装置は、複数種類の観察対象のうち少なくとも1つの観察対象が個別に撮像された一連の観察画像として、例えばカプセル型内視鏡によって食道、胃、小腸および大腸の内部のうち少なくとも1つが順次撮像された一連の観察画像を処理するものとして説明する。ただし、本発明にかかる画像処理装置によって処理可能な観察画像は、観察対象としてかかる臓器(消化器官)が撮像された観察画像に限定されるものではなく、この実施の形態により本発明が限定されるものではない。なお、図面の記載において、同一部分には同一符号を付して示している。
(実施の形態)
まず、本発明の実施の形態にかかる画像処理装置について説明する。図1は、本実施の形態にかかる画像処理装置1の要部構成を示すブロック図である。この図に示すように、画像処理装置1は、画像を含む各種情報の入力、記憶および出力をそれぞれ行う入力部2、記憶部3および出力部5と、記憶部3に記憶された画像を処理する画像処理部4と、これらの各部に電気的に接続され、その接続された各部の処理および動作を制御する制御部6とを備える。
入力部2は、データ通信インターフェースを用いて構成され、このデータ通信インターフェースから制御部6に対し、処理対象としての一連の観察画像の画像データの入力を行う。また、入力部2は、各種入力デバイスを備え、制御部6が処理に用いる処理パラメータのパラメータ値等、各種情報の入力を行う。
記憶部3は、ハードディスク、ROMおよびRAM等を用いて構成され、制御部6が実行させる各種処理プログラム、制御部6が処理に用いる各種処理パラメータ、制御部6による各種処理結果等、種々の情報を記憶する。特に、記憶部3は、入力部2から入力された一連の観察画像を記憶する観察画像記憶部3aと、後述の臓器判定処理に用いる基準データを記憶する臓器判定基準データ記憶部3bと、後述の撮像距離推定処理に用いる基準データを記憶する距離推定基準データ記憶部3cと、後述の異常領域検出処理に用いるパラメータのパラメータ値を記憶する異常検出パラメータ記憶部3dとを備える。なお、記憶部3は、画像処理装置1に対して着脱自在な携帯型記憶媒体を備え、この携帯型記憶媒体によって入力部2を介さずに画像データを取得して一連の観察画像を記憶することができる。
画像処理部4は、例えばCPUによって実現され、制御部6が実行させる所定の画像処理プログラムに基づき、観察画像記憶部3aに記憶された一連の観察画像に対して種々の画像処理を行う。特に、画像処理部4は、各観察画像に撮像された観察対象としての所定の臓器を判定する臓器判定部4aと、観察画像が撮像されたときの撮像距離を推定する撮像距離推定部4bと、観察画像内から所定の特徴を有する特徴画像領域としての異常領域を検出する異常領域検出部4cとを備える。具体的には、臓器判定部4aは、各観察画像に撮像された観察対象を食道、胃、小腸および大腸のいずれか一つの臓器と判定し、異常領域検出部4cは、臓器判定部4aが判定した臓器内の異常部に対応する画像領域である異常領域を検出する。
出力部5は、液晶表示器等の各種表示器を用いて構成され、一連の観察画像、臓器判定部4aの判定結果、撮像距離推定部4bの推定結果、異常領域検出部4cの検出結果等、各種情報を表示する。また、出力部5は、データ通信インターフェースを備え、このデータ通信インターフェースから外部装置に対してその各種情報を出力することができる。
制御部6は、CPUによって実現され、記憶部3に記憶された所定の処理プログラムを実行させることで、画像処理装置1が備える各部の処理および動作を制御する。特に、制御部6は、記憶部3に記憶された所定の画像処理プログラムを実行し、観察画像記憶部3aに記憶された一連の観察画像を画像処理部4に処理させる画像処理制御部6aを備える。また、制御部6は、画像処理部4による処理結果等を出力部5に出力させる。
つづいて、画像処理装置1が行う画像処理手順について説明する。図2は、制御部6が所定の画像処理プログラムを実行させることで、観察画像記憶部3aに記憶された一連の観察画像を処理する処理手順を示すフローチャートである。この図に示すように、画像処理制御部6aは、まず観察画像記憶部3aから一連の観察画像を読み込み(ステップS101)、各観察画像に撮像された臓器を臓器判定部4aによって判定する臓器判定処理を行うとともに(ステップS102)、各観察画像が撮像されたときの撮像距離を撮像距離推定部4bによって推定する撮像距離推定処理を行う(ステップS103)。その後、画像処理制御部6aは、臓器判定処理の臓器判定結果と撮像距離推定処理の撮像距離推定結果とをもとに、後述の異常検出パラメータにパラメータ値を設定するパラメータ設定処理を行い(ステップS104)、異常領域検出部4cにその異常検出パラメータを用いて異常領域を検出させる異常領域検出処理を行う(ステップS105)。そして、画像処理制御部6aは、異常領域検出処理の検出結果を出力部5に出力させ(ステップS106)、一連の処理を終了する。
ステップS102の臓器判定処理では、臓器判定部4aは、観察画像の周波数成分情報をもとに、各観察画像に撮像された臓器を判定する。例えば、食道や胃は、小腸に比べて粘膜表面に凹凸が少なく平坦である。逆に、小腸は絨毛などによって表面に凹凸が多い。このため、食道や胃が撮像された観察画像では低周波数成分が支配的であり、小腸が撮像された観察画像では高周波数成分が支配的である。臓器判定部4aは、このような性質を利用して、観察画像に撮像された臓器が食道もしくは胃であるか、小腸であるか、または大腸であるかを判定する。具体的には、臓器判定部4aは、周波数成分情報として例えばフーリエ変換によって得られるパワースペクトルを用いて臓器判定を行う。
図3は、臓器判定部4aによる臓器判定処理手順を示すフローチャートである。この図に示すように、臓器判定部4aは、観察画像ごとにパワースペクトルに基づく特徴ベクトルを算出し(ステップS111)、臓器判定基準データ記憶部3bから臓器判定基準データを読み込み(ステップS112)、算出した特徴ベクトルと読み込んだ臓器判定基準データとをもとに、各観察画像に撮像された臓器を判定する(ステップS113)。その後、臓器判定部4aは、臓器判定処理を終了し、ステップS102へリターンする。
ステップS111では、臓器判定部4aは、まず一連の観察画像のうちの処理対象画像に対し、フーリエ変換によってパワースペクトルを算出し、算出したパワースペクトルから高周波数成分、中間周波数成分および低周波数成分をそれぞれ特徴量A〜Cとして抽出する。そして、この特徴量A〜Cによって示される特徴空間上のベクトルを、処理対象画像の周波数成分情報を示す特徴ベクトルとして処理対象画像に対応付ける。さらに、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の処理を行うことで、各観察画像の特徴ベクトルを算出する。
ステップS112では、臓器判定部4aは、例えば図4に示すようにあらかじめ特徴空間上で各臓器がクラス分けされたクラス辞書としての臓器判定基準データを読み込む。そして、ステップS113では、臓器判定部4aは、例えばkNN法(k-Nearest Neighbor Method)や部分空間法などの公知の判別手法を用い、ステップS112によって読み込んだ臓器判定基準データをもとに、ステップS111によって算出した各観察画像の特徴ベクトルが属する臓器の種類を判別する。その際、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに特徴ベクトルが属する臓器の種類を判別する。これによって、臓器判定部4aは、各観察画像に撮像された臓器を、食道もしくは胃と、小腸と、大腸とのいずれか一つと判定し、判定結果を各観察画像に対応付ける。
なお、ここではパワースペクトルにおける3つの周波数成分によって示される特徴ベクトルをもとに臓器判定をするものとして説明したが、特徴量として用いる周波数成分の数つまり特徴量の次元数は、3つに限定されず2つまたは4つ以上とすることもできる。4次元以上とすることで、より高精度に臓器判定を行うことができる。ただし、4次元以上とすることで臓器判定にかかる処理時間が増大するため、所望の判定精度に応じて次元数を適切に設定することが好ましい。また、ここではパワースペクトルを特徴ベクトルによって特徴付けることで臓器判定を行うものとしたが、特徴ベクトルに限らず、例えばパワースペクトルの分布パターンに対し、あらかじめ臓器ごとに求められた基準分布パターンをもとにパターンマッチングを行うことで臓器判定をすることもできる。
つぎに、ステップS103の撮像距離推定処理では、撮像距離推定部4bは、観察画像の輝度情報またはゲイン情報をもとに、各観察画像が撮像されたときの撮像距離、すなわち観察画像を撮像した撮像装置としてのカプセル型内視鏡等から被写体としての臓器内壁までの距離を推定する。
一般に、観察画像では、撮像距離に応じて跳ね返り輝度が変化する。跳ね返り輝度とは、撮像装置等から照射した照明光が被写体によって反射された後、撮像装置によって観察光として受光されるときの輝度を意味する。この跳ね返り輝度は、被写体が撮像装置に近づくにつれて高くなり、遠ざかるにつれて低くなる。撮像距離と跳ね返り輝度との関係は、図5に示すように、跳ね返り輝度が撮像距離の2乗に反比例するものとして知られている。そして、この跳ね返り輝度が高い場合、観察画像の輝度平均は高く、跳ね返り輝度が低い場合には、輝度平均は低くなる。撮像距離推定部4bは、この性質を利用して、観察画像の輝度平均をもとに撮像距離を推定する。ここで、観察画像の輝度平均とは、観察画像内の全画素もしくは所定の複数画素の輝度値(画素値)の平均値である。
一方、撮像装置がAGC(Auto Gain Control)機能を有する場合、一般に、観察画像の撮像時に跳ね返り輝度に応じてゲインが補正される。すなわち、撮像距離が小さく跳ね返り輝度が高くなった場合にゲインを低くし、撮像距離が大きく跳ね返り輝度が低くなった場合にはゲインを高くするようにゲイン補正が行われる。カプセル型内視鏡では、通常AGC機能が設けられており、それによるゲインの補正値であるAGC補正値は、撮像された観察画像ごとに付加情報として記録される。撮像距離推定部4bは、このAGC機能の特性を利用し、観察画像ごとに記録されたAGC補正値をもとに撮像距離を推定する。
図6は、撮像距離推定部4bによる撮像距離推定処理の処理手順を示すフローチャートである。この図に示すように、撮像距離推定部4bは、まず観察画像にAGC補正値が記録されているか否かを判断し(ステップS121)、AGC補正値が記録されている場合、AGC補正をもとに撮像距離を推定し、AGC補正値が記録されていない場合には、輝度平均をもとに撮像距離の推定を行う。
具体的には、観察画像にAGC補正値が記録されている場合(ステップS121:Yes)、撮像距離推定部4bは、各観察画像からAGC補正値を取得し(ステップS122)、全観察画像におけるAGC補正値の全体平均を算出するとともに(ステップS123)、AGC補正値とその全体平均とをもとに各観察画像の撮像距離を推定する(ステップS124)。
一方、観察画像にAGC補正値が記録されていない場合には(ステップS121:No)、撮像距離推定部4bは、観察画像ごとに輝度平均を算出し(ステップS125)、全観察画像における輝度平均の全体平均を算出するとともに(ステップS126)、輝度平均とその全体平均とをもとに各観察画像の撮像距離を推定する(ステップS127)。そして、撮像距離推定部4bは、ステップS124もしくはS127の後、撮像距離推定処理を終了し、ステップS103へリターンする。
ステップS124では、撮像距離推定部4bは、一連の観察画像のうちの処理対象画像に対し、AGC補正値Cとその全体平均C
aveとをもとに、次式(1)によって撮像距離Xを推定する。さらに、撮像距離推定部4bは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の演算を行うことで、各観察画像の撮像距離を推定する。なお、式(1)における係数f(C
ave)は、全体平均C
aveをもとに所定演算によって決定される係数である。
ステップS127では、撮像距離推定部4bは、一連の観察画像のうちの処理対象画像に対し、輝度平均Eとその全体平均E
aveとをもとに、次式(2)によって撮像距離Xを推定する。そして、撮像距離推定部4bは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の演算を行うことで、各観察画像の撮像距離を推定する。なお、式(2)における係数f(E
ave)は、全体平均E
aveをもとに所定演算によって決定される係数である。
なお、撮像距離推定部4bは、観察画像にAGC補正値が記録されている場合には、AGC補正値のみに基づいて撮像距離を推定する代わりに、AGC補正値と輝度平均とを併用して撮像距離の推定を行うこともできる。この場合、撮像距離推定部4bは、ステップS122〜S124の処理とステップS125〜127の処理とを両方行い、例えば各処理によって推定した撮像距離の平均値を最終的な推定結果とすることができる。
つぎに、ステップS104のパラメータ設定処理では、画像処理制御部6aは、観察画像ごとに、ステップS102の臓器判定処理によって判定された臓器とステップS103の撮像距離推定処理によって推定された撮像距離とをもとに、異常検出パラメータにパラメータ値を設定する。ここで、異常検出パラメータとは、異常領域検出部4cがステップS105の異常領域検出処理に用いる処理パラメータの一つであって、異常領域の所定の特徴量を示すパラメータ、あるいは観察画像を処理する際に処理単位となる画素ブロックサイズ(処理単位画素ブロックサイズ)を示すパラメータ等が含まれる。
一般に、胃、小腸および大腸などの臓器の種類に応じ、異常領域として検出すべき画像領域の特徴は異なり、例えば、小腸において検出すべき異常領域の領域サイズ(大きさ)は、胃において検出すべき領域サイズに比べて小さい。このため、異常領域を検出する際、その特徴量としての領域サイズを判定する判定基準としての下限閾値を胃と小腸とに対して等しく設定していると、小腸において検出すべき領域サイズの画像領域が異常領域として検出されず、また胃において検出する必要がない領域サイズの画像領域が異常領域として誤検出される恐れがある。これに対し、胃および小腸のそれぞれに適正な下限閾値を設定することで、胃および小腸のそれぞれに応じた特徴的な大きさの異常領域を確実に検出することができるとともに、異常領域として検出する必要がない画像領域を検出対象から除外することができる。
一方、例えば同一の異常部が撮像された観察画像であっても撮像距離が異なる場合には、観察画像上に占める異常領域の領域サイズは異なるものとなる。具体的には、撮像距離が大きくなるにしたがい異常領域の領域サイズは小さくなる。このため、異常領域を検出する際、その領域サイズの下限閾値を撮像距離によらず等しく設定していると、撮像距離が大きい場合、検出すべき異常領域の領域サイズが小さすぎて検出されず、また撮像距離が小さい場合には、検出する必要がない領域サイズの特徴画像領域が異常領域として誤検出される恐れがある。これに対し、撮像距離に応じて適正な下限閾値を設定することで、撮像距離によらず検出すべき異常領域を確実に検出することができるとともに、異常領域として検出する必要がない特徴画像領域を検出対象から除外することができる。
以上のことから、画像処理装置1では、例えば図7に示すように、撮像距離に応じて臓器ごとに適正な領域サイズの下限閾値が、異常検出パラメータであるサイズパラメータのパラメータ値として、あらかじめ異常検出パラメータ記憶部3dに記憶されている。そして、画像処理制御部6aは、ステップS104のパラメータ設定処理において、観察画像ごとに、臓器判定部4aによって判定された臓器と撮像距離推定部4bによって推定された撮像距離とに対応するパラメータ値を異常検出パラメータ記憶部3dから読み出し、この読み出したパラメータ値を異常検出パラメータに設定する。
なお、ここでは、あらかじめ異常検出パラメータ記憶部3dに記憶させる異常検出パラメータのパラメータ値として、異常領域の領域サイズを示すパラメータ値について説明したが、領域サイズに限定して解釈する必要はなく、異常領域の他の特徴量、例えば色味などを示すパラメータ値とすることもできる。また、異常領域の特徴量に限らず、例えば観察画像の処理単位画素ブロックサイズを示すパラメータ値とすることもできる。
さらに、あらかじめ記憶させるパラメータ値は、1種類に限定されず、複数の異常検出パラメータに対するパラメータ値を記憶させることができる。その場合、例えば、異常検出パラメータ記憶部3dは、複数の異常検出パラメータごとにパラメータ値を図7に示したように記憶テーブルに記憶し、画像処理制御部6aは、パラメータ設定処理において、異常検出パラメータごとに各々対応する記憶テーブルからパラメータ値を読み出し、読み出したパラメータ値を設定するとよい。
つぎに、ステップS105の異常領域検出処理では、異常領域検出部4cは、一連の観察画像のうちの処理対象画像に対し、ステップS104のパラメータ設定処理によってこの処理対象画像に対応するパラメータ値が設定された異常検出パラメータを用い、処理対象画像内から所定の異常領域を検出する。具体的には、異常領域検出部4cは、例えば図7に示す記憶テーブルに記憶されたパラメータ値が設定されたサイズパラメータを用い、そのパラメータ値が示す領域サイズよりも小さい領域であって他に異常領域としての所定の特徴(例えば色味など)を有する画像領域を異常領域として検出する。さらに、異常領域検出部4cは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の処理を行うことで、各観察画像から所望の異常領域を検出する。
なお、異常領域検出部4cは、このようなサイズパラメータを用いた処理に限定されず、各種の処理によって異常領域検出処理を行うことができる。例えば特許文献2に開示されているように、処理対象画像内の各画素または平均化した画素を、その色情報に基づく特徴空間に写像し、クラスタリングの後に正常部クラスタと異常部クラスタとを特定して、異常部クラスタに属する画素領域を異常領域として検出することができる。この場合、異常領域検出部4cは、特徴空間を構成する色情報(例えば、色味または色度)を示す
パラメータ値が設定された異常検出パラメータである色パラメータを用いて異常領域検出処理を行うとよい。そして、異常検出パラメータ記憶部3dは、その色パラメータに設定するパラメータ値を、撮像距離に応じて臓器ごとにあらかじめ記憶するとよい。
また、異常領域検出部4cは、例えば、特許文献1に開示されているように、処理対象画像を複数の処理単位画素ブロックに分割し、その処理単位画素ブロックごとの色情報を、あらかじめ作成した異常部の色基準および正常部の色基準と比較することで異常領域を検出することができる。この場合、異常領域検出部4cは、色パラメータとブロックサイズパラメータとの少なくとも一方を用いて異常領域検出処理を行うとよい。ここで、色パラメータとは、各色基準の色味または色度等を示すパラメータ値が設定されたパラメータであり、ブロックサイズパラメータとは、処理単位画素ブロックサイズを示すパラメータ値が設定された異常検出パラメータである。そして、異常検出パラメータ記憶部3dは、その色パラメータとブロックサイズパラメータとの少なくとも一方に設定するパラメータ値を、撮像距離に応じて臓器ごとにあらかじめ記憶するとよい。
なお、撮像の倍率が画像ごとに一定ではない場合には、カプセル型内視鏡では、各観察画像に付加情報として倍率の情報が記録される。そして、上述のサイズパラメータやブロックサイズパラメータを用いて異常領域の検出処理を行う場合には、倍率を考慮して異常領域の検出を行うとよい。
以上説明したように、本実施の形態にかかる画像処理装置1では、一連の観察画像のうちの処理対象画像に撮像された観察対象としての臓器を所定の1以上の観察対象である食道、胃、小腸もしくは大腸のいずれか一つと判定する臓器判定部4aと、所定の処理パラメータとしての異常検出パラメータを用い、処理対象画像内から所定の特徴を有する特徴画像領域としての異常領域を検出する異常領域検出部4cと、臓器判定部4aの判定結果に対応するパラメータ値を異常検出パラメータに設定し、異常領域検出部4cにこの異常検出パラメータを用いて異常領域を検出させる画像処理制御部6aと、を備えているため、臓器の種類に応じて異なる特徴を示す異常部等に対応する画像領域としての異常領域を処理対象画像内から確実に検出するときの検出精度を向上させることができる。
さらに、画像処理装置1では、処理対象画像が撮像されたときの撮像距離を推定する撮像距離推定部4bを備え、画像処理制御部6aは、臓器判定部4aの判定結果と撮像距離推定部4bの推定結果とに対応するパラメータ値を異常検出パラメータに設定し、異常領域検出部4cにこの異常検出パラメータを用いて異常領域を検出させているため、臓器の種類と撮像距離とに応じて異なる特徴を示す異常領域を処理対象画像内から確実に検出するときの検出精度を向上させることができる。
また、画像処理装置1では、一連の観察画像内で処理対象画像を順次切り換え、その切り換えた処理対象画像ごとに異常領域を検出しているため、一連の観察画像における各観察画像内から異常領域を検出することができる。
(変形例1)
つぎに、本実施の形態にかかる画像処理装置の変形例1について説明する。上述した臓器判定処理では、臓器判定部4aは、例えばパワースペクトルによって示される観察画像の周波数成分情報をもとに臓器判定を行うものとしたが、本変形例1では、観察画像の画像情報量をもとに臓器判定を行うようにしている。
通常、食道や胃の内部には比較的凹凸が少ないため、食道もしくは胃を撮像した観察画像では、小腸もしくは大腸を撮像した観察画像に比べ、各画素とその周囲画素との相関が高いという特徴がある。したがって、臓器判定部4aは、その相関の高さを求めることで、観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定することができる。
一般に、各画素とその周囲画素との相関の高さは画像情報量によって示され、画像情報量はエントロピーによって示されることが知られている。そのエントロピーH(f)は、注目画素の周囲画素のビット列rと、その注目画素が画素値fを有する確率p(r;f)とを用い、次式(3)によって求められる。ここで、式(3)によって示されるエントロピーH(f)は、マルコフ情報源のエントロピーである。
H(f)=−log2(p(r;f)) ・・・(3)
この式(3)による演算を画像全体に対して行うことで、各画素に対応するエントロピーH(f)を得ることができる。そして、画像全体の傾向としてエントロピーH(f)の値が大きい場合、その画像は、各画素とその周囲画素との相関が低い画像であり、エントロピーH(f)の値が小さい場合には、各画素とその周囲画素との相関が高い画像であるといえる。本変形例1にかかる臓器判定部4aは、この特性を利用して、観察画像ごとにエントロピーH(f)を算出し、その算出結果をもとに、観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定するようにしている。
図8は、本変形例1にかかる臓器判定部4aによる臓器判定処理の処理手順を示すフローチャートである。この図に示すように、臓器判定部4aは、観察画像ごとに式(3)によってエントロピーを算出し(ステップS211)、全観察画像におけるエントロピーの全体平均を算出するとともに(ステップS212)、エントロピーおよびその全体平均と、あらかじめ臓器判定基準データ記憶部3bに記憶された臓器判定基準データとをもとに、各観察画像に撮像された臓器を判定する(ステップS213)。その後、臓器判定部4aは、臓器判定処理を終了してステップS102へリターンする。
ここで、臓器判定基準データ記憶部3bには、例えば図9に示すように、エントロピーおよびその全体平均ごとに臓器が対応付けられた記憶テーブルが臓器判定基準データとして記憶されている。この臓器判定基準データは、各臓器に対する知見をもとにあらかじめ作成することができる。
ステップS213では、臓器判定部4aは、一連の観察画像のうちの処理対象画像に対し、臓器判定基準データによってエントロピーとその全体平均とに対応付けられた臓器が撮像されているものと判定する。例えば、臓器判定部4aは、処理対象画像のエントロピーとエントロピーの全体平均とがともに0.2である場合、図9に示す臓器判定基準データをもとに、その処理対象画像に撮像された臓器が小腸であると判定する。さらに、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の処理を行うことで、各観察画像に撮像された臓器の判定を行う。
(変形例2)
つぎに、本実施の形態にかかる画像処理装置の変形例2について説明する。本変形例2では、臓器判定部4aは、観察画像のテクスチャ情報をもとに臓器判定を行うようにしている。通常、食道や胃の内部には比較的凹凸が少ないため、食道もしくは胃を撮像した観察画像ではテクスチャ(texture)情報が少ない。これに対し、小腸ではその表面に絨毛などによる凹凸パターンが多く見られるため、小腸を撮像した観察画像ではテクスチャ情報が多く得られる。したがって、臓器判定部4aは、観察画像のテクスチャ情報をもとに、その観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定することができる。
一般に、テクスチャ情報として、同時生起行列によってテクスチャの統計的特徴量を求める方法が知られている。同時生起行列は、離れた2つの地点にある画素対の画素値から、画素値の一様性、方向性およびコントラストなどの性質を示す特徴量を求めるものである。本変形例2では、テクスチャ情報として、同時生起行列によって相関とエントロピーとを求める場合について説明する。
図10は、本変形例2にかかる臓器判定部4aによる臓器判定処理の処理手順を示すフローチャートである。この図に示すように、臓器判定部4aは、観察画像ごとに同時生起行列によって相関およびエントロピーを算出し(ステップS311)、全観察画像における相関およびエントロピーの各全体平均を算出するとともに(ステップS312)、算出した相関およびエントロピーとその各全体平均とに基づく特徴ベクトルを算出する(ステップS313)。そして、臓器判定部4aは、臓器判定基準データ記憶部3bから臓器判定基準データを読み込み(ステップS314)、算出した特徴ベクトルと読み込んだ臓器判定基準データとをもとに、各観察画像に撮像された臓器を判定する(ステップS315)。その後、臓器判定部4aは、臓器判定処理を終了してステップS102へリターンする。
ステップS311では、臓器判定部4aは、まず一連の観察画像のうちの処理対象画像に対し、同時生起行列によって相関とエントロピーとを算出し、さらに一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の処理を行うことで、各観察画像の特徴ベクトルを算出する。
ステップS313では、臓器判定部4aは、まず一連の観察画像のうちの処理対象画像に対し、ステップS311によって算出した相関およびエントロピーと、ステップS312によって算出した相関およびエントロピーの各全体平均とを4次元の特徴量とする。そして、この4次元の特徴量によって示される特徴空間上のベクトルを、処理対象画像のテクスチャ情報を示す特徴ベクトルとして算出し、処理対象画像に対応付ける。さらに、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の処理を行うことで、各観察画像の特徴ベクトルを算出する。
ステップS314では、臓器判定部4aは、あらかじめ4次元の特徴空間上で各臓器がクラス分けされたクラス辞書としての臓器判定基準データを読み込む。そして、ステップS315では、臓器判定部4aは、例えばkNN法や部分空間法などの公知の判別手法を用い、ステップS314によって読み込んだ臓器判定基準データをもとに、ステップS313によって算出した各観察画像の特徴ベクトルが属する臓器の種類を判別する。その際、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに特徴ベクトルが属する臓器の種類を判別する。これによって、臓器判定部4aは、各観察画像に撮像された臓器を、食道もしくは胃と、小腸もしくは大腸とのいずれか一方と判定し、判定結果を各観察画像に対応付ける。
なお、ここでは同時生起行列から算出される相関およびパワースペクトルと、その各全体平均とを特徴量とする特徴ベクトルをもとに臓器判定をするものとして説明したが、特徴ベクトルを構成する特徴量は相関およびエントロピーに限定されず、同時生起行列から算出できる他の特徴量を用いることもできる。また、特徴ベクトルを構成する特徴量は4次元に限定されず2次元または5次元以上とすることもでき、5次元以上とした場合、より高精度に臓器判定を行うことができる。ただし、5次元以上とすることで臓器判定にかかる処理時間が増大するため、所望の判定精度に応じて次元数を適切に設定することが好ましい。なお、上述したように特徴ベクトルを構成する特徴量に全体平均を用いるのは、被検体ごとに臓器の特徴に個体差があり、その個体差による影響を軽減するためである。
(変形例3)
つぎに、本実施の形態にかかる画像処理装置の変形例3について説明する。本変形例3では、臓器判定部4aは、観察画像の圧縮符号化された圧縮画像データのファイルサイズをもとに、各観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。通常、食道や胃の内部には比較的凹凸が少ないため、食道もしくは胃を撮像した観察画像では、小腸もしくは大腸を撮像した観察画像に比べ、各画素とその周囲画素との相関が高いという特徴がある。臓器判定部4aは、その相関の高さを圧縮画像データのファイルサイズによって判断することで、観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。
また、臓器判定部4aは、観察画像の圧縮画像データのファイルサイズの変化量をもとに、観察画像に撮像された臓器が小腸であるか、大腸であるかを判定する。通常、大腸では、内部に便等が詰まっているため、例えばカプセル型内視鏡で観察画像を取得する場合、カプセル型内視鏡の移動が停滞し、時系列で連続した観察画像間におけるファイルサイズはほとんど変化しない。これに対して、小腸では、カプセル型内視鏡が大腸内に比べてスムーズに移動できるため、時系列で連続した観察画像間におけるファイルサイズに顕著な変化が見られる。臓器判定部4aは、この特性を利用し、時系列に連続した観察画像間でのファイルサイズの変化量の大きさをもとに、その観察画像に撮像された観察対象が小腸であるか、大腸であるかを判定する。
図11は、その臓器判定処理手順を示すフローチャートである。この図に示すように、臓器判定部4aは、まず一連の観察画像における圧縮画像データのファイルサイズをもとに、ファイルサイズの移動平均を算出するとともに(ステップS411)、ファイルサイズの全体平均を算出する(ステップS412)。さらに、臓器判定部4aは、一連の観察画像における連続した各観察画像間でのファイルサイズの変化量を算出し、ファイルサイズの変化量の移動平均を算出するとともに(ステップS413)、ファイルサイズの変化量の全体平均を算出する(ステップS414)。その後、臓器判定部4aは、ステップS411〜S413による各算出結果をもとに、各観察画像に撮像された臓器を判定し(ステップS415)、臓器判定処理を終了してステップS102へリターンする。
ステップS411では、臓器判定部4aは、一連の観察画像のうち処理対象画像に対し、その処理対象画像を含む時系列に近接した複数の観察画像におけるファイルサイズの平均であるサイズ平均を算出する。そして、算出したサイズ平均を処理対象画像に対応付ける。なお、本変形例3では、一連の観察画像のうちの時系列に近接した例えば100枚の観察画像を用いてサイズ平均を算出する。ただし、このサイズ平均を算出するための観察画像の枚数は、一連の観察画像を撮像したときの撮像間隔などによって適当な枚数に設定するとよい。臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとにサイズ平均を算出することで、一連の観察画像全体にわたるファイルサイズの移動平均を得る。具体的には、臓器判定部4aは、ステップS411によって、例えば図12−1に示す一連の観察画像のファイルサイズ情報をもとに、図12−2に示すようにファイルサイズの移動平均を得る。
ステップS413では、臓器判定部4aは、一連の観察画像のうち処理対象画像に対し、処理対象画像を含む時系列に近接した複数の観察画像における各観察画像間でのファイルサイズの変化量の平均である変化量平均を算出する。そして、算出した変化量平均を処理対象画像に対応付ける。なお、本変形例3では、一連の観察画像のうちの時系列に近接した例えば100枚の観察画像を用いて変化量平均を算出する。ただし、この変化量平均を算出するための観察画像の枚数は、一連の観察画像を撮像したときの撮像間隔などによって適当な枚数に設定するとよい。臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに変化量平均を算出することで、一連の観察画像全体にわたるファイルサイズの変化量の移動平均を得る。具体的には、臓器判定部4aは、ステップS413によって、例えば図12−1に示す一連の観察画像のファイルサイズ情報をもとに、図12−3に示すようにファイルサイズの変化量の移動平均を得る。
ステップS415では、臓器判定部4aは、一連の観察画像のうち処理対象画像に対し、まず、ステップS411によって算出したサイズ平均と、所定のサイズ判定基準との大小関係に応じ、処理対象画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。具体的には、臓器判定部4aは、ステップS412によって算出した全体平均FsizeAveと、あらかじめ設定された変数Mとをもとに、次式(4)によってサイズ判定基準としての閾値TFsizeを算出し(図12−2参照)、この閾値TFsizeに対してサイズ平均Fsizeが次式(5)を満足するか否かを判別する。
TFsize=FsizeAve+M ・・・(4)
Fsize<TFsize ・・・(5)
臓器判定部4aは、式(5)が満足される場合、処理対象画像に撮像された臓器が食道もしくは胃であると判定し、式(5)が満足されない場合、小腸もしくは大腸であると判定する。そして、この判定結果を処理対象画像に対応付ける。さらに、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の判定を行うことで、一連の観察画像における各観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。
なお、臓器判定部4aは、一連の観察画像に胃、小腸および大腸がこの順に撮像されていることが明らかな場合、その先頭画像から順に処理対象画像を切り換えることにより、式(5)が満足されないと最初に判別した観察画像以降すべての観察画像を、小腸もしくは大腸が撮像された画像と判定する。これによって、食道もしくは胃が撮像された観察画像と、小腸もしくは大腸が撮像された観察画像とをより迅速に判別することができる。
つぎに、臓器判定部4aは、小腸もしくは大腸が撮像されていると判定した一連の観察画像のうち処理対象画像に対し、ステップS413によって算出した変化量平均と、所定の変化量判定基準との大小関係に応じ、処理対象画像に撮像された臓器が小腸であるか、大腸であるかを判定する。具体的には、臓器判定部4aは、ステップS414によって算出した全体平均FsizeDiffAveと、あらかじめ設定された変数Nとをもとに、次式(6)によって変化量判定基準としての閾値TFsizeDiffを算出し(図12−3参照)、この閾値TFsizeDiffに対して変化量平均FsizeDiffが次式(7)を満足するか否かを判別する。
TFsizeDiff=FsizeDiffAve+N ・・・(6)
FsizeDiff<TFsizeDiff ・・・(7)
臓器判定部4aは、式(7)が満足される場合、処理対象画像に撮像された臓器が大腸であると判定し、式(7)が満足されない場合、小腸であると判定する。そして、この判定結果を処理対象画像に対応付ける。さらに、臓器判定部4aは、先に小腸もしくは大腸が撮像されていると判定した一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の判定を行うことで、その各観察画像に撮像されている臓器が小腸であるか、大腸であるかを判定する。これによって、臓器判定部4aは、一連の全観察画像における各観察画像に撮像された臓器を、食道もしくは胃と、小腸と、大腸とのいずれか一つと判定し、判定結果を各観察画像に対応付けることができる。
なお、式(4)に示したように、サイズ判定基準としての閾値TFsizeの算出にファイルサイズの全体平均FsizeAveを用いるのは、被検体ごとに臓器の特徴に個体差があり、その個体差による影響を軽減するためである。同様に、式(6)に示したように、変化量判定基準としての閾値TFsizeDiffの算出にファイルサイズの変化量の全体平均FsizeDiffAveを用いるのも、個体差による影響を軽減するためである。また、変数M,Nは、観察者が入力部2から入力することで設定されるものであり、適宜変更可能とされている。
なお、上述した臓器判定処理では、臓器判定部4aは、各観察画像に撮像された臓器をステップS415によって一括して判定するものとしたが、式(5)による判定と式(7)による判定とを個別に行うこともできる。例えば、ステップS412の直後に式(5)による判定を行うことで、小腸もしくは大腸が撮像されていると判定した観察画像だけを対象にステップS413を行うことができ、これによって、より迅速に臓器判定処理を行うことができる。
また、上述した臓器判定処理では、臓器判定部4aは、ステップS415において式(5)による判定と式(7)による判定とを順次行うものとして説明したが、一括して判定をすることもできる。例えば、処理対象画像ごとにサイズ平均Fsizeと変化量平均FsizeDiffとによって表される特徴ベクトル(Fsize,FsizeDiff)を求め、この特徴ベクトルが特徴空間上で属する領域に応じて臓器を判定することができる。具体的には、特徴ベクトル(Fsize,FsizeDiff)が式(5)を満足する領域内にある場合、食道もしくは胃が撮像されていると判定し、それ以外の領域であって式(7)を満足する領域内にある場合には、大腸が撮像されていると判定することができる。さらに、それ以外の領域内にある場合には、小腸が撮像されていると判定することができる。
また、上述した臓器判定処理では、臓器判定部4aは、複数の観察画像におけるファイルサイズのサイズ平均と変化量平均とをもとに臓器の判定を行うものとしたが、必ずしも平均を用いる必要はなく、例えば個々のファイルサイズと個々のファイルサイズの変化量とをもとに臓器判定をすることもできる。これによって、判定精度の要求が比較的緩い場合には、より迅速に臓器判定処理を行うことができる。
(変形例4)
つぎに、本実施の形態にかかる画像処理装置の変形例4について説明する。本変形例4では、臓器判定部4aは、圧縮画像データの伸張時に算出されるDCT係数とその変化量とをもとに臓器判定を行うようにしている。
通常、食道や胃は、小腸に比べて粘膜表面に凹凸が少なく平坦である。逆に、小腸は絨毛などによって表面に凹凸が多い。このため、胃が撮像された観察画像では低周波成分が支配的であり、小腸が撮像された観察画像では高周波成分が支配的である。本変形例4では、臓器判定部4aは、この性質を利用して、観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。具体的には、臓器判定部4aは、一連の観察画像がJPEG等、DCT圧縮符号化方式によって圧縮された圧縮画像データとして記憶されている場合、圧縮画像データの伸張時に行う逆DCT変換によって得られる複数のDCT係数をもとに判定を行う。
また、大腸では、内部に便等が詰まっているため、例えばカプセル型内視鏡で観察画像を取得する場合、カプセル型内視鏡の移動が停滞し、時系列で連続した観察画像間における周波数成分にほとんど変化がない。これに対して、小腸では、カプセル型内視鏡が大腸内に比べてスムーズに移動できるため、時系列で連続した観察画像間における周波数成分に顕著な変化が見られる。臓器判定部4aは、この特性を利用し、時系列に連続した観察画像間での周波数成分の変化量の大きさをもとに、その観察画像に撮像された臓器が小腸であるか、大腸であるかを判定する。具体的には、臓器判定部4aは、一連の観察画像がDCT圧縮符号化方式によって圧縮された圧縮画像データとして記憶されている場合、時系列に連続した観察画像間でのDCT係数の変化量をもとに判定を行う。
一般に、画像内の周波数成分情報を得る手法として、フーリエ変換によりパワースペクトルを求める方法がよく知られている。しかしながら、フーリエ変換は計算処理が多いため、通常、膨大な処理時間が必要とされる。これに対し、上述のようにDCT係数によって周波数成分を判別する場合には、圧縮画像データの伸張処理時にDCT係数を算出することができ、周波数成分を判別するために特別な演算処理を必要としない。また、DCT係数を算出する処理自体が簡易かつ短時間で処理可能であるため、フーリエ変換によるパワースペクトルを用いる場合に比べ、迅速に観察画像中の周波数成分を判別することができるとともに観察画像に撮像された臓器を判定することができる。
図13は、その臓器判定処理手順を示すフローチャートである。この図に示すように、臓器判定部4aは、まず観察画像ごとにDCT係数の重み付け平均としての代表DCT係数を算出する(ステップS510)。そして、一連の観察画像における代表DCT係数をもとに、代表DCT係数の移動平均を算出するとともに(ステップS511)、代表DCT係数の全体平均を算出する(ステップS512)。さらに、臓器判定部4aは、一連の観察画像における連続した各観察画像間での代表DCT係数の変化量を算出し、代表DCT係数の変化量の移動平均を算出するとともに(ステップS513)、代表DCT係数の変化量の全体平均を算出する(ステップS514)。その後、臓器判定部4aは、ステップS511〜S513による各算出結果をもとに、各観察画像に撮像された臓器を判定し(ステップS515)、臓器判定処理を終了してステップS102へリターンする。
ステップS510では、臓器判定部4aは、まず観察画像ごとに圧縮画像データの伸張時に処理単位とされる各8×8画素ブロックについて、低周波成分から高周波成分にわたる所定の複数のDCT係数をもとにそのブロック平均を算出する。具体的には、図14に示すように得られる8×8画素ブロックのDCT係数「DCT1」〜「DCT64」をもとに、DC成分に相当する「DCT1」を除き、「DCT2」〜「DCT64」全体の周波数ごとの重み付け平均、もしくは「DCT2」〜「DCT64」のうちあらかじめ選択された1以上のDCT係数の周波数ごとの重み付け平均を算出してブロック平均とする。なお、周波数ごとの重み付けでは、高周波ほど低周波よりも重み付けを重くするとよい。さらに、臓器判定部4aは、観察画像ごとに各8×8画素ブロックのブロック平均をさらに平均した全体平均を代表DCT係数として算出する。
ステップS511では、臓器判定部4aは、一連の観察画像のうち処理対象画像に対し、その処理対象画像を含む時系列に近接した複数の観察画像における代表DCT係数の平均であるDCT係数平均を算出する。そして、算出したDCT係数平均を処理対象画像に対応付ける。なお、本変形例4では、一連の観察画像のうちの時系列に近接した例えば100枚の観察画像を用いてDCT係数平均を算出する。ただし、このDCT係数平均を算出するための観察画像の枚数は、一連の観察画像を撮像したときの撮像間隔などによって適当な枚数に設定するとよい。臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとにDCT係数平均を算出することで、一連の観察画像全体にわたる代表DCT係数の移動平均を得る。
ステップS513では、臓器判定部4aは、一連の観察画像のうち処理対象画像に対し、その処理対象画像を含む時系列に近接した複数の観察画像における各観察画像間での代表DCT係数の変化量の平均であるDCT変化量平均を算出する。そして、算出したDCT変化量平均を処理対象画像に対応付ける。なお、本変形例4では、一連の観察画像のうちの時系列に近接した例えば100枚の観察画像を用いてDCT変化量平均を算出する。ただし、このDCT変化量平均を算出するための観察画像の枚数は、一連の観察画像を撮像したときの撮像間隔などによって適当な枚数に設定するとよい。臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとにDCT変化量平均を算出することで、一連の観察画像全体にわたる代表DCT係数の変化量の移動平均を得る。
ステップS515では、臓器判定部4aは、一連の観察画像のうち処理対象画像に対し、まず、ステップS511によって算出したDCT係数平均と、所定のDCT判定基準との大小関係に応じ、処理対象画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。具体的には、臓器判定部4aは、ステップS512によって算出した全体平均FdctAveと、あらかじめ設定された変数Kとをもとに、次式(8)によってDCT判定基準としての閾値Tdctを算出し、この閾値Tdctに対してDCT係数平均Fdctが次式(9)を満足するか否かを判別する。
Tdct=FdctAve+K ・・・(8)
Fdct<Tdct ・・・(9)
臓器判定部4aは、式(9)が満足される場合、処理対象画像に撮像された臓器が食道もしくは胃であると判定し、式(9)が満足されない場合、小腸もしくは大腸であると判定する。そして、この判定結果を処理対象画像に対応付ける。さらに、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の判定を行うことで、一連の観察画像における各観察画像に撮像された臓器が食道もしくは胃であるか、小腸もしくは大腸であるかを判定する。
なお、臓器判定部4aは、一連の観察画像に胃、小腸および大腸がこの順に撮像されていることが明らかな場合、その先頭画像から順に処理対象画像を切り換えることにより、式(9)が満足されないと最初に判別した観察画像以降すべての観察画像を、小腸もしくは大腸が撮像されたものと判定する。これによって、食道もしくは胃が撮像された観察画像と、小腸もしくは大腸が撮像された観察画像とをより迅速に判別することができる。
つぎに、臓器判定部4aは、小腸もしくは大腸が撮像されていると判定した一連の観察画像のうち処理対象画像に対し、ステップS513によって算出したDCT変化量平均と、所定のDCT変化量判定基準との大小関係に応じ、処理対象画像に撮像された臓器が小腸であるか、大腸であるかを判定する。具体的には、臓器判定部4aは、ステップS514によって算出した全体平均FdctDiffAveと、あらかじめ設定された変数Lとをもとに、次式(10)によってDCT変化量判定基準としての閾値TdctDiffを算出し、この閾値TdctDiffに対してDCT変化量平均FdctDiffが次式(11)を満足するか否かを判別する。
TdctDiff=FdctDiffAve+L ・・・(10)
FdctDiff<TdctDiff ・・・(11)
臓器判定部4aは、式(11)が満足される場合、処理対象画像に撮像された臓器が大腸であると判定し、式(11)が満足されない場合、小腸であると判定する。そして、この判定結果を処理対象画像に対応付ける。さらに、臓器判定部4aは、先に小腸もしくは大腸が撮像されていると判定した一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の判定を行うことで、その各観察画像に撮像されている臓器が小腸であるか、大腸であるかを判定する。これによって、臓器判定部4aは、一連の全観察画像における各観察画像に撮像された臓器を、食道もしくは胃と、小腸と、大腸とのいずれか一つと判定し、判定結果を各観察画像に対応付けることができる。
なお、式(8)に示したように、DCT判定基準としての閾値Tdctの算出に代表DCT係数の全体平均FdctAveを用いるのは、被検体ごとに臓器の特徴に個体差があり、その個体差による影響を軽減するためである。同様に、式(10)に示したように、DCT変化量判定基準としての閾値TdctDiffの算出に代表DCT係数の変化量の全体平均FdctDiffAveを用いるのも、個体差による影響を軽減するためである。また、変数K,Lは、観察者が入力部2から入力することで設定されるものであり、適宜変更可能とされている。
なお、上述した臓器判定処理では、臓器判定部4aは、各観察画像に撮像された臓器をステップS515によって一括して判定するものとしたが、式(9)による判定と式(11)による判定とを個別に行うこともできる。例えば、ステップS512の直後に式(9)による判定を行うことで、小腸もしくは大腸が撮像されていると判定した観察画像だけを対象にステップS513を行うことができ、これによって、より迅速に臓器判定処理を行うことができる。
また、上述した臓器判定処理では、臓器判定部4aは、ステップS515において式(9)による判定と式(11)による判定とを順次行うものとして説明したが、一括して判定をすることもできる。例えば、処理対象画像ごとにDCT係数平均FdctとDCT変化量平均FdctDiffとによって表される特徴ベクトル(Fdct,FdctDiff)を求め、この特徴ベクトルが特徴空間上で属する領域に応じて臓器を判定することができる。具体的には、特徴ベクトル(Fdct,FdctDiff)が式(9)を満足する領域内にある場合、食道もしくは胃が撮像されていると判定し、それ以外の領域であって式(11)を満足する領域内にある場合には、大腸が撮像されていると判定することができる。さらに、それ以外の領域内にある場合には、小腸が撮像されていると判定することができる。
また、上述した臓器判定処理では、臓器判定部4aは、複数の観察画像におけるDCT係数平均とDCT変化量平均とをもとに臓器の判定を行うものとしたが、必ずしも平均を用いる必要はなく、例えば個々の代表DCT係数と個々の代表DCT係数の変化量とをもとに臓器判定をすることもできる。これによって、判定精度の要求が比較的緩い場合には、より迅速に臓器判定処理を行うことができる。
(変形例5)
つぎに、本実施の形態にかかる画像処理装置の変形例5について説明する。本変形例5では、臓器判定部4aは、観察画像ごとの複数のDCT係数をもとに特徴ベクトルを求め、この特徴ベクトルによって臓器判定を行うようにしている。
図15は、臓器判定部14aによる臓器判定処理の処理手順を示すフローチャートである。この図に示すように、臓器判定部4aは、まず観察画像ごとにDCT係数をもとに特徴ベクトルを算出し(ステップS611)、臓器判定基準データ記憶部3bから臓器判定基準データを読み込む(ステップS612)。そして、算出した特徴ベクトルと読み込んだ臓器判定基準データとをもとに、各観察画像に撮像された臓器を判定し(ステップS613)、臓器判定処理を終了してステップS102へリターンする。
ステップS611では、臓器判定部4aは、まず一連の観察画像における処理対象画像について、圧縮画像データの伸張時に処理単位とされる各8×8画素ブロックごとに、所定の1以上のDCT係数をもとに、低周波成分のブロック代表値と、高周波成分のブロック代表値とを算出する。具体的には、図14に示すように得られる8×8画素ブロックのDCT係数「DCT1」〜「DCT64」をもとに、例えば低周波成分のブロック代表値として「DCT2」〜「DCT10」の周波数ごとの重み付け平均を算出し、高周波成分のブロック代表値として「DCT55」〜「DCT64」の周波数ごとの重み付け平均を算出する。なお、周波数ごとの重み付けでは、高周波ほど低周波よりも重み付けを重くするとよい。
さらに、臓器判定部4aは、処理対象画像における各8×8画素ブロックの低周波成分のブロック代表値と、高周波成分のブロック代表値と、DC成分を示す「DCT1」とをそれぞれ処理対象画像内の全8×8画素ブロックにわって平均し、特徴量D〜Fとして算出する。そして、この特徴量D〜Fによって示される特徴空間上のベクトルを、処理対象画像の周波数分布を示す特徴ベクトルとして処理対象画像に対応付ける。さらに、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに同様の処理を行うことで、各観察画像の特徴ベクトルを算出する。
ステップS612では、臓器判定部4aは、例えば図16に示すようにあらかじめ特徴空間上で各臓器がクラス分けされたクラス辞書としての臓器判定基準データを読み込む。そして、ステップS613では、臓器判定部4aは、例えばkNN法(k-Nearest Neighbor Method)や部分空間法などの公知の判別手法を用い、ステップS612によって読み込んだ臓器判定基準データをもとに、ステップS611によって算出した各観察画像の特徴ベクトルが属する臓器の種類を判別する。その際、臓器判定部4aは、一連の観察画像内で処理対象画像を順次切り換え、切り換えた処理対象画像ごとに特徴ベクトルが属する臓器の種類を判別する。これによって、臓器判定部4aは、各観察画像に撮像された臓器を、食道もしくは胃と、小腸と、大腸とのいずれか一つと判定し、判定結果を各観察画像に対応付ける。
なお、上述した臓器判定処理では、臓器判定部4aは、3つの特徴量D〜Fをもとに特徴ベクトルを算出し、臓器判定を行うものとしたが、3つに限定されず、2つもしくは4つ以上の特徴量をもとに特徴ベクトルを算出することもできる。例えば、ステップS611において、各8×8画素ブロックにおけるDCT係数「DCT1」〜「DCT64」をそれぞれブロック代表値とし、このブロック代表値ごとに処理対象画像内の全8×8画素ブロックにわたる平均値を算出して特徴量とすることで、最大64次元の特徴量からなる特徴ベクトルを得ることができる。これにより、DCT係数における全周波数成分を反映させた特徴ベクトルに基づいて臓器判定を行うことができ、より高精度に臓器判定をすることができる。ただし、次元数を増やすことで特徴ベクトルの導出にかかる処理時間が増大するため、必要な判定精度に応じて次元数を適宜設定することが好ましい。
ここまで、本発明を実施する最良の形態を、変形例1および2を含む実施の形態として説明したが、本発明は、上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。
例えば、上述した実施の形態では、画像処理制御部6aは、臓器判定部4aが判定した臓器と撮像距離推定部4bが推定した撮像距離とに基づいて異常検出パラメータのパラメータ値を設定するものとしたが、臓器判定部4aが判定した臓器と、撮像距離推定部4bが推定した撮像距離とのどちらか一方に基づいてパラメータ値を設定することもできる。
その場合、異常検出パラメータ記憶部3dは、臓器または撮像距離の一方に応じてあらかじめパラメータ値を記憶した記憶テーブルを備えるようにすることができる。具体的には、異常検出パラメータ記憶部3dは、画像処理制御部6aが臓器に基づいてパラメータ値を設定する場合、例えば図17−1に示すように臓器ごとにパラメータ値を記憶した記憶テーブルを備えることができる。また、画像処理制御部6aが撮像距離に基づいてパラメータ値を設定する場合には、例えば図17−2に示すように撮像距離に応じてパラメータ値を記憶した記憶テーブルを備えることができる。
さらに、画像処理制御部6aが臓器と撮像距離とのどちらか一方に基づいてパラメータ値を設定する場合には、画像処理部4は、臓器判定部4aと撮像距離推定部4bとのいずれか一方だけを備えるようにすることができ、記憶部3は、臓器判定基準データ記憶部3bと距離推定基準データ記憶部3cとのいずれか一方だけを備えるようにすることができる。なお、その場合、図2に示した画像処理手順では、ステップS102の臓器判定処理とステップS103の撮像距離推定処理とのいずれか一方を省略することができる。
また、上述した実施の形態における臓器判定処理では、臓器判定部4aは、一連の観察画像におけるすべての観察画像について臓器判定を行うものとして説明したが、例えばあらかじめ指定された画像数もしくは画像番号までの観察画像についてのみ臓器判定を行うようにすることもできる。あるいは、所望する臓器を指定し、その臓器が撮像された観察画像までを処理対象とすることもできる。これによって、所望する臓器が撮像された観察画像のみ対象として一層迅速に臓器判定処理を行うことができる。
同様に、撮像距離推定処理、パラメータ設定処理および異常領域検出処理においても、すべての観察画像に限らず、あらかじめ定められた観察画像のみを処理対象とすることができ、これによって、異常領域を検出するまでにかかる全体の処理時間を一層短縮化することができる。
なお、上述した実施の形態では、画像処理装置1が処理する一連の観察画像は、食道、胃、小腸および大腸の内部が順次撮像されたものとしたが、食道もしくは胃と、小腸と、大腸との少なくとも1つの内部が個別に撮像された画像群であっても、本発明は適用可能である。