JP4394399B2 - 画像解析装置、画像解析プログラム、記憶媒体および画像解析方法 - Google Patents

Description

本発明は、画像解析装置、画像解析プログラム、記憶媒体および画像解析方法に関する。

テクスチャ画像を対象とする領域分割については、従来から広く研究がなされている。その多くは、共起行列、マルコフ確率場（Markov Random Field：ＭＲＦ）やフーリエ変換等に基づく統計的アプローチによるものである。この種のアプローチに基づく領域分割の主要な目的の一つは、テクスチャ画像を一様性の評価の下に自由度の高い領域形状で分割することである。

このような一様性の評価に際しては、テクスチャ解析を行う画素の範囲の扱いが一つの大きな焦点となる。より詳細には、画像処理の目的によっては、局所的なテクスチャ特徴に基づいて画像をいくつもの微小な領域に分割するよりも、大域的な特徴量を使っていくつかの大きな領域にまとめた方が望ましい場合が考えられる。例えば柄物のシャツなど、何らかのテクスチャによって構成されるテクスチャ特徴優位なオブジェクトを精度良く切出すような場合である。このような場合に、オブジェクトに相当する領域の内部を細かく分割して解析精度を向上させると、領域境界にひずみが生じてしまう。つまり、テクスチャ解析を行う画素の範囲を広げることによる解析精度の向上と領域境界のひずみとのトレードオフが問題となる。

この種の問題への対処法として、非特許文献１には、一様範囲の推定によって解析の範囲を可変とする方法が提案されている。

内山俊郎,武川直樹,中村太一,金子博,"一様範囲の推定を用いたテクスチャ画像の領域分割,"信学論（Ｄ−II）,vol.Ｊ83−Ｄ−II,pp.1446−1459,2000.

しかしながら、非特許文献１に提案されている方法は、濃度値に対する２次のＭＲＦに基づいて特徴をとらえる方法のため、処理の対象は比較的短い周期のテクスチャに限られる。

また、近年においては、濃度値の変動特徴を空間−周波数領域において多様なスケールで効率的にとらえることのできる手段として、ウェーブレットによる多重解像度解析が注目されている。特に、テクスチャ特徴に対するシフト不変な解析手段としてウェーブレットフレームが盛んに取り上げられている。ただし，多様なスケールによって特徴付けられる大域的なテクスチャ特徴をとらえるには、それに相当する範囲の領域を解析する必要がある。

本発明は、解析精度が高く境界のひずみも少ないオブジェクト切出しを行うことができる画像解析装置、画像解析プログラム、記憶媒体および画像解析方法を提供することを目的とする。

本発明の画像解析装置は、画像を所定の領域に分割する領域分割手段と、この領域分割手段により分割された前記領域ごとにウェーブレットフレームによる多重解像度解析を所定のレベルまで繰り返し実行する多重解像度解析手段と、この多重解像度解析手段によって得られるウェーブレット係数から所定の特徴量を抽出する特徴抽出手段と、この特徴抽出手段により抽出された前記特徴量に基づいて前記領域ごとにラベルを設定する領域ラベル設定手段と、所定の領域における所定の特徴量をクラスタ中心として前記各領域をクラスタリングするクラスタリング手段と、前記所定の領域および前記クラスタリングによって得られる所定のクラスタから成る領域とその周辺の領域との境界形状を所定の基準に従って最適化する領域境界最適化手段と、を具備する。

また本発明は、前記画像解析装置において、前記領域分割手段、前記多重解像度解析手段、前記特徴抽出手段並びに前記領域ラベル設定手段を、所定の終了条件が満たされるまで再帰的に実行する。

また本発明は、前記画像解析装置において、前記領域分割手段、前記多重解像度解析手段、前記特徴抽出手段並びに前記クラスタリング手段を、所定の終了条件が満たされるまで再帰的に実行する。

また本発明は、前記何れか一記載の画像解析装置において、前記領域分割手段は、対象とする画像を所定の大きさで所定の数の矩形領域に分割する。

また本発明は、前記何れか一記載の画像解析装置において、前記領域ラベル設定手段は、近傍領域間の特徴量に関する所定の類似度に応じて所定のラベルを付与する。

また本発明は、前記何れか一記載の画像解析装置において、前記領域境界最適化手段は、前記領域とその周辺の領域とにマルコフ確率場モデルをそれぞれ導入し、当該モデルに基づく当該領域の尤度が最大となる境界を探索する。

また本発明は、前記何れか一記載の画像解析装置において、前記特徴抽出手段は、所定の各分解レベルから所定の成分毎に求めた平均エネルギーの各々を要素とするベクトルを特徴量とする。

また本発明の画像解析プログラムは、コンピュータにインストールされ、画像を所定の領域に分割する領域分割機能と、この領域分割機能により分割された前記領域ごとにウェーブレットフレームによる多重解像度解析を所定のレベルまで繰り返し実行する多重解像度解析機能と、この多重解像度解析機能によって得られるウェーブレット係数から所定の特徴量を抽出する特徴抽出機能と、この特徴抽出機能により抽出された前記特徴量に基づいて前記領域ごとにラベルを設定する領域ラベル設定機能と、所定の領域における所定の特徴量をクラスタ中心として前記各領域をクラスタリングするクラスタリング機能と、前記所定の領域および前記クラスタリングによって得られる所定のクラスタから成る領域とその周辺の領域との境界形状を所定の基準に従って最適化する領域境界最適化機能と、をコンピュータに実行させる。

また本発明は、前記画像解析プログラムにおいて、前記領域分割機能、前記多重解像度解析機能、前記特徴抽出機能並びに前記領域ラベル設定機能を、所定の終了条件が満たされるまで再帰的にコンピュータに実行させる。

また本発明は、前記画像解析プログラムにおいて、前記領域分割機能、前記多重解像度解析機能、前記特徴抽出機能並びに前記クラスタリング機能を、所定の終了条件が満たされるまで再帰的にコンピュータに実行させる。

また本発明の記憶媒体は、前記いずれか一記載の画像解析プログラムを記憶する。

また本発明の画像解析方法は、画像を所定の領域に分割する領域分割ステップと、この領域分割ステップにより分割された前記領域ごとにウェーブレットフレームによる多重解像度解析を所定のレベルまで繰り返し実行する多重解像度解析ステップと、この多重解像度解析ステップによって得られるウェーブレット係数から所定の特徴量を抽出する特徴抽出ステップと、この特徴抽出ステップにより抽出された前記特徴量に基づいて前記領域ごとにラベルを設定する領域ラベル設定ステップと、所定の領域における所定の特徴量をクラスタ中心として前記各領域をクラスタリングするクラスタリングステップと、前記所定の領域および前記クラスタリングによって得られる所定のクラスタから成る領域とその周辺の領域との境界形状を所定の基準に従って最適化する領域境界最適化ステップと、を具備する。

また本発明は、前記画像解析方法において、前記領域分割ステップ、前記多重解像度解析ステップ、前記特徴抽出ステップ並びに前記領域ラベル設定ステップを、所定の終了条件が満たされるまで再帰的に実行する。

また本発明は、前記画像解析方法において、前記領域分割ステップ、前記多重解像度解析ステップ、前記特徴抽出ステップ並びに前記クラスタリングステップを、所定の終了条件が満たされるまで再帰的に実行する。

また本発明は、前記何れか一記載の画像解析方法において、前記領域分割ステップは、対象とする画像を所定の大きさで所定の数の矩形領域に分割する。

また本発明は、前記何れか一記載の画像解析方法において、前記領域ラベル設定ステップは、近傍領域間の特徴量に関する所定の類似度に応じて所定のラベルを付与する。

また本発明は、前記何れか一記載の画像解析方法において、前記領域境界最適化ステップは、前記領域とその周辺の領域とにマルコフ確率場モデルをそれぞれ導入し、当該モデルに基づく当該領域の尤度が最大となる境界を探索する。

また本発明は、前記何れか一記載の画像解析方法において、前記特徴抽出ステップは、所定の各分解レベルから所定の成分毎に求めた平均エネルギーの各々を要素とするベクトルを特徴量とする。

本発明によれば、ウェーブレットフレームを用いた多様なスケールでの空間−周波数解析に基づく粗い領域分割の後、領域境界の最適化を行うことによって、解析精度が高く境界のひずみも少ないオブジェクト切出しを行うことができる。

本発明の実施の一形態を図１ないし図６に基づいて説明する。

図１は、本発明が適用される画像解析装置１のハードウェア構成を概略的に示すブロック図である。図１に示すように、画像解析装置１は、例えばパーソナルコンピュータやワークステーションであり、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Central Processing Unit）２を備えている。このＣＰＵ２には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３と、各種データを書換え可能に記憶するＲＡＭ（Random Access Memory）４とがバス５で接続されている。ＲＡＭ４は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ２の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。

さらにバス５には、外部記憶装置であるＨＤＤ（Hard Disk Drive）６と、配布されたプログラムであるコンピュータプログラムを読み取るための機構としてＣＤ（Compact Disc）−ＲＯＭ７を読み取るＣＤ−ＲＯＭドライブ８と、画像解析装置１とネットワーク９との通信を司る通信制御装置１０と、入力手段として機能するキーボードやマウスなどの入力装置１１と、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）などの表示装置１２とが、図示しないＩ／Ｏを介して接続されている。ＨＤＤ６には、各種の情報が、コンピュータ上のファイルシステム構造におけるファイルやフォルダなどの形式で記憶されている。

図１に示すＣＤ−ＲＯＭ７は、この発明の記憶媒体を実施するものであり、Windows（登録商標）などのＯＳ（Operating System）や各種コンピュータプログラムが記憶されている。ＣＰＵ２は、ＣＤ−ＲＯＭ７に記憶されているコンピュータプログラムをＣＤ−ＲＯＭドライブ８で読み取り、ＨＤＤ６にインストールする。

なお、記憶媒体としては、ＣＤ−ＲＯＭ７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１０を介してインターネットなどのネットワーク９からコンピュータプログラムをダウンロードし、ＨＤＤ６にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータプログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。

このシステム全体の動作を制御するＣＰＵ２は、このシステムの主記憶として使用されるＨＤＤ６上にロードされたコンピュータプログラムに基づいて各種処理を実行する。

次に、画像解析装置１のＣＰＵ２がコンピュータプログラムに基づいて実行する演算処理の内容について説明する。ここでは、画像解析装置１のＣＰＵ２が実行する各種の演算処理のうち、本実施の形態の特長的な処理について以下に説明する。

図２は、画像解析装置１が実行する処理を概略的に示すフローチャートである。図２に示すように、画像解析装置１のＣＰＵ２は、まず、カウンタｎを０に初期化する（ステップＳ１）。

次に、解析対象とする画像（原画像）を所定の大きさで所定の矩形領域（以降、タイルと呼ぶ）に分割する（ステップＳ２）。例えば、原画像を（２^ｎ＋１）^２個のタイルに等分割する方法などが考えられる。

次に、タイル毎に、所定の分解レベルまでウェーブレットフレーム分解を実行する（ステップＳ３）。ウェーブレットフレーム分解の最も簡単な実施法は、ウェーブレット分解におけるダウンサンプリングを省略することである。また、分解レベルの限度は、対象とするタイルの大きさを考慮して決めれば良い。

続いて、タイル毎に特徴ベクトルの抽出を行う（ステップＳ４）。ステップＳ３のウェーブレットフレーム分解により、分解レベル毎に、ＬＬ成分、ＨＬ成分、ＬＨ成分そしてＨＨ成分の４種類にそれぞれ対応する係数値がタイルの画素数と同数ずつ得られる。ここで、Ｌは低域、Ｈは高域を表すアルファベットである。また、これらが二つ並んだ場合には、前に位置するアルファベットが水平方向、後に位置するアルファベットが垂直方向に対応するものとする。特徴ベクトルの要素には、各成分の平均エネルギーなどを採用すれば良い。なお、必ずしもすべての分解レベルやすべての成分を特徴ベクトルの要素に採用する必要はない。例えば、微細な周期的変動による影響を抑制したい場合には、周期の短いフレームを用いる分解レベルの成分を使用しない方法もある。また、低域成分のエネルギーが高くなりすぎてしまう場合には、各分解レベルのＬＬ成分を使用しないことも考えられる。

次に、カウンタｎと繰り返し回数の上限Ｍを比較する（ステップＳ５）。カウンタｎが繰り返し回数の上限Ｍに達していないときは（ステップＳ５のＹ）、ステップＳ４にて抽出した特徴ベクトルに基づいて各タイルのラベルを設定する領域ラベル設定処理を行う（ステップＳ６）。

ここで、ステップＳ６における領域ラベル設定処理について説明する。図３は、領域ラベル設定処理を概略的に示すフローチャートである。図３に示すように、まず、画像内におけるタイルの位置を表す変数ｋおよび変数ｌをそれぞれ０に初期化すると共に、すべてのタイルにラベルの初期値として０を付与する（ステップＳ２１）。そして、カウンタｊに０を代入する（ステップＳ２２）。

次に、タイル（ｋ，ｌ）とその近傍に位置するタイル（ｋ＋τ_ｊ，ｌ＋τ_ｊ）（ｊ＝０，１，・・・，Ｊ−１）との間の誤差ｄを算出する（ステップＳ２３）。ここで、Ｊは近傍タイルの数を表す。誤差ｄの値としては、各タイルの特徴ベクトル同士の二乗誤差等を用いれば良い。また、近傍タイルの範囲は、設計者が任意で設定する。

その後、誤差ｄと所定の閾値Ｄを比較する（ステップＳ２４）。誤差ｄが閾値Ｄに達しているときは（ステップＳ２４のＮ）、ステップＳ２６に進む。一方、誤差ｄが閾値Ｄに達していないときは（ステップＳ２４のＹ）、タイル（ｋ，ｌ）と近傍タイル（ｋ＋τ_ｊ，ｌ＋τ_ｊ）とに同一のラベルを新たに付与する（ステップＳ２５）。具体的には、例えば、以下に示すような条件（１）〜（４）にしたがってラベルの値を対応させれば良い。ここで、タイル（ｋ，ｌ）におけるラベルの値を、ｓ（ｋ，ｌ）と表すことにする。

（１） ｓ（ｋ，ｌ）＝０、ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）＝０であるとき、双方に新規のラベルを与える。

（２） ｓ（ｋ，ｌ）＝０、ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）≠０であるとき、ｓ（ｋ，ｌ）←ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）とする。

（３） ｓ（ｋ，ｌ）≠０、ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）＝０であるとき、ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）←ｓ（ｋ，ｌ）とする。

（４） ｓ（ｋ，ｌ）≠０、ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）≠０であるとき、ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）との間の誤差が他のいずれの近傍タイルとの間の誤差よりも低い場合、ｓ（ｋ，ｌ）←ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）とする。

なお、前記（４）の場合には、ラベル変更前のｓ（ｋ，ｌ）と同じ値をもつ他のタイルについても、ｓ（ｋ，ｌ）の変更に伴ってラベルの値を変えることが考えられる。具体的には、そのようなタイルのうち、ｓ（ｋ＋τ_ｊ，ｌ＋τ_ｊ）と同じ値をもつタイルが近傍に存在し、そのタイルとの誤差が他のいずれの近傍タイルとの誤差より低いもののラベルを再帰的に変更していく方法などが挙げられる。

ステップＳ２６では、カウンタｊと近傍タイルの数Ｊを比較する。カウンタｊが近傍タイルの数Ｊに達していないときは（ステップＳ２６のＹ）、カウンタｊを１インクリメントして（ステップＳ２７）、ステップＳ２３以降の処理を繰り返す。一方、カウンタｊが近傍タイルの数Ｊに達しているときは（ステップＳ２６のＮ）、ステップＳ２８に進む。

ステップＳ２８では、変数ｋと水平方向のタイル数Ｋを比較する。変数ｋが水平方向のタイル数Ｋに達していないときは（ステップＳ２８のＹ）、変数ｋを１インクリメントして（ステップＳ２９）、ステップＳ２２以降の処理を繰り返す。一方、変数ｋが水平方向のタイル数Ｋに達しているときは（ステップＳ２８のＮ）、ステップＳ３０に進む。

ステップＳ３０では、変数ｌと垂直方向のタイル数Ｌを比較する。変数ｌが垂直方向のタイル数Ｌに達していないときは（ステップＳ３０のＹ）、変数ｋに０を代入すると共に変数ｌを１インクリメントして（ステップＳ３１）、ステップＳ２２以降の処理を繰り返す。一方、変数ｌが垂直方向のタイル数Ｌに達しているときは（ステップＳ３０のＮ）、領域ラベル設定処理を終了する。

このようにして領域ラベル設定処理（ステップＳ６）を終了すると、カウンタｎを１インクリメントして（ステップＳ７）、ステップＳ２以降の処理を繰り返す。

一方、カウンタｎが繰り返し回数の上限Ｍに達したときは（ステップＳ５のＮ）、ステップＳ８に進む。

ステップＳ８では、カウンタｎと繰り返し回数の上限Ｍの異同を判定する。カウンタｎと繰り返し回数の上限Ｍが等しいときは（ステップＳ８のＹ）、所定の領域（以降、選択領域と呼ぶ）を選択し（ステップＳ９）、ステップＳ１１以降のクラスタリングを行う処理に進む。選択領域については、オブジェクト等の切り出したい領域に合致した領域ラベルを選択すれば良い。例えば、あらかじめ画像の重心付近に存在することがわかっているテクスチャ特徴優位なオブジェクトの切り出しを目的とする場合には、画像の重心に相当する座標に近い所定の領域のラベルを選択する方法が考えられる。

一方、カウンタｎと繰り返し回数の上限Ｍが異なるときは（ステップＳ８のＮ）、ステップＳ１０に進む。ステップＳ１０では、カウンタｎと繰り返し回数の上限Ｎを比較する。カウンタｎが繰り返し回数の上限Ｎに達していないときは（ステップＳ１０のＹ）、選択領域内の特徴ベクトルからクラスタ中心を設定する（ステップＳ１１）。なお、クラスタ中心の設定は、k-meansアルゴリズムやＬＢＧアルゴリズムなどに基づいて行えば良い。また、クラスタ中心の数は任意である。

続いて、全タイルを対象にクラスタリング処理を行い（ステップＳ１２）、カウンタｎを１インクリメントして（ステップＳ７）、ステップＳ２以降の処理を繰り返す。

ここで、ステップＳ１２におけるクラスタリング処理について説明する。図４は、部分空間法を用いたクラスタリング処理を概略的に示すフローチャートである。なお、当該クラスタリングの処理については、ＬＢＧアルゴリズムなど他の方法を用いても良い。図４に示すように、まず、選択領域内のクラスタを表す変数ｃ、タイルの配置を表す変数ｋおよび変数ｌをそれぞれ０に初期化する（ステップＳ４１）。

次に、選択領域のクラスタｃについて、その固有値と固有ベクトルを求め、所定の上位固有値に対応する固有ベクトルによって部分空間を定める（ステップＳ４２）。

その後、当該部分空間に基づいて、タイル（ｋ，ｌ）の特徴ベクトルとクラスタｃとの適合度ｒを測る（ステップＳ４３）。具体的には、当該部分空間を構成する固有ベクトルと当該特徴ベクトルとの内積を求めれば良い。なお、タイル（ｋ，ｌ）が選択領域に含まれる場合、ステップＳ４３の処理をスキップしても良い。

適合度ｒを算出後、その値を所定の閾値Ｒと比較する（ステップＳ４４）。適合度ｒが閾値Ｒに達しているときは（ステップＳ４４のＹ）、タイル（ｋ，ｌ）を、選択領域との類似性が高いタイル（以降、類似領域候補タイルと呼ぶ）であると判定し（ステップＳ４５）、ステップＳ４６に進む。一方、適合度ｒが閾値Ｒに達していないときは（ステップＳ４４のＮ）、そのままステップＳ４６に進む。

ステップＳ４６では、変数ｋと水平方向のタイル数Ｋを比較する。変数ｋと水平方向のタイル数Ｋとの比較の結果、変数ｋが水平方向のタイル数Ｋに達していないときは（ステップＳ４６のＹ）、変数ｋを１インクリメントして（ステップＳ４７）、ステップＳ４２以降の処理を繰り返す。一方、変数ｋが水平方向のタイル数Ｋに達しているときは（ステップＳ４６のＮ）、ステップＳ４８に進む。

ステップＳ４８では、変数ｌと垂直方向のタイル数Ｌを比較する。変数ｌが垂直方向のタイル数Ｌに達していないときは（ステップＳ４８のＹ）、変数ｋに０を代入すると共に変数ｌを１インクリメントして（ステップＳ４９）、ステップＳ４２以降の処理を繰り返す。変数ｌが垂直方向のタイル数Ｌに達しているときは（ステップＳ４８のＮ）、ステップＳ５０に進む。

ステップＳ５０では、変数ｃとクラスタ数の上限Ｃを比較する。クラスタ数の上限Ｃの値は、設計者があらかじめ定める。変数ｃがクラスタ数の上限Ｃに達していないときは（ステップＳ５０のＹ）、変数ｃを１インクリメントして（ステップＳ５１）、ステップＳ４２以降の処理を繰り返す。

一方、変数ｃがクラスタ数の上限Ｃに達しているときは（ステップＳ５０のＮ）、抽出された類似領域候補タイルのうち、選択領域に直接もしくは間接的に隣接するものの集合を類似領域として設定する（ステップＳ５２）。ここで、間接的に隣接するとは、類似領域となるタイルを伝って選択領域に至ることができることを指す。ステップＳ５２の処理は、領域の空間的連続性を保存するために画像空間上で離れた位置にあるタイルを類似領域から除外するためのものであり、選択領域のタイルから隣接する類似領域候補タイルを再帰的に辿っていくことで容易に実行できる。

このようにクラスタリング処理においては、ステップＳ１１で設定したクラスタ中心に基づいて選択領域内で部分空間を構成し、全タイルについて、各部分空間との適合度ｒを測り、選択領域外のタイルのうち、適合度ｒの値が閾値を上回るものを類似領域とする。ただし、選択領域に隣接しないタイルは除く。なお、類似領域となるタイルを伝って選択領域に至ることができるタイルは、選択領域に隣接するとみなす。

以上により、ステップＳ１２におけるクラスタリング処理が終了する。

一方、カウンタｎが繰り返し回数の上限Ｎに達しているときは（ステップＳ１０のＮ）、ステップＳ１３に進む。ステップＳ１３では、選択領域およびステップＳ１２のクラスタリング処理の結果から得られる所定のクラスタから成る領域（以降、類似領域と呼ぶ、また、選択領域と類似領域を合わせて中心領域と呼ぶ）と、その周辺の所定の領域（以降、周辺領域と呼ぶ）との境界を、必要に応じて変形し最適化する。

ここで、ステップＳ１３における尤度関数を用いた領域境界最適化の処理について説明する。図５は、尤度関数を用いた領域境界最適化の処理を概略的に示すフローチャートである。なお、尤度関数の計算には、ガウスマルコフ確率場モデル（ガウシアンＭＲＦ（ＧaussianＭＲＦ：ＧＭＲＦ）モデル）を使用する。図５に示すように、まず、中心領域の画素（ｕ_ｉ，ｖ_ｉ）（（ｕ_ｉ，ｖ_ｉ）∈中心領域、ｉ＝０，１，・・・，Ｍｃ−１）に対応する変数ｅ（ｕ_ｉ，ｖ_ｉ）を１に、所定の周辺領域の画素（ｓ_ｊ，ｔ_ｊ）（（ｓ_ｊ，ｔ_ｊ）∈中心領域、ｊ＝０，１，・・・，Ｍａ−１）に対応する変数ｅ（ｓ_ｊ，ｔ_ｊ）を−１に初期化する（ステップＳ６１）。なお、周辺領域は、中心領域に直接もしくは間接的に隣接する任意のタイルによって構成すれば良い。

次に、変数ｅ'（ｘ_ｈ，ｙ_ｈ）にｅ（ｘ_ｈ，ｙ_ｈ）（ｅ（ｘ_ｈ，ｙ_ｈ）＝１またはｅ（ｘ_ｈ，ｙ_ｈ）＝−１、ｈ＝０，１，・・・，Ｍｃ＋Ｍａ−１）の値を代入し、ｅ（ｘ_ｈ，ｙ_ｈ）＝１となる領域の尤度をｐ１に、ｅ（ｘ_ｈ，ｙ_ｈ）＝−１となる領域の尤度をｐ−１にそれぞれ代入する。さらに、変数ｍ、変数ｗにそれぞれ０を代入する。（ステップＳ６２）。

その後、画素（ｘ_ｍ，ｙ_ｍ）が中心領域と周辺領域の境界に該当するか否かをｅ（ｘ_ｍ，ｙ_ｍ）の値に基づいて調べる（ステップＳ６３）。具体的には、ｅ（ｘ_ｍ，ｙ_ｍ）が近傍のｅ（ｘ_ｍ＋δ_ｉ，ｙ_ｍ＋δ_ｉ）（ｉ＝０，１，・・・，Ｉ）と異なるとき、画素（ｘ_ｍ，ｙ_ｍ）を境界と判定すれば良い。ここで、Iは近傍画素の数を表す。なお、近傍画素については、４近傍や８近傍を考えれば良い。

画素（ｘ_ｍ，ｙ_ｍ）を境界と判定したときは（ステップＳ６３のＹ）、ｅ'（ｘ_ｍ，ｙ_ｍ）に−ｅ'（ｘ_ｍ，ｙ_ｍ）を代入し（ステップＳ６４）、ステップＳ６５に進む。一方、画素（ｘ_ｍ，ｙ_ｍ）を境界でないと判定したときは（ステップＳ６３のＮ）、ステップＳ６９に進む。

ステップＳ６５では、ｅ'（ｘ_ｈ，ｙ_ｈ）＝１となる領域の尤度をｐ'_１に、ｅ'（ｘ_ｈ，ｙ_ｈ）＝−１となる領域の尤度をｐ'_−１にそれぞれ代入する。

次に、ｐ'_１ｐ'_−１の値を、ｐ_１ｐ_−１の値と比較する（ステップＳ６６）。ｐ'_１ｐ'_−１がｐ_１ｐ_−１より大きいときは（ステップＳ６６のＹ）、ｅ（ｘ_ｍ，ｙ_ｍ）に−ｅ（ｘ_ｍ，ｙ_ｍ）を代入すると共にｗに１を代入し（ステップＳ６７）、ステップＳ６８に進む。一方、ｐ'_１ｐ'_−１がｐ_１ｐ_−１以下であるときは（ステップＳ６６のＮ）、そのままステップＳ６８に進む。

ステップＳ６８では、ｅ'（ｘ_ｍ，ｙ_ｍ）に−ｅ'（ｘ_ｍ，ｙ_ｍ）を代入する。

ステップＳ６９では、変数ｍを、中心領域の画素数Ｍｃと周辺領域の画素数Ｍａの合計と比較する。変数ｍがＭｃ＋Ｍａに達していないときは（ステップＳ６９のＹ）、変数ｍを１インクリメントして（ステップＳ７０）、ステップＳ６３以降の処理を繰り返す。一方、変数ｍがＭｃ＋Ｍａに達しているときは（ステップＳ６９のＮ）、ステップＳ７１に進む。

ステップＳ７１では、変数ｗと変数ｌの異同を判定する。変数ｗが変数ｌに等しいときは（ステップＳ７１のＹ）、ステップＳ６２以降の処理を繰り返す。一方、変数ｗが変数ｌでないときは（ステップｓ７１のＮ）、処理を終了する。

このように空間−周波数領域において、中心領域の各クラスタおよび周辺領域の各クラスタそれぞれにガウスマルコフ確率場モデル（ガウシアンＭＲＦ（ＧaussianＭＲＦ：ＧＭＲＦ）モデル）をあてはめ、中心領域の境界画素に対するラベルを最適化する。つまり、画像のウェーブレット係数を確率過程とみなした上で各境界画素について、各モデルパラメータに基づく確率を求め、それが最大となるモデルに対応する領域ラベルを付与する処理を繰り返し行うことで、領域境界の最適化を行う。

ここで、図６はウェーブレットフレームを用いた注目テクスチャ切出しの一例を示す説明図である。ここでは、図６（ａ）のサンプル画像に対して、シャツのオブジェクトを切出すことを想定し、上述した処理を実行した。選択領域については、画像の重心に相当する座標に最も近い領域のラベルを選んだ。特徴ベクトルの要素には、空間−周波数領域における各成分の平均エネルギーを採用した。クラスタリングの際のクラスタ中心については、その数を３とし、k-means法により決定した。なお、領域境界の最適化を行う際には、中心領域全体および周辺領域全体をそれぞれ一つのクラスタとして扱った。図６（ｂ）は切出された領域である。図６（ｂ）に示された領域は、注目オブジェクトを全体的にカバーしているだけでなく、境界のひずみも少ない。ただし、一部ではあるが、シャツに切込みが入ったような境界が見られる。これについては、境界の形状に対する制約やモデル等を新たに設けることによって改善が期待できる。

このように本実施の形態においては、ウェーブレットフレームを用いた多様なスケールでの空間−周波数解析に基づく粗い領域分割の後、領域境界の最適化を行う。これにより、解析精度が高く境界のひずみも少ないオブジェクト切出しを行うことができる。

本発明の実施の一形態の画像解析装置のハードウェア構成を概略的に示すブロック図である。 画像解析装置が実行する処理を概略的に示すフローチャートである。 領域ラベル設定処理を概略的に示すフローチャートである。 部分空間法を用いたクラスタリング処理を概略的に示すフローチャートである。 尤度関数を用いた領域境界最適化の処理を概略的に示すフローチャートである。 ウェーブレットフレームを用いた注目テクスチャ切出しの一例を示す説明図である。

符号の説明

１ 画像解析装置
７ 記憶媒体

Claims (14)

1. 画像を所定の領域に分割する領域分割手段と、
   この領域分割手段により分割された前記領域ごとにウェーブレットフレームによる多重解像度解析を所定のレベルまで繰り返し実行する多重解像度解析手段と、
   この多重解像度解析手段によって得られるウェーブレット係数から所定の特徴量を抽出する特徴抽出手段と、
   この特徴抽出手段により抽出された前記特徴量に基づいて、近傍領域間の前記特徴量の誤差を算出し、算出された誤差の類似度に応じて、当該領域と当該領域の近傍に位置する領域とに同一ラベルを付与することにより、前記領域ごとにラベルを設定する領域ラベル設定手段と、
   所定の領域に合致するラベルが付与された領域を選択領域とし、当該選択領域内の所定の特徴量をクラスタ中心として、クラスタ中心に基づき当該選択領域内で部分空間を定め、当該部分空間と各領域との適合度を測り、当該適合度の類似度に応じて、当該選択領域に類似する類似領域とにクラスタリングするクラスタリング手段と、
   前記選択領域および前記クラスタリングによって得られる所定のクラスタから成る前記類似領域を含む中心領域と、その周辺の領域である周辺領域とにマルコフ確率場モデルをそれぞれ導入し、当該モデルに基づく当該領域の尤度が最大となる境界を探索することにより、前記中心領域と前記周辺領域との境界形状を最適化する領域境界最適化手段と、
   を具備する画像解析装置。
2. 前記領域分割手段、前記多重解像度解析手段、前記特徴抽出手段並びに前記領域ラベル設定手段を、所定の終了条件が満たされるまで再帰的に実行する、
   請求項１記載の画像解析装置。
3. 前記領域分割手段、前記多重解像度解析手段、前記特徴抽出手段並びに前記クラスタリング手段を、所定の終了条件が満たされるまで再帰的に実行する、
   請求項１記載の画像解析装置。
4. 前記領域分割手段は、対象とする画像を所定の大きさで所定の数の矩形領域に分割する、
   請求項１ないし３の何れか一記載の画像解析装置。
5. 前記特徴抽出手段は、所定の各分解レベルから所定の成分毎に求めた平均エネルギーの各々を要素とするベクトルを特徴量とする、
   請求項１ないし３の何れか一記載の画像解析装置。
6. コンピュータにインストールされ、
   画像を所定の領域に分割する領域分割機能と、
   この領域分割機能により分割された前記領域ごとにウェーブレットフレームによる多重解像度解析を所定のレベルまで繰り返し実行する多重解像度解析機能と、
   この多重解像度解析機能によって得られるウェーブレット係数から所定の特徴量を抽出する特徴抽出機能と、
   この特徴抽出機能により抽出された前記特徴量に基づいて、近傍領域間の前記特徴量の誤差を算出し、算出された誤差の類似度に応じて、当該領域と当該領域の近傍に位置する領域とに同一ラベルを付与することにより、前記領域ごとにラベルを設定する領域ラベル設定機能と、
   所定の領域に合致するラベルが付与された領域を選択領域とし、当該選択領域内の所定の特徴量をクラスタ中心として、クラスタ中心に基づき当該選択領域内で部分空間を定め、当該部分空間と各領域との適合度を測り、当該適合度の類似度に応じて、当該選択領域に類似する類似領域とにクラスタリングするクラスタリング機能と、
   前記選択領域および前記クラスタリングによって得られる所定のクラスタから成る前記類似領域を含む中心領域と、その周辺の領域である周辺領域とにマルコフ確率場モデルをそれぞれ導入し、当該モデルに基づく当該領域の尤度が最大となる境界を探索することにより、前記中心領域と前記周辺領域との境界形状を最適化する領域境界最適化機能と、
   をコンピュータに実行させる画像解析プログラム。
7. 前記領域分割機能、前記多重解像度解析機能、前記特徴抽出機能並びに前記領域ラベル設定機能を、所定の終了条件が満たされるまで再帰的にコンピュータに実行させる、
   請求項６記載の画像解析プログラム。
8. 前記領域分割機能、前記多重解像度解析機能、前記特徴抽出機能並びに前記クラスタリング機能を、所定の終了条件が満たされるまで再帰的にコンピュータに実行させる、
   請求項６記載の画像解析プログラム。
9. 請求項６ないし８のいずれか一記載の画像解析プログラムを記憶する記憶媒体。
10. 画像を所定の領域に分割する領域分割ステップと、
    この領域分割ステップにより分割された前記領域ごとにウェーブレットフレームによる多重解像度解析を所定のレベルまで繰り返し実行する多重解像度解析ステップと、
    この多重解像度解析ステップによって得られるウェーブレット係数から所定の特徴量を抽出する特徴抽出ステップと、
    この特徴抽出ステップにより抽出された前記特徴量に基づいて、近傍領域間の前記特徴量の誤差を算出し、算出された誤差の類似度に応じて、当該領域と当該領域の近傍に位置する領域とに同一ラベルを付与することにより、前記領域ごとにラベルを設定する領域ラベル設定ステップと、
    所定の領域に合致するラベルが付与された領域を選択領域とし、当該選択領域内の所定の特徴量をクラスタ中心として、クラスタ中心に基づき当該選択領域内で部分空間を定め、当該部分空間と各領域との適合度を測り、当該適合度の類似度に応じて、当該選択領域に類似する類似領域とにクラスタリングするクラスタリングステップと、
    前記選択領域および前記クラスタリングによって得られる所定のクラスタから成る前記類似領域を含む中心領域と、その周辺の領域である周辺領域とにマルコフ確率場モデルをそれぞれ導入し、当該モデルに基づく当該領域の尤度が最大となる境界を探索することにより、前記中心領域と前記周辺領域との境界形状を最適化する領域境界最適化ステップと、
    を具備する画像解析方法。
11. 前記領域分割ステップ、前記多重解像度解析ステップ、前記特徴抽出ステップ並びに前記領域ラベル設定ステップを、所定の終了条件が満たされるまで再帰的に実行する、
    請求項１０記載の画像解析方法。
12. 前記領域分割ステップ、前記多重解像度解析ステップ、前記特徴抽出ステップ並びに前記クラスタリングステップを、所定の終了条件が満たされるまで再帰的に実行する、
    請求項１０記載の画像解析方法。
13. 前記領域分割ステップは、対象とする画像を所定の大きさで所定の数の矩形領域に分割する、
    請求項１０ないし１２の何れか一記載の画像解析方法。
14. 前記特徴抽出ステップは、所定の各分解レベルから所定の成分毎に求めた平均エネルギーの各々を要素とするベクトルを特徴量とする、
    請求項１０ないし１２の何れか一記載の画像解析方法。
    

Images