JP2014041476A

JP2014041476A - 画像処理装置、画像処理方法及びプログラム

Info

Publication number: JP2014041476A
Application number: JP2012183451A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野; Naotada Sagawa; 直嗣佐川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-08-22
Filing date: 2012-08-22
Publication date: 2014-03-06
Anticipated expiration: 2032-08-22
Also published as: US20140056518A1; JP6192271B2; US9317784B2

Abstract

【課題】スーパーピクセルの数が多くなり過ぎないようにするとともに、物体間の境界が精度良く抽出できるようにする。
【解決手段】パラメータを設定する処理では、まず、クラスタの中心の間隔Ｓの値を画像内の位置に応じて設定する。すなわち、人物を検出した矩形外の領域に対しては間隔Ｓを所定の値Ｓ₀に設定し、矩形内の領域に対しては、矩形内の各位置が人物の境界にあたる事前確率に基づいて間隔Ｓを位置毎に設定する。そして、設定したパラメータ（間隔Ｓ）を用いてクラスタの中心の位置を設定する。
【選択図】図１

Description

本発明は、特に、画像を複数のクラスに分類するために用いて好適な画像処理装置、画像処理方法、及びプログラムに関する。

従来、意味のある複数の領域に画像を分割する研究が行われている（例えば、非特許文献１参照）。このような処理においては、まず、スーパーピクセルと呼ばれる隣接した複数の画素からなる小領域に画像を分割し、分割した領域から夫々特徴量を抽出する。そして、抽出した特徴量をもとに領域を統合し、統合した領域をそれぞれカテゴリーに分類を行う方法が一般的である。例えば、非特許文献２に記載の方法では、事前に学習したニューラルネットワークによって、夫々の領域を空、木、道路等のクラスに分類している。

一方、前処理として画像をスーパーピクセルに分割する方法としては、クラスタリングやグラフ表現が用いられている（例えば、非特許文献３及び４参照）。

M. Everingham, L. Van Gool, C.K.I. Williams, J. Winn, and A. Zisserman. The PASCAL Visual Object Classes (VOC) challenge. International Journal of Computer Vision. vol. 88 (2), 2010 Richard Socher, Cliff Lin, Andrew Y. Ng, and Christopher D. Manning. Parsing Natural Scenes and Natural Language with Recursive Neural Networks. ICML 2011 Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk. SLIC Superpixels. EPFL Technical Report 149300, June 2010 Felzenszwalb, P., Huttenlocher, D. Efficient graph-based image segmentation. International Journal of Computer Vision. 2004 Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR2005）

しかしながら、例えば、非特許文献３または４に記載されている方法を用いて画像をスーパーピクセルに分割し、分割したスーパーピクセルを用いて非特許文献２に記載されている方法により画像を意味のある領域に分類しようとすると、以下のような問題がある。例えば、分割するスーパーピクセルをある程度粗く分割すると、物体間の境界が精度良く抽出できない。一方、境界精度が出るように分割するスーパーピクセルを細かく分割すると、スーパーピクセルの数が多いために後段の処理量が多くなってしまう。

本発明は前述の問題点に鑑み、スーパーピクセルの数が多くなり過ぎないようにするとともに、物体間の境界が精度良く抽出できるようにすることを目的としている。

本発明の画像処理装置は、入力された画像から物体の位置を検出する物体検出手段と、前記物体検出手段による検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割手段とを有し、前記分割手段は、前記物体検出手段による検出結果に応じて、前記画像を該画像内の位置毎に定まる大きさの複数の領域に分割することを特徴とする。

本発明によれば、分割するスーパーピクセルの数が多くなり過ぎないようにするともに、物体間の境界を精度良く抽出することができる。

実施形態に係る画像処理装置の機能構成例を示すブロック図である。実施形態において、画像データを取得して画像を複数の領域に分類する処理手順の一例を示すフローチャートである。入力層、中間層、出力層のニューロンからなる３層構造のＲＮＮの一例を示す図である。第１の実施形態における図２のＳ２０４の領域分割処理の詳細な手順の一例を示すフローチャートである。取得した画像及び人物を検出した処理結果の一例を示す図である。第１の実施形態における確率分布ｐ（ｘ｜ｃ）を可視化した様子を示す図である。第１の実施形態において、図２のＳ２０３で設定したパラメータ（間隔Ｓ）を可視化した様子を示す図である。第１の実施形態及び従来の方法によりクラスタの中心が設定された画像の一例を示す図である。第１の実施形態及び従来の方法によりクラスタの中心をもとに分割した結果を示す図である。第２の実施形態における図２のＳ２０４の領域分割処理の詳細な手順の一例を示すフローチャートである。

（第１の実施形態）
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。以下、本実施形態では、画像を意味のある複数の領域に分割する例について説明する。

図１は、本実施形態に係る画像処理装置１００の機能構成例を示すブロック図である。
図１において、画像取得部１０１は、画像データを取得する撮像装置、及び取得した画像データを記憶する画像メモリにより構成されている。

物体検出部１０２は、画像中の物体の位置を矩形領域として検出するハードウェア回路により構成されている。パラメータ設定部１０３は、画像内の位置に応じて画像を分割する領域の大きさを制御するパラメータを設定する。領域分割部１０４は、隣接した類似画素からなる複数の領域に画像を分割する。特徴抽出部１０５は、分割した画像領域から特徴量を抽出する。領域分類部１０６は、抽出した特徴量から画像領域が属するクラスを判別する。本実施形態においては、パラメータ設定部１０３、領域分割部１０４、特徴抽出部１０５及び領域分類部１０６は、汎用のコンピュータが機能することにより構成される。

以下、本実施形態の動作について説明する。以下、非特許文献３に記載の方法に基づいて画像をスーパーピクセルに分割し、分割したスーパーピクセルを非特許文献２に記載の方法で分類する例に基づいて説明する。

図２は、本実施形態において、画像データを取得して画像を複数の領域に分類する処理手順の一例を示すフローチャートである。
まず、画像取得部１０１は、被写体を撮像することにより領域分割処理の対象とする画像データを取得し、取得した画像データを画像メモリに記憶する（Ｓ２０１）。このとき、取得する画像データは、ＲＧＢの３つの色成分から成るカラー画像のデータである。

次に、物体検出部１０２は、Ｓ２０１で取得した画像データから人物の位置及び大きさを矩形領域として検出する（Ｓ２０２）。人物を検出する方法としては、例えば非特許文献５に開示されている方法を用いる。この場合、物体検出部１０２は、この人物検出方法を行う、例えばＦＰＧＡ（Field-Programmable Gate Array）でハードウェア実装されている。

次に、パラメータ設定部１０３は、領域分割部１０４が行う領域分割処理に用いるパラメータを、Ｓ２０２の結果をもとに画像内の位置に応じて設定する（Ｓ２０３）。なお、この処理の詳細については後述する。次に、領域分割部１０４は、Ｓ２０３で設定したパラメータを用いて、Ｓ２０１で取得した画像を隣接した類似画素からなる複数の領域（スーパーピクセル）に分割する（Ｓ２０４）。なお、この処理の詳細についても後述する。

次に、特徴抽出部１０５は、Ｓ２０４で分割したスーパーピクセルから特徴量を抽出する（Ｓ２０５）。本実施形態で抽出する特徴量は、スーパーピクセルの色特徴、テクスチャ特徴、幾何特徴、及び位置特徴である。色特徴とは、ＲＧＢ夫々の色成分についてスーパーピクセル内の画素の平均、分散、歪度、及び尖度である。この他、ＲＧＢをＹＣｂＣｒやＣＩＥＬＡＢ色空間に変換した色成分についてスーパーピクセル内の画素の平均、分散、歪度、及び尖度をさらに抽出してもよい。

テクスチャ特徴とは、輝度画像（ＹＣｂＣｒのＹ成分）を複数のスケールおよび方向でガボールフィルタ処理を行った画像に対してスーパーピクセル内の画素の平均、分散、歪度、及び尖度を抽出したものである。この他、複数のスケールでＬＯＧ（Laplacian Of Gaussian）処理を行った画像に対してスーパーピクセル内の画素の平均、分散、歪度、及び尖度をさらに抽出してもよい。

また、幾何特徴とは、スーパーピクセル内の画素の面積（画素数）、周長（領域境界の画素数）、各画素の位置座標を（ｘ，ｙ）で表した場合のｘ座標の二次モーメント、ｙ座標の二次モーメント、及びｘｙモーメントである。すなわち、位置特徴はスーパーピクセル内の画素のｘ座標、ｙ座標夫々の重心、及び重心座標を（ｘ_g，ｙ_g）とした場合のｘ_g ²＋ｙ_g ²の値である。これらの抽出した特徴量は、一つのスーパーピクセルから抽出する特徴量の数をｄとしたｄ次元の特徴ベクトルとして、スーパーピクセル毎に汎用コンピュータのメモリに保持される。

次に、領域分類部１０６は、Ｓ２０５で抽出した特徴量から夫々の画像領域が属するクラスを判別する（Ｓ２０６）。Ｓ２０６のクラス判別は、例えば図３に示すような３層構造のＲＮＮ（Recursive Neural Networks）により行う。図３において、Ｉ、Ｍ、Ｏは夫々入力層、中間層、出力層のニューロンである。まず、Ｓ２０５で抽出した特徴量（ｄ次元の特徴ベクトル）をＦ_rawとすると、入力層Ｉのニューロンはｄ個であり、夫々特徴ベクトルを構成する一つの特徴量を入力し、そのまま中間層Ｍに伝達する。中間層Ｍの数をｄ_m、出力する特徴をＦ_semとすると、Ｆ_semはｄ_m次元の特徴ベクトルであり、以下の式（１）により算出される。
Ｆ_sem＝ｆ（Ｗ_bＦ_raw）・・・（１）

但し、Ｗ_bは入力層Ｉ及び中間層Ｍの結合係数を表すｄ×ｄ_mの行列であり、ｆはシグモイド関数である。

また、出力層Ｏは、ｄ_o個の値Ｆ_out（ｄ_o次元の特徴ベクトル）を以下の式（２）により算出し、出力する。
Ｆ_out＝Ｗ_cＦ_sem ・・・（２）

但し、Ｗ_cは中間層Ｍと出力層Ｏの結合係数を表すｄ_m×ｄ_oの行列であり、ｄ_oは判別するクラスの数である。なお、Ｗ_b、Ｗ_cは非特許文献２に記載されている方法によって事前学習により定められる。そして、領域分類部１０６は、出力層Ｏが出力するＦ_outのうち、最も大きい値を返すクラスを判別結果として出力する。

次に、Ｓ２０４の領域分割処理の詳細について説明する。図４は、Ｓ２０４の領域分割処理の詳細な手順の一例を示すフローチャートである。
まず、入力されたＲＧＢの成分からなる画像を、ＣＩＥＬＡＢ色空間に変換する（Ｓ４０１）。

次に、領域分割する際のクラスタの中心を、Ｓ２０３で設定したパラメータを用いて設定する（Ｓ４０２）。この処理では、非特許文献３に記載されている方法により、クラスタの中心を設定する。領域分割する画像の画素数をＮ、分割数をＫとし、おおよそ同じ大きさのスーパーピクセルに分割することを想定すると、スーパーピクセルの中心の間隔Ｓは、Ｎ／Ｋの平方根になる。したがって、単純には間隔Ｓの位置にクラスタの中心の座標を均等に設定する。

次に、Ｓ４０２で設定したクラスタの中心の位置を輝度勾配の小さい近傍の画素位置に移動する（Ｓ４０３）。すなわち、Ｓ４０２で設定したクラスタの中心の、例えば３×３画素の近傍領域において輝度勾配を算出し、輝度勾配が最小になる画素位置にクラスタの中心を移動する。これはクラスタの中心をエッジやノイズ画素に配置しないようにするためである。

次に、画素のクラスタリングを行う（Ｓ４０４）。この処理では、クラスタの中心の画素とそれ以外の画素との全ての組合せにおいて距離測度を算出し、クラスタの中心以外の夫々の画素を距離測度の最も小さいクラスタの中心に割り当てる。ここで、距離測度Ｄ_sについては以下の式（３）により算出する。

但し、（ｌ_k，ａ_k，ｂ_k）はクラスタの中心（ｘ_k，ｙ_k）におけるＣＩＥＬＡＢ色空間座標であり、（ｌ_i，ａ_i，ｂ_i）はクラスタの中心以外の画素（ｘ_i，ｙ_i）におけるＣＩＥＬＡＢ色空間座標である。また、ｍは距離測度を算出するための重み定数である。

次に、Ｓ４０４で行われたクラスタリングの結果を反映して、クラスタの中心を再計算する（Ｓ４０５）。すなわち、クラスタ毎に位置座標の重心を算出し、新しいクラスタの中心とする。また、その際、元のクラスタの中心と新しいクラスタの中心との位置ずれ量を求めておく。

次に、Ｓ４０５で算出した、元のクラスタの中心と新しいクラスタの中心との位置ずれ量の全クラスタでの総和を算出し、算出結果に基づいてクラスタリング処理が収束したか否かを判定する。ここで、位置ずれ量の総和が所定の値より大きい場合にはクラスタリング処理が収束していないと判定し、Ｓ４０４に戻る。一方、その他の場合は収束と判定し、クラスタリングした結果をスーパーピクセルとして保持し、処理を終了する。

次に、図２のＳ２０３における、物体検出結果に基づいてパラメータを設定する処理、及び図４のＳ４０２におけるクラスタの中心を設定する処理について詳細を説明する。

図２のＳ２０３におけるパラメータを設定する処理では、図４のＳ４０２でクラスタの中心を設定するのに用いる間隔Ｓの値を画像内の位置に応じて設定する。図５（ａ）には、Ｓ２０１で取得した画像の一例を示し、図５（ｂ）には、図２のＳ２０２における人物を検出する処理の結果を示す。図５（ｂ）における矩形５０１は、検出した人物の位置を示すものである。まず、矩形５０１外の領域に対しては間隔Ｓを所定の値Ｓ₀に設定する。一方、矩形内の領域に対しては、矩形内の各位置が人物の境界部にあたる事前確率にもとづいて間隔Ｓを位置毎に設定する。すなわち、以下の式（４）によって間隔Ｓを設定する。
Ｓ＝Ｋ・ｐ（ｘ｜ｃ）・・・（４）

但し、ｐ（ｘ｜ｃ）は、事前に人物を含む多くのサンプルを物体検出部１０２で処理して検出した矩形から得た、矩形内の位置ｘにおける画素が人物の境界ｃである確率分布である。また、Ｋは所定の定数であり、Ｓ≦Ｓ₀となるように設定する。図６には、確率分布ｐ（ｘ｜ｃ）を可視化した様子を示す。図６においては、明るい画素ほど境界ｃである確率が高いことを示している。また、図７には、Ｓ２０３で設定したパラメータ（間隔Ｓ）を可視化した様子を示す。図７においては、明るい画素ほどパラメータ（間隔Ｓ）が小さいことを示す。

図４のＳ４０２におけるクラスタの中心を設定する処理では、クラスタの中心を図２のＳ２０３で設定したパラメータ（間隔Ｓ）を用いて設定する。すなわち、画像の左上端の所定の位置ｘ_sを最初に設定するクラスタの中心の位置とし、位置ｘ_sにおける間隔Ｓを取得し、クラスタ中心間の間隔がＳとなるように右方向に次のクラスタの中心の位置を求める。この処理を画像の右端まで繰り返す。同様にして、クラスタ中心間の間隔がＳとなるように下方向に次のクラスタの中心の位置を求め、この処理を画像の下端まで繰り返す。

図８（ａ）には、上述した方法によりクラスタの中心が設定された画像の一例を示す。また、図８（ｂ）には、従来の方法によりクラスタの中心を均等間隔に設定した例を示す。また、図９（ｂ）には、図９（ａ）の矩形部分９００に対して、本実施形態の処理によってクラスタの中心をもとに分割した結果を示す。なお、比較例として図９（ｃ）には、図９（ａ）の矩形部分９００に対して、従来の処理によってクラスタの中心をもとに分割した結果を示す。本実施形態では、クラスタの中心を人物の境界付近で密に設定するようにしたので、従来に比べ、より少ない領域数で重要な被写体である人物の境界付近で詳細に領域を分割することが可能となる。

（第２の実施形態）
第１の実施形態では、非特許文献３に記載の方法に基づいて画像をスーパーピクセルに分割する処理する例について説明したが、その他の方法によりスーパーピクセルに分割することもできる。以下、グラフ表現を用いた非特許文献４に記載の方法に基づいてスーパーピクセルに分割する例について説明する。なお、本実施形態に係る画像処理装置の構成は、第１の実施形態と同様であるため、説明は省略する。また、画像データを取得して画像を複数の領域に分類する一連の流れについても図２と同様であるため、説明は省略する。

図１０は、本実施形態による図２のＳ２０４における領域を分割する処理手順の一例を示すフローチャートである。
まず、入力画像の各画素を頂点とし、各画素と周囲８方向の隣接画素との組合せをエッジとするグラフを作成する（Ｓ１００１）。

次に、Ｓ１００１で作成したグラフの全エッジの重みを算出し、エッジ重みの小さい順にソートを行う（Ｓ１００２）。エッジ重みｗ_ijは以下の式（５）のにより算出される。

但し、（Ｒ_i，Ｇ_i，Ｂ_i）、（Ｒ_j，Ｇ_j，Ｂ_j）は夫々、エッジの頂点ｉ、ｊに対応する画素のＲＧＢ成分である。すなわち、ここでは２つの画素のＲＧＢ色空間における距離をエッジ重みとする。

次に、Ｓ１００１で作成したグラフから、Ｓ１００２のソート結果を参照して最も小さい重みを持つエッジを選択する（Ｓ１００３）。そして、Ｓ１００３で選択したエッジの頂点に対応する夫々の画素について、画素を含む領域を検索し、領域同士の結合の判定を行う（Ｓ１００４）。但し、初期状態においては、領域は画素そのものを単位とする。領域同士の結合の判定は、２つの領域間の特徴量の違いと夫々の領域内の特徴量の違いとの比較に基づいて行い、Ｓ１００２で算出したエッジ重みを利用する。領域間の違いＤｉｆ（Ｃ_i，Ｃ_j）は、以下の式（６）により算出される。

但し、Ｃ_i，Ｃ_jは判定する２つの領域であり、ｍｉｎ（ｗ_kl）は領域Ｃ_iに属する頂点（ここでは画素）ｋと領域Ｃ_jに属する頂点（ここでは画素）ｌのエッジのうち、Ｓ１００２で算出したエッジ重みの最小値である。また、領域内の違いＭＩｎｔ（Ｃ_i，Ｃ_j）は以下の式（７）により算出される。

但し、Ｉｎｔ（Ｃ）＝ｍａｘ（ｗ_kl）であり、領域Ｃに属する２つの頂点（ここでは画素）ｋ及び頂点（ここでは画素）ｌのエッジのうち、Ｓ１００２で算出したエッジ重みの最大値である。また、τ（Ｃ）＝Ｋ_c／｜Ｃ｜であり、｜Ｃ｜は領域Ｃの面積であり、Ｋ_cは領域同士の結合のし易さを制御するパラメータである。

Ｓ１００４では、領域間の違いＤｉｆ（Ｃ_i，Ｃ_j）が領域内の違いＭＩｎｔ（Ｃ_i，Ｃ_j）よりも大きい場合には２つの領域の違いが大きいことから結合は行わないものと判定する。一方、それ以外の場合には２つの領域が類似していると判定して領域を結合するものと判定する。領域を結合する場合は結合後の領域に対してＩｎｔ（Ｃ）を更新しておく。

次に、全てのエッジについて処理を行ったかどうかを判定する（Ｓ１００５）。この判定の結果、未処理のエッジがある場合にはＳ１００３に戻り、全てのエッジについて処理を行った場合にはＳ１００６に進む。そして、全ての領域について領域の大きさを求め、所定サイズ以下の領域になるように周囲の領域と結合し（Ｓ１００６）、処理を終了する。この結果、結合して生成された領域がスーパーピクセルとなる。

次に、上述したグラフ表現ベースの領域分割処理に物体検出結果を利用する方法について説明する。図２のＳ２０３におけるパラメータを設定する処理では、図１０のＳ１００４で領域の結合判定を行うために、結合後の領域の大きさの上限Ｓ_zmaxを画像内の位置に応じて設定する。すなわち、図５（ｂ）に示す矩形５０１外の領域に対しては、領域の大きさの上限Ｓ_zmaxを所定の値Ｓ_0zmaxに設定する。一方、矩形５０１内の領域に対しては、第１の実施形態と同様に、矩形５０１内の各位置が人物の境界にあたる事前確率に基づいて領域の大きさの上限Ｓ_zmaxを位置毎に設定する。すなわち、以下の式（８）に従って設定する。
Ｓ_zmax＝Ｋ_zmax・ｐ（ｘ｜ｃ）・・・（８）

但し、Ｋ_zmaxは所定の定数であり、Ｓ_zmax≦Ｓ_0zmaxとなるように設定される。

図１０のＳ１００４における領域の結合判定を行う処理では、結合の判定を行う前に結合対象の２つの領域の大きさから結合後の領域の大きさを求め、求めた大きさがＳ２０３で設定した領域の大きさの上限Ｓ_zmaxを超えるかどうかを判定する。そして、結合後の領域の大きさが領域の大きさの上限Ｓ_zmaxを超える場合は領域を結合しないものと判定する。一方、結合後の領域の大きさが領域の大きさの上限Ｓ_zmaxを超えない場合は領域同士の結合の判定を行い、２つの領域が類似していると判定した場合は領域を結合するものと判定する。このように人物境界付近とそれ以外で結合する領域の大きさの上限を適応的に設定することにより、従来に比べ、より少ない領域数で重要な被写体である人物の境界付近で詳細に領域を分割することができる。

（その他の実施形態）
なお、第２の実施形態では、結合する領域の大きさの上限によって領域分割処理を制御するようにしたが、他の方法による制御も可能である。例えば、Ｓ２０３で、Ｓ１００４の処理における領域同士の結合のし易さを制御するパラメータＫ_cを物体の検出位置に応じて設定するようにする。これにより、人物の境界付近ではパラメータＫ_cを他の領域よりも小さく設定することで他の領域よりも領域同士が結合しにくくすることができる。

また、上述した実施形態では、Ｓ２０３において領域の大きさを制御し、検出した人物の境界付近で詳細に領域を分割するようにパラメータを設定したが、領域の数を制御するようにパラメータを設定してもよい。例えば、非特許文献４に記載の方法に基づいて領域分割処理を行う場合、人物の境界付近においては、前述した領域同士の結合のし易さを制御するパラメータＫ_cを異なる複数の値に設定する。そして、Ｓ２０４では、それぞれのパラメータに基づいて領域を分割する際には、人物の境界付近では領域の数が多くなるようにする。また、このとき、分割した領域同士が重複するので、重複する画素ではＳ２０６においてスーパーピクセル毎に求めた出力Ｆ_outを加算し、出力値の総和が最も大きい値を返すクラスを判別結果として出力するようにする。

以上の方法により、人物の境界付近では複数のパラメータで領域を分割した結果のうち、いずれかの処理結果で精度良く境界が得られている場合には、画像を意味のある複数の領域に分割する境界の精度を向上させることが可能である。なお、複数の値を設定するパラメータは領域同士の結合のし易さを制御するパラメータＫ_cに限らない。その他に、検出した人物の境界付近で複数の異なる方式の領域分割処理を適用するようにしても、人物の境界付近で領域の数が多くすることができ、同等の効果が得られる。例えば、人物の境界付近において非特許文献３及び非特許文献４に記載の方法に基づく両方の処理を適用するようにする。

また、上述した各実施形態では、人物の検出結果を利用して人物の境界付近を詳細に領域分割するようにしたが、本発明は人物以外の領域の境界の制御にも適用可能である。例えば、画像中の人物の位置を検出すると、その結果から空の位置を推定することができる。空は画像中で大きな領域を占めるのが一般的であるので、人物の検出結果を利用して検出した位置の上方ではそれ以外の領域よりも領域の大きさが大きくなるようにパラメータを設定するようにすればよい。

また、上述した各実施形態では、人物検出処理の結果を利用するようにしたが、例えば、顔検出処理の結果を適用してもよい。また、監視カメラのように同じシーンを撮影するような場合には、背景画像と入力画像との背景の差分を利用するようにしてもよい。すなわち、背景の差分を抽出する処理で得られた変化領域を物体領域として本発明を適用する。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０２物体検出部
１０３パラメータ設定部
１０４領域分割部

Claims

入力された画像から物体の位置を検出する物体検出手段と、
前記物体検出手段による検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割手段とを有し、
前記分割手段は、前記物体検出手段による検出結果に応じて、前記画像を該画像内の位置毎に定まる大きさの複数の領域に分割することを特徴とする画像処理装置。
前記画像内の位置に応じて前記分割する領域の大きさを制御するパラメータを設定する設定手段を有し、
前記分割手段は、前記設定手段によって設定されたパラメータに従って前記画像を複数の領域に分割することを特徴とする請求項１に記載の画像処理装置。
前記設定手段は、前記物体検出手段によって検出された物体の境界部において前記分割する領域の大きさが小さくなるように前記パラメータを設定することを特徴とする請求項２に記載の画像処理装置。
前記設定手段は、クラスタの中心の間隔を前記パラメータとして設定し、
前記分割手段は、画素のクラスタリングによって前記画像を分割することを特徴とする請求項２又は３に記載の画像処理装置。
前記設定手段は、画素の単位を最小とする領域同士の結合を繰り返すことによって生成される領域の大きさの上限を前記パラメータとして設定し、
前記分割手段は、前記設定したパラメータに従って領域同士の結合を繰り返すことによって生成される領域の単位で前記画像を分割することを特徴とする請求項２又は３に記載の画像処理装置。
前記設定手段は、画素の単位を最小とする領域同士の結合のしやすさを制御するパラメータを設定し、
前記分割手段は、前記設定したパラメータに従って領域同士の結合を繰り返すことによって生成される領域の単位で前記画像を分割することを特徴とする請求項２又は３に記載の画像処理装置。
入力された画像から物体の位置を検出する物体検出手段と、
前記物体検出手段による検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割手段とを有し、
前記分割手段は、前記物体検出手段による検出結果に応じて、前記画像を該画像内の位置毎に定まる数の複数の領域に分割することを特徴とする画像処理装置。
前記分割手段は、前記物体検出手段によって検出された物体の境界部において前記分割する領域の数が多くなるように前記画像を分割することを特徴とする請求項７に記載の画像処理装置。
画素の単位を最小とする領域同士の結合のしやすさを制御するパラメータであって、前記物体検出手段によって検出された物体の境界部において異なる複数のパラメータを設定する設定手段を有し、
前記分割手段は、前記設定手段によって設定されたパラメータに従って前記画像を複数の領域に分割することを特徴とする請求項８に記載の画像処理装置。
前記分割手段は、前記物体検出手段によって検出された物体の境界部において異なる複数の方式により分割することを特徴とする請求項８に記載の画像処理装置。
前記分割手段によって分割された夫々の領域から特徴量を抽出し、前記抽出した特徴量に基づいて前記分割された夫々の領域を複数のクラスに分類する分類手段を有することを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
入力された画像から物体の位置を検出する物体検出工程と、
前記物体検出工程における検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割工程とを有し、
前記分割工程においては、前記物体検出工程における検出結果に応じて、前記画像を該画像内の位置毎に定まる大きさの複数の領域に分割することを特徴とする画像処理方法。
入力された画像から物体の位置を検出する物体検出工程と、
前記物体検出工程における検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割工程とを有し、
前記分割工程においては、前記物体検出工程における検出結果に応じて、前記画像を該画像内の位置毎に定まる数の複数の領域に分割することを特徴とする画像処理方法。
入力された画像から物体の位置を検出する物体検出工程と、
前記物体検出工程における検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割工程とをコンピュータに実行させ、
前記分割工程においては、前記物体検出工程における検出結果に応じて、前記画像を該画像内の位置毎に定まる大きさの複数の領域に分割することを特徴とするプログラム。
入力された画像から物体の位置を検出する物体検出工程と、
前記物体検出工程における検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割工程とをコンピュータに実行させ、
前記分割工程においては、前記物体検出工程における検出結果に応じて、前記画像を該画像内の位置毎に定まる数の複数の領域に分割することを特徴とするプログラム。