JP2017062634A - 画像処理装置及び対象物領域特定方法 - Google Patents

Abstract

【課題】１枚の静止画像から迅速かつ効率的に対象物を抽出すること。【解決手段】画像処理装置は、静止画像である入力画像データから人物の像を含む矩形領域を切出し（１）、矩形領域を複数の小領域に分割する（２）。画像処理装置は、分割により得られた複数の小領域を組合せてテンプレートとの類似度である人型度合を求め、人型度合が最も高くなる小領域の組合せを算出する（３）。画像処理装置は、各テンプレートについて算出した小領域の組合せのうち、人型度合が最も高い小領域の組合せで形成される領域を人物領域として特定する（４）。所定の条件を満たすまで（５）、領域分割と小領域組合せ算出を繰り返し、得られた人物領域と対応するテンプレートの向きを出力する（６）。【選択図】図１

Description

本発明は、人物等の対象物が含まれる１枚の静止画像から迅速かつ効率的に対象物の領域（以下、「対象物領域」と言う）を抽出する画像処理装置及び対象物領域特定方法に関する。

従来、静止画像から対象物の画像を抽出する技術が知られている。この従来技術を用いて、対象物の外観に関する特徴を照合することで、監視カメラ等で撮影された静止画像から特定の対象物を検出することができる。

例えば、特許文献１には、複数フレームの背景画像同士の差分画像の最大濃度値の平均値と背景画像の濃度値を用いて、動体像を抽出するための閾値を環境に応じて自動的に設定することで、様々な環境下において入力画像中から動体像のみを抽出することを可能にした動体像抽出方法が開示されている。

また、特許文献２には、画像を小領域に分割し、人物領域に含まれる最初の小領域を顔検出などで検出して、検出した領域に隣接する領域が人物領域に含まれるか否かを、画像情報の分布と遺伝的プログラミングによる人物モデルとを用いて評価、結合する処理を行い、人物領域に成長させていくもので、画像の色や輝度などが均一ではない小領域同士を結合して、精度の高い人物抽出を行うことができるようにした人物抽出方法が開示されている。

また、特許文献３には、三次元センサによりあらかじめ取得した複数の背景の距離画像を平均化した平均画像を取得し、入力された距離画像と平均画像の差分値が大きい画素を人物領域として抽出することで、衣服特徴を用いた人物検索を容易に行うことができるようにした人物探索システムが開示されている。

特許第３０６２３９４号公報 特開２００１−２０９７９５号公報 特開２０１３−１８６５４６号公報

一般に、カメラで遠くの人や物を撮影するときは、焦点距離が長いレンズが使用される。このときカメラが振動すると、撮影した画像にブレが生じやすい。

例えば、監視カメラは高い位置に設置されることが多く、カメラから人や物までの距離が遠い。一方で、容姿や形状を確認することが出来る解像度で撮影することが要求される。そのため、高解像度のカメラが使用されるとともに、長い焦点距離のレンズが使用される。監視カメラは、電車の駅や交通量の多い道路側の建物など、振動の影響を受けやすい場所に設置されることが多い。また、屋外に設置された監視カメラは、風の影響で揺れることが多い。このように監視カメラが振動すると、フレームと次のフレームとの間でブレが生じる。

上記特許文献１のように複数フレームの背景画像を用いる技術では、フレーム間にブレが生じると背景画像が取得できず、動体像のみを抽出することができない。また、上記特許文献２のものは、連続した画像の差分情報を用いて作成した人物マスク画像（人物領域）をもとに人物モデルが形成されるため、上記引用文献１と同様に、連続した画像が入手できない場合には、人物抽出を行うことができない。加えて、上記特許文献２のものは、最初の小領域の検出に失敗するとその後の一連の処理が行えず、人物モデルを形成できない。

また、上記特許文献３のものは、三次元センサにより取得した複数の背景の距離画像の存在が前提となるため、複数の背景の距離画像が入手できない場合には、人物領域を抽出することができない。

このように、上記特許文献１〜３に代表される従来技術では、複数の背景画像の存在が前提となるため、このような背景画像が適正に取得できない場合には、対象物の領域を抽出することができないという問題がある。

これらのことから、事前に背景画像を取得することなく、いかにして１枚の静止画像から迅速かつ効率的に対象物を抽出できるようにするかが重要な課題となっている。なお、かかる課題は、画像から人物の領域を抽出する場合だけではなく、車両や動物等の他の対象物を抽出する場合にも同様に生ずる課題である。

本発明は、上記従来技術の課題を解決するためになされたものであって、１枚の静止画像から迅速かつ効率的に対象物を抽出することができる画像処理装置及び対象物領域特定方法を提供することを目的とする。

上記の課題を解決するため、本発明は、所定の対象物が写り込んだ画像データを複数の領域に分割処理する分割処理部と、各領域が前記所定の対象物の一部であるか否かを判定する判定部と、前記判定部により前記所定の対象物の一部であると判定された領域の組合せからなる対象物領域を特定する特定部とを備えたことを特徴とする。

また、本発明は、上記の発明において、前記所定の対象物を抽出するためのテンプレートを記憶するテンプレート記憶部をさらに備え、前記判定部は、前記テンプレートに基づいて、各領域が前記所定の対象物の一部であるか否かを判定することを特徴とする。

また、本発明は、上記の発明において、複数の領域を組合せた形状と前記テンプレートの類似度合いを示す対象物度合いを算定する算定部をさらに備え、前記判定部は、前記算定部により算定された対象物度合いを利用して、各領域が前記所定の対象物の一部であるか否かを判定することを特徴とする。

また、本発明は、上記の発明において、前記テンプレート記憶部は、前記所定の対象物の態様に応じた複数のテンプレートを記憶し、前記判定部は、前記算定部により算定された対象物度合いを利用して、テンプレートごとに各領域が前記所定の対象物の一部であるか否かを判定し、前記特定部は、テンプレートごとの領域の組合せのうち、前記対象物度合いが高いテンプレートの領域の組合せからなる対象物領域及び態様を特定することを特徴とする。

また、本発明は、上記の発明において、前記分割処理部は、前記画像データを、少なくとも色又は濃淡が同一又は類似する複数の隣接画素により形成される複数の領域に分割処理することを特徴とする。

また、本発明は、上記の発明において、前記判定部は、前記分割処理部により分割処理された全ての領域について、各領域が前記所定の対象物の一部であるか否かを判定することを特徴とする。

また、本発明は、上記の発明において、前記画像データの比較の対象となる登録画像データと該登録画像データ内の対象物の態様を記憶する登録画像データ記憶部と、前記対象物の態様に基づいて、前記登録画像データ記憶部に記憶された登録画像データと、前記特定部により特定された対象物領域に対応する画像データとを照合処理する照合処理部とをさらに備えたことを特徴とする。

また、本発明は、所定の対象物が写り込んだ画像データから該対象物が存在する対象物領域を特定する画像処理装置の対象物領域特定方法であって、前記画像データを複数の領域に分割処理する分割処理ステップと、前記分割処理ステップにより分割処理された各領域が前記所定の対象物の一部であるか否かを判定する判定ステップと、前記判定ステップにより前記所定の対象物の一部であると判定された領域の組合せからなる対象物領域を特定する特定ステップとを含んだことを特徴とする。

本発明によれば、所定の対象物が写り込んだ画像データを複数の領域に分割処理する分割処理部と、各領域が前記所定の対象物の一部であるか否かを判定する判定部と、前記判定部により前記所定の対象物の一部であると判定された領域の組合せからなる対象物領域を特定する特定部とを備えるよう構成したので、１枚の静止画像から迅速かつ効率的に対象物を抽出することが可能となる。

図１は、本実施例に係る人物領域の特定についての説明図である。 図２は、画像処理装置の構成を示すブロック図である。 図３は、テンプレートについての説明図である。 図４は、画像処理装置の処理手順を示すフローチャートである。 図５は、単色の領域画像データを用いた輝度値のクラス分類処理の処理手順を示すフローチャートである。 図６は、平均輝度値及び標準偏差の初期化についての説明図である。 図７は、小領域組合せ算出処理の処理手順を示すフローチャートである。 図８は、人型度合算定処理の処理手順を示すフローチャートである。 図９は、人型度合算定処理についての説明図である。 図１０は、領域分割の繰り返しによる効果についての説明図である。

以下、添付図面を参照して、本発明に係る画像処理装置及び対象物領域特定方法の実施例を説明する。なお、本実施例では、人物が写り込んだ静止画像から人物の領域（以下、「人物領域」と言う）と向きを特定する場合について説明するが、本発明は人物領域の特定に限定されるものではなく、車両等の他の対象物を特定する場合にも適用することができる。

まず、本実施例に係る人物領域の特定について説明する。図１は、本実施例に係る人物領域の特定についての説明図である。本実施例に係る画像処理装置は、カメラなどが撮像した静止画像を入力画像データとして用い、人物領域の特定を行う。

画像処理装置は、入力画像データから人物の像を含む矩形領域を切出す（１）。人物の像を含む矩形領域の切出しは、例えば向きの異なる人物の形状をそれぞれモデル化した複数のテンプレートを用意し、パターンマッチングで対象を探して周辺を切り出すことにより行えばよい。なお、パターンマッチングの手法については、ＳＶＭなどの機械学習や部分空間法など、任意の手法を用いることができる。矩形領域を切り出した後、画像処理装置は、矩形領域を複数の小領域に分割する領域分割を行う（２）。領域分割においては、対象の領域内の画素を色に基づいて分類し、同一分類の画素が連続する領域を１つの小領域とする。

画像処理装置は、領域分割により得られた複数の小領域から、人型となる小領域の組合せを算出する（３）。この組合せの算出には、人物の形状をモデル化したテンプレートを使用する。テンプレートは、前向き、横向きなど、人物の向きに応じて予め複数用意する。

具体的には、画像処理装置は、小領域の組合せと各テンプレートとの類似度を人型度合として算定する。この人型度合は、小領域の組合せによって形成される領域の形状が、どれだけ人型らしいかを示す指標となる。

画像処理装置は、各テンプレートについて、人型度合が最も高くなる小領域の組合せを算出する。図１に示した例では、前向きのテンプレートと横向きのテンプレートについて、それぞれ人型度合が最も高くなる小領域の組合せを算出している。

画像処理装置は、各テンプレートについて算出した小領域の組合せのうち、人型度合が最も高い小領域の組合せで形成される領域を人物領域として特定する（４）。図１では、前向きのテンプレートについて算出した小領域の組合せが人物領域となる。画像処理装置は、特定した人物領域に対し、さらに領域分割と小領域組合せ算出を行う。この繰り返しにより、人物領域を精度よく特定することができる。

領域分割と小領域組合せ算出の繰り返しは、所定の条件を満たした場合に終了する（５）。所定の条件としては、「人物領域に変化が無くなった場合、若しくは予め指定した回数の繰り返しを行った場合」を用いることが好適である。

所定の条件が満たされたならば、画像処理装置は、最終的に特定された人物領域に対応するテンプレートの向きを入力画像データ内の人物の向きとして特定する。そして、最終的に特定した人物領域と向きを出力する（６）。

このようにして特定された人物領域に対応する画像を入力画像データから抽出することで、画像処理装置は、入力画像データから人物の像を迅速かつ効率的に抽出することができる。また、抽出した人物の向きについても特定が可能である。

次に、本実施例に係る画像処理装置の構成について説明する。図２は、画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置２０は、カメラ１０と接続される。また、画像処理装置２０は、記憶部２１及び制御部２２を有する。

記憶部２１は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、複数のテンプレートデータ２１ａと、１又は複数の登録データ２１ｂを記憶する。

テンプレートデータ２１ａは、人物形状モデルデータと向きデータとを対応付けたデータである。人物形状モデルデータは、人物像の形状をモデル化したデータである。向きデータは、対応付けられた人物形状モデルデータ内の人物がどの方向を向いているかを示す。テンプレートデータ２１ａは、正面向き、横向き、後ろ向きなどの複数の向きについてそれぞれ１以上用意することが好適である。また、複数のテンプレートデータ２１ａがそれぞれ有する人物形状モデルデータは、人物像の大きさが同一となるように正規化されている。

人物形状モデルデータとして具体的にどのようなデータを用いるかは、人型度合の算定手法により異なる。本実施例では、人型度合の算定に部分空間法を用いる場合について説明を行うが、この場合には、人物形状モデルデータは、画素数を次元としたベクトルデータとなる。具体的には、人物の向きごとに人物形状モデルデータを生成する場合には、向きごとに例えばそれぞれ２０枚の学習データを用意して、２０次元の部分空間を得る。図３は、２０次元の部分空間の基底を画像化したものである。人物形状モデルデータを画素数を次元としたベクトルデータとする場合には、「人物像の大きさが同一となるように正規化」する処理は、画素数を揃える、すなわち、各人物形状モデルデータで次元数を一致させる処理となる。なお、人型度合いの算定は、部分空間法に関わらず、他の画像照合方法を用いてもよい。他の画像照合方法を用いる場合には、態様ごとの平均画像やエッジ画像など、照合方法に応じた人物形状モデルデータが用いられる。また、照合方法に応じて正規化の要否やその方法が異なることになる。

図２に戻り、説明を続ける。登録データ２１ｂは、登録画像データと向きデータとを対応付けたデータである。登録画像データは、照合の対象となる人物を予め撮像して得られた画像データである。向きデータは対応付けられた登録画像データ内の人物がどの方向を向いているかを示す。登録データ２１ｂは、同一人物の複数の向きについてそれぞれ登録することが好ましい。

制御部２２は、画像処理装置を全体制御する制御部であり、矩形領域切出部２２ａ、領域分割部２２ｂ、小領域組合せ部２２ｃ、人型度合算定部２２ｄ、人物領域特定部２２ｅ、向き特定部２２ｆ、登録処理部２２ｇ及び照合処理部２２ｈを有する。実際には、これらの機能部に対応するプログラムを図示しないＲＯＭや不揮発性メモリに記憶しておき、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、矩形領域切出部２２ａ、領域分割部２２ｂ、小領域組合せ部２２ｃ、人型度合算定部２２ｄ、人物領域特定部２２ｅ、向き特定部２２ｆ、登録処理部２２ｇ及び照合処理部２２ｈにそれぞれ対応するプロセスを実行させることになる。

矩形領域切出部２２ａは、カメラ１０が撮像した入力画像データから人物の像を含む矩形領域を切出す処理を行う。入力画像データからの矩形領域の切出しには、既に説明したように、向きの異なる人物の形状をそれぞれモデル化した複数のテンプレートを用意し、パターンマッチングで対象を探して周辺を切り出すことにより行う。なお、この切り出し用のテンプレートは、向きのみではなく大きさも異ならせておき、パターンマッチングにより人物像の大きさも判明する様に構成する。

矩形領域切出部２２ａは、切出した矩形領域の縦横比を維持しつつ、矩形領域内の人物像の大きさを人物形状モデルデータの大きさに合わせる正規化を行う。具体的には、パターンマッチングで判明した人物像の大きさが人物形状モデルデータの大きさに一致するように矩形領域の拡大縮小を行うことになる。かかる正規化により人物像の大きさと人物形状モデルデータとを略同一とすることができる。

領域分割部２２ｂは、対象の領域を小領域に分割する処理部である。領域分割部２２ｂが対象とする領域は、矩形領域切出部２２ａにより切り出された矩形領域や、後述する人物領域特定部２２ｅにより出力された人物領域である。

領域分割部２２ｂは、まず、対象の領域に含まれる画素を色に基づいて分類する。具体的には、領域分割部２２ｂは、画素の色をＲＧＢの輝度値に分離し、各輝度値を所定数のクラスに分類する。そして、ＲＧＢのクラスの組合せを画素のクラスとする。例えば、ＲＧＢそれぞれの輝度値を５つのクラスに分類すれば、各画素は１２５クラスのいずれかに分類されることになる。ＲＧＢの輝度値の分類の詳細については後述する。

領域分割部２２ｂは、同一のクラスに分類された画素が連続する領域を１つの小領域とする。このようにして分割された小領域の内部は、同一の物体の一部であると仮定する。従って、人物領域は複数の小領域の組合せとなり、人物領域と背景領域との境界は、人物領域を形成する小領域の境界となる。

小領域組合せ部２２ｃは、領域分割部２２ｂによる分割の結果から人型となる小領域の組合せを算出する処理部である。具体的には、小領域組合せ部２２ｃは、小領域をランダムに選択し、選択した小領域を背景領域として除外した場合に人型度合が増加するか否かを判定する。なお、本実施例では小領域をランダムに選択する場合を例に説明を行うが、諸領域の選択は所定の順番で行うこととしてもよい。

小領域組合せ部２２ｃは、選択した小領域を除外した場合に人型度合が増加するならば、選択した小領域を背景領域とし、人型度合が増加しなければ、選択した小領域を人物領域とする。小領域組合せ部２２ｃは、かかる判定を全ての小領域について行い、人物領域として残る小領域の組合せを求める。すなわち、小領域組合せ部２２ｃは、領域分割部２２ｂによる分割の結果から背景領域を削り、より人型らしい小領域の組合せを求めることになる。

ここで、小領域組合せ部２２ｃは、複数のテンプレートデータ２１ａを順次選択し、選択したテンプレートデータ２１ａを使用した場合に最も人型度合が高くなる小領域の組合せを求める。そして、複数のテンプレートデータ２１ａについてそれぞれ得られた小領域の組合せのうち、人型度合が最も高い小領域の組合せを人物領域特定部２２ｅに出力する。

人型度合算定部２２ｄは、小領域組合せ部２２ｃが判定に用いる人型度合を算定する処理部である。人型度合算定部２２ｄは、小領域の組合せによって形成される領域の形状と小領域組合せ部２２ｃにより選択されたテンプレートデータ２１ａの人物形状モデルデータとの類似度を人型度合として算定する。

人物領域特定部２２ｅは、小領域組合せ部２２ｃにより出力された小領域の組合せを結合し、１つの人物領域とする。人物領域特定部２２ｅは、結合により得られた人物領域を領域分割部２２ｂに出力する。これにより、１つの人物領域は改めて小領域に分割され、その後、小領域組合せ部２２ｃによる組合せが行われる。

人物領域特定部２２ｅは、所定の条件を満たした場合には、結合により得られた人物領域を最終の人物領域として特定する。この最終の人物領域は、領域分割部２２ｂによる分割、小領域組合せ部２２ｃによる組合せ、人物領域特定部２２ｅによる結合を一連の処理として複数回繰り返した場合に、人型度合が最も高い小領域の組合せである。所定の条件としては、「領域分割部２２ｂ及び小領域組合せ部２２ｃによる処理の前後で人物領域に変化がない場合、若しくは領域分割部２２ｂ及び小領域組合せ部２２ｃによる処理を予め指定された回数反復した場合」とすることが好適である。

向き特定部２２ｆは、人物領域特定部２２ｅにより最終の人物領域が特定された場合に、最終の人物の向きを特定する処理部である。具体的には、向き特定部２２ｆは、最終の人物領域の人型度合を算定する際に使用したテンプレートデータ２１ａを選択し、選択したテンプレートデータ２１ａの向きデータを最終の人物の向きデータとして特定する。すなわち、人型度合が最も高い小領域の組合せに対応するテンプレートの向きデータが特定されることになる。

登録処理部２２ｇは、登録データ２１ｂを記憶部２１に登録する処理部である。ここで、画像処理装置２０は、登録モードと照合モードのいずれかの動作モードで動作する。登録モードは、カメラ１０からの入力画像データを登録に用いる動作モードである。照合モードは、カメラ１０からの入力画像データを照合に用いる動作モードである。

登録処理部２２ｇは、画像処理装置２０が登録モードで動作している場合に、人物領域特定部２２ｅにより特定された最終の人物領域に対応する画像データを入力画像データから抽出し、登録画像データとする。そして、向き特定部２２ｆにより特定された向きデータを登録画像データに対応付けて登録データ２１ｂを生成し、記憶部２１に格納する。このとき、登録の対象となる人物の氏名等の入力を受け付けて登録データ２１ｂに対応付けてもよい。

照合処理部２２ｈは、カメラ１０からの入力画像データを用いて照合を行う処理部であり、画像処理装置２０が照合モードで動作している場合に使用される。照合処理部２２ｈは、まず、人物領域特定部２２ｅにより特定された最終の人物領域に対応する画像データを入力画像データから抽出し、照合画像データとする。そして、向き特定部２２ｆにより特定された向きデータに基づいて登録データ２１ｂを参照し、向きデータが一致する登録データ２１ｂを選択する。

照合処理部２２ｈは、選択した登録データ２１ｂの登録画像データと照合画像データとを比較し、照合値を算定する。照合値の算定には、相互相関を求めるなど、画像照合に用いられる任意の手法を用いることができる。なお、本実施例では、登録画像データと照合画像データとが似ているほど高い照合値が得られるものとする。

照合処理部２２ｈは、照合値が閾値を超える登録データ２１ｂが存在するならば、該登録データ２１ｂに示された人物と入力画像データに含まれる人物とが同一であるとの照合結果を出力する。登録データ２１ｂに氏名等が対応付けられていれば、対応付けられた氏名等を合せて出力可能である。

このように、画像処理装置２０は、入力画像データから人物を精度よく抽出するとともに人物の向きを特定し、人物と向きを対応付けて登録することができる。また、照合に際しては、向きが一致する登録データ２１ｂを選択して照合を行うことにより、照合の精度を高めることができる。

次に、画像処理装置２０の処理手順について説明する。図４は、画像処理装置２０の処理手順を示すフローチャートである。カメラ１０から入力画像データを受け付けると、矩形領域切出部２２ａは、入力画像データから人物の像を含む矩形領域を切出す（ステップＳ１０１）。また、矩形領域切出部２２ａは、切出した矩形領域内の人物像の大きさを人物形状モデルデータの大きさに合わせる（ステップＳ１０２）。このとき、矩形領域の縦横比は維持する。このように切出して正規化された矩形領域が、ステップＳ１０３における対象の領域となる。

領域分割部２２ｂは、対象の領域に含まれる画素をＲＧＢの輝度値に基づいて分類する画素分類処理を行う（ステップＳ１０３）。領域分割部２２ｂは、同一のクラスに分類された画素が連続する領域を１つの小領域とすることで、対象の領域を小領域に分割する（ステップＳ１０４）。具体的には、上記のステップＳ１０３により、各画素が属するＲ、Ｇ、Ｂそれぞれのクラスが特定されるため、注目画素のＲ、Ｇ、Ｂのクラスと、該注目画素の４近傍に位置する隣接画素のＲ、Ｇ、Ｂのクラスとがそれぞれ一致する場合には、同一の小領域として連結することになる。

小領域組合せ部２２ｃは、対象の領域内に所在する小領域を組合せ、人型となる小領域の組合せを算出する小領域組合せ算出処理を行う（ステップＳ１０５）。小領域組合せ算出処理の詳細については後述するが、小領域組合せ算出処理では、向きの異なる複数のテンプレートデータ２１ａを順次選択し、選択したテンプレートデータ２１ａを使用した場合に最も人型度合が高くなる小領域の組合せを求める。そして、複数のテンプレートデータ２１ａについてそれぞれ得られた小領域の組合せのうち、人型度合が最も高い小領域の組合せを処理結果として出力する。人物領域特定部２２ｅは、小領域組合せ算出処理により得られた小領域の組合せを結合し、人物領域を特定する（ステップＳ１０６）。

人物領域特定部２２ｅは、以前に特定した人物領域がメモリ等に保持されているならば、ステップＳ１０６で新たに特定した人物領域が以前に特定した人物領域から変化しているか否かを判定する（ステップＳ１０７）。

以前に特定した人物領域が存在しない、若しくは新たに特定した人物領域が以前に特定した人物領域から変化している場合（ステップＳ１０７；Ｙｅｓ）、人物領域特定部２２ｅは、新たに特定した人物領域をメモリ等に保持させ、人物領域の特定を予め指定した回数反復したかを判定する（ステップＳ１０８）。

人物領域の特定回数が予め指定した回数に満たないならば（ステップＳ１０８；Ｎｏ）、人物領域特定部２２ｅは、新たに特定した人物領域を領域分割部２２ｂに出力することで、ステップＳ１０３に移行する。

新たに特定した人物領域が以前に特定した人物領域から変化していない場合（ステップＳ１０７；Ｎｏ）、若しくは人物領域の特定を予め指定した回数反復した場合（ステップＳ１０８；Ｙｅｓ）、人物領域特定部２２ｅは、新たに特定した人物領域を最終の人物領域とする。

人物領域特定部２２ｅにより最終の人物領域が特定されると、向き特定部２２ｆは、最終の人物領域の人型度合を算定する際に使用したテンプレートデータ２１ａを選択し、選択したテンプレートデータ２１ａの向きデータを最終の人物の向きデータとして特定し（ステップＳ１０９）、処理を終了する。最終の人物領域と最終の人物の向きデータは、この後、登録や照合に用いられる。

次に、図４のステップＳ１０３に示した画素分類処理について詳細に説明する。領域分割部２２ｂは、まず、画素の色をＲＧＢの輝度値に分離することで、ＲＧＢにそれぞれ対応する単色の領域画像データを生成する。そして、単色の領域画像データを用いた輝度値のクラス分類処理をＲＧＢそれぞれについて行う。この結果、ＲＧＢの輝度値は、それぞれ所定数のクラスに分類される。その後、領域分割部２２ｂは、ＲＧＢのクラスの組合せを画素のクラスとする。

図５は、単色の領域画像データを用いた輝度値のクラス分類処理の処理手順を示すフローチャートである。まず、領域分割部２２ｂは、単色の領域画像データから輝度値のヒストグラムを生成する（ステップＳ２０１）。なお、本実施例では、輝度値は０〜２５５の値をとるものとする。

領域分割部２２ｂは、各クラスに属する輝度値が正規分布をとり、ヒストグラムが各クラスの正規分布の重ね合せであるものとして、クラスの設定を行う。具体的には、領域分割部２２ｂは、ヒストグラムのピークをクラスの数だけ選択し、各クラスの平均輝度値μ_k及び標準偏差σ_kを初期化する（ステップＳ２０２）。ここで、ｋはクラスを示す。例えば、クラスの数が５であれば、１≦ｋ≦５である。初期化においては、クラスの平均輝度値μ_kは、対応するピークの輝度値とする。また、クラスの標準偏差σ_kは、ヒストグラムにおいて隣接するクラスとの平均輝度値の差の半分とする。

平均輝度値μ_k及び標準偏差σ_kを初期化し、各画素が属するクラスの初期値をランダムに与える。領域分割部２２ｂは、領域画像データから注目画素を選択する（ステップＳ２０３）。選択した注目画素の座標を（ｉ，ｊ）とする。領域分割部２２ｂは、注目画素について、各クラスに属する確率Ｐ（ｋ）を求める（ステップＳ２０４）。各クラスに属する確率Ｐ（ｋ）は、次の式により求められる。

ここで、Ｅ_d（ｋ）は、注目画素の輝度値ｘ_i,jをクラスの分布に対して評価した値であり、

により求められる。なお、パラメータＴは、クラスの平均輝度値μ_k及び標準偏差σ_kの更新回数をｔとして、Ｔ＝4.0/ln(e+t)により定まる。初期化時点では、ｔ＝０である。

Ｅ_m（ｋ）は、注目画素と隣接画素の輝度値の差を評価した値であり、

により求められる。ここで、ne（ｘ_i,j）は、座標（ｉ，ｊ）の隣接画素の集合であり、Class（ｘ）は画素ｘの属するクラスである。

領域分割部２２ｂは、注目画素について各クラスに属する確率Ｐ（ｋ）を求めた後、最大の確率Ｐ（ｋ）をもつクラスｋを注目画素のクラスとする（ステップＳ２０５）。その後、領域分割部２２ｂは、領域画像データの全ての画素を注目画素として選択したか否かを判定する（ステップＳ２０６）。未選択の画素が残っていれば（ステップＳ２０６；Ｎｏ）、領域分割部２２ｂは、ステップＳ２０３に移行し、注目画素を選択する。

全ての画素を注目画素として選択済であるならば（ステップＳ２０６；Ｙｅｓ）、領域分割部２２ｂは、各画素に対するクラス分類の結果を用い、各クラスの平均輝度値μ_k及び標準偏差σ_kを更新する（ステップＳ２０７）。この更新により、更新回数ｔはインクリメントされる。

ステップＳ２０７の後、領域分割部２２ｂは、以前に行った各画素のクラス分類の結果がメモリ等に保持されているならば、新たなクラス分類の結果が以前のクラス分類の結果と異なっている画素が存在するか否かを判定する（ステップＳ２０８）。

以前に行った各画素のクラス分類の結果が存在しない、若しくは新たなクラス分類の結果が以前のクラス分類の結果と異なる画素が存在する場合（ステップＳ２０８；Ｙｅｓ）、領域分割部２２ｂは、新たに行った各画素のクラス分類の結果をメモリ等に保持させ、更新回数ｔが予め指定された値に達したか否かを判定する（ステップＳ２０９）。

更新回数ｔが予め指定された値に達していなければ（ステップＳ２０９；Ｎｏ）、領域分割部２２ｂは、領域画像データの全ての画素を未選択の状態とし、ステップＳ２０３に移行する。

新たなクラス分類の結果が以前のクラス分類の結果と異なる画素が存在しない場合（ステップＳ２０８；Ｎｏ）、若しくは更新回数ｔが予め指定された値に達した場合（ステップＳ２０９；Ｙｅｓ）、領域分割部２２ｂは、単色の領域画像データを用いた輝度値のクラス分類処理を終了する。

図６は、平均輝度値μ_k及び標準偏差σ_kの初期化についての説明図である。図６では、単色の領域画像データから生成した輝度値のヒストグラムを示している。また、図６では、クラスの数を５とし、ｋ＝１からｋ＝５までの５つのピークをヒストグラムから選択した状態を示している。

各クラスの平均輝度値μ_kは、対応するピークの輝度値である。また、クラスの標準偏差σ_kは、ヒストグラムにおいて隣接するクラスとの平均輝度値の差の半分としている。なお、隣接するクラスが２つ存在する場合には、平均輝度値の差が小さい方を採用する。

次に、図４のステップＳ１０５に示した小領域組合せ算出処理について詳細に説明する。図７は、小領域組合せ算出処理の処理手順を示すフローチャートである。まず、小領域組合せ部２２ｃは、複数のテンプレートデータ２１ａからテンプレートデータ２１ａを１つ選択する（ステップＳ３０１）。また、小領域組合せ部２２ｃは、人物領域の候補を設定する（ステップＳ３０２）。なお、初回の人物領域の候補の設定では、領域分割部２２ｂによる分割の結果として得られた全ての小領域を人物領域の候補に設定し、２回目以降は後述するステップＳ３１０の時点で人物領域として選択されている小領域を改めて人物領域の候補として設定とする。

さらに、小領域組合せ部２２ｃは、人物領域の候補として設定された全ての小領域からなる小領域の組合せと、選択したテンプレートデータ２１ａとを用いて人型度合を算定する人型度合算定処理を人型度合算定部２２ｄに行わせ（ステップＳ３０３）、人型度合の初期値としてメモリ等に保持させる。

その後、小領域組合せ部２２ｃは、人物領域の候補である小領域をランダムに選択し（ステップＳ３０４）、選択した小領域を背景領域とする（ステップＳ３０５）。そして、背景領域を除外した小領域の組合せと、選択したテンプレートデータ２１ａとを用いて人型度合を算定する人型度合算定処理を人型度合算定部２２ｄに行わせる（ステップＳ３０６）。

小領域組合せ部２２ｃは、ステップＳ３０６により算定された人型度合とメモリに保持された人型度合とを比較し、人型度合が増加したか否かを判定する（ステップＳ３０７）。

人型度合が増加したならば（ステップＳ３０７；Ｙｅｓ）、ステップＳ３０４で選択した小領域を背景領域として確定し（ステップＳ３０８）、メモリ等に保持された人型度合を更新する。一方、人型度合が増加していなければ（ステップＳ３０７；Ｎｏ）、ステップＳ３０４で選択した小領域を人物領域とする（ステップＳ３０９）。このときには、メモリ等に保持された人型度合の更新は行わない。

ステップＳ３０８又はステップＳ３０９の後、小領域組合せ部２２ｃは、全ての小領域が選択済であるか、すなわち、人物領域の候補のまま残った小領域がないかを判定する（ステップＳ３１０）。未選択の小領域が残っているならば（ステップＳ３１０；Ｎｏ）、小領域組合せ部２２ｃは、ステップＳ３０４に移行し、人物領域の候補である小領域をランダムに選択する。

全ての小領域が選択済であるならば（ステップＳ３１０；Ｙｅｓ）、小領域組合せ部２２ｃは、人物領域として残った小領域の組合せに変化があるか否かを判定する（ステップＳ３１１）。具体的には、小領域組合せ部２２ｃは、以前に求めた小領域の組合せがメモリ等に保持されているならば、ステップＳ３０２〜ステップＳ３０９で新たに求めた小領域の組合せが以前に求めた小領域の組合せから変化しているか否かを判定する。

以前に求めた小領域の組合せが存在しない、若しくは新たに求めた小領域の組合せが以前に求めた小領域の組合せから変化している場合（ステップＳ３１１；Ｙｅｓ）、小領域組合せ部２２ｃは、新たに求めた小領域の組合せをメモリ等に保持させ、ステップＳ３０２〜ステップＳ３０９の処理を予め指定した回数反復したかを判定する（ステップＳ３１２）。

ステップＳ３０２〜ステップＳ３０９の処理の反復が予め指定した回数に満たないならば（ステップＳ３１２；Ｎｏ）、小領域組合せ部２２ｃは、ステップＳ３０２に移行し、ステップＳ３０２からの処理を再度実行する。

新たに求めた小領域の組合せが以前に求めた小領域の組合せから変化していない場合（ステップＳ３１１；Ｎｏ）、若しくはステップＳ３０２〜ステップＳ３０９の処理を予め指定した回数反復した場合（ステップＳ３１２；Ｙｅｓ）、小領域組合せ部２２ｃは、メモリ等に保持された小領域の組合せ及び人型度合を選択中のテンプレートデータ２１ａに対応付け、テンプレートデータ２１ａを全て選択済であるか否かを判定する（ステップＳ３１３）。

未選択のテンプレートデータ２１ａが残っている場合（ステップＳ３１３；Ｎｏ）、小領域組合せ部２２ｃは、ステップＳ３０１に移行し、未選択のテンプレートデータ２１ａからいずれかを選択する。

テンプレートデータ２１ａを全て選択済である場合（ステップＳ３１３；Ｙｅｓ）、小領域組合せ部２２ｃは、テンプレートを対応付けられた人型度合の高い順にソートする（ステップＳ３１４）。そして、対応付けられた人型度合の低いテンプレートを選択対象から除外することで、小領域組合せ算出処理を繰り返した場合に使用されるテンプレート数を削減する（ステップＳ３１５）。例えば、使用されるテンプレート数を半分にすればよい。その後、小領域組合せ部２２ｃは、人型度合が最も高い小領域の組合せを出力し（ステップＳ３１６）、小領域組合せ算出処理を終了する。

既に説明したように、小領域組合せ算出処理の出力として得られた小領域の組合せは、人物領域特定部２２ｅにより結合され、領域分割部２２ｂにより分割され、再度小領域組合せ算出処理を行なうことになる。このため、ステップＳ３１５によりテンプレート数を削減することで、以降の小領域組合せ算出処理を高速化することができる。分割、組合せ、結合の処理を繰り返したとしても、元々の人物の像自体は同一であり、人型度合が低く算定されるテンプレートは以降の処理でも人型度合が顕著に高くなることを見込めないからである。

次に、図７のステップＳ３０３及びＳ３０６に示した人型度合算定処理について詳細に説明する。図８は、人型度合算定処理の処理手順を示すフローチャートである。人型度合算定部２２ｄは、小領域のうち、人物領域及び人物領域の候補を「１」、背景領域を「０」としてシルエット画像を生成する（ステップＳ４０１）。

人型度合算定部２２ｄは、シルエット画像を入力ベクトルに変換する（ステップＳ４０２）。入力ベクトルへの変換では、各画素を次元とし、画素の値を対応する次元の値とする。すなわち、縦ｎ画素、横ｍ画素のシルエット画像からは、ｎ×ｍ次元の入力ベクトルが求められ、各次元の値は「０」又は「１」となる。

人型度合算定部２２ｄは、入力ベクトルを人物形状モデルデータの部分空間に射影し、射影ベクトルを求める（ステップＳ４０３）。人型度合算定部２２ｄは、入力ベクトルと射影ベクトルのなす角の余弦を人型度合として算定し（ステップＳ４０４）、人型度合算定処理を終了する。

図９は、人型度合算定処理についての説明図である。図９に示すように、人物領域及び人物領域の候補を「１」、背景領域を「０」として二値化することで、シルエット画像が生成される。人型度合算定部２２ｄは、シルエット画像を入力ベクトルｖに変換する。シルエット画像のサイズが縦４８画素、横９６画素であれば、入力ベクトルｖは４８×９６次元のベクトルとなる。

人型度合算定部２２ｄは、入力ベクトルｖを人物形状モデルデータの部分空間Ｌに射影し、射影ベクトルｐｖを求める。図９では、部分空間Ｌを張る基底が２つの場合を示している。人型度合算定部２２ｄは、入力ベクトルｖと射影ベクトルｐｖのなす角θからｃｏｓθを計算する。人型度合算定部２２ｄは、このｃｏｓθを人型度合とする。

このように、本実施例では人型度合の算定に部分空間法を用いている。そのため、テンプレートデータ２１ａが有する人物形状モデルデータは、例えば画素数を次元としたベクトルデータとして持つことができる。なお、人型度合いの算定は、部分空間法に関わらず、他の画像照合方法を用いてもよい。他の画像照合方法を用いる場合には、態様ごとの平均画像やエッジ画像など、照合方法に応じた人物形状モデルデータが用いられる。

次に、領域分割の繰り返しによる効果について説明する。図１０は、領域分割の繰り返しによる効果についての説明図である。図１０では、入力画像データうち４つの小領域（小領域ａ、小領域ｂ、小領域ｃ、小領域ｄ）を例示している。なお、ここでは説明を簡明にするため、クラスが２つである場合について説明する。

４つの小領域のうち、小領域ａは人物領域とすべき領域であり、小領域ｂ、小領域ｃ、小領域ｄは背景領域とすべき領域であるものとする。また、各領域はＲＧＢで分離された後の単色であるものとする。さらに、小領域ａは小領域ｂのみと隣接し、小領域ｂは小領域ａ及び小領域ｃのみと隣接し、小領域ｃは小領域ｂ及び小領域ｄのみと隣接し、小領域ｄは小領域ｃのみと隣接しているものとする。

各小領域の輝度値を個別にヒストグラムにとると、小領域ｃの輝度値は他の小領域よりも顕著に大きいが、他の小領域（ａ，ｂ，ｄ）の輝度値は類似している。このため、全体のヒストグラムでは、小領域ａ、小領域ｂ、小領域ｄの区別をつけることはできない。

したがって、１回目の領域分割の結果では、小領域ａ、小領域ｂ、小領域ｄはクラスＣ１に分類され、小領域ｃのみがクラスＣ２となる。そして、小領域ａと小領域ｂは同一クラスで隣接しているため、１回目の領域分割では１つの小領域となる。小領域ｃは、クラスが異なるために別の小領域となり、小領域ｄはクラスが同一の小領域ａ及び小領域ｂと隣接していないために別の小領域となる。

１回目の領域分割の結果を受けて組合せを算出し、背景領域を除外すれば、小領域ａと小領域ｂが残る。人物領域とすべき小領域ａと背景領域とすべき小領域ｂが１回目の領域分割では１つの小領域とされたためである。

１回目の組合せ算出により残された小領域ａと小領域ｂに対して、２回目の領域分割を行なえば、小領域ｃ及び小領域ｄの輝度値が除外されたため、全体のヒストグラムで小領域ａと小領域ｂを区別しやすくなっている。このため、小領域ａと小領域ｂを異なるクラスに分類することができ、２回目の組合せ算出を行なえば小領域ｂを背景領域として除外できる。

上述してきたように、本実施例に係る画像処理装置２０は、対象の画像データを複数の小領域に分割処理し、各小領域が人物の一部であるか否かを判定し、人物の一部であると判定された領域の組合せからなる人物領域を特定する。このため、１枚の静止画像から迅速かつ効率的に人物を抽出することができる。

また、本実施例に係る画像処理装置２０は、各小領域が人物の一部であるか否を判定する場合に、顔などの特定の部位を検出する必要が無く、全ての小領域を判定対象とする。このため、顔部分の解像度が低い場合や後ろ向きで顔が写っていない場合などであっても人物領域の特定が可能となる。

なお、本実施例では、人物領域の特定を例に説明を行ったが、本発明は人物領域の特定に限定されるものではなく、車両等の他の対象物を特定する場合にも適用することができる。

また、本実施例では、人物形状モデルデータに向きデータを対応付け、人物の向きを特定する場合を例に説明を行ったが、向きに限らず、姿勢などの態様を特定する場合にも適用可能である。すなわち、姿勢など対象物の形状に影響を与える要素毎にテンプレートを用意し、対象物領域の特定を行えば、特定した対象物領域に対応するテンプレートから姿勢などの要素を特定できるのである。このとき、向きと姿勢の組合せなどを要素としてもよい。

また、本実施例では、カラー画像を処理の対象とし、ＲＧＢの輝度値をそれぞれ所定数のクラスに分類する場合を例に説明を行ったが、単色の濃淡画像を処理の対象とすることもできる。この場合には、画素の濃淡を示す輝度値を所定数のクラスに分類することになる。

また、本実施例に図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部または一部を各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、対象物領域を特定する装置と照合を行う装置とを分離してもよい。また、テンプレートデータと登録データを異なる記憶部に記憶させることとしてもよい。さらに、各種データをネットワーク経由で取得する構成であってもよい。

また、本実施例に示した各処理は適宜変形して実施することができる。例えば、本実施例では、テンプレートデータ２１ａにおける人物形状モデルデータの大きさを統一しておき、入力画像データから切り出した人物像の大きさを人物形状モデルデータに合わせて正規化する処理を例示した。この処理の変形例として、入力画像データから人物像をそのままの大きさで切出し、人物形状モデルデータの大きさを異ならせて用意した複数のテンプレートデータ２１ａから適切なテンプレートデータ２１ａを選択してもよい。

本発明に係る画像処理装置及び対象物領域特定方法は、人物等の対象物が含まれる１枚の静止画像から迅速かつ効率的に対象物を抽出する場合に適している。

１０ カメラ
２０ 画像処理装置
２１ 記憶部
２１ａ テンプレートデータ
２１ｂ 登録データ
２２ 制御部
２２ａ 矩形領域切出部
２２ｂ 領域分割部
２２ｃ 小領域組合せ部
２２ｄ 人型度合算定部
２２ｅ 人物領域特定部
２２ｆ 向き特定部
２２ｇ 登録処理部
２２ｈ 照合処理部

Claims (8)

1. 所定の対象物が写り込んだ画像データを複数の領域に分割処理する分割処理部と、
   各領域が前記所定の対象物の一部であるか否かを判定する判定部と、
   前記判定部により前記所定の対象物の一部であると判定された領域の組合せからなる対象物領域を特定する特定部と
   を備えたことを特徴とする画像処理装置。
2. 前記所定の対象物の抽出するためのテンプレートを記憶するテンプレート記憶部をさらに備え、
   前記判定部は、
   前記テンプレートに基づいて、各領域が前記所定の対象物の一部であるか否かを判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 複数の領域を組合せた形状と前記テンプレートの類似度合いを示す対象物度合いを算定する算定部をさらに備え、
   前記判定部は、
   前記算定部により算定された対象物度合いを利用して、各領域が前記所定の対象物の一部であるか否かを判定する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記テンプレート記憶部は、
   前記所定の対象物の態様に応じた複数のテンプレートを記憶し、
   前記判定部は、
   前記算定部により算定された対象物度合いを利用して、テンプレートごとに各領域が前記所定の対象物の一部であるか否かを判定し、
   前記特定部は、
   テンプレートごとの領域の組合せのうち、前記対象物度合いが高いテンプレートの領域の組合せからなる対象物領域及び態様を特定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記分割処理部は、
   前記画像データを、少なくとも色又は濃淡が同一又は類似する複数の隣接画素により形成される複数の領域に分割処理する
   ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記判定部は、
   前記分割処理部により分割処理された全ての領域について、各領域が前記所定の対象物の一部であるか否かを判定する
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記画像データの比較の対象となる登録画像データと該登録画像データ内の対象物の態様を記憶する登録画像データ記憶部と、
   前記対象物の態様に基づいて、前記登録画像データ記憶部に記憶された登録画像データと、前記特定部により特定された対象物領域に対応する画像データとを照合処理する照合処理部と
   をさらに備えたことを特徴とする請求項４に記載の画像処理装置。
8. 所定の対象物が写り込んだ画像データから該対象物が存在する対象物領域を特定する画像処理装置の対象物領域特定方法であって、
   前記画像データを複数の領域に分割処理する分割処理ステップと、
   前記分割処理ステップにより分割処理された各領域が前記所定の対象物の一部であるか否かを判定する判定ステップと、
   前記判定ステップにより前記所定の対象物の一部であると判定された領域の組合せからなる対象物領域を特定する特定ステップと
   を含んだことを特徴とする対象物領域特定方法。

Images