JP5578965B2 - オブジェクト推定装置および方法ならびにプログラム - Google Patents

Description

本発明は、画像内のオブジェクトの位置・サイズを推定するオブジェクト推定装置および方法ならびにプログラムに関する。

画像内の顔や人物等の特定のオブジェクトを検出する方法として、イメージピラミッドを用いた検出方法が提案されている（たとえば特許文献１、２参照）。特許文献１、２において、画像とガウシアンフィルタとの畳み込みを繰り返し行うことによりスケールの異なる複数の平滑化画像が生成される。次に、隣接するスケールの平滑化画像間の差分画像が生成される（ＤＯＧ画像：ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）。このＤＯＧ画像の生成が解像度の異なる複数の多重解像度画像毎に生成される。そしてＤＯＧ画像の極大値および極小値を検出することによりオブジェクトの位置が検出されるとともに、多重解像度画像内のオブジェクト大きさが検出される。

また、オブジェクトの特性に合わせたガウシアンフィルタを用いてオブジェクト領域を推定する方法が提案されている（たとえば特許文献３参照）。特許文献３には、検出対象の輪郭形状に合わせたフィルタ特性を有するガウシアンフィルタを用いてフィルタリング処理を行い、検出したい輪郭形状を有する領域を強調しそれ以外の領域を抑制することにより、オブジェクトを検出することが開示されている。

特開２０１０−９５９９号公報 特開２００８−２５７６４９号公報 特開２００３−２４８８２４号公報

しかし、特許文献１、２において、隣接するスケール同士の差分画像を生成しなければならないため多数の解像度画像毎に差分画像を生成しなければならず、処理の高速化が図れないという問題がある。また、特許文献３のように輪郭形状に基づくガウシアンフィルタ処理を行っただけでは精度良くオブジェクトを検出することができないという問題がある。

そこで、本発明は、高速に精度良くオブジェクトを推定することができるオブジェクト推定装置および方法ならびにプログラムを提供することを目的とするものである。

本発明のオブジェクト推定装置は、オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込むことを繰り返すことにより、スケールの異なる複数の平滑化画像を生成する平滑化処理手段と、平滑化処理手段により生成された複数の平滑化画像のうち、所定のスケールだけ離れた平滑化画像間の差分を算出した差分画像を複数生成する差分画像生成手段と、差分画像生成手段により生成された複数の差分画像を合算して合算画像を生成する合算手段と、合算手段により生成された合算画像から信号値が最大もしくは最小になる位置からオブジェクトの位置を推定する位置推定手段とを備えたことを特徴とするものである。

本発明のオブジェクト推定方法は、オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込むことを繰り返すことにより、スケールの異なる複数の平滑化画像を生成し、生成した複数の平滑化画像のうち、所定のスケールだけ離れた平滑化画像間の差分を算出した差分画像を複数生成し、生成した複数の差分画像を合算して合算画像を生成し、生成した合算画像から信号値が最大もしくは最小になる位置からオブジェクトの位置を推定することを特徴とするものである。

本発明のオブジェクト推定プログラムは、コンピュータに、オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込むことを繰り返すことにより、スケールの異なる複数の平滑化画像を生成する手順と、生成した複数の平滑化画像のうち、所定のスケールだけ離れた平滑化画像間の差分を算出した差分画像を複数生成する手順と、生成した複数の差分画像を合算して合算画像を生成する手順と、生成した合算画像から信号値が最大もしくは最小になる位置からオブジェクトの位置を推定する手順とを実行させることを特徴とするものである。

ここで、画像に対し平滑化フィルタを畳み込むことを繰り返すとは、平滑化処理後の画像に対し平滑化フィルタをさらに畳み込む作業を複数回繰り返すことを意味する。

なお、平滑化フィルタは、たとえばガウシアンフィルタを用いてもよく、特に、オブジェクトの輪郭形状に合ったフィルタ特性を有する平滑化フィルタであってもよい。

なお、平滑化処理手段は、ａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（σ_ｉは平滑化フィルタのスケールであってｉ＝１〜ａ×ｋ）を生成するものであってもよい。このとき、差分画像生成手段は、所定のスケールだけ離れた平滑化画像間の差分を算出した差分画像を複数生成するものであればよく、たとえばａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を用いて式（１）によりｋ枚の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成するものであってもよい。
Ｇ（ｘ，ｙ，σ_ｉ）＝Ｌ（ｘ，ｙ，σ_ｉ）−Ｌ（ｘ，ｙ，σ_ｉ×ａ）・・・（１）

または、平滑化処理手段がｋ枚の前記平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（ｋは２以上の整数、σ_ｉは平滑化フィルタのスケールであってｉ＝１〜ｋ）を生成するものであり、差分画像生成手段がｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を用いて下記式（２）によりｋ−ｐ枚（ｐは１以上の整数）の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成するものであってもよい。
Ｇ（ｘ，ｙ，σ_ｉ）＝Ｌ（ｘ，ｙ，σ_ｉ）−Ｌ（ｘ，ｙ，σ_ｉ＋ｐ）・・・（２）

このとき、サイズ推定手段は、最も大きいもしくは最も小さい差分値を有する差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成した平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）内のボケの広がり度合いに基づいてオブジェクトのサイズを推定するものであってもよい。

さらに、入力された原画像に対し解像度を低くした画像を生成する前処理手段をさらに備えたものであってもよい。また、画像が動画像であり、動画像に基づいてフレーム画像内から動きのある動き領域を抽出するとともに背景差分を行い、さらにコントラスト低減処理を施す前処理手段をさらに備えたものであってもよい。

合算手段は複数の差分画像を合算して合算画像を生成するものであればよく、すべての差分画像を用いて合算画像を生成してもよいし、オブジェクトのサイズ変動幅に応じて複数の差分画像の中から差分画像を選択して合算画像を生成するようにしてもよい。

また、位置推定手段５０およびサイズ推定手段６０は、検出対象のオブジェクトに応じて最大値もしくは最小値のいずれかを用いるかを決定し位置推定およびサイズ推定を行うようにしてもよい。オブジェクトが背景に比べて信号値が大きい場合には（たとえばオブジェクトが白、背景領域が黒）最大値を用いればよいし、オブジェクトが背景に比べて信号値が小さい場合には（たとえばオブジェクトが黒、背景領域が白）最小値を用いればよい。

また、オブジェクト推定装置は、位置推定手段により推定されたオブジェクトの位置またはサイズ推定手段により推定されたオブジェクトのサイズに基づいて画像内からオブジェクトを検出するオブジェクト検出手段をさらに備えていてもよい。

本発明のオブジェクト推定装置および方法ならびにプログラムによれば、オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込むことを繰り返すことにより、スケールの異なる複数の平滑化画像を生成し、生成した複数の平滑化画像のうち、所定のスケールだけ離れた平滑化画像間の差分を算出した差分画像を複数生成し、生成した複数の差分画像を合算して合算画像を生成し、生成した合算画像から信号値が最大もしくは最小になる位置からオブジェクトの位置を推定することにより、高速に精度良くオブジェクトの位置を推定することができる。

なお、差分画像生成手段により生成された複数の差分画像のうち最も大きいもしくは最も小さい差分値を有する差分画像からオブジェクトのサイズを推定するサイズ推定手段をさらに備えたものであるとき、従来のように多重解像度画像を生成しなくてもオブジェクトのサイズの推定が可能になり、効率的にオブジェクトのサイズを推定することができる。

また、平滑化処理手段がａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（ａは２以上の整数、σ_ｉは平滑化フィルタのスケールであってｉ＝１〜ａ×ｋ）を生成するものであり、差分画像生成手段がａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を用いて式（１）によりｋ枚（ｋは２以上の整数）の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成するものであれば、オブジェクトの位置およびサイズの推定を精度良く行うことができる。

さらに、入力された原画像に対し解像度を低くした画像を生成する前処理手段をさらに備えたものであれば、解像度をある程度低くしても検出精度を落とさずに検出処理の高速化を行うことができる。

また、位置推定手段により推定されたオブジェクトの位置に基づいて画像内からオブジェクトを検出するオブジェクト検出手段をさらに備えたものであれば、位置推定手段により推定された位置の周辺部位に対し重点的にオブジェクトの検出を行い、さらに精度良く効率的にオブジェクトの検出を行うことができる。

本発明のオブジェクト推定装置の好ましい実施形態を示すブロック図 図１の前処理手段により前処理された画像の一例を示す模式図 図１の平滑化処理手段および差分画像生成手段により生成される複数の平滑化画像および差分画像のイメージピラミッドの一例を示す模式図 図１の平滑化処理手段に用いられる平滑化フィルタ（ガウシアンフィルタ）の一例を示す図 図１の平滑化処理手段に用いられる平滑化フィルタ（ガウシアンフィルタ）の他の一例を示す模式図 図１の合算手段により生成される合算画像の一例を示す模式図 図１のスケールが大きくなるほどオブジェクト領域がぼけて広がっていく様子を示す模式図 画像内において検出対象であるオブジェクトが変動する様子を示す模式図 本発明のオブジェクト推定方法の好ましい実施形態を示すフローチャート

以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は本発明のオブジェクト推定装置の好ましい実施形態を示すブロック図である。なお、図１のようなオブジェクト推定装置１の構成は、補助記憶装置に読み込まれたオブジェクト推定プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このオブジェクト推定プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

図１のオブジェクト推定装置１は、たとえば動画像内の人物の頭部をオブジェクトとして検出するものであって、前処理手段１０、平滑化処理手段２０、差分画像生成腫だ３０、合算手段４０、位置推定手段５０、サイズ推定手段６０、照合手段７０を備えている。

前処理手段１０は、入力された動画像に対し前処理を施すものであって、解像度変換手段１１と動き領域抽出手段１２とを備えている。解像度変換手段１１は動画像の解像度を低くするものであって、たとえば入力画像の１／８×１／８の画素数になるように画像を縮小する。オブジェクトを推定するのに必要十分な解像度まで原画像の解像度を低くすることにより、処理の高速化を図ることができる。

動き領域抽出手段１２は、動画像を構成する所定のフレーム画像から動き領域を抽出する。ここで、動き領域の抽出方法としてたとえば背景画像やフレーム間画像の差分を算出する方法等公知の技術を用いることができる。さらに、動き領域抽出手段１２は、図２に示すように動き領域を白、背景領域を黒にするようなグレースケール化処理もしくは２値化処理を行う機能を有している。

図１の平滑化処理手段２０は、前処理手段１０により前処理された画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込むことを繰り返し、スケールσ_ｉの異なる複数の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を生成するものである。つまり、平滑化処理手段２０は、画像Ｐ（ｘ，ｙ）に対し平滑化フィルタを畳み込むことにより平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を作成し、この平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）に対しさらに平滑化フィルタを畳み込むことによりスケールσ_ｉ＋１の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ＋１）を作成する。平滑化処理手段２０はこの作業を繰り返すことにより、図３に示すように、平滑化処理手段２０はスケールσ_ｉ（ｉ＝１〜ａ×ｋ）の異なるａ×ｋ枚（たとえばａ＝２、ａ×ｋ＝６０枚）の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を生成する。

ここで、平滑化フィルタとしてたとえばガウシアンフィルタが用いられる。特に平滑化フィルタは図４に示すように検出対象であるオブジェクト（人物の頭部）の形状に合わせたフィルタ特性になるような３×３オペレータからなるものであって、人物の頭部の形状に沿って下側のフィルタ係数が小さくなる特性（オメガ形状）を有している。このような平滑化フィルタを用いると、人物の頭部の輪郭形状を有する領域は強調され、それ以外の領域は抑制された平滑化処理が行われることになる。なお、フィルタの形状は図４の場合に限らずたとえば特開２００３−２４８８２４号公報等その他の公知の技術を用いることができ、たとえば図５に示すように、オブジェクト形状がそれぞれ円形、三角形、四角形の場合には当該オブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化処理が施される。

図１の差分画像生成手段３０は、平滑化処理手段２０により生成された複数の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）について、スケールσ_ｉが所定の値だけ離れた平滑化画像間の差分を差分画像Ｇ（ｘ，ｙ，σ_ｉ）として複数生成するものである。具体的には、差分画像生成手段３０は下記式（１）を用いてｋ枚の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成する。
Ｇ（ｘ，ｙ，σ_ｉ）＝Ｌ（ｘ，ｙ，σ_ｉ）−Ｌ（ｘ，ｙ，σ_ｉ×ａ）・・・（１）
なお、式（１）において差分値の絶対値を差分画像Ｇ（ｘ，ｙ，σ_ｉ）としてもよい。

式（１）からわかるように、差分画像Ｇ（ｘ，ｙ，σ_ｉ）は所定のスケールσ_ｉとσ_ｉ×ａとの平滑化画像Ｌ間の差分からなるものである。たとえば、ａ＝２、ａ×ｋ＝６０枚である場合、スケールσ_１とσ_２、スケールσ_２とσ_４、スケールσ_３とσ_６、・・・、スケールσ_３０とσ_６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ_ｉ）が生成される。そして、合算手段４０は、差分画像生成手段３０により生成された複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を合算し、図６に示す合算画像ＡＰ（ｘ，ｙ）を生成する。なお、ａ＝２である場合について例示しているが、ａは２以上であればよく、ａ＝３等であってもよい。

なお、スケールσ_ｉとσ_ｉ×ａの平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）の組み合わせによる差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成する場合について例示しているが、スケールσ_ｉ、σ_ｉ＋ｐ（ｐは１以上の整数）の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）の組み合わせにより差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成するようにしてもよい。
Ｇ（ｘ，ｙ，σ_ｉ）＝Ｌ（ｘ，ｙ，σ_ｉ）−Ｌ（ｘ，ｙ，σ_ｉ＋ｐ）・・・（２）

図１の位置推定手段５０は、合算手段４０により生成された合算画像ＡＰ（ｘ，ｙ）のうち信号値が最大になる位置（ｘ_ｍａｘ，ｙ_ｍａｘ）からオブジェクトの位置を推定するものであり、サイズ推定手段６０は、複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）のうち最も大きい差分値を有する差分画像Ｇ（ｘ，ｙ，σ_ｉ）からオブジェクトのサイズを推定するものである。言い換えれば、差分画像生成手段３０が式（１）または（２）によりオブジェクトの顕著性を数値化し、位置推定手段５０およびサイズ推定手段６０は数値化された顕著性に基づいてオブジェクトの位置およびサイズを推定する。

まず、上述した平滑化処理はオブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタσ_ｉを用いて行われるため、平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）は特定の形状を持つ領域が強調され他の領域が抑制された画像となる。また、平滑化処理を数十回行ったとしても平滑化画像内にオブジェクトの輪郭成分が残るが、図７に示すようにスケールｉが大きくなればなるほどオブジェクトの領域はボケていくとともに広がっていく。

ここで、画像内のオブジェクトの形状およびサイズは所定の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）におけるオブジェクトの形状およびサイズであると仮定する。さらに、この平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）でのオブジェクト形状およびサイズの顕著性を算出するために、平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）から所定のスケールだけ離れた平滑化画像Ｌ（ｘ，ｙ，σ_ｉ×ａ）を背景として設定する（図５参照）。そして、上記式（１）または（２）により差分画像Ｇ（ｘ，ｙ，σ_ｉ）が所定のスケールｉの平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）におけるオブジェクトの顕著性として算出される。

ここで、画像内においてオブジェクトが理想形状（フィルタ特性に最も合致した形状）であって背景にノイズがない差分画像Ｇ（ｘ，ｙ，σ_ｉ）が他の差分画像Ｇ（ｘ，ｙ，σ_ｉ）に比べて最大の信号値を有するものとなる。つまり、前処理済みの画像Ｐ（ｘ，ｙ）内のオブジェクトを構成する各画素の成分がオブジェクトの領域にほぼ等しくなるまで広がったとき差分画像Ｇ（ｘ，ｙ，σ_ｉ）内の差分値は最大となる。たとえば画像Ｐ（ｘ，ｙ）内のオブジェクトが図５に示すような直径１０画素の円形形状からなる場合、複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）のうちｉ＝１０の差分画像Ｇ（ｘ，ｙ，σ_１０）（＝Ｌ（ｘ，ｙ，σ_１０）−Ｌ（ｘ，ｙ，σ_２０））が他の差分画像に比べて最も大きい差分値を有することになる。

一方で、実際に画像Ｐに映し出されるオブジェクトはカメラとオブジェクトとの位置関係や個体差等により写り方が異なるものであって、図８に示すように、輪郭形状およびサイズは上述した理想形状の場合だけでなく変動する。そこで、位置推定手段５０は、上述した複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を合算した合算画像ＡＰ（ｘ，ｙ）を用いて位置を推定する。これにより、オブジェクトの変動を吸収しながらオブジェクトの位置を推定することができる。つまり、小さいオブジェクト（頭部）から大きいオブジェクト（頭部）に含まれる様々な輪郭形状の変動を持つオブジェクトに対して、加算処理により算出した合算画像ＡＰ（ｘ，ｙ）から最大値を検出することにより、変動を吸収しながら位置推定の処理が可能となる。

なお、合算手段６０は、すべての差分画像Ｇ（ｘ，ｙ，σ_ｉ）を加算処理する場合について例示しているが、吸収したいサイズ変動幅に応じて加算処理に用いる差分画像Ｇ（ｘ，ｙ，σ_ｉ）を変更するようにしてもよい。たとえばオブジェクトの種類に応じて吸収したいサイズ変動幅を設定しておき、あるオブジェクトではｉ＝１、２の差分画像Ｇ（ｘ，ｙ，σ_ｉ）は加算処理に用いず、ｉ＝３〜ｋ枚の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を加算処理することにより合算画像ＡＰ（ｘ，ｙ）を作成するようにしてもよい。同様にｉ＝ｋ−ｑ（ｑは１以上の整数）〜ｋ枚の差分画像Ｇ（ｘ，ｙ，σ_ｉ）は加算処理に用いず、ｉ＝１〜（ｋ−ｑ−１）枚の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を加算処理するようにしてもよい。

また、上述したように上記式（１）、（２）におけるスケールｉは、画像Ｐ内における検出対象のオブジェクトのサイズに対応するパラーメータである。オブジェクトが小さい場合にはスケールｉが小さい差分画像Ｇ（ｘ，ｙ，σ_ｉ）から最大値が検出され、サイズが大きい場合にはスケールｉが大きい差分画像Ｇ（ｘ，ｙ，σ_ｉ）から最大値が検出される。この性質を利用し、サイズ推定手段６０は、複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）のうち最も大きい差分値を有する差分画像Ｇ（ｘ，ｙ，σ_ｉ）を検出し、検出した差分画像Ｇ（ｘ，ｙ，σ_ｉ）のスケール、すなわち平滑化処理の繰り返し回数からオブジェクトのサイズを推定する。

なお、サイズ推定手段６０は、複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）の中から最大差分値を有する差分画像Ｇ（ｘ，ｙ，σ_ｉ）を検出するようにしてもよいし、位置推定手段５０により推定されたオブジェクトの位置において最も大きい差分値を検出するようにしてもよい。また、平滑化処理により画像Ｐ内の像はどの程度広がるか（ボケるか）は予め既知であるため、スケールｉが判明すればオブジェクトのサイズが推定できる。さらに、上述のように検出対象であるオブジェクトは変動するため、最も大きい差分値を有する差分画像Ｇ（ｘ，ｙ，σ_ｉ）から推定したサイズ±α（αは予め設定された値）をオブジェクトのサイズとして推定するようにしてもよい。

また、動き領域抽出手段１２は、動き領域（オブジェクト）を白、背景領域を黒にするようなグレースケール化処理もしくは２値化処理を行っているため（図２参照）、上述の位置推定手段５０およびサイズ推定手段６０は最大値を用いて位置推定およびサイズ推定を行っているが、動き領域抽出手段１２が動き領域を黒、背景領域を白にする処理を行った場合、位置推定手段５０およびサイズ推定手段６０は最小値を用いて最大値を用いて位置推定およびサイズ推定を行うことになる。この場合であっても上述した最大値を用いる場合と同様、オブジェクトの位置およびサイズを推定することができる。

さらに、図１のオブジェクト推定装置１は、位置推定手段５０およびサイズ推定手段６０により推定されたオブジェクトの位置およびサイズに基づいてオブジェクトを検出するオブジェクト検出手段７０をさらに備えている。つまり、オブジェクト検出手段７０は、位置推定手段５０による推定結果をオブジェクトが存在する確率の高い候補領域として用い、位置推定手段５０により特定された位置の周辺領域からオブジェクトの検出を行う。このとき、オブジェクト検出手段７０は、サイズ推定手段６０による推定結果をオブジェクトのサイズに基づいた検出を行う。なお、オブジェクト検出手段７０によるオブジェクトの検出はパターンマッチングやニューラルネットワーク等を用いた公知の技術を用いることができる。

このように、所定のスケールσ_i×２（あるいはσ_i×ａもしくはσ_i＋ｐ）だけ離れたスケールσ_ｉ、σ_ｉ×２間の差分画像を算出するだけでオブジェクトの位置およびサイズを推定することができるため、従来のＤＯＧ画像を用いてオブジェクト検出等に比べて差分画像の生成枚数を少なくし、効率的に精度良くオブジェクトの推定を行うことができる。

図９は本発明のオブジェクト推定方法の好ましい実施形態を示すフローチャートであり、図１から図９を参照してオブジェクト推定方法について説明する。まず、動画像が入力された際に、前処理手段１０においてダウンサンプリングがなされる。さらに、前処理手段１０において動き領域と背景領域とが抽出され、グレースケール化処理等が行われる（ステップＳＴ１、図２参照）。

次に、平滑化処理手段２０により複数の平滑化画像が生成され（ステップＳＴ２、図３参照）、差分画像生成手段３０により上記式（１）に基づいて平滑化画像間の差分画像Ｇ（ｘ，ｙ，σ_ｉ）が生成される（ステップＳＴ３、図３−５参照）。その後、合算手段４０により複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）が合算された合算画像ＡＰが生成され（ステップＳＴ４、図６参照）、合算画像ＡＰに基づいて位置推定手段５０によりオブジェクトが存在する位置が推定される（ステップＳＴ５）。さらに、複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を用いてサイズ推定手段６０によりオブジェクトのサイズが推定される（ステップＳＴ６）。その後、オブジェクト検出手段７０において推定された位置およびサイズに基づいてオブジェクトの検出が行われる（ステップＳＴ７）。

上記実施の形態によれば、画像Ｐ（ｘ，ｙ）にオブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを畳み込むことを繰り返すことにより複数の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を生成し、所定のスケールだけ離れた生成した複数の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）間の差分を算出して複数の差分画像を生成し、生成した複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を合算した合算画像ＡＰ（ｘ，ｙ）を生成し、生成した合算画像ＡＰ（ｘ，ｙ）から信号値が最大もしくは最小になる位置（ｘ_ｍａｘ，ｙ_ｍａｘ）からオブジェクトの位置を推定することにより、高速に精度良くオブジェクトの位置を推定することができる。

また、差分画像生成手段３０により生成された複数の差分画像Ｇ（ｘ，ｙ，σ_ｉ）のうち最も大きい差分値を有する差分画像Ｇ（ｘ，ｙ，σ_ｉ）からオブジェクトのサイズを推定するサイズ推定手段６０をさらに備えたものであるとき、従来のように多重解像度画像を生成しなくてもオブジェクトのサイズの推定が可能になり、効率的にオブジェクトのサイズを推定することができる。

さらに、図３に示すように、平滑化処理手段２０がａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（σ_ｉは平滑化フィルタのスケールであってｉ＝１〜ａ×ｋ）を生成するものであり、差分画像生成手段がａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を用いて上記式（１）によりｋ枚（ｋは２以上の整数）の差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成するものであれば、オブジェクトのサイズの様々な変動に合わせたオブジェクトの位置およびサイズの推定を精度良く行うことができる。

また、入力された原画像に対し解像度を低くした画像を生成する前処理手段１０をさらに備えたものであれば、解像度をある程度低くしても検出精度を落とさずに検出処理の高速化を行うことができる。

また、位置推定手段５０により推定されたオブジェクトの位置に基づいて画像内からオブジェクトを検出するオブジェクト検出手段７０をさらに備えたものであれば、位置推定手段５０により推定された位置の周辺部位に対し重点的にオブジェクトの検出を行い、さらに精度良く効率的にオブジェクトの検出を行うことができる。

本発明の実施形態は上記実施の形態に限定されない。たとえば、上記実施の形態において、動画像から特定のオブジェクトを検出する場合について例示しているが、静止画からオブジェクトを検出することも可能である。また、オブジェクトが人物の頭部である場合について例示しているが、これに限られず、たとえば顔、車等であってもよい。

１ オブジェクト推定装置
１０ 前処理手段
２０ 平滑化処理手段
３０ 差分画像生成手段
４０ 合算手段
５０ 位置推定手段
６０ サイズ推定手段
７０ オブジェクト検出手段

Claims (13)

1. オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込むことを繰り返すことにより、スケールの異なる複数の平滑化画像を生成する平滑化処理手段と、
   該平滑化処理手段により生成された前記複数の平滑化画像のうち、所定のスケールだけ離れた前記平滑化画像間の差分を算出した差分画像を複数生成する差分画像生成手段と、
   該差分画像生成手段により生成された前記複数の差分画像を合算して合算画像を生成する合算手段と、
   該合算手段により生成された合算画像から信号値が最大もしくは最小になる位置を前記オブジェクトが存在する確率の高い位置とする位置推定手段と
   を備えたことを特徴とするオブジェクト推定装置。
2. 前記差分画像生成手段により生成された前記複数の差分画像のうち最も大きい差分値を有する差分画像から前記オブジェクトのサイズを推定するサイズ推定手段をさらに備えたものであることを特徴とする請求項１記載のオブジェクト推定装置。
3. 前記平滑化処理手段がａ×ｋ枚の前記平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（ａは２以上の整数、σ_ｉは前記平滑化フィルタのスケールであってｉ＝１〜ａ×ｋ）を生成するものであり、
   前記差分画像生成手段が前記ａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を用いて下記式（１）によりｋ枚（ｋは２以上の整数）の前記差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成するものであることを特徴とする請求項１記載のオブジェクト推定装置。
   Ｇ（ｘ，ｙ，σ_ｉ）＝Ｌ（ｘ，ｙ，σ_ｉ）−Ｌ（ｘ，ｙ，σ_ｉ×ａ）・・・（１）
4. 前記平滑化処理手段がｋ枚の前記平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（ｋは２以上の整数、σ_ｉは前記平滑化フィルタのスケールであってｉ＝１〜ｋ）を生成するものであり、
   前記差分画像生成手段がｋ枚の前記平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を用いて下記式（２）によりｋ−ｐ枚（ｐは１以上の整数）の前記差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成するものであることを特徴とする請求項１記載のオブジェクト推定装置。
   Ｇ（ｘ，ｙ，σ_ｉ）＝Ｌ（ｘ，ｙ，σ_ｉ）−Ｌ（ｘ，ｙ，σ_ｉ＋ｐ）・・・（２）
5. 前記平滑化処理手段がａ×ｋ枚の前記平滑化画像Ｌ（ｘ，ｙ，σ _ｉ ）（ａは２以上の整数、σ _ｉ は前記平滑化フィルタのスケールであってｉ＝１〜ａ×ｋ）を生成するものであり、
   前記差分画像生成手段が前記ａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ _ｉ ）を用いて下記式（１）によりｋ枚（ｋは２以上の整数）の前記差分画像Ｇ（ｘ，ｙ，σ _ｉ ）を生成するものであることを特徴とする請求項２記載のオブジェクト推定装置。
   Ｇ（ｘ，ｙ，σ _ｉ ）＝Ｌ（ｘ，ｙ，σ _ｉ ）−Ｌ（ｘ，ｙ，σ _ｉ×ａ ）・・・（１）
6. 前記平滑化処理手段がｋ枚の前記平滑化画像Ｌ（ｘ，ｙ，σ _ｉ ）（ｋは２以上の整数、σ _ｉ は前記平滑化フィルタのスケールであってｉ＝１〜ｋ）を生成するものであり、
   前記差分画像生成手段がｋ枚の前記平滑化画像Ｌ（ｘ，ｙ，σ _ｉ ）を用いて下記式（２）によりｋ−ｐ枚（ｐは１以上の整数）の前記差分画像Ｇ（ｘ，ｙ，σ _ｉ ）を生成するものであることを特徴とする請求項２記載のオブジェクト推定装置。
   Ｇ（ｘ，ｙ，σ _ｉ ）＝Ｌ（ｘ，ｙ，σ _ｉ ）−Ｌ（ｘ，ｙ，σ _ｉ＋ｐ ）・・・（２）
7. 前記サイズ推定手段が、最も大きい差分値もしくは最も小さい差分値を有する前記差分画像Ｇ（ｘ，ｙ，σ_ｉ）を生成した前記平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）内のボケの広がり度合いに基づいて前記オブジェクトのサイズを推定するものであることを特徴とする請求項５または６記載のオブジェクト推定装置。
8. 前記平滑化フィルタは、予め決められたサイズのオブジェクトに対応したフィルタ特性を有するものであることを特徴とする請求項２または７に記載のオブジェクト推定装置。
9. 入力された原画像に対し解像度を低くした前記画像を生成する前処理手段をさらに備えたものであることを特徴とする請求項１から８のいずれか１項記載のオブジェクト推定装置。
10. 前記画像が動画像であり、動画像を構成するフレーム画像内から動きのある動き領域を抽出するとともに背景差分を行う前処理手段をさらに備えたものであることを特徴とする請求項１から９のいずれか１項記載のオブジェクト推定装置。
11. 前記位置推定手段により推定された前記オブジェクトの位置または前記サイズ推定手段により推定された前記オブジェクトのサイズに基づいて前記画像内から前記オブジェクトを検出するオブジェクト検出手段をさらに備えたことを特徴とする請求項２、５〜８のいずれか１項記載のオブジェクト推定装置。
12. オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込むことを繰り返すことにより、スケールの異なる複数の平滑化画像を生成し、
    生成した前記複数の平滑化画像のうち、所定のスケールだけ離れた前記平滑化画像間の差分を算出した差分画像を複数生成し、
    生成した前記複数の差分画像を合算して合算画像を生成し、
    生成した合算画像から信号値が最大もしくは最小になる位置を前記オブジェクトが存在する確率の高い位置とする
    ことを特徴とするオブジェクト推定方法。
13. コンピュータに、
    オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込むことを繰り返すことにより、スケールの異なる複数の平滑化画像を生成する手順と、
    生成した前記複数の平滑化画像のうち、所定のスケールだけ離れた前記平滑化画像間の差分を算出した差分画像を複数生成する手順と、
    生成した前記複数の差分画像を合算して合算画像を生成する手順と、
    生成した合算画像から信号値が最大もしくは最小になる位置を前記オブジェクトが存在する確率の高い位置とする手順と
    を実行させるためのオブジェクト推定プログラム。

Images