JP5227629B2 - オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム - Google Patents

Description

本発明は、二次元的に配列された画素で表現された画像から特定種類のオブジェクト、例えば人間の頭部や人間の顔などを検出するオブジェクト検出方法およびオブジェクト検出装置、並びに、プログラムを実行する演算装置をオブジェクト検出装置として動作させるオブジェクト検出プログラムに関する。

例えば人物頭部などは、画像上に様々の寸法、多様な形状で写し出される。人間が目で見て判断するときは人物頭部であるか否かは瞬時に容易に判断できるものの、これを装置で自動的に判別させるのはかなり難しい技術である。一方、画像上の人物頭部の検出は、人物検出の重要な前処理かつ基盤技術と考えられている。特に映像監視の場合、様々な環境における人物の検出、人物の追跡、人の流れの計測を自動かつ高精度に行なうために、その前処理である人物頭部の高精度な検出を行なうことのできる技術の実用化のニーズが極めて高い状況にある。

人物頭部検出方法について従来より様々な方法が提案されているが（特許文献１〜４、非特許文献１）、これらの検出方法は、人物頭部を基本的に円や楕円と仮定して、様々な手法で円や楕円を当てはめる方法である。

例えば特許文献１には、連続２フレーム画像から時間差分と空間差分により作成した明度エッジ階層画像群に、Ｈｏｕｇｈ変換投票をかけて楕円を抽出することにより、人物頭部を検出する手法が開示されている。

また、特許文献２には、二つ以上のカメラで撮影された映像からまず空間距離画像を生成し、生成した空間距離画像からラベリング手法で領域を分割してオブジェクトを決め、決めたオブジェクトに円フィッティングすることにより、人物頭部を決定する手法が開示されている。

また、特許文献３には、頭部を判断する際、単なる楕円テンプレートではなく、エッジ画像のエッジ方向に垂直となる接線との接点付近の強度を小さく設定して得られたパターン（楕円の一部）を参照パターンとして比較する手法が開示されている。

さらに、特許文献４には、入力画像から抽出した人物の前景領域におけるモーメントや重心などを計算することにより、前景の一部である頭部領域を推定して、その領域の形状に基づいて、人物の頭部に当てはめる楕円を決定する方法が開示されている。

さらに、非特許文献１には、まずＨｏｕｇｈ変換を用いて半円を見つけ、頭部の候補を探し出し、その候補から、輪郭線上の各点のプロフィール確率を計算することにより、その候補が頭部か否かを判定する手法が開示されている。
特開２００４−２９５７７６号公報 特開２００５−９２４５１号公報 特開２００５−２５５６８号公報 特開２００７−１６４７２０号公報 Ｊａｃｋｙ Ｓ．Ｃ．Ｙｕｋ, Ｋｗａｎ−Ｙｅｅ Ｋ．Ｗｏｎｇ， Ｒｏｎａｌｄ Ｈ．Ｙ．Ｃｈｕｎｇ， Ｆ．Ｙ．Ｌ Ｃｈｉｎ， Ｋ．Ｐ．Ｃｈｏｗ，Ｒｅａｌ−ｔｉｍｅ ｍｕｌｔｉｐｌｅ ｈｅａｄ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ ｗｉｔｈ ｄｅｃｅｎｔｒａｌｉｚｅｄ ｔｒａｃｋｅｒｓ， ＩＳＤＡ，２００６

上記の従来の手法は、主に限られた頭部ポーズや安定した環境に応用されているが、背景が複雑あるいは混雑が激しい場合で検出精度が低下するという課題が残る。これは、照明の変動、背景の乱れや人物の重なりにより、正確な人物頭部輪郭情報を得られないことが一つの原因である。もう一つ原因は、さまざまなヘアスタイルなど、人物頭部形状の多様性と頭部ポーズの多様性の中で、頭部を単なる円や楕円と仮定することによっては、その多様性に対応できないということである。従来の頭部検出手法では、店舗における監視や人流計測などに応用にとって実用に足る検出精度がまだ得られていない。

この点は頭部検出に限らず、例えば顔検出でも同様であり、広く一般に、画像上に多様な形状で写し出される特定種類のオブジェクトを検出する場合に共通の課題である。

本発明は、上記事情に鑑み、画像上に多様な形状で写し出されるオブジェクトを検出対称とする場合であっても、そのオブジェクトを高精度に検出することができるオブジェクト検出方法およびオブジェクト検出装置、並びに、プログラムを実行する演算装置を、オブジェクトを高精度に検出することができるオブジェクト検出装置として動作させるオブジェクト検出プログラムを提供することを目的とする。

上記目的を達成する本発明のオブジェクト検出方法は、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
画像上の、二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタであって、それら複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけられてなる複数のフィルタを、オブジェクト検出対象の画像上の上記所定の広さの領域に作用させて複数の特徴量を算出し、上記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出ステップと、
一次評価値算出ステップで求められた、複数のフィルタに対応する複数の一次評価値を総合することにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出ステップと、
二次評価値算出ステップで求められた二次評価値と閾値とを比較して、閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出ステップとを有し、この領域抽出ステップで領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする。

本発明のオブジェクト検出方法は、オブジェクトの輪郭や内部の様々な特徴を表わす特徴量を抽出する複数のフィルタを組み合わせることにより、例えば従来のように輪郭の形状のみに着目した演算による抽出と比べ高精度の抽出が可能となる。

ここで、本発明のオブジェクト検出方法において、上記複数のフィルタが、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた各対応関係に対応づけられてなるものであり、
オブジェクト検出対象の原画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成ステップを有し、
上記一次評価値算出ステップが、画像群生成ステップにより生成された画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出し、それら複数の第１のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求め、上記二次評価値算出ステップが、一次評価値算出ステップで求められた、複数の第１のフィルタに対応する複数の一次評価値を総合することにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、上記領域抽出ステップが、二次評価値算出ステップで求められた二次評価値と第１の閾値とを比較して第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する第１の抽出過程と、
上記一次評価値算出ステップが、画像群生成ステップにより生成された画像群のうちの上記第１の画像よりも画素数が一段階多い第２の画像の、上記一次候補領域に相当する領域に上記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、それら複数の第２のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求め、上記二次評価値算出ステップが、一次評価値算出ステップで求められた、上記複数の第２のフィルタに対応する複数の一次評価値を総合することにより、その一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、上記領域抽出ステップが、二次評価値算出ステップで求められた二次評価値と第２の閾値とを比較して該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返し、上記領域抽出ステップで最終的に領域を抽出することにより特定種類のオブジェクトを検出することが好ましい。

このように、段階的に異なる複数の広さの領域に作用してオブジェクト検出を行なう、１つの広さの領域ごとにそれぞれ複数のフィルタを用意しておき、一方、検出対象の原画像についても、間引きにより複数の寸法の画像からなる画像群を作成し、画像にフィルタを作用させて領域を抽出する過程を、相対的に小さい画像に相対的に狭い領域に作用する複数のフィルタを作用させる過程から相対的に大きい画像に相対的に広い領域に作用する複数のフィルタを作用させる過程へと順次に進み、かつ、後の過程では直前の過程で抽出された領域のみにフィルタを作用させるようにすると、複数の段階で順次にオブジェクトの存在の有無が選別され、さらに高精度な検出が可能となる。また、小さいサイズの画像で領域の粗ぶるいが行なわれ、一旦抽出された領域のみ次の領域検出対象としていることから、高速処理も可能となる。

この場合において、さらに、上記画像群生成ステップが、上記画像群の生成に加え、さらに、原画像に補間演算を施すことにより、その画像群を構成する、原画像を上記所定比率で間引いて得られた間引画像の画素数よりも多く、かつその原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又はその範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、その補間画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するステップであり、
上記一次評価値算出ステップ、上記二次評価値算出ステップ、および上記領域抽出ステップが、画像群生成ステップで生成された複数の画像群それぞれに関し、上記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことが好ましい。

このように、寸法が異なる複数の画像群を作成してオブジェクトの検出に用いると、多様な寸法のオブジェクトを検出することができる。

また、本発明のオブジェクト検出方法において、特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された所定寸法の複数の画像からなる、所定寸法の複数の教師画像と、画像上の、その所定寸法の領域に作用し、その領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するための複数のフィルタ候補とを用意し、機械学習により、複数のフィルタ候補の中から複数のフィルタを抽出するとともに、各フィルタに対応する上記対応関係を求める学習ステップをさらに有することが好ましい。

例えば、この学習ステップを採用して、複数の有効なフィルタを抽出するとともに、各フィルタに変換する、そのフィルタで算出される特徴量とそのフィルタを作用させた領域に検出対象のオブジェクトが存在する確率を表わす一次評価値との対応関係を求め、オブジェクトの検出の際に有効に利用することができる。

また、本発明のオブジェクト検出方法において、原画像と間引画像とがなる画像群を生成する画像群生成ステップを有する場合、特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された所定寸法の複数の画像からなる、所定寸法の複数の教師画像それぞれを上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、同一シーンであって寸法が異なる複数の教師画像からなる教師画像群を複数作成するとともに、画像上の、教師画像群を構成する複数段階の教師画像の寸法に応じた寸法の領域に作用し、その領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するためのフィルタ候補を上記の複数段階の寸法それぞれに対応して複数ずつ用意し、機械学習により、各寸法ごとに、複数のフィルタ候補の中から複数のフィルタを抽出するとともに、抽出された各フィルタに対応する上記対応関係を求める学習ステップをさらに有することが好ましい。

この学習ステップを置くことにより、画像群生成ステップにより生成された画像群を構成する複数の寸法の画像それぞれに適合した複数のフィルタを抽出することができる。

また、本発明のオブジェクト検出方法において、上記段階的検出ステップで複数の領域が検出された場合におけるそれら複数の領域を、それら複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合ステップをさら有することが好ましい。

例えば人物頭部を検出対象とする場合において、画像上の人物の顔をほぼ中心に含む第１の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第１の領域と比べると一部が重なり一部が外れた第２の領域との双方が人物頭部の領域として抽出されることがある。このようなことが予想されるオブジェクトを検出対象とする場合には、領域統合ステップを実行し、複数の領域の重なりの程度に応じて１つの領域に統合することが好ましい。

また、本発明のオブジェクト検出方法において、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成ステップをさらに有することが好ましい。

例えば人物頭部を検出対象のオブジェクトする場合など、人物は映像上で移動するため、上記の差分画像を作成してその差分画像をオブジェクト検出対象の画像とすることにより、人物の移動の特徴を捉えた頭部検出（オブジェクト検出）が可能となる。さらに、差分画像作成前の個々の画像と差分画像との双方を、オブジェクト検出対象の画像とすることにより、更に高精度のオブジェクト検出が可能となる。

ここで、本発明のオブジェクト検出方法は、上記複数のフィルタが、人間の頭部が存在する確率を表わす評価値を生成するフィルタであって、このオブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出方法であってもよい。

本発明のオブジェクト検出方法は、人物頭部を検出対象する場合に好適である。ただし、本発明のオブジェクト検出方法は、人物頭部の検出にのみ好適なものではなく、人物の顔の検出、屋外での野鳥視察用の野鳥の検出など、特定種類のオブジェクトを検出する様々な分野に適用することができるものである。

また、上記目的を達成する本発明のオブジェクト検出装置は、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタをそれら複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
オブジェクト検出対象の画像上の上記所定の広さの領域に複数のフィルタを作用させて複数の特徴量を算出し上記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
一次評価値算出部で求められた、複数のフィルタに対応する複数の一次評価値を総合することにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
二次評価値算出部で求められた二次評価値と閾値とを比較して、閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを備え、この領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする。

ここで、本発明のオブジェクト検出装置において、上記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、各フィルタそれぞれに応じた上記対応関係に対応づけられてなるフィルタ群を、上記の対応関係とともに記憶しておくものであり、
オブジェクト検出対象の原画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
上記一次評価値算出部に、画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、それら複数の第１のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、上記二次評価値算出部に、一次評価値算出部で求められた、複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、上記領域抽出部に、二次評価値算出部で求められた二次評価値と第１の閾値とを比較させて第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第１の抽出過程と、
再び上記一次評価値算出部に、画像群生成部により生成された画像群のうちの上記第１の画像よりも画素数が一段階多い第２の画像の、上記一次候補領域に相当する領域にフィルタ記憶部に記憶されたフィルタ群のうちの上記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、それら複数の第２のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び上記二次評価値算出部に、一次評価値算出部で求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、その一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び上記領域抽出部に、二次評価値算出部で求められた二次評価値と第２の閾値とを比較させて第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部、二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部とを備え、領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出するものであることが好ましい。

この場合に、さらに、上記画像群生成部が、上記画像群の生成に加え、さらに、原画像に補間演算を施すことにより、上記画像群を構成する、原画像を上記所定比率で間引いて得られた間引画像の画素数よりも多く、かつその原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又はその範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、その補間画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
上記領域抽出演算制御部は、画像群生成部で生成された複数の画像群それぞれに関し、上記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部、二次評価算出部、および領域抽出部に繰り返させるものであることが好ましい。

また、本発明のオブジェクト検出装置において、上記段階的検出部で複数の領域が検出された場合における複数の領域を、それら複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさら備えることが好ましい。

さらに、本発明のオブジェクト検出装置において、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに備えることが好ましい。

ここで、上記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、本発明のオブジェクト検出装置は画像内にあらわれる人間の頭部を検出対象とするものであってもよい。

また、上記目的を達成する本発明のオブジェクト検出プログラムは、プログラムを実行する演算装置内で実行され、その演算装置を、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
上記演算装置を、
画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタを、それら複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
オブジェクト検出対象の画像上の上記所定の広さの領域に複数のフィルタを作用させて複数の特徴量を算出し上記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
一次評価値算出部で求められた、複数のフィルタに対応する複数の一次評価値を総合することにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
二次評価値算出部で求められた二次評価値と閾値とを比較して、閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを有し、この領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とする。

ここで、本発明のオブジェクト検出プログラムにおいて、上記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが各フィルタそれぞれに応じた上記対応関係に対応づけられてなるフィルタ群を、上記の対応関係とともに記憶しておくものであり、
上記演算装置を、さらに、
オブジェクト検出対象の原画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
上記一次評価値算出部に、画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、それら複数の第１のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、上記二次評価値算出部に、一次評価値算出部で求められた、複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、その領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、上記領域抽出部に、二次評価値算出部で求められた二次評価値と第１の閾値とを比較させて第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第１の抽出過程と、
再び上記一次評価値算出部に、画像群生成部により生成された画像群のうちの上記第１の画像よりも画素数が一段階多い第２の画像の、上記一次候補領域に相当する領域にフィルタ記憶部に記憶されたフィルタ群のうちの上記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、それら複数の第２のフィルタそれぞれに対応する上記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び上記二次評価値算出部に、一次評価値算出部で求められた、複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、その一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び上記領域抽出部に、二次評価値算出部で求められた二次評価値と第２の閾値とを比較させて第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第２の抽出過程と
を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部、二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部を有し、領域抽出部で最終的に領域を抽出することにより特定画像を検出するオブジェクト検出装置として動作させるプログラムであることが好ましい。

この場合にさらに、上記画像群生成部が、上記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、上記画像群を構成する、原画像を上記所定比率で間引いて得られた間引画像の画素数よりも多く、かつその原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又はその範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、その補間画像を構成する画素を上記所定比率で間引くことにより、又は上記所定比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
上記領域抽出演算制御部が、画像群生成部で生成された複数の画像群それぞれに関し、上記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部、二次評価算出部、および領域抽出部に繰り返させるプログラムであることが好ましい。

さらに、本発明のオブジェクト検出プログラムは、上記演算装置を、上記領域抽出部で複数の領域が検出された場合における複数の領域を、それら複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させるプログラムであることが好ましい。

さらに、本発明のオブジェクト検出プログラムは、上記演算装置を、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに有するオブジェクト検出装置として動作させるプログラムであることも好ましい態様である。

ここで、上記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、本発明のオブジェクト検出プログラムは画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させるものであってもよい。

以上の本発明によれば、検出対象のオブジェクトが画像上に多様な形状で写し出される場合であっても、そのオブジェクトを高精度に検出することができる。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。

図１に示す監視カメラシステム１の概略構成図には、監視カメラ１０と、インターネット２０と、本発明にいうオブジェクト検出装置の一実施形態である頭部検出装置として動作するパーソナルコンピュータ３０とが示されている。

監視カメラ１０は、例えば銀行に設置されたものであって、店内の様子を撮影するものである。この監視カメラ１０は、インターネット２０に接続されており、ネットワーク通信を介して、動画像を表す画像データをパーソナルコンピュータ３０に向けて送信する。尚、以下では、データ上の画像も単に「画像」と称する。

パーソナルコンピュータ３０は、インターネット２０に接続されており、ネットワーク通信を介して、監視カメラ１０から送信される動画像を受け取る。また、このパーソナルコンピュータ３０は、監視カメラ１０で撮影された動画像を一括管理するものである。

監視カメラ１０は本発明の主題ではないため詳細な説明を省略し、以下では、本発明の一実施形態の頭部検出装置として動作するパーソナルコンピュータ３０についてさらに説明する。
図２は、図１に１つのブロックで示すパーソナルコンピュータ３０の外観斜視図、図３は、そのパーソナルコンピュータ３０のハードウエア構成図である。

ここでは、このパーソナルコンピュータ３０のハードウエアおよびＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と、このパーソナルコンピュータ３０にインストールされて実行される頭部検出プログラムとにより、本発明の一実施形態としての頭部検出装置が構成されている。

このパーソナルコンピュータ３０は、外観構成上、本体装置３１、その本体装置３１からの指示に応じて表示画面３２ａ上に画像を表示する画像表示装置３２、本体装置３１に、キー操作に応じた各種の情報を入力するキーボード３３、および、表示画面３２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス３４を備えている。この本体装置３１は、外観上、光磁気ディスク（ＭＯ）を装填するためのＭＯ装填口３１ａ、およびＣＤやＤＶＤを装填するためのＣＤ／ＤＶＤ装填口３１ｂを有する。

本体装置３１の内部には、図３に示すように、各種プログラムを実行するＣＰＵ３０１、ハードディスク装置３０３に格納されたプログラムが読み出されＣＰＵ３０１での実行のために展開される主メモリ３０２、各種プログラムやデータ等が保存されたハードディスク装置３０３、ＭＯ３３１が装填されてその装填されたＭＯ３３１をアクセスするＭＯドライブ３０４、ＣＤやＤＶＤ（ここでは区別せずにＣＤ／ＤＶＤと称する）が装填され、その装填されたＣＤ／ＤＶＤ３３２をアクセスするＣＤ／ＤＶＤドライブ３０５、および図１に示すインターネット２０に接続され監視カメラ１０での撮影により得られた画像データを受信するインターフェース３０６が内蔵されている。これらの各種要素と、さらに図２にも示す画像表示装置３２、キーボード３３、およびマウス３４は、バス３０７を介して相互に接続されている。

ここで、ＣＤ／ＤＶＤ３３２には、このパーソナルコンピュータを頭部検出装置として動作させるための頭部検出プログラムが記憶されており、そのＣＤ／ＤＶＤ３３２は、ＣＤ／ＤＶＤドライブ３０５に装填され、そのＣＤ／ＤＶＤ３３２に記憶された頭部検出プログラムがこのパーソナルコンピュータ３０にアップロードされてハードディスク３０３に格納される。このハードディスク装置３０３に格納された頭部検出プログラムは、このハードディスク装置３０３から読み出され主メモリ３０２上に展開されてＣＰＵ３０１で実行されることにより、このパーソナルコンピュータ３０が頭部検出装置として動作する。

また、ハードディスク装置３０３には、頭部検出プログラムの他にも、画像表示装置３２の表示画面３２ａの上に画像を表示し、オペレータの操作に応じて、その画像を縦横独立に変倍したり回転したり一部を切り出したりなど、その画像に様々な画像処理を施すための画像処理プログラムや、後述するような機械学習を行なってフィルタを抽出するためプログラムなど、図４に示す学習ステップＳ１０を実現するための各種の支援プログラムも格納されている。

図４は、図１〜図３に示すパーソナルコンピュータ３０を利用して実施される頭部検出方法の一例を示すフローチャートである。

この図４に示す頭部検出方法は、学習ステップＳ１０と、この学習ステップＳ１０を除いた他のステップＳ２１〜Ｓ２４の集合からなる検出ステップＳ２０とを有する。学習ステップＳ１０は検出ステップＳ２０のための準備のステップであり、ここでは、厖大な数の画像を使っての機械学習（例えばＡｂａ Ｂｏｏｓｔｉｎｇのアルゴリズムを用いた学習）を行なって、検出ステップＳ２０での頭部検出対象の原画像に作用させる各種のフィルタを抽出するための処理が行なわれる。詳細は後述する。

また、検出ステップＳ２０は、学習ステップＳ１０で抽出された各種のフィルタを使って、検出対象の原画像から人物頭部を自動検出するステップであり、画像群生成ステップＳ２１、輝度補正ステップＳ２２、差分画像作成ステップＳ２３、段階的検出ステップＳ２４、および領域統合ステップＳ２５から構成され、段階的検出ステップＳ２４は、さらに、一次評価値算出ステップＳ２４１、二次評価値算出ステップＳ２４２、および領域抽出ステップＳ２４３と、それらの各ステップＳ２４１，Ｓ２４２，Ｓ２４３の繰り返しが終了したか否かを判定する判定ステップＳ２４４とから構成されている。検出ステップＳ２０を構成する各ステップについても詳細説明は後に譲る。

図５は、頭部検出装置の一例を示すブロック図である。この頭部検出装置１００は、図１〜図３に示すパーソナルコンピュータ３０内にアップロードされた頭部検出プログラムがパーソナルコンピュータ３０内で実行されることによりそのパーソナルコンピュータ３０内に実現されるアルゴリズムであり、画像群生成部１１０、輝度補正部１２０、差分画像作成部１３０、段階的検出部１４０、領域統合部１５０、フィルタ記憶部１６０、および領域抽出演算制御部１７０を有する。このうちの段階的検出部１４０は、さらに、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３から構成されている。

図４に示す頭部検出方法との対比では、図５の頭部検出装置１００の全体が図４の頭部検出方法における検出ステップＳ２０に相当し、画像群生成部１１０が画像群生成ステップＳ２１に相当し、輝度補正部１２０が輝度補正ステップＳ２２に相当し、差分画像作成部１３０が差分画像作成ステップＳ２３に相当し、段階的検出部１４０と領域抽出演算制御部１７０とを合わせた構成が段階的検出ステップＳ２４に相当し、領域統合部１５０が領域統合ステップＳ２５に相当する。また、フィルタ記憶部１６０は、学習ステップＳ１０で抽出された各種のフィルタ（後述する）を格納しておく、図４にも示す記憶部１６０である。

また、段階的検出部１４０を構成する一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３は、それぞれ図４に示す頭部検出方法のうちの段階的検出ステップＳ２４を構成する一次評価値算出ステップＳ２４１、二次評価値算出ステップＳ２４２、および領域抽出ステップＳ２４３に相当し、領域抽出演算制御部１７０は、段階的検出ステップＳ２４を構成する判定ステップＳ２４４に相当する。

尚、パーソナルコンピュータ３０内で頭部検出プログラムが実行されたときの頭部検出プログラムの作用は、図５に示す頭部検出装置の作用と同一であり、ここでは、頭部検出プログラムを取り上げての図示および説明は省略する。

以下では、図５に示す頭部検出装置１００の各部の作用について概括的に説明する。この説明により頭部検出プログラムおよび図４に示す頭部検出方法の検出ステップＳ２０を構成する各ステップの説明を兼ねるものとする。その後、図４に示す頭部検出方法の学習ステップＳ１０の具体的な詳細説明、および頭部検出装置の具体的な詳細説明を行なう。

図５に示す頭部検出装置１００は、二次元的に配列された画素で表現された画像から人物頭部を検出する頭部検出装置である。

フィルタ記憶部１６０には、図４に示す頭部検出方法の学習ステップＳ１０で抽出された多数のフィルタが格納されている。これらのフィルタは、画像上の二次元的に広がる所定の広さの領域に作用し人物頭部の輪郭および内部のうちの互いに異なるいずれかの特徴量を算出するフィルタであり、これらのフィルタは、それらのフィルタそれぞれにより算出される各特徴量と人物頭部である確率を表わす一次評価値との対応関係に対応づけられてフィルタ記憶部に格納されている。さらにこれらのフィルタは、画像上の領域の広さに対応する画素数が縦横それぞれ１／２の比率で段階的に異なる、複数（ここでは画素数で３２×３２、１６×１６、および８×８）の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタから構成されている。

画像群生成部１１０では、入力されてきた原画像を構成する画素が縦横それぞれ１／２の比率で段階的に間引かれ、原画像と何枚かの間引画像とからなる画像群が生成される。さらに、この画像群生成部１１０では、１／２の比率で原画像を間引いて生成した画像群のほか、さらに、その原画像に補間演算を施すことにより、その原画像を含む画像群を構成する、その原画像を縦横１／２の比率で間引いて得られた間引画像（画素数は原画像の１／４（縦横それぞれ１／２））の画素数よりも多く、かつ原画像の画素数よりも少ない画素数の範囲内の補間画像が生成され、生成された補間画像について、その補間画像を構成する画素を上記の縦横１／２の比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた間引画像とからなる新たな画像群が生成される。

また、輝度補正部１２０は、画像上の１つの画素を注目画素としたとき、その注目画素を含むある領域内に存在する複数の画素の画素値（輝度値）の平均値と分散を用いてその注目画素の画素値（輝度値）を補正する輝度補正処理を、画像上の各画素をそれぞれ注目画素として画像全体に亘って行なうものである。この輝度補正処理は、画像群生成部１１０から受け取った画像群を構成する各画像それぞれについて行なわれる。

この輝度補正部１２０における輝度補正処理は、画素によって輝度が大きくばらつく画像を頭部検出対象の画像とする場合に、頭部検出精度の向上に役立つものであり、本実施形態はこの輝度補正部１２０を備えているが、本発明では必ずしも必要な処理ではない。

また差分画像作成部１３０は、図１に示す監視カメラ１０からの動画像を入力し、隣接するフレームの差分画像を作成して、その差分画像を、段階的検出部１３０に渡す役割りを担っている。

ここで、段階的検出部１４０には、輝度補正部１２０で輝度補正された後の画像が直接に入力されるとともに、さらに、輝度補正部１２０で輝度補正された画像が差分画像作成部１３０に入力され、その差分画像作成部１３０で作成された差分画像も入力される。これは、頭部検出対象の画像として、１枚１枚の静止画像を利用するとともに、差分画像を利用することによって人物頭部の動きの情報も利用して、高精度な頭部検出を行なうためである。

段階的検出部１４０では、先ず一次評価値算出部１４１により、頭部検出対象の画像上の各領域に複数のフィルタを作用させて複数の特徴量を算出し各フィルタに対応づけられている上述の対応関係（フィルタにより算出される特徴量と人物頭部である確率を表わす一次評価値との対応関係）に基づいて、各特徴量に対応する各一次評価値が求められる。次に、二次評価値算出部１４２により、一次評価値算出部１４１で求められた、複数のフィルタに対応する複数の一次評価値を、例えば加算、平均値算出等の演算を用いて総合することにより、その領域に人物頭部が存在する確率を表わす二次評価値が求められる。次いで領域抽出部１４３では、二次評価値算出部１４２で求められた二次評価値と閾値とが比較され、閾値を越えて人物頭部が存在する確率が高い領域が抽出される。図５に示す頭部検出装置１００では、領域抽出部１４３で領域が抽出されることをもって、人物頭部が検出されることになる。

この段階的検出部１４０では、領域抽出演算制御部１７０のシーケンス制御を受けて、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３が繰り返し動作し、最終的に極めて高い確率で人物頭部が写し出された領域が抽出される。領域抽出演算制御部１７０は、段階的検出部１４０を構成する一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３の動作を以下のように制御する。

領域抽出演算制御部１７０は、先ず、一次評価値算出部１４１に、画像群生成部１１０により生成された画像群のうちの相対的に小さい第１の画像にフィルタ記憶部１６０に記憶された多数のフィルタのうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、二次評価値算出部１４２に、一次評価値算出部１４１で求められた、複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、その領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、領域抽出部１４３に、二次評価値算出部１４２で求められた二次評価値と第１の閾値とを比較させてその第１の閾値を越えて人物頭部が存在する確率が高い一次候補領域を抽出させる第１の抽出過程を実行させる。

次に、再び一次評価値算出部１４１に、画像群生成部１１０により生成された画像群のうちの上記の第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域にフィルタ記憶部１６０に記憶されたフィルタ群のうちの上記の複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び二次評価値算出部１４２に、一次評価値算出部１４１で求められた、複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、再び領域抽出部１４３に、二次評価値算出部１４２で求められた二次評価値と第２の閾値とを比較させて第２の閾値を越えて人物頭部が存在する確率が高い二次候補領域を抽出させる第２の抽出過程を実行させる。

領域抽出演算制御部１７０は、以上のような第１の抽出過程および第２の抽出過程を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部１４１、二次評価値算出部１４２、および領域抽出部１４３に繰り返させる。

図５の頭部検出装置１００は、この繰り返しにより領域抽出部１４３で最終的に領域が抽出されることにより人物頭部が高精度に検出される。

ここで、前述したように、画像群生成部１１０では、補間演算と間引演算とにより１枚の原画像から複数の画像群が生成されるが、領域抽出演算制御部１７０は、画像群生成部１１０で生成された複数の画像群（差分画像作成部１３０では差分画像の画像群が作成されるが、この差分画像作成部１３０で作成された差分画像の画像群を含む）それぞれに関し、上記の複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部１４１、二次評価算出部１４２、および領域抽出部１４３に繰り返させる。

これにより、様々の寸法の人物頭部を検出することができる。

ここで、領域抽出部１４３からは、例えば、画像上の人物の顔をほぼ中心に含む第１の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第１の領域と比べると一部が重なり一部が外れた第２の領域との双方が人物頭部の領域として抽出されることがある。そこで、図５の頭部検出装置１００は、領域統合部１５０を備え、このような場合に１つの領域に統合する処理を行なっている。具体的には、領域抽出部１４３で複数の領域が検出された場合におけるそれら複数の領域を、それら複数の領域どうしの重なりの程度に応じて、１つの領域に統合する。更なる詳細については後述する。

次に、本発明の実施形態をさらに具体的に説明する。

図６は、図４に示す頭部検出方法の学習ステップＳ１０の詳細フロー図である。

この図６は、上下２段に示されており、上段は差分をとる前の静止画像１枚１枚を取り扱うフローであり、下段は、差分画像を取り扱うフローである。

ここでは先ず教師画像を作成するための多数の画像２００が用意される。これらの多数の画像２００は、多数枚の静止画像２０１と、差分画像作成のための動画像２０２からなる。動画像２０２の１枚１枚を静止画像２０１として利用してもよい。これらの画像２００は、頭部検出用の原画像の撮影を行なう監視カメラ１０（図１参照）での撮影により得ることが好ましいが、それに限られるものではなく、監視カメラ１０による撮影とは別に、人物が存在する様々なシーン、および人物が存在しない様々なシーンの画像を収集したものであってもよい。

これらの画像２００には、アフィン（Ａｆｆｉｎｅ）変換処理２１０、多重解像度展開処理２２０、輝度補正処理２３０がこの順に施され、動画像２０２からは差分演算処理２４０により差分画像が生成され、その後、切出し処理２５０により教師画像２５１が生成される。この教師画像２５１は、１つのシーンにつき、３２×３２画素の教師画像と、１６×１６画素の教師画像と、８×８画素の教師画像とからなる教師画像群からなり、多数のシーンについてそれぞれ教師画像群が生成される。

以下、先ず、ここまでの各処理について説明する。

アフィン変換処理２１０は、極めて多数の画像を収集することに代えて、１枚の画像を少しずつ変形して多数枚の画像を生成し、これにより、教師画像の基になる画像の数を増やす処理である。ここでは、元々の１枚の画像を−１２°、−６°、０°、＋６°、＋１２°だけそれぞれ傾けた画像を作成し、さらに縦方向に１．２倍、１．０倍、０．８倍に伸縮した画像、さらに横方向に１．２倍、１．０倍、０．８倍に伸縮した画像を作成する。これらのうち、傾き０°、縦方向１．０倍、かつ横方向１．０倍の画像は元々の画像そのものである。これらの傾きや伸縮を組み合わせ、元々の１枚の画像から元々の１枚の画像を含め、５×３×３＝４５枚の画像が作成される。こうすることにより極めて多数の教師画像が作成され、高精度な学習が可能となる。

次に多重解像度展開処理２２０について説明する。

図７は、多重解像度展開処理の説明図である。

ここには、人物の頭部が写し出されており、既に教師画像のイメージとなっているが、図６の多重解像度展開処理２２０では教師画像として切り出す前の画像全体について以下に説明する処理が行なわれる。

すなわち、図７（Ａ）に示す元の１枚の画像全体をＬ_０とし、その画像Ｌ_０から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれ１／２（面積で１／４）に縮小された画像Ｌ_１を作成し、これと同様に、画像Ｌ_１から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれについてさらに１／２（面積でさらに１／４）に縮小された画像Ｌ_２を作成する。図７（Ｂ）には、このようにして作成された、元々の画像Ｌ_０を含む３枚の画像Ｌ_０，Ｌ_１，Ｌ_２からなる画像群が逆ピラミッド構造で示されている。

次に、輝度補正処理２３０が行なわれる。

この輝度補正処理２３０では、補正前の画素Ｘの画素値（輝度値）をＸ_ｏｒｇ、補正後の輝度をＸ_ｃｏｒとしたとき、

但し、Ｅ（Ｘ_ｏｒｇ）、σ（Ｘ_ｏｒｇ）は、画素Ｘの近傍（例えば９×９画素）の画素値（輝度値）の、それぞれ平均値と分散である。
に従って補正後の画素値（輝度値）が求められ、この処理を画像全域について行なうことにより輝度補正が行なわれる。

この輝度補正は、図７（Ｂ）に示す３層の画像Ｌ_０，Ｌ_１，Ｌ_２のそれぞれについて行なわれる。すなわち、下層の画像Ｌ_２側の画像ほど、元々の画像のシーンからすると広い領域のシーンを利用した輝度補正が行なわれることになる。

次に、動画像について差分処理２４０が行なわれる。

図８は、動画像の差分処理の説明図である。

図８（Ａ）には、動画像のうちの隣接する２つのフレームの画像が示されており、これら２枚の画像からは、多重解像度展開処理２２０により、それぞれが３枚の画像Ｌ_０，Ｌ_１，Ｌ_２；Ｌ_０′，Ｌ_１′，Ｌ_２′からなる２つの画像群が作成される（図８（Ｂ））。

これら２つの画像群を構成する各画像Ｌ_０，Ｌ_１，Ｌ_２；Ｌ_０′，Ｌ_１′，Ｌ_２′には、輝度補正処理２３０が施された後、差分処理２４０が行なわれる。

この差分処理２４０では、同じ寸法の画像について、対応する画素ごとの差分値の絶対値が求められ（｜Ｌ_ｉ′−Ｌ_ｉ｜、ｉ＝０，１，２）、図８（Ｃ）に示す３枚の差分画像からなる逆ピラミッド型の画像群が作成される。

次に切出処理２５０が行なわれる。

この切出処理２５０は、図７（Ｂ）や図８（Ｃ）に示すような３層構造の画像から、様々な形態の人物頭部が写し出された領域や人物頭部以外のものが写し出された領域が切り出され、人物頭部が写し出されている領域からは人物頭部が存在する、という教師画像、人物頭部以外のものが写し出されている領域からは人物頭部は存在しない、という教師画像が作成される。

教師画像を切り出すにあたっては、図７（Ｂ）あるいは図８（Ｃ）に示す三層構造の画像のうちの最上層の画像から３２×３２画素の領域が教師画像として切り出され、これを受けて二層目の画像からは同一部分の１６×１６画素の領域が切り出され、三層目の画像からは同一部分の８×８画素の領域が切り出される。これら切り出された三層の教師画像は、画像の寸法が異なることにより分解能は異なるものの、画像上の同一部分が切り出されたものである。したがって、教師画像も、図７（Ｂ）や図８（Ｃ）に示すような、三層構造の逆ピラミッド型の教師画像群となる。

ここでは、このような三層構造の教師画像群２５１が多数作成され、学習に用いられる。

次に、それらの教師画像により学習される側のフィルタについて説明する。

図９は、フィルタの構造の説明図、図１０は各種のフィルタを図解して例示した図である。

ここには多数種類のフィルタが用意される。これらのフィルタは、画像上の３２×３２画素の領域に作用するフィルタと、画像上の１６×１６画素の領域に作用するフィルタと、画像上の８×８画素の領域に作用するフィルタとに分けられる。これらのフィルタは、学習により抽出されるまでは頭部検出に用いるためのフィルタの候補の地位にある。これらのフィルタ候補のうちの３２×３２画素の領域に作用するフィルタ候補は図９（Ａ）に示す三層構造の教師画像群のうちの３２×３２画素の教師画像による学習で選別されて頭部検出に採用すべきフイルタが抽出され、これと同様に、多数のフィルタ候補のうちの１６×１６画素の領域に作用するフィルタ候補は三層構造の教師画像群のうちの１６×１６画素の教師画像による学習で選別されて頭部検出に採用すべきフィルタが抽出され、さらに、多数のフィルタ候補のうちの８×８画素の領域に作用するフィルタ候補は、三層構造の教師画像群のうちの８×８画素の教師画像により選択されて頭部検出に採用すべきフィルタが抽出される。

図９（Ｂ）に示すように、１つのフィルタは、タイプと、層と、６つの画素座標｛ｐｔ_０，ｐｔ_１，ｐｔ_２，ｐｔ_３，ｐｔ_４，ｐｔ_５｝の属性を持ち、それら６つの画素座標にある画素の画素値（輝度値）をそれぞれ、Ｘ_ｐｔ０，Ｘ_ｐｔ１，Ｘ_ｐｔ２，Ｘ_ｐｔ３，Ｘ_ｐｔ４，Ｘ_ｐｔ５としたとき、

なる演算により、３つの差分値のベクトルが算出される。

「タイプ」は、図１０にタイプ０〜タイプ８を示すような、大分類を表わしている。例えば、図１０左上のタイプ０は、横方向（θ＝０°）の方向の差分をとるフィルタであることを表わしており、タイプ１は、縦方向（θ＝±９０°）の方向の差分をとるフィルタであることを表わしており、タイプ２〜４は、そのタイプごとの方向の差分をとるフィルタであることを表わしている。タイプ５〜８は、図示のような差分演算により各曲線のエッジを検出するフィルタであることを表わしている。また、「層」は、３２×３２画素の領域に作用するフィルタであるか、１６×１６画素の領域に作用するフィルタであるか、８×８画素の領域に作用するフィルタであるかの識別標識である。

さらに、６つの画素座標｛ｐｔ_０，ｐｔ_１，ｐｔ_２，ｐｔ_３，ｐｔ_４，ｐｔ_５｝は、例えば８×８画素の領域に作用する場合の８×８＝６４画素のうちの６つの画素の座標を指定するものである。１６×１６画素の領域に作用するフィルタ、３２×３２画素の領域に作用する画素の場合も同様である。

上記（２）式による演算は、６つの画素座標｛ｐｔ_０，ｐｔ_１，ｐｔ_２，ｐｔ_３，ｐｔ_４，ｐｔ_５｝で指定される６つの画素について行なわれ、例えば、図１０の左上のタイプ０のうちのさらに最上段のフィルタの場合は、数値０を付した画素の輝度値をＸ_０、数値１を付した画素の輝度値をＸ_１、数値２を付した画素（ここでは、数値２を付した画素は数値１を付した画素と同一の画素である）の輝度値をＸ_２（＝Ｘ_１）、数値３を付した画素の輝度値をＸ_３、数値４を付した画素（ここでは数値４を付した画素は数値１を付した画素と同一である）の輝度値をＸ_４（＝Ｘ_３）、数値５を付した画素の輝度値をＸ_５としたとき、

となる。

タイプ５の左側のフィルタにも数値０〜５を付してあり、（３）式と同じ演算が行なわれる。

これらは例示であり、図１０に示す各種のフィルタは、これらの例示と同様の演算を行なうフィルタである。

図６に示すように、教師画像群２５１が作成されると機械学習により、多数のフィルタ候補の中から、頭部検出に採用されるフィルタ２７０が抽出される。

次に、機械学習について説明する。

図１１は、機械学習の概念図である。

これまで説明してきたようにして、多数の教師画像群２５１が用意されるとともに、多数のフィルタ候補２６０が用意され、先ずは、それらの教師画像群２５１のうちの８×８画素の多数の教師画像２５１Ａを使って８×８画素の領域に作用するフィルタ候補２６０Ａの中から頭部検出に用いられるフィルタ２７０Ａが抽出され、次にその抽出結果を反映させながら、１６×１６画素の多数の教師画像２５１Ｂを使って１６×１６画素の領域に作用するフィルタ候補２６０Ｂの中から頭部検出に用いられるフィルタ２７０Ｂが抽出され、さらに、その抽出結果を反映させながら、３２×３２画素の多数の教師画像２５１Ｃを使って、３２×３２画素の領域に作用するフィルタ候補２６０Ｃの中から頭部検出に用いられるフィルタ２７０Ｃが抽出される。

ここでは、機械学習の一例としてＡｂａ Ｂｏｏｓｔアルゴリズムが採用されている。このアルゴリズムは既に広範な分野で採用されているものであり、以下では簡単に説明する。

図１２は、教師画像の概念図である。

ここでは、８×８画素の多数枚の教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０が用意されているものとする。これらの教師画像には、頭部である教師画像と、頭部ではない教師画像が含まれている。

図１３は、各種フィルタとそれらのフィルタの学習結果を示す概念図である。

ここでは、８×８画素の領域に作用する多数種類のフィルタ（この段階ではフィルタ候補）ａ，ｂ，…，ｎが用意され、図１２に示す多数枚の教師画像を用いて各フィルタａ，ｂ，…，ｎについてそれぞれ学習が行なわれる。

図１３に示す各グラフは、各フィルタについての学習結果を示している。

各フィルタでは、（２）式に示すような三次元ベクトルからなる特徴量が算出されるが、ここでは簡単のため一次元の特徴量として示している。

各グラフの横軸は、そのフィルタを使って多数枚の教師画像それぞれについて求めた特徴量の値、縦軸は、そのフィルタを使ったときの頭部である、という正答率を表わしている。この確率は前述した一次評価値として利用される。

ここでは、各フィルタａ，ｂ，…，ｎについてそれぞれ一回目の学習を行なった結果、図１３に示すような学習結果が表われ、フィルタｎを使ったときの正答率が最高であったとする。この場合、先ずはフィルタｎを頭部検出用のフィルタとして採用し、２回目の学習はフィルタｎを除く他のフィルフタａ，ｂ，…について行なわれる。

図１３（Ｃ）に示すように、各教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０についての一次評価値がｘ，ｙ，ｚ，ｚであったとする。

図１４は、教師画像の重み付けを示す説明図である。

一回目の学習では、全ての教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０について同一の重み１．０で学習が行なわれるが、２回目の学習では、各教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０は１回目の学習で最高の正答率を得たフィルタｎによる各教師画像ごとの確率ｘ，ｙ，ｚ，ｚが加味され、正しく判定される確率が高い教師画像ほど重みを下げ、誤って判定される確率の高い教師画像ほど大きな重みが与えられる。この重みは、二回目の学習の各教師画像ごとの正答率に反映される。すなわち、この重みは２回目の学習において、各教師画像をその重みの回数だけ繰り返して学習に利用することと同じである。このようにして２回目の学習を行ない、２回目の学習で最高の正答率を得たフィルタ候補が頭部検出用のフィルタとして抽出される。さらに、その抽出されたフィルタの特徴量の正答率のグラフを利用して各教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０についての重みが再度修正され、今回抽出されたフィルタを除く、さらに残ったフィルタについて学習が行なわれる。以上が繰り返されて、頭部検出用の、８×８画素の領域に作用する多数のフィルタ２７０Ａ（図１１参照）が抽出される。

図１５は、８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。

８×８画素のフィルタの抽出が終了した後、それらのフィルタと、それらのフィルタを１つずつ独立に使ったときの、特徴量と一次評価値との対応関係（例えば図１３に示すグラフ）が求められ、１つ１つの教師画像（例えば教師画像ａ_０）について８×８画素用の多数のフィルタで得た特徴量から得られる各フィルタごとの一次評価値が加算されて二次評価値が求められる。ここでは、図１５に示すように、各教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０について、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍが求められたものとする。このとき、８×８画素の教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０のそれぞれに対応する１６×１６画素の教師画像ａ_１，ｂ_１，ｃ_１，…，ｍ_１の重みが、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍを使って、全ての画像について平等な１．０から変更され、１６×１６画素の領域に作用するフィルタの抽出のための学習に利用される。

これ以降の１６×１６画素の領域のフィルタの抽出アルゴリズム、重み付け変更アルゴリズム、３２×３２画素の領域のフィルタの抽出への移行のアルゴリズム等は全て同様であり、説明は割愛する。

以上のようにして、８×８画素の領域に作用する多数のフィルタ２７０Ａ、１６×１６画素の領域に作用する多数のフィルタ２７０Ｂ、および３２×３２の領域に作用する多数のフィルタ２７０Ｃからなるフィルタ群２７０が抽出されるとともに、各フィルタについての特徴量（前述した（２）式のベクトル）と一次評価値との対応関係（グラフ、表、関数式などのいずれでもよい）が求められ、図４、図５に示すフィルタ記憶部１６０に格納される。

次に、以上のようにしてフィルタ記憶部１６０に格納されたフィルタを利用した頭部検出処理について説明する。

図５に示す画像群生成部１１０、輝度補正部１２０、および差分画像作成部１３０では、学習時における、図６に示す多重解像度展開処理２２０、輝度補正処理２３０、差分演算処理２４０とそれぞれ同様の処理が行なわれる。ただし、画像群生成部１１０における処理は、前述の多重解像度展開処理２２０とは多少異なっており、以下において説明する。

図１６は、図５に示す画像群生成部１１０の処理を示す模式図である。

この画像群生成部１１０には、図１に示す監視カメラ１０での撮影により得られた動画像が入力され、その動画像を構成する１枚１枚の画像について図１６に示す処理が行なわれる。

ここでは、入力画像である原画像に補間演算処理が施されて、その原画像よりもサイズが少しだけ小さい補間画像１が求められ、さらにその補間画像１よりもサイズが少しだけ小さい補間画像２が求められ、同様にして補間画像３も求められる。

原画像と補間画像１との間の画像サイズの比率Ｓσは、縦横それぞれについて

但し、Ｎは、原画像を含む補間画像の数（図１６に示す例ではＮ＝４）である。
の比率である。

このようにして補間画像（図１６に示す例では補間画像１，２，３）を作成した後、原画像および補間画像のそれぞれについて縦横それぞれについて１画素おきに間引くことにより縦横それぞれについて１／２のサイズの画像が作成され、縦横それぞれについてさらに１／２のサイズの画像が作成され、もう１つさらに１／２のサイズの画像が作成され、これにより図１６に示す例では、１枚の原画像から４層の逆ピラミッド型の画像群が４つ作成される。

このようにして多数のサイズの画像を作成することにより、様々なサイズの頭部を抽出することができる。

図５の輝度補正部１２０および差分画像作成部１３０の処理は、図６を参照して説明した、輝度補正処理２３０および差分演算処理２４０と同じであり、重複説明は省略する。

図１６に示す逆ピラミッド型の画像群は、輝度補正部１２０における輝度補正処理を受けた後、さらには、差分画像作成部１３０で差分画像の逆ピラミッド型の画像群に変換された後、段階的検出部１４０に入力される。この段階的検出部１４０では、領域抽出演算制御部１７０によるシーケンス制御を受けながら以下の演算処理が行なわれる。

先ず、一次評価値算出部１４１において、フィルタ記憶部１６０から８×８画素の領域に作用する多数のフィルタが読み出され、図１６に示す逆ピラミッド型の４層の画像群を構成する各４枚の画像のうちの、サイズが最も小さい画像、および２番目に小さい画像が８×８画素の各フィルタでラスタスキャンされて、順次移動する各領域ごとに特徴量を表わすベクトル（（２）式参照）が求められ、各フィルタごとの、特徴量と一次評価値との対応関係（図１３参照）が参照されて、その特徴量が一次評価値に換算される。

二次評価値算出部１４２では、８×８画素の領域に作用する多数のフィルタによる多数の一次評価値が互いに加算されて二次評価値が求められ、領域抽出部１４３ではその二次評価値が所定の第１の閾値以上である（頭部が写されている可能性が高い）一次抽出領域が抽出される。

次にその一次抽出領域の位置情報が一次評価値算出部１４１に伝達され、一次評価値算出部１４１では、今度は、フィルタ記憶部１６０から１６×１６画素の領域に作用する多数のフィルタが読み出されて、図１６に示す逆ピラミッド型の４つの画像群それぞれについて、小さい方から２番目の画像と３番目（大きい方から２番目）の画像上の、領域抽出部１４３で抽出された一次抽出領域に対応する領域に１６×１６の画素の領域に作用する各フィルタを作用させて特徴量を算出し、その特徴量を一次評価値に換算する。それらの、１６×１６画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部１４２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部１４３において第２の閾値と比較されて、上述の一次抽出領域に対応する領域の中から頭部が写されている可能性がさらに高い二次抽出領域が抽出される。この二次抽出領域の位置情報は一次評価値算出部１４１に伝達され、今度は、その一次評価値算出部１４１では、フィルタ記憶部１６０から３２×３２画素の領域に作用する多数のフィルタが読み出されて、図１６に示す逆ピラミッド型の４つの画像群それぞれを構成する大きい方から２番目の画像と最も大きい画像上の、領域抽出部１４３で抽出された二次抽出領域に対応する領域に、３６×３６画素の領域に作用する各フィルタを作用させて特徴量が抽出され、その特徴量が一次評価値に換算される。それらの３２×３２画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部１４２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部１４３において第３の閾値と比較されて、二次抽出領域に対応する領域の中から頭部が写し込まれていると確信できるレベルの三次抽出領域が抽出される。この三次抽出領域の情報、すなわち、その領域の画像上の位置ｐｏｓ（領域の左上隅の座標（ｌ，ｔ）と右下隅の座標（ｒ，ｂ）と最終的な二次評価値ｌｉｋｅｎｅｓｓが、図５に示す領域統合部１５０に入力される。

図１７は領域統合部１５０における領域統合処理の説明図である。

この領域統合部１５０は複数の頭部領域（三次抽出領域）Ｈ_ｉ（ｉ＝１，…，Ｍ）の情報Ｈ_ｉ（ｐｏｓ，ｌｉｋｅｎｅｓｓ）が入力されると、その領域統合部１５０では、それらの頭部領域情報Ｈ_ｉが二次評価値ｌｉｋｅｎｅｓｓの順に並べ替えられる。ここでは、２つの領域Ｈ_ｒｅｆ，Ｈ_ｘについて互いの領域の一部の重なりが認められるものとし、領域
Ｈ_ｒｅｆの方が領域Ｈ_ｘよりも二次評価値ｌｉｋｅｎｅｓｓが高いものとする。

領域Ｈ_ｒｅｆの面積をＳ_Ｈｒｅｆ，領域Ｈ_ｘの面積をＳ_Ｈｘ、相互に重なった部分の面積をＳ_{ｃｒｏｓｓ}としたとき、重なりの比率

が算出され、この比率ρが閾値ρ_ｌｏｗ以上であったときに、領域統合演算が行なわれる。すなわち、領域Ｈ_ｒｅｆの４隅の座標と領域Ｈ_ｘの４隅の座標のうちの対応する座標にその領域のｌｉｋｅｎｅｓｓによる重みが付されて、１つに統合される。

例えば、各領域Ｈ_ｒｅｆ，Ｈ_ｘの左上隅の左右方向の座標ｌ_ｒｅｆ，ｌ_ｘが、各領域Ｈ_ｒｅｆ，Ｈ_ｘの各ｌｉｋｅｎｅｓｓであるｌｉｋｅｎｅｓｓ（ｒｅｆ），ｌｉｋｅｎｅｓｓ（ｘ）を用いて、統合された座標

に変換される。このような演算が位置ｐｏｓを表わす４つの座標
ｐｏｓ＝（ｌ，ｔ，ｒ，ｂ）^ｔ
のそれぞれについて行なわれ、２つの領域Ｈ_ｒｅｆ，Ｈ_ｘが１つの領域に統合される。

３つ以上の領域が重なっている場合も同様である。

本実施形態では、以上の処理により、人物頭部が写されている領域が高精度かつ高速に抽出される。

本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。 図１に１つのブロックで示すパーソナルコンピュータの外観斜視図である。 パーソナルコンピュータのハードウエア構成図である。 図１〜図３に示すパーソナルコンピュータを利用して実施される頭部検出方法の一例を示すフローチャートである。 頭部検出装置の一例を示すブロック図である。 図４に示す頭部検出方法の学習ステップの詳細フロー図である。 多重解像度展開処理の説明図である。 動画像の差分処理の説明図である。 フィルタの構造の説明図である。 各種のフィルタを図解して例示した図である。 機械学習の概念図である。 教師画像の概念図である。 各種フィルタとそれらのフィルタの学習結果を示す概念図である。 教師画像の重み付けを示す説明図である。 ８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。 図５に示す画像群生成部の処理を示す模式図である。 領域統合部における領域統合処理の説明図である。

符号の説明

１０ 監視カメラ
２０ インターネット
３０ パーソナルコンピュータ
３１ 本体装置
３２ 画像表示装置
３３ キーボード
３４ マウス
１００ 頭部検出装置
１１０ 画像群生成部
１２０ 輝度補正部
１３０ 差分画像作成部
１４０ 段階的検出部
１４１ 一次評価値算出部
１４２ 二次評価値算出部
１４３ 領域抽出部
１５０ 領域統合部
１６０ フィルタ記憶部
１７０ 領域抽出演算制御部
２００ 画像
２０１ 静止画像
２０２ 動画像
２１０ アフィン変換処理
２２０ 多重解像度展開処理
２３０ 輝度補正処理
２４０ 差分演算処理
２５０ 切出し処理
２５１ 教師画像群
２６０ フィルタ候補
２７０ フィルタ

Claims (20)

1. 二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出方法であって、
   画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタであって、該複数のフィルタそれぞれが、フィルタの類別を表わすタイプ、当該フィルタを作用させる領域の広さを表わす層、および４つ以上の画素座標からなるとともに、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけられてなる複数のフィルタを機械学習により抽出するフィルタ抽出ステップと、
   前記複数のフィルタを、オブジェクト検出対象の画像上の前記所定の広さの領域に作用させて複数の特徴量を算出し、前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出ステップと、
   前記一次評価値算出ステップで求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出ステップと、
   前記二次評価値算出ステップで求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出ステップとを有し、
   前記フィルタ抽出ステップが、前記複数のフィルタのうちの相対的に狭い領域に作用する第１のフィルタを抽出するフィルタ抽出過程と、該第１のフィルタの抽出結果を反映させながら前記第１のフィルタよりも相対的に広い領域に作用する第２のフィルタを抽出するフィルタ抽出過程とを含む複数のフィルタの抽出過程を、相対的に狭い領域に作用するフィルタを抽出するフィルタ抽出過程から相対的に広い領域に作用するフィルタを抽出するフィルタ抽出過程に向けて順次に繰り返すことにより前記複数のフィルタを抽出するステップであって、
   前記領域抽出ステップで領域を抽出することにより特定種類のオブジェクトを検出することを特徴とするオブジェクト検出方法。
2. 前記複数のフィルタが、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるものであり、
   オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成ステップを有し、
   前記一次評価値算出ステップが、前記画像群生成ステップにより生成された画像群のうちの相対的に小さい第１の画像に相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出し、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求め、前記二次評価値算出ステップが、前記一次評価値算出ステップで求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、前記領域抽出ステップが、前記二次評価値算出ステップで求められた二次評価値と第１の閾値とを比較して該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出する第１の抽出過程と、
   前記一次評価値算出ステップが、前記画像群生成ステップにより生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求め、前記二次評価値算出ステップが、前記一次評価値算出ステップで求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合することにより、当該一次候補領域に相当する領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求め、前記領域抽出ステップが、前記二次評価値算出ステップで求められた二次評価値と第２の閾値とを比較して該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出する第２の抽出過程と
   を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返し、前記領域抽出ステップで最終的に領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする請求項１記載のオブジェクト検出方法。
3. 前記画像群生成ステップが、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するステップであり、
   前記一次評価値算出ステップ、前記二次評価値算出ステップ、および領域抽出ステップが、前記画像群生成ステップで生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に繰り返すことを特徴とする請求項２記載のオブジェクト検出方法。
4. 前記フィルタ抽出ステップが、特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された該所定寸法の複数の画像からなる、該所定寸法の複数の教師画像と、画像上の該所定寸法の領域に作用し該領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するための複数のフィルタ候補とを用意し、機械学習により、前記複数のフィルタ候補の中から複数のフィルタを抽出するとともに、各フィルタに対応する前記対応関係を求めるステップであることを特徴とする請求項１記載のオブジェクト検出方法。
5. 前記フィルタ抽出ステップが、特定種類のオブジェクトが写し出された所定寸法の複数の画像および特定種類のオブジェクト以外のものが写し出された該所定寸法の複数の画像からなる、該所定寸法の複数の教師画像それぞれを前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、同一シーンであって寸法が異なる複数の教師画像からなる教師画像群を複数作成するとともに、画像上の、教師画像群を構成する複数段階の教師画像の寸法に応じた寸法の領域に作用し、該領域内に存在する特定種類のオブジェクトの輪郭および内部の、互いに異なるいずれかの特徴を抽出するためのフィルタ候補を前記複数段階の寸法それぞれに対応して複数ずつ用意し、機械学習により、各寸法ごとに、前記複数のフィルタ候補の中から複数のフィルタを抽出するとともに、抽出された各フィルタに対応する前記対応関係を求めるステップであることを特徴とする請求項２又は３記載のオブジェクト検出方法。
6. 前記領域抽出ステップで複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合ステップをさらに有することを特徴とする請求項１から５のうちいずれか１項記載のオブジェクト検出方法。
7. 複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成ステップをさらに有することを特徴とする請求項１から６のうちいずれか１項記載のオブジェクト検出方法。
8. 前記複数のフィルタが、人間の頭部が存在する確率を表わす評価値を生成するフィルタであって、当該オブジェクト検出方法は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする請求項１から７のうちいずれか１項記載のオブジェクト検出方法。
9. 二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置であって、
   画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタであって、該複数のフィルタのそれぞれが、フィルタの類別を表わすタイプ、当該フィルタを作用させる領域の広さを表わす層、および４つ以上の画素座標からなる複数のフィルタを、機械学習により、該複数のフィルタのうちの相対的に狭い領域に作用する第１のフィルタを抽出するフィルタ抽出過程と、該第１のフィルタの抽出結果を反映させながら前記第１のフィルタよりも相対的に広い領域に作用する第２のフィルタを抽出するフィルタ抽出過程とを含む複数のフィルタの抽出過程を、相対的に狭い領域に作用するフィルタを抽出するフィルタ抽出過程から相対的に広い領域に作用するフィルタを抽出するフィルタ抽出過程に向けて順次に繰り返すことにより抽出するフィルタ抽出部と、
   前記複数のフィルタを、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
   オブジェクト検出対象の画像上の前記所定の広さの領域に前記複数のフィルタを作用させて複数の特徴量を算出し前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
   前記一次評価値算出部で求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
   前記二次評価値算出部で求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを備え、該領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出することを特徴とするオブジェクト検出装置。
10. 前記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるフィルタ群を、前記対応関係とともに記憶しておくものであり、
    オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
    前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第１の閾値とを比較させて該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第１の抽出過程と、
    再び前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記フィルタ記憶部に記憶されたフィルタ群のうちの前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第２の閾値とを比較させて該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第２の抽出過程と
    を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価値算出部、前記二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部を備え、前記領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出することを特徴とする請求項９記載のオブジェクト検出装置。
11. 前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
    前記領域抽出演算制御部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価算出部、前記二次評価算出部、および領域抽出部に繰り返させるものであることを特徴とする請求項１０記載のオブジェクト検出装置。
12. 前記領域抽出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに備えたことを特徴とする請求項９から１１のうちいずれか１項記載のオブジェクト検出装置。
13. 複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに備えたことを特徴とする請求項９から１２のうちいずれか１項記載のオブジェクト検出装置。
14. 前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出装置は画像内にあらわれる人間の頭部を検出対象とするものであることを特徴とする請求項９から１３のうちいずれか１項記載のオブジェクト検出装置。
15. プログラムを実行する演算装置内で実行され、該演算装置を、二次元的に配列された画素で表現された画像から特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
    前記演算装置を、
    画像上の二次元的に広がる所定の広さの領域に作用し特定種類のオブジェクトの輪郭および内部のうちの互いに異なるいずれかの特徴量を算出する複数のフィルタであって、該複数のフィルタそれぞれが、フィルタの類別を表わすタイプ、当該フィルタを作用させる領域の広さを表わす層、および４つ以上の画素座標からなる複数のフィルタを、機械学習により、該複数のフィルタのうちの相対的に狭い領域に作用する第１のフィルタを抽出するフィルタ抽出過程と、該第１のフィルタの抽出結果を反映させながら前記第１のフィルタよりも相対的に広い領域に作用する第２のフィルタを抽出するフィルタ抽出過程とを含む複数のフィルタの抽出過程を、相対的に狭い領域に作用するフィルタを抽出するフィルタ抽出過程から相対的に広い領域に作用するフィルタを抽出するフィルタ抽出過程に向けて順次に繰り返すことにより抽出するフィルタ抽出部と、
    前記複数のフィルタを、該複数のフィルタそれぞれにより算出される各特徴量と特定種類のオブジェクトである確率を表わす一次評価値との対応関係に対応づけて記憶しておくフィルタ記憶部と、
    オブジェクト検出対象の画像上の前記所定の広さの領域に前記複数のフィルタを作用させて複数の特徴量を算出し前記対応関係に基づいて各特徴量に対応する各一次評価値を求める一次評価値算出部と、
    前記一次評価値算出部で求められた、前記複数のフィルタに対応する複数の一次評価値を総合することにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求める二次評価値算出部と、
    前記二次評価値算出部で求められた二次評価値と閾値とを比較して、該閾値を越えて特定種類のオブジェクトが存在する確率が高い領域を抽出する領域抽出部とを有し、該領域抽出部で領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とするオブジェクト検出プログラム。
16. 前記フィルタ記憶部が、画素数が所定比率で異なる、又は所定比率で段階的に異なる、複数の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタからなり、各フィルタそれぞれが、該各フィルタそれぞれに応じた前記対応関係に対応づけられてなるフィルタ群を、前記対応関係とともに記憶しておくものであり、
    前記演算装置を、
    オブジェクト検出対象の原画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、原画像と一枚以上の間引画像とからなる画像群を生成する画像群生成部、および
    前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの相対的に小さい第１の画像に前記フィルタ記憶部に記憶されたフィルタ群のうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、該複数の第１のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、当該領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第１の閾値とを比較させて該第１の閾値を越えて特定種類のオブジェクトが存在する確率が高い一次候補領域を抽出させる第１の抽出過程と、
    再び前記一次評価値算出部に、前記画像群生成部により生成された画像群のうちの前記第１の画像よりも画素数が一段階多い第２の画像の、前記一次候補領域に相当する領域に前記フィルタ記憶部に記憶されたフィルタ群のうちの前記複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、該複数の第２のフィルタそれぞれに対応する前記対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び前記二次評価値算出部に、前記一次評価値算出部で求められた、前記複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、当該一次候補領域に特定種類のオブジェクトが存在する確率を表わす二次評価値を求めさせ、再び前記領域抽出部に、前記二次評価値算出部で求められた二次評価値と第２の閾値とを比較させて該第２の閾値を越えて特定種類のオブジェクトが存在する確率が高い二次候補領域を抽出させる第２の抽出過程と
    を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価値算出部、前記二次評価値算出部、および領域抽出部に繰り返させる領域抽出演算制御部をさらに有し、前記領域抽出部で最終的に領域を抽出することにより特定種類のオブジェクトを検出するオブジェクト検出装置として動作させることを特徴とする請求項１５記載のオブジェクト検出プログラム。
17. 前記画像群生成部が、前記画像群の生成に加え、さらに、前記原画像に補間演算を施すことにより、前記画像群を構成する、該原画像を前記所定比率で間引いて得られた間引画像の画素数よりも多く、かつ該原画像の画素数よりも少ない画素数の範囲内の１つの補間画像、又は該範囲内で画素数が互いに異なる複数の補間画像を生成し、生成した１つ以上の補間画像それぞれについて、当該補間画像を構成する画素を前記所定比率で間引くことにより、又は該所定比率で段階的に間引くことにより、当該補間画像と当該補間画像の画素を間引いて得られた一枚以上の間引画像とからなる新たな画像群を生成するものであり、
    前記領域抽出演算制御部は、前記画像群生成部で生成された複数の画像群それぞれに関し、前記複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、前記一次評価算出部、前記二次評価算出部、および領域抽出部に繰り返させるものであることを特徴とする請求項１６記載のオブジェクト検出プログラム。
18. 前記演算装置を、前記領域抽出部で複数の領域が検出された場合における該複数の領域を、該複数の領域どうしの重なりの程度に応じて、１つの領域に統合する領域統合部をさらに有するオブジェクト検出装置として動作させることを特徴とする請求項１５から１７のうちいずれか１項記載のオブジェクト検出プログラム。
19. 前記演算装置を、複数フレームからなる連続画像を取得し、オブジェクト検出対象の画像として用いるための、異なるフレーム間の差分画像を作成する差分画像作成部をさらに有するオブジェクト検出装置として動作させることを特徴とする請求項１５から１８のうちいずれか１項記載のオブジェクト検出プログラム。
20. 前記フィルタ記憶部が、人間の頭部が存在する確率を表わす評価値を生成する複数のフィルタからなるフィルタ群を記憶するものであって、当該オブジェクト検出プログラムは画像内にあらわれる人間の頭部を検出対象とするオブジェクト検出装置として動作させるものであることを特徴とする請求項１５から１９のうちいずれか１項記載のオブジェクト検出プログラム。

Images