JP2009251892A - オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム - Google Patents

Abstract

【課題】一対のカメラでの撮影で得られたペア画像から、人物頭部等のオブジェクトを高精度に検出する。
【解決手段】ペア画像それぞれについて抽出された候補領域について、１つの領域を複数のサブ領域に分けたときの各サブ領域に写し出された部分画像を特徴づける特徴量の、それら複数のサブ領域に渡るベクトルを算出し（ステップＳ３３）、算出された、ペア画像のうちの第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出することにより（ステップＳ３４）、その論理上の距離が近い領域どうしからなる領域のペアを検出する。
【選択図】 図８

Description

本発明は、互いに所定距離隔てて設置され互いに同一のシーンを撮影する第１および第２のカメラでの撮影により得られた、それぞれが二次元的に配列された画素で表現された第１および第２の画像からなるペア画像から、そのペア画像に写し出された特定種類のオブジェクト、例えば人間の頭部や人間の顔などを検出するオブジェクト検出方法およびオブジェクト検出装置、並びに、プログラムを実行する演算装置をオブジェクト検出装置として動作させるオブジェクト検出プログラムに関する。

例えば人物頭部などは、画像上に様々の寸法、多様な形状で写し出される。人間が目で見て判断するときは人物頭部であるか否かは瞬時に容易に判断できるものの、これを装置で自動的に判別させるのはかなり難しい技術である。一方、画像上の人物頭部の検出は、人物検出の重要な前処理かつ基盤技術と考えられている。特に映像監視の場合、様々な環境における人物の検出、人物の追跡、人の流れの計測を自動かつ高精度に行なうために、その前処理である人物頭部の高精度な検出を行なうことのできる技術の実用化のニーズが極めて高い状況にある。

人物頭部検出方法について従来より様々な方法が提案されているが（特許文献１〜４、非特許文献１）、これらの検出方法は、人物頭部を基本的に円や楕円と仮定して、様々な手法で円や楕円を当てはめる方法である。

例えば特許文献１には、連続２フレーム画像から時間差分と空間差分により作成した明度エッジ階層画像群に、Ｈｏｕｇｈ変換投票をかけて楕円を抽出することにより、人物頭部を検出する手法が開示されている。

また、特許文献２には、二つ以上のカメラで撮影された映像からまず空間距離画像を生成し、生成した空間距離画像からラベリング手法で領域を分割してオブジェクトを決め、決めたオブジェクトに円フィッティングすることにより、人物頭部を決定する手法が開示されている。

また、特許文献３には、頭部を判断する際、単なる楕円テンプレートではなく、エッジ画像のエッジ方向に垂直となる接線との接点付近の強度を小さく設定して得られたパターン（楕円の一部）を参照パターンとして比較する手法が開示されている。

さらに、特許文献４には、入力画像から抽出した人物の前景領域におけるモーメントや重心などを計算することにより、前景の一部である頭部領域を推定して、その領域の形状に基づいて、人物の頭部に当てはめる楕円を決定する方法が開示されている。

さらに、非特許文献１には、まずＨｏｕｇｈ変換を用いて半円を見つけ、頭部の候補を探し出し、その候補から、輪郭線上の各点のプロフィール確率を計算することにより、その候補が頭部か否かを判定する手法が開示されている。

これらの手法は、主に限られた頭部ポーズや安定した環境に応用されているが、背景が複雑あるいは混雑が激しい場合に検出精度が低下するという課題が残る。これは、照明の変動、背景の乱れや人物の重なりにより、正確な人物頭部輪郭情報を得られないことが一つの原因である。もう一つの原因は、さまざまなヘアスタイルなど、人物頭部形状の多様性と頭部ポーズの多様性の中で、頭部を単なる円や楕円と仮定することのみによっては、その多様性に対応できないということである。従来の頭部検出手法では、店舗における監視や人流計測などに応用にとって実用に足る検出精度がまだ得られていない。

検出精度を向上させる手法の１つとして左右一対のカメラからなるステレオカメラで撮影して被写界内の人物の距離情報を得、その距離情報を基に検出精度を向上させることが考えられる（特許文献５，６参照）。ステレオカメラを用いた頭部等のオブジェクトの検出においては、そのステレオカメラで撮影して得られた左右一対の画像からオブジェクトの距離が求められるが、左右一対の画像上のオブジェクトのペアが検出されてはじめてそのオブジェクトの距離が算出されるのであって、ステレオカメラであることを利用して如何にして検出対象のオブジェクトの検出精度を向上させるかが問題となる。

この点は頭部検出に限らず、例えば顔検出でも同様であり、広く一般に、画像上に多様な形状で写し出される特定種類のオブジェクトを検出する場合に共通の課題である。
特開２００４−２９５７７６号公報 特開２００５−９２４５１号公報 特開２００５−２５５６８号公報 特開２００７−１６４７２０号公報 特開２００７−３２４６８４号公報 特開２００５−９２４５１号公報 Ｊａｃｋｙ Ｓ．Ｃ．Ｙｕｋ, Ｋｗａｎ−Ｙｅｅ Ｋ．Ｗｏｎｇ， Ｒｏｎａｌｄ Ｈ．Ｙ．Ｃｈｕｎｇ， Ｆ．Ｙ．Ｌ Ｃｈｉｎ， Ｋ．Ｐ．Ｃｈｏｗ，Ｒｅａｌ−ｔｉｍｅ ｍｕｌｔｉｐｌｅ ｈｅａｄ ｓｈａｐｅ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ ｗｉｔｈ ｄｅｃｅｎｔｒａｌｉｚｅｄ ｔｒａｃｋｅｒｓ， ＩＳＤＡ，２００６

本発明は一対のカメラでの撮影により得られたペア画像を使ってそのペア画像に写し出された特定種類のオブジェクトを高精度に検出するオブジェクト検出方法およびオブジェクト検出装置、並びに、プログラムを実行する演算装置を、オブジェクトを高精度に検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムを提供することを目的とする。

上記目的を達成する本発明のオブジェクト検出方法は、互いに所定距離隔てて設置され互いに同一のシーンを撮影する第１および第２のカメラでの撮影により得られた、それぞれが二次元的に配列された画素で表現された第１および第２の画像からなるペア画像から、そのペア画像に写し出された特定種類のオブジェクトを検出するオブジェクト検出方法であって、
上記ペア画像を構成する第１および第２の各画像について、各画像上の、特定種類のオブジェクトが写し込まれた領域を抽出する領域抽出ステップと、
領域抽出ステップで抽出された第１の画像上の領域と第２の画像上の領域の中から互いに対応する領域のペアを検出することにより特定種類のオブジェクトを検出するオブジェクト検出ステップとを有し、
上記オブジェクト検出ステップが、
領域抽出ステップで抽出された領域について、１つの領域を複数のサブ領域に分けたときの各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出するベクトル算出ステップと、
ベクトル算出ステップで算出された、第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出することにより、論理上の距離が近い領域どうしからなる領域のペアを検出する距離算出ステップとを有することを特徴とする。

本発明のオブジェクト検出方法は、検出対象の特定種類のオブジェクトが写し込まれた領域を、第１の画像と第２の画像のそれぞれから抽出した後、それら第１の画像上の領域と第２の領域とのペアを見つけるにあたり、上記のベクトルを算出し第１および第２の画像上の双方の領域のベクトル間の論理上の距離を算出し、その距離が近い領域を見つけ出してペアとするものであり、第１の画像上の領域と第２の画像上の領域を高精度に対応づけて領域のペアを検出することができる。

ここで、本発明のオブジェクト検出方法において、上記ベクトル算出ステップが、領域抽出ステップで抽出された領域内の各画素について、画素値の勾配ベクトルを算出する勾配算出ステップと、勾配算出ステップで算出された勾配ベクトルを用いて、１つの領域をＮ個のサブ領域に分けたときの各サブ領域ごとに、Ｍ段階に量子化された勾配方向ごとの、勾配の大きさのヒストグラムを算出するヒストグラム算出ステップとを有し、このヒストグラム算出ステップで算出された、１つのサブ領域につきＭ段階の勾配方向それぞれの大きさの、上記のＮ個のサブ領域に渡る、１つの領域につきＭ×Ｎ個の要素からなる１つのベクトルを算出するステップであることが好ましい。

例えば、各領域からこのような勾配ベクトルのヒストグラムに基づくベクトルを算出して論理上の距離算出することにより、領域のペアを高精度に検出することができる。

また、本発明のオブジェクト検出方法において、上記オブジェクト検出ステップが、領域抽出ステップで抽出された第１の画像上の領域の寸法と領域抽出ステップで抽出された第２の画像上の領域の寸法とを対比して、ペアとなり得る所定寸法範囲内にある領域を抽出する寸法着目粗振いステップを有し、上記距離算出ステップは、寸法着目粗振いステップで抽出された領域どうしについて、論理上の距離を算出するステップであることが好ましく、また上記オブジェクト検出ステップが、領域抽出ステップで抽出された第１の画像上の領域の、その第１の画像上の位置と、領域抽出ステップで抽出された上記第２の画像上の領域の、その第２の画像上の位置とを対比して、ペアとなり得る所定位置範囲内にある領域を抽出する位置着目粗振いステップを有し、上記距離算出ステップは、位置着目粗振いステップで抽出された領域どうしについて、論理上の距離を算出するステップであることが好ましい。

ペアとなり得る領域は、正しく検出されている限り、第１の画像から検出された領域と第２の画像から検出された領域とが極端に大きく異なった寸法の領域として検出されることはなく、また、画像上のペアになり得ない位置にペアとなるべき領域があらわれることはないため、これらの情報から粗振いすることにより、ペアの誤検出の可能性をさらに下げることができる。

さらに、本発明のオブジェクト検出方法において、上記特定種類のオブジェクトが、その特定種類のオブジェクトと比べ所定の相対的位置にある、領域抽出ステップにおいて特定種類のオブジェクトが写し出された領域として抽出される可能性のある擬オブジェクトを伴うものであって、上記オブジェクト検出ステップが、距離算出ステップにより検出された領域のペアどうしの相対的位置関係に基づいて擬オブジェクトが写し出された領域のペアを排除する誤検出排除ステップをさらに有することが好ましい。

例えば人物頭部を検出対象のオブジェクトにする場合において、画像上から円あるいは楕円などの形状を検出して頭部検出を行なう場合などにおいて、その人の肩も略円形の形状として誤検出されてしまう場合がある。このような場合に、距離算出ステップでの距離計算により一旦検出された領域のペアどうし（例えば頭部のペアと肩のペアなど）の相対的位置関係（二次元的な上下左右の位置関係や距離方向の位置関係など）に基づいて擬オブジェクトが写し出された領域のペア（例えば肩のペア）を排除することにより、さらに高精度の検出が可能となる。

本発明のオブジェクト検出方法において、上記領域抽出ステップが、人物頭部が写し出された領域を抽出するステップであることが好ましく、また上記の誤検出排除ステップを有する場合、その誤検出排除ステップが、人物の肩が写し出された領域のペアを排除するステップであることが好ましい。

本発明のオブジェクト検出方法は、人物頭部を検出対象する場合に好適である。ただし、本発明のオブジェクト検出方法は、人物頭部の検出にのみ好適なものではなく、人物の顔の検出、屋外での野鳥視察用の野鳥の検出など、特定種類のオブジェクトを検出する様々な分野に適用することができるものである。

また、上記目的を達成する本発明のオブジェクト検出装置は、互いに所定距離隔てて設置され互いに同一のシーンを撮影する第１および第２のカメラでの撮影により得られた、それぞれが二次元的に配列された画素で表現された第１および第２の画像からなるペア画像から、そのペア画像に写し出された特定種類のオブジェクトを検出するオブジェクト検出装置であって、
上記ペア画像を構成する第１および第２の各画像について、各画像上の、特定種類のオブジェクトが写し込まれた領域を抽出する領域抽出部と、
領域抽出部で抽出された第１の画像上の領域と第２の画像上の領域の中から互いに対応する領域のペアを検出することにより特定種類のオブジェクトを検出するオブジェクト検出部とを備え、
上記オブジェクト検出部が、
領域抽出部で抽出された領域について、１つの領域を複数のサブ領域に分けたときの各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出するベクトル算出部と、
ベクトル算出部で算出された、第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出することにより、論理上の距離が近い領域どうしからなる領域のペアを検出する距離算出部とを備えたことを特徴とする。

ここで、本発明のオブジェクト検出装置において、上記ベクトル算出部が、領域抽出部で抽出された領域内の各画素について、画素値の勾配ベクトルを算出する勾配算出部と、勾配算出部で算出された勾配ベクトルを用いて、１つの領域をＮ個のサブ領域に分けたときの各サブ領域ごとに、Ｍ段階に量子化された勾配方向ごとの、勾配の大きさのヒストグラムを算出するヒストグラム算出部とを備え、このヒストグラム算出部で算出された、１つのサブ領域につきＭ段階の勾配方向それぞれの大きさの、上記のＮ個のサブ領域に渡る、１つの領域につきＭ×Ｎ個の要素からなる１つのベクトルを算出するものであることが好ましい。

また、本発明のオブジェクト検出装置において、上記オブジェクト検出部が、領域抽出部で抽出された第１の画像上の領域の寸法と領域抽出部で抽出された第２の画像上の領域の寸法とを対比して、ペアとなり得る所定寸法範囲内にある領域を抽出する寸法着目粗振い部を備え、上記距離算出部は、寸法着目粗振い部で抽出された領域どうしについて、論理上の距離を算出するものであることが好ましく、上記オブジェクト検出部が、領域抽出部で抽出された第１の画像上の領域の、その第１の画像上の位置と、領域抽出部で抽出された第２の画像上の領域の、その第２の画像上の位置とを対比して、ペアとなり得る所定位置範囲内にある領域を抽出する位置着目粗振い部を備え、上記距離算出部は、位置着目粗振い部で抽出された領域どうしについて、前記論理上の距離を算出するものであることも好ましい形態である。

さらに、本発明のオブジェクト検出装置において、上記特定種類のオブジェクトが、その特定種類のオブジェクトと比べ所定の相対的位置にある、領域抽出部において該特定種類のオブジェクトが写し出された領域として抽出される可能性のある擬オブジェクトを伴うものであって、上記オブジェクト検出部が、距離算出部により検出された領域のペアどうしの相対的位置関係に基づいて擬オブジェクトが写し出された領域のペアを排除する誤検出排除部をさらに備えたことが好ましい。

本発明のオブジェクト検出装置において、上記領域抽出部が、人物頭部が写し出された領域を抽出するものであることが好ましくその場合において、上記の誤検出排除ステップを有する場合、その誤検出排除部が、人物の肩が写し出された領域のペアを排除するものであることが好ましい。

また、上記目的を達成する本発明のオブジェクト検出プログラムは、プログラムを実行する演算装置内で実行され、該演算装置を、互いに所定距離隔てて設置され互いに同一のシーンを撮影する第１および第２のカメラでの撮影により得られた、それぞれが二次元的に配列された画素で表現された第１および第２の画像からなるペア画像から、そのペア画像に写し出された特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
上記演算装置を、
上記ペア画像を構成する第１および第２の各画像について、各画像上の、特定種類のオブジェクトが写し込まれた領域を抽出する領域抽出部と、
領域抽出部で抽出された第１の画像上の領域と第２の画像上の領域の中から互いに対応する領域のペアを検出することにより特定種類のオブジェクトを検出するオブジェクト検出部とを有し、
上記オブジェクト検出部が、
領域抽出部で抽出された領域について、１つの領域を複数のサブ領域に分けたときの各サブ領域に写し出された部分画像を特徴づける特徴量の、複数のサブ領域に渡るベクトルを算出するベクトル算出部と、
ベクトル算出部で算出された、第１の画像上の領域のベクトルと第２の画像上のベクトルとの間の論理上の距離を算出することにより、論理上の距離が近い領域どうしからなる領域のペアを検出する距離算出部とを有するオブジェクト検出装置として動作させることを特徴とする。

ここで本発明のオブジェクト検出プログラムにおいて、上記演算装置を、上記ベクトル算出部が、領域抽出部で抽出された領域について、その領域内の各画素について画素値の勾配ベクトルを算出する勾配算出部と、勾配算出部で算出された勾配ベクトルを用いて、１つの領域をＮ個のサブ領域に分けたときの各サブ領域ごとに、Ｍ段階に量子化された勾配方向ごとの、勾配の大きさのヒストグラムを算出するヒストグラム算出部とを有し、
上記ヒストグラム算出部で算出された、１つのサブ領域につきＭ段階の勾配方向それぞれの大きさの、上記のＮ個のサブ領域に渡る、１つの領域につきＭ×Ｎ個の要素からなる１つのベクトルを算出するものであるオブジェクト検出装置として動作させることが好ましい。

また、本発明のオブジェクト検出プログラムにおいて、上記演算装置を、上記オブジェクト検出部が、領域抽出部で抽出された第１の画像上の領域の寸法と領域抽出部で抽出された第２の画像上の領域の寸法とを対比して、ペアとなり得る所定寸法範囲内にある領域を抽出する寸法着目粗振い部を有し、上記距離算出部が、寸法着目粗振い部で抽出された領域どうしについて、論理上の距離を算出するものであるオブジェクト検出装置として動作させることが好ましく、上記演算装置を、上記オブジェクト検出部が、領域抽出部で抽出された第１の画像上の領域の、その第１の画像上の位置と、領域抽出部で抽出された第２の画像上の領域の、その第２の画像上の位置とを対比して、ペアとなり得る所定位置範囲内にある領域を抽出する位置着目粗振い部を有し、上記距離算出部は、位置着目粗振い部で抽出された領域どうしについて、論理上の距離を算出するものであるオブジェクト検出装置として動作させることも好ましい形態である。

さらに、本発明のオブジェクト検出プログラムにおいて、上記特定種類のオブジェクトが、その特定種類のオブジェクトと比べ所定の相対的位置にある、領域抽出部において、該特定種類のオブジェクトが写し出された領域として抽出される可能性のある擬オブジェクトを伴うものであって、上記演算装置を、上記オブジェクト検出部が、距離算出部により検出された領域のペアどうしの相対的位置関係に基づいて擬オブジェクトが写し出された領域のペアを排除する誤検出排除部をさらに有するオブジェクト検出装置として動作させることが好ましい。

本発明のオブジェクト検出プログラムにおいて、上記演算装置を、上記領域抽出部が、人物頭部が写し出された領域を抽出するものであるオブジェクト検出装置として動作させることが好ましく、また、上記演算装置を上記の誤検出排除部を有するオブジェクト検出装置として動作させるオブジェクト検出プログラムの場合、その演算装置を、上記領域抽出部が人物頭部が写し出された領域を抽出するものであり、上記誤検出排除部が人物の肩が写し出された領域のペアを排除するものであるオブジェクト検出装置として動作させることが好ましい。

以上の本発明によれば、一対のカメラでの撮影により得られたペア画像を使ってそのペア画像に写し出された特定種類のオブジェクトを高精度に検出することができる。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。

図１に示す監視カメラシステム１の概略構成図には、左右一対の監視カメラ１０Ｒ，１０Ｌと、本発明にいうオブジェクト検出装置の一実施形態である頭部検出装置として動作するパーソナルコンピュータ２０とが示されている。

監視カメラ１０Ｒ，１０Ｌは、例えば店舗に設置されたものであって、店内の様子を撮影するものである。この監視カメラ１０Ｒ，１０Ｌは、動画像を表す画像データをパーソナルコンピュータ２０に向けて送信する。尚、以下では、データ上の画像も単に「画像」と称する。

パーソナルコンピュータ２０は、監視カメラ１０Ｒ，１０Ｌから送信される動画像を受け取る。また、このパーソナルコンピュータ２０は、監視カメラ１０Ｒ，１０Ｌで撮影された動画像を一括管理するものである。

ここで、一対の監視カメラ１０Ｒ，１０Ｌの撮影レンズ（図示せず）の焦点距離ｆは、双方とも同一であり、互いに距離Ｂだけ離れた位置に設置されているものとする。このとき、監視カメラ１０Ｒ，１０Ｌから被写体Ｏまでの距離ｚは、以下のようにして求められる。

図２は、図１に示す一対の監視カメラ１０Ｒ，１０Ｌに写し出された画像の模式図である。

ここでは、一対の監視カメラ１０Ｒ，１０Ｌで撮影して得た、同一シーンの同時刻の画像上で同一の被写体が画像上の距離ｄだけ異なる位置に写し出されているものとする。このとき、一対の監視カメラ１０Ｒ，１０Ｌからその被写体までの距離ｚは、

により算出される。

ただし、左右一対の画像上でペアとなるべき被写体が確定してはじめて、画像上の距離ｄが求められ、したがって、左右一対の画像上でペアとなるべき被写体が確定してはじめて、（１）式に基づく距離ｚを算出することができる。

図３は、図１に１つのブロックで示すパーソナルコンピュータ２０の外観斜視図、図４は、そのパーソナルコンピュータ２０のハードウエア構成図である。

ここでは、このパーソナルコンピュータ２０のハードウエアおよびＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と、このパーソナルコンピュータ２０にインストールされて実行される頭部検出プログラムとにより、本発明の一実施形態としての頭部検出装置が構成されている。

このパーソナルコンピュータ２０は、外観構成上、本体装置２１、その本体装置２１からの指示に応じて表示画面２２ａ上に画像を表示する画像表示装置２２、本体装置２１に、キー操作に応じた各種の情報を入力するキーボード２３、および、表示画面２２ａ上の任意の位置を指定することにより、その指定時にその位置に表示されていた、例えばアイコン等に応じた指示を入力するマウス２４を備えている。この本体装置３１は、外観上、光磁気ディスク（ＭＯ）を装填するためのＭＯ装填口２１ａ、およびＣＤやＤＶＤを装填するためのＣＤ／ＤＶＤ装填口２１ｂを有する。

本体装置２１の内部には、図４に示すように、各種プログラムを実行するＣＰＵ２８１、ハードディスク装置２８３に格納されたプログラムが読み出されＣＰＵ２８１での実行のために展開される主メモリ２８２、各種プログラムやデータ等が保存されたハードディスク装置２８３、ＭＯ２９１が装填されてその装填されたＭＯ２９１をアクセスするＭＯドライブ２８４、ＣＤやＤＶＤ（ここでは区別せずにＣＤ／ＤＶＤと称する）が装填され、その装填されたＣＤ／ＤＶＤ２９２をアクセスするＣＤ／ＤＶＤドライブ２８５、および図１に示す監視カメラ１０Ｒ，１０Ｌでの撮影により得られた動画像を受信するインターフェース２８６が内蔵されている。これらの各種要素と、さらに図３にも示す画像表示装置２２、キーボード２３、およびマウス２４は、バス２８７を介して相互に接続されている。

ここで、ＣＤ／ＤＶＤ２９２には、このパーソナルコンピュータを頭部検出装置として動作させるための頭部検出プログラムが記憶されており、そのＣＤ／ＤＶＤ２９２は、ＣＤ／ＤＶＤドライブ２８５に装填され、そのＣＤ／ＤＶＤ２９２に記憶された頭部検出プログラムがこのパーソナルコンピュータ２０にアップロードされてハードディスク２８３に格納される。このハードディスク装置２８３に格納された頭部検出プログラムは、このハードディスク装置２８３から読み出され主メモリ２８２上に展開されてＣＰＵ２８１で実行されることにより、このパーソナルコンピュータ２０が頭部検出装置として動作する。

また、ハードディスク装置２８３には、頭部検出プログラムの他にも、画像表示装置２２の表示画面２２ａの上に画像を表示し、オペレータの操作に応じて、その画像を縦横独立に変倍したり回転したり一部を切り出したりなど、その画像に様々な画像処理を施すための画像処理プログラムや、後述するような機械学習を行なってフィルタを抽出するためプログラムなど、後述する装置を実現するための各種の支援プログラムも格納されている。

図５は、図１〜図３に示すパーソナルコンピュータ２０を利用して実施される頭部検出方法の一例を示すフローチャートである。

この図５に示す頭部検出方法は、領域抽出ステップＳ２０と頭部検出ステップＳ３０を有する。

図６は、図５に示す頭部検出方法の説明図である。

先ず、左右一対の監視カメラ１０Ｌ，１０Ｒのそれぞれで得られた画像に基づいて、頭部が写し出されている領域が抽出される（図５に示すフローチャートの領域抽出ステップＳ２０）。

この図６には、左カメラ１０Ｌでの撮影で得られた画像２１Ｌと右カメラ１０Ｒでの撮影で得られた画像２１Ｒが示されている。これら２枚の画像２１Ｌ，２１Ｒは、左右の監視カメラ１０Ｌ，１０Ｒでの撮影により得られた、同じシーン、同一時刻の画像である。

領域抽出ステップＳ２０では、画像２１Ｌ，２１Ｒ上に枠を示したような、頭部が写し出されている領域（ＬＣＨ_１，ＬＣＨ_２，…，ＬＣＨ_Ｍ；ＲＣＨ_１，ＲＣＨ_２，…，ＲＣＨ_Ｎ）が抽出される。ただし、必ずしも頭部のみではなく、肩や、その他、この領域抽出ステップＳ１０における領域抽出アルゴリズムに応じた誤検出の領域も抽出される。

そこで、次に、図５に示すフローチャートの頭部検出ステップＳ３０において、一対の画像２１Ｌ，２１Ｒを使って、後述するようにして領域どうしのペアＰが検出される。

この図６では、一旦ペアが検出され、その後、領域のペアどうしを比較して誤検出のペアが排除され、最終的に監視カメラ１０Ｌ，１０Ｒからの距離ｚ（図１参照）も含めた人物頭部の寸法および三次元位置２０が検出される。

図７は、図５に示す頭部検出方法のうちの領域抽出ステップＳ２０の詳細フローを示した図である。

図５に示す領域抽出ステップＳ２０は、後述する学習方法によって抽出された各種のフィルタを使って、検出対象の原画像から人物頭部が写し出された領域を自動検出するステップであり、画像群生成ステップＳ２１、輝度補正ステップＳ２２、差分画像作成ステップＳ２３、段階的検出ステップＳ２４、および領域統合ステップＳ２５から構成され、段階的検出ステップＳ２４は、さらに、一次評価値算出ステップＳ２４１、二次評価値算出ステップＳ２４２、および領域抽出ステップＳ２４３と、それらの各ステップＳ２４１，Ｓ２４２，Ｓ２４３の繰り返しが終了したか否かを判定する判定ステップＳ２４４とから構成されている。

この領域抽出ステップＳ２０における領域抽出処理は、図１に示す左右一対の監視カメラ１０Ｌ，１０Ｒから得られたそれぞれの画像について、左右をペアにすることなく独立に行なわれる処理である。この領域抽出ステップＳ２０の詳細説明は後に譲る。

図８は、図５に示す頭部検出方法のうちの頭部検出ステップＳ３０の詳細フローを示した図である。

図５に示す頭部検出ステップＳ３０における頭部検出処理は、図１に示す左右一対の監視カメラ１０Ｌ，１０Ｒで得られた画像のペアを使って行なわれる処理である。

この頭部検出ステップＳ３０は、図５に示すように、寸法着目粗振いステップＳ３１、位置着目粗振いステップＳ３２、ベクトル算出ステップＳ３３、距離算出ステップＳ３４および誤検出排除ステップＳ３５から構成され、ベクトル算出ステップＳ３３は、さらに、勾配算出ステップＳ３３１およびヒストグラム算出ステップＳ３３２を有する。この頭部検出ステップＳ３０についての詳細説明も後述する。

図９は、頭部検出装置の一例を示すブロック図である。この頭部検出装置１００は、図３〜図４に示すパーソナルコンピュータ２０内にアップロードされた頭部検出プログラムがパーソナルコンピュータ２０内で実行されることによりそのパーソナルコンピュータ２０内に実現されるアルゴリズムであり、領域抽出部２００と頭部検出部３００とから構成されている。

図５に示す頭部検出方法との対比では、領域抽出部２００が領域抽出ステップＳ２０に対応し、頭部検出部３００が領域検出ステップＳ３０に対応する。

図１０は、図９に示す頭部検出装置のうちの領域抽出部２００の詳細ブロック図である。

この図１０に示す領域抽出部２００は、画像群生成部２１０、輝度補正部２２０、差分画像作成部２３０、段階的検出部２４０、領域統合部２５０、フィルタ記憶部２６０、および領域抽出演算制御部２７０を有する。このうちの段階的検出部２４０は、さらに、一次評価値算出部２４１、二次評価値算出部２４２、および領域抽出部２４３から構成されている。

図７に示す領域抽出ステップとの対比では、図１０の領域抽出部２００の全体が図７の領域抽出ステップＳ２０の全体に相当し、画像群生成部２１０が画像群生成ステップＳ２１に相当し、輝度補正部２２０が輝度補正ステップＳ２２に相当し、差分画像作成部２３０が差分画像作成ステップＳ２３に相当し、段階的検出部２４０と領域抽出演算制御部２７０とを合わせた構成が段階的検出ステップＳ２４に相当し、領域統合部２５０が領域統合ステップＳ２５に相当する。また、フィルタ記憶部２６０は、後述する学習方法により抽出された各種のフィルタ（後述する）を格納しておく記憶部である。

また、段階的検出部２４０を構成する一次評価値算出部２４１、二次評価値算出部２４２、および領域抽出部２４３は、それぞれ図４に示す頭部検出方法のうちの段階的検出ステップＳ２４を構成する一次評価値算出ステップＳ２４１、二次評価値算出ステップＳ２４２、および領域抽出ステップＳ２４３に相当し、領域抽出演算制御部２７０は、段階的検出ステップＳ２４を構成する判定ステップＳ２４４に相当する。

尚、パーソナルコンピュータ２０内で頭部検出プログラムが実行されたときの頭部検出プログラムの作用は、図５に示す頭部検出装置の作用と同一であり、ここでは、頭部検出プログラムを取り上げての図示および説明は省略する。

以下では、図１０に示す領域抽出部２００の各部の作用について概括的に説明する。この説明により頭部検出プログラムのうちの領域抽出部に対応するプログラム部品および頭部検出方法のうちの図５に示す領域抽出ステップＳ２０を構成する、図７に示す各ステップＳ２１〜Ｓ２５の説明を兼ねるものとする。

フィルタ記憶部２６０には、後述する学習により抽出された多数のフィルタが格納されている。これらのフィルタは、画像上の二次元的に広がる所定の広さの領域に作用し人物頭部の輪郭および内部のうちの互いに異なるいずれかの特徴量を算出するフィルタであり、これらのフィルタには、それらのフィルタそれぞれにより算出される各特徴量と人物頭部である確率を表わす一次評価値との対応関係が対応づけられてフィルタ記憶部２６０に格納されている。さらにこれらのフィルタは、画像上の領域の広さに対応する画素数が縦横それぞれ１／２の比率で段階的に異なる、複数（ここでは画素数で３２×３２、１６×１６、および８×８）の広さの領域にそれぞれ作用する、１つの広さごとに複数のフィルタから構成されている。

画像群生成部２１０では、入力されてきた原画像を構成する画素が縦横それぞれ１／２の比率で段階的に間引かれ、原画像と何枚かの間引画像とからなる画像群が生成される。さらに、この画像群生成部２１０では、１／２の比率で原画像を間引いて生成した画像群のほか、さらに、その原画像に補間演算を施すことにより、その原画像を含む画像群を構成する、その原画像を縦横１／２の比率で間引いて得られた間引画像（画素数は原画像の１／４（縦横それぞれ１／２））の画素数よりも多く、かつ原画像の画素数よりも少ない画素数の範囲内の補間画像が生成され、生成された補間画像について、その補間画像を構成する画素を上記の縦横１／２の比率で段階的に間引くことにより、その補間画像とその補間画像の画素を間引いて得られた間引画像とからなる新たな画像群が生成される。

また、輝度補正部２２０は、画像上の１つの画素を注目画素としたとき、その注目画素を含むある領域内に存在する複数の画素の画素値（輝度値）の平均値と分散を用いてその注目画素の画素値（輝度値）を補正する輝度補正処理を、画像上の各画素をそれぞれ注目画素として画像全体に亘って行なうものである。この輝度補正処理は、画像群生成部２１０から受け取った画像群を構成する各画像それぞれについて行なわれる。

この輝度補正部２２０における輝度補正処理は、画素によって輝度が大きくばらつく画像を頭部検出対象の画像とする場合に、頭部検出精度の向上に役立つものであり、本実施形態はこの輝度補正部２２０を備えているが、本発明では必ずしも必要な処理ではない。

また差分画像作成部２３０は、図１に示す監視カメラ１０からの動画像を入力し、隣接するフレームの差分画像を作成して、その差分画像を、段階的検出部２３０に渡す役割りを担っている。

ここで、段階的検出部２３０には、輝度補正部２２０で輝度補正された後の画像が直接に入力されるとともに、さらに、輝度補正部２２０で輝度補正された画像が差分画像作成部２３０に入力され、その差分画像作成部２３０で作成された差分画像も入力される。これは、頭部検出対象の画像として、１枚１枚の静止画像を利用するとともに、差分画像を利用することによって人物頭部の動きの情報も利用して、高精度な頭部検出を行なうためである。

段階的検出部２４０では、先ず一次評価値算出部２４１により、頭部検出対象の画像上の各領域に複数のフィルタを作用させて複数の特徴量を算出し各フィルタに対応づけられている上述の対応関係（フィルタにより算出される特徴量と人物頭部である確率を表わす一次評価値との対応関係）に基づいて、各特徴量に対応する各一次評価値が求められる。次に、二次評価値算出部２４２により、一次評価値算出部２４１で求められた、複数のフィルタに対応する複数の一次評価値を、例えば加算、平均値算出等の演算を用いて総合することにより、その領域に人物頭部が存在する確率を表わす二次評価値が求められる。次いで領域抽出部２４３では、二次評価値算出部２４２で求められた二次評価値と閾値とが比較され、閾値を越えて人物頭部が存在する確率が高い領域が抽出される。

この段階的検出部２４０では、領域抽出演算制御部２７０のシーケンス制御を受けて、一次評価値算出部２４１、二次評価値算出部２４２、および領域抽出部２４３が繰り返し動作し、最終的に極めて高い確率で人物頭部が写し出された領域が抽出される。領域抽出演算制御部２７０は、段階的検出部２４０を構成する一次評価値算出部２４１、二次評価値算出部２４２、および領域抽出部２４３の動作を以下のように制御する。

領域抽出演算制御部２７０は、先ず、一次評価値算出部２４１に、画像群生成部２１０により生成された画像群のうちの相対的に小さい第１の画像にフィルタ記憶部２６０に記憶された多数のフィルタのうちの相対的に狭い領域に作用する複数の第１のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、二次評価値算出部２４２に、一次評価値算出部２４１で求められた、複数の第１のフィルタに対応する複数の一次評価値を総合させることにより、その領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、領域抽出部２４３に、二次評価値算出部２４２で求められた二次評価値と第１の閾値とを比較させてその第１の閾値を越えて人物頭部が存在する確率が高い一次候補領域を抽出させる第１の抽出過程を実行させる。

次に、再び一次評価値算出部２４１に、画像群生成部２１０により生成された画像群のうちの上記の第１の画像よりも画素数が一段階多い第２の画像の、一次候補領域に相当する領域にフィルタ記憶部２６０に記憶されたフィルタ群のうちの上記の複数の第１のフィルタよりも一段広い領域に作用する複数の第２のフィルタを作用させて複数の特徴量を算出させ、前述した対応関係に基づいて各特徴量に対応する各一次評価値を求めさせ、再び二次評価値算出部２４２に、一次評価値算出部２４１で求められた、複数の第２のフィルタに対応する複数の一次評価値を総合させることにより、その一次候補領域に人物頭部が存在する確率を表わす二次評価値を求めさせ、再び領域抽出部２４３に、二次評価値算出部２４２で求められた二次評価値と第２の閾値とを比較させて第２の閾値を越えて人物頭部が存在する確率が高い二次候補領域を抽出させる第２の抽出過程を実行させる。

領域抽出演算制御部２７０は、以上のような第１の抽出過程および第２の抽出過程を含む複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価値算出部２４１、二次評価値算出部２４２、および領域抽出部２４３に繰り返させる。

図９の頭部検出装置１００の領域抽出部２００では、この繰り返しにより、最終的に、人物頭部が写し出された領域がかなり高精度に抽出される。

ここで、前述したように、画像群生成部２１０では、補間演算と間引演算とにより１枚の原画像から複数の画像群が生成されるが、領域抽出演算制御部２７０は、画像群生成部２１０で生成された複数の画像群（差分画像作成部２３０では差分画像の画像群が作成されるが、この差分画像作成部２３０で作成された差分画像の画像群を含む）それぞれに関し、上記の複数の抽出過程を、相対的に小さい画像に相対的に狭い領域に作用するフィルタを作用させる抽出過程から相対的に大きな画像に相対的に広い領域に作用するフィルタを作用させる抽出過程に向けて順次に、一次評価算出部２４１、二次評価算出部２４２、および領域抽出部２４３に繰り返させる。

これにより、様々の寸法の人物頭部を検出することができる。

ここで、領域抽出部２４３からは、例えば、画像上の人物の顔をほぼ中心に含む第１の領域と、同じ画像上の同じ人物の、髪を含んだ頭部をほぼ中心に含む、上記の第１の領域と比べると一部が重なり一部が外れた第２の領域との双方が人物頭部の領域として抽出されることがある。そこで、図９の頭部検出装置１００の領域抽出部２００は、領域統合部２５０を備え、このような場合に１つの領域に統合する処理を行なっている。具体的には、領域抽出部２４３で複数の領域が検出された場合におけるそれら複数の領域を、それら複数の領域どうしの重なりの程度に応じて、１つの領域に統合する。更なる詳細については後述する。

図１１は、図９に示す頭部検出装置のうちの頭部検出部３００の詳細ブロック図である。

この図１１に示す頭部検出部３００は、寸法着目粗振部３１０、位置着目粗振部３２０、ベクトル算出部３３０、ベクトル算出部３４０および誤検出排除部３５０を有する。このうちのベクトル算出部３３０は、さらに勾配算出部３３１およびヒストグラム算出部３３２を有する。

図８に示す頭部抽出ステップを構成する各ステップとの対比では、図１１に示す頭部検出部３００の全体が図５に示す頭部抽出ステップＳ３０の全体、すなわち図８に示すフローチャートの全体に対応し、寸法着目粗振部３１０、位置着目粗振部３２０、ベクトル算出部３３０、距離算出部３４０および誤検出排除部３５０が、それぞれ、寸法着目粗振いステップＳ３１、位置着目粗振いステップＳ３２、ベクトル算出ステップＳ３３、距離算出ステップＳ３４および誤検出排除ステップＳ３５に対応する。また、ベクトル算出部３３０を構成する勾配算出部３３１およびヒストグラム算出部３３２は、それぞれベクトル算出ステップＳ３３を構成する勾配算出ステップＳ３３１およびヒストグラム算出ステップＳ３３２に対応する。

以下では、図１１に示す頭部検出部３００の各部の作用について概括的に説明する。この説明により、頭部検出プログラムのうちの頭部検出部に対応するプログラム部品および頭部検出方法のうちの頭部検出ステップ（図８参照）の説明を兼ねるものとする。

図１１に示す頭部検出部３００は、領域抽出部２００（図９、図１０参照）で、左右一対の監視カメラ１０Ｌ，１０Ｒ（図１参照）で得られたペア画像１枚１枚について、頭部と思われる特徴のある形態が写し出された領域が抽出された後に実行されるものであり、ここでは先ず寸法着目粗振部３１０において、領域抽出部２００で抽出された左カメラの画像上の領域の寸法と、同じく領域抽出部２００で抽出された右カメラの画像上の領域の寸法とを対比して、ペアとなり得る所定寸法範囲内にある領域が抽出される。

また、位置着目粗振い部３２０では、領域抽出部２００で抽出された左カメラの画像上の領域の、その左カメラの画像上の位置と、同じく領域抽出部２００で抽出された右カメラの画像上の領域の、その右カメラの画像上の位置とを対比して、ペアとなり得る所定位置範囲内にある領域が抽出される。ベクトル算出部３３０では、上記のような粗振いにより残った領域について、１つの領域を複数のサブ領域に分けたときの各サブ領域に写し出された部分画像を特徴づける特徴量の、それら複数のサブ領域に渡るベクトルが算出される。具体的には、このベクトル算出部３３０を構成する勾配算出部３３１において、１つの領域内の各画素について画素値の勾配ベクトルが算出され、ヒストグラム算出部３３２において、勾配ベクトル算出部３３１で算出された勾配ベクトルを用いて、１つの領域をＮ個（後述する具体例では縦４×横４＝１６個）のサブ領域に分けたときの各サブ領域ごとに、Ｍ段階に量子化された勾配方向（後述する具体例では０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°の８方向）ごとの、勾配の大きさのヒストグラムが算出され、このヒストグラム算出部３３２で算出された、１つのサブ領域につきＭ段階（８段階）の勾配方向それぞれの大きさの、Ｎ個（１６個）のサブ領域に渡る、１つの領域につきＭ×Ｎ個（８×１６＝１２８個）の要素からなる１つのベクトルが算出される。距離算出部３４０では、ベクトル算出部３３０で算出された、左カメラの画像上の領域のベクトルと右カメラの画像上のベクトルとの間の論理上の距離Ｄが算出され、この距離Ｄが短かい領域どうしがペアとして検出される。

この論理上の距離Ｄは、２つのベクトルＶＬ，ＶＲを
ＶＬ＝（ｅＬ_１，ｅＬ_２，…，ｅＬ_１２８）^ｔ
ＶＲ＝（ｅＲ_１，ｅＲ_２，…，ｅＲ_１２８）^ｔ
としたとき、

で表わされる。

さらに誤検出排除部３５０では距離算出部３４０により検出された領域のペアどうしの相対的位置関係に基づいて擬オブジェクト（ここでは主に人物の肩）が写し出された領域のペアが排除される。

このようにして、この頭部検出部３００では、左カメラの画像と右カメラの画像とを用いて、画像上の人物頭部が写し出された領域が高精度に検出される。

次に本発明の実施形態をさらに具体的に説明する。

ここでは、先ず、本発明の実施形態とは一旦離れ、フィルタの学習方法について説明し、次いで、図９に示す頭部検出装置２００のうちの領域抽出部２００（図１０参照）の詳細を説明し、さらにその後、頭部検出部３００（図１１参照）の詳細を説明する。

図１２は、頭部検出のためのフィルタの学習方法の詳細フロー図である。

この図１２は、上下２段に示されており、上段は差分をとる前の静止画像１枚１枚を取り扱うフローであり、下段は、差分画像を取り扱うフローである。

ここでは先ず教師画像を作成するための多数の画像４００が用意される。これらの多数の画像４００は、多数枚の静止画像４０１と、差分画像作成のための動画像４０２からなる。動画像４０２の１枚１枚を静止画像４０１として利用してもよい。これらの画像４００は、頭部検出用の原画像の撮影を行なう一対の監視カメラ１０Ｌ，１０Ｒ（図１参照）での撮影により得ることが好ましいが、それに限られるものではなく、監視カメラ１０Ｌ，１０Ｒによる撮影とは別に、人物が存在する様々なシーン、および人物が存在しない様々なシーンの画像を収集したものであってもよい。

これらの画像４００には、アフィン（Ａｆｆｉｎｅ）変換処理４１０、多重解像度展開処理４２０、輝度補正処理４３０がこの順に施され、動画像４０２からは差分演算処理４４０により差分画像が生成され、その後、切出し処理４５０により教師画像４５１が生成される。この教師画像４５１は、１つのシーンにつき、３２×３２画素の教師画像と、１６×１６画素の教師画像と、８×８画素の教師画像とからなる教師画像群からなり、多数のシーンについてそれぞれ教師画像群が生成される。

以下、先ず、ここまでの各処理について説明する。

アフィン変換処理４１０は、極めて多数の画像を収集することに代えて、１枚の画像を少しずつ変形して多数枚の画像を生成し、これにより、教師画像の基になる画像の数を増やす処理である。ここでは、元々の１枚の画像を−１２°、−６°、０°、＋６°、＋１２°だけそれぞれ傾けた画像を作成し、さらに縦方向に１．２倍、１．０倍、０．８倍に伸縮した画像、さらに横方向に１．２倍、１．０倍、０．８倍に伸縮した画像を作成する。これらのうち、傾き０°、縦方向１．０倍、かつ横方向１．０倍の画像は元々の画像そのものである。これらの傾きや伸縮を組み合わせ、元々の１枚の画像から元々の１枚の画像を含め、５×３×３＝４５枚の画像が作成される。こうすることにより極めて多数の教師画像が作成され、高精度な学習が可能となる。

次に多重解像度展開処理４２０について説明する。

図１３は、多重解像度展開処理の説明図である。

ここには、人物の頭部が写し出されており、既に教師画像のイメージとなっているが、図１２の多重解像度展開処理４２０では教師画像として切り出す前の画像全体について以下に説明する処理が行なわれる。

すなわち、図１３（Ａ）に示す元の１枚の画像全体をＬ_０とし、その画像Ｌ_０から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれ１／２（面積で１／４）に縮小された画像Ｌ_１を作成し、これと同様に、画像Ｌ_１から縦横それぞれ１つおきに画素を間引くことにより縦横それぞれについてさらに１／２（面積でさらに１／４）に縮小された画像Ｌ_２を作成する。図１３（Ｂ）には、このようにして作成された、元々の画像Ｌ_０を含む３枚の画像Ｌ_０，Ｌ_１，Ｌ_２からなる画像群が逆ピラミッド構造で示されている。

次に、輝度補正処理４３０が行なわれる。

この輝度補正処理４３０では、補正前の画素Ｘの画素値（輝度値）をＸ_ｏｒｇ、補正後の輝度をＸ_ｃｏｒとしたとき、

但し、Ｅ（Ｘ_ｏｒｇ）、σ（Ｘ_ｏｒｇ）は、画素Ｘの近傍（例えば９×９画素）の画素値（輝度値）の、それぞれ平均値と分散である。
に従って補正後の画素値（輝度値）が求められ、この処理を画像全域について行なうことにより輝度補正が行なわれる。

この輝度補正は、図１３（Ｂ）に示す３層の画像Ｌ_０，Ｌ_１，Ｌ_２のそれぞれについて行なわれる。すなわち、下層の画像Ｌ_２側の画像ほど、元々の画像のシーンからすると広い領域のシーンを利用した輝度補正が行なわれることになる。

次に、動画像について差分処理４４０が行なわれる。

図１４は、動画像の差分処理の説明図である。

図１４（Ａ）には、動画像のうちの隣接する２つのフレームの画像が示されており、これら２枚の画像からは、多重解像度展開処理４２０により、それぞれが３枚の画像Ｌ_０，Ｌ_１，Ｌ_２；Ｌ_０′，Ｌ_１′，Ｌ_２′からなる２つの画像群が作成される（図１４（Ｂ））。

これら２つの画像群を構成する各画像Ｌ_０，Ｌ_１，Ｌ_２；Ｌ_０′，Ｌ_１′，Ｌ_２′には、輝度補正処理４３０が施された後、差分処理４４０が行なわれる。

この差分処理４４０では、同じ寸法の画像について、対応する画素ごとの差分値の絶対値が求められ（｜Ｌ_ｉ′−Ｌ_ｉ｜、ｉ＝０，１，２）、図１４（Ｃ）に示す３枚の差分画像からなる逆ピラミッド型の画像群が作成される。

次に切出処理４５０が行なわれる。

この切出処理４５０は、図１３（Ｂ）や図１４（Ｃ）に示すような３層構造の画像から、様々な形態の人物頭部が写し出された領域や人物頭部以外のものが写し出された領域が切り出され、人物頭部が写し出されている領域からは人物頭部が存在する、という教師画像、人物頭部以外のものが写し出されている領域からは人物頭部は存在しない、という教師画像が作成される。

教師画像を切り出すにあたっては、図１３（Ｂ）あるいは図１４（Ｃ）に示す三層構造の画像のうちの最上層の画像から３２×３２画素の領域が教師画像として切り出され、これを受けて二層目の画像からは同一部分の１６×１６画素の領域が切り出され、三層目の画像からは同一部分の８×８画素の領域が切り出される。これら切り出された三層の教師画像は、画像の寸法が異なることにより分解能は異なるものの、画像上の同一部分が切り出されたものである。したがって、教師画像も、図１３（Ｂ）や図１４（Ｃ）に示すような、三層構造の逆ピラミッド型の教師画像群となる。

ここでは、このような三層構造の教師画像群４５１が多数作成され、学習に用いられる。

次に、それらの教師画像により学習される側のフィルタについて説明する。

図１５は、フィルタの構造の説明図、図１６は各種のフィルタを図解して例示した図である。

ここには多数種類のフィルタが用意される。これらのフィルタは、画像上の３２×３２画素の領域に作用するフィルタと、画像上の１６×１６画素の領域に作用するフィルタと、画像上の８×８画素の領域に作用するフィルタとに分けられる。これらのフィルタは、学習により抽出されるまでは頭部検出に用いるためのフィルタの候補の地位にある。これらのフィルタ候補のうちの３２×３２画素の領域に作用するフィルタ候補は図１５（Ａ）に示す三層構造の教師画像群のうちの３２×３２画素の教師画像による学習で選別されて頭部検出に採用すべきフイルタが抽出され、これと同様に、多数のフィルタ候補のうちの１６×１６画素の領域に作用するフィルタ候補は三層構造の教師画像群のうちの１６×１６画素の教師画像による学習で選別されて頭部検出に採用すべきフィルタが抽出され、さらに、多数のフィルタ候補のうちの８×８画素の領域に作用するフィルタ候補は、三層構造の教師画像群のうちの８×８画素の教師画像により選択されて頭部検出に採用すべきフィルタが抽出される。

図１５（Ｂ）に示すように、１つのフィルタは、タイプと、層と、６つの画素座標｛ｐｔ_０，ｐｔ_１，ｐｔ_２，ｐｔ_３，ｐｔ_４，ｐｔ_５｝の属性を持ち、それら６つの画素座標にある画素の画素値（輝度値）をそれぞれ、Ｘ_ｐｔ０，Ｘ_ｐｔ１，Ｘ_ｐｔ２，Ｘ_ｐｔ３，Ｘ_ｐｔ４，Ｘ_ｐｔ５としたとき、

なる演算により、３つの差分値のベクトルが算出される。

「タイプ」は、図１６にタイプ０〜タイプ８を示すような、大分類を表わしている。例えば、図１６左上のタイプ０は、横方向（θ＝０°）の方向の差分をとるフィルタであることを表わしており、タイプ１は、縦方向（θ＝±９０°）の方向の差分をとるフィルタであることを表わしており、タイプ２〜４は、そのタイプごとの方向の差分をとるフィルタであることを表わしている。タイプ５〜８は、図示のような差分演算により各曲線のエッジを検出するフィルタであることを表わしている。また、「層」は、３２×３２画素の領域に作用するフィルタであるか、１６×１６画素の領域に作用するフィルタであるか、８×８画素の領域に作用するフィルタであるかの識別標識である。

さらに、６つの画素座標｛ｐｔ_０，ｐｔ_１，ｐｔ_２，ｐｔ_３，ｐｔ_４，ｐｔ_５｝は、例えば８×８画素の領域に作用する場合の８×８＝６４画素のうちの６つの画素の座標を指定するものである。１６×１６画素の領域に作用するフィルタ、３２×３２画素の領域に作用する画素の場合も同様である。

上記（４）式による演算は、６つの画素座標｛ｐｔ_０，ｐｔ_１，ｐｔ_２，ｐｔ_３，ｐｔ_４，ｐｔ_５｝で指定される６つの画素について行なわれ、例えば、図１６の左上のタイプ０のうちのさらに最上段のフィルタの場合は、数値０を付した画素の輝度値をＸ_０、数値１を付した画素の輝度値をＸ_１、数値２を付した画素（ここでは、数値２を付した画素は数値１を付した画素と同一の画素である）の輝度値をＸ_２（＝Ｘ_１）、数値３を付した画素の輝度値をＸ_３、数値４を付した画素（ここでは数値４を付した画素は数値１を付した画素と同一である）の輝度値をＸ_４（＝Ｘ_３）、数値５を付した画素の輝度値をＸ_５としたとき、

となる。

タイプ５の左側のフィルタにも数値０〜５を付してあり、（５）式と同じ演算が行なわれる。

これらは例示であり、図１６に示す各種のフィルタは、これらの例示と同様の演算を行なうフィルタである。

図１２に示すように、教師画像群４５１が作成されると機械学習により、多数のフィルタ候補の中から、頭部検出に採用されるフィルタ４７０が抽出される。

次に、機械学習について説明する。

図１７は、機械学習の概念図である。

これまで説明してきたようにして、多数の教師画像群４５１が用意されるとともに、多数のフィルタ候補４６０が用意され、先ずは、それらの教師画像群４５１のうちの８×８画素の多数の教師画像４５１Ａを使って８×８画素の領域に作用するフィルタ候補４６０Ａの中から頭部検出に用いられるフィルタ４７０Ａが抽出され、次にその抽出結果を反映させながら、１６×１６画素の多数の教師画像４５１Ｂを使って１６×１６画素の領域に作用するフィルタ候補４６０Ｂの中から頭部検出に用いられるフィルタ４７０Ｂが抽出され、さらに、その抽出結果を反映させながら、３２×３２画素の多数の教師画像４５１Ｃを使って、３２×３２画素の領域に作用するフィルタ候補４６０Ｃの中から頭部検出に用いられるフィルタ４７０Ｃが抽出される。

ここでは、機械学習の一例としてＡｂａ Ｂｏｏｓｔアルゴリズムが採用されている。このアルゴリズムは既に広範な分野で採用されているものであり、以下では簡単に説明する。

図１８は、教師画像の概念図である。

ここでは、８×８画素の多数枚の教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０が用意されているものとする。これらの教師画像には、頭部である教師画像と、頭部ではない教師画像が含まれている。

図１９は、各種フィルタとそれらのフィルタの学習結果を示す概念図である。

ここでは、８×８画素の領域に作用する多数種類のフィルタ（この段階ではフィルタ候補）ａ，ｂ，…，ｎが用意され、図１８に示す多数枚の教師画像を用いて各フィルタａ，ｂ，…，ｎについてそれぞれ学習が行なわれる。

図１９に示す各グラフは、各フィルタについての学習結果を示している。

各フィルタでは、（４）式に示すような三次元ベクトルからなる特徴量が算出されるが、ここでは簡単のため一次元の特徴量として示している。

各グラフの横軸は、そのフィルタを使って多数枚の教師画像それぞれについて求めた特徴量の値、縦軸は、そのフィルタを使ったときの頭部である、という正答率を表わしている。この確率は前述した一次評価値として利用される。

ここでは、各フィルタａ，ｂ，…，ｎについてそれぞれ一回目の学習を行なった結果、図１９に示すような学習結果が表われ、フィルタｎを使ったときの正答率が最高であったとする。この場合、先ずはフィルタｎを頭部検出用のフィルタとして採用し、２回目の学習はフィルタｎを除く他のフィルフタａ，ｂ，…について行なわれる。

図１９（Ｃ）に示すように、各教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０についての一次評価値がｘ，ｙ，ｚ，ｚであったとする。

図２０は、教師画像の重み付けを示す説明図である。

一回目の学習では、全ての教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０について同一の重み１．０で学習が行なわれるが、２回目の学習では、各教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０は１回目の学習で最高の正答率を得たフィルタｎによる各教師画像ごとの確率ｘ，ｙ，ｚ，ｚが加味され、正しく判定される確率が高い教師画像ほど重みを下げ、誤って判定される確率の高い教師画像ほど大きな重みが与えられる。この重みは、二回目の学習の各教師画像ごとの正答率に反映される。すなわち、この重みは２回目の学習において、各教師画像をその重みの回数だけ繰り返して学習に利用することと同じである。このようにして２回目の学習を行ない、２回目の学習で最高の正答率を得たフィルタ候補が頭部検出用のフィルタとして抽出される。さらに、その抽出されたフィルタの特徴量の正答率のグラフを利用して各教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０についての重みが再度修正され、今回抽出されたフィルタを除く、さらに残ったフィルタについて学習が行なわれる。以上が繰り返されて、頭部検出用の、８×８画素の領域に作用する多数のフィルタ４７０Ａ（図１７参照）が抽出される。

図２１は、８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。

８×８画素のフィルタの抽出が終了した後、それらのフィルタと、それらのフィルタを１つずつ独立に使ったときの、特徴量と一次評価値との対応関係（例えば図１９に示すグラフ）が求められ、１つ１つの教師画像（例えば教師画像ａ_０）について８×８画素用の多数のフィルタで得た特徴量から得られる各フィルタごとの一次評価値が加算されて二次評価値が求められる。ここでは、図２１に示すように、各教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０について、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍが求められたものとする。このとき、８×８画素の教師画像ａ_０，ｂ_０，ｃ_０，…，ｍ_０のそれぞれに対応する１６×１６画素の教師画像ａ_１，ｂ_１，ｃ_１，…，ｍ_１の重みが、各二次評価値Ａ，Ｂ，Ｃ，…，Ｍを使って、全ての画像について平等な１．０から変更され、１６×１６画素の領域に作用するフィルタの抽出のための学習に利用される。

これ以降の１６×１６画素の領域のフィルタの抽出アルゴリズム、重み付け変更アルゴリズム、３２×３２画素の領域のフィルタの抽出への移行のアルゴリズム等は全て同様であり、説明は割愛する。

以上のようにして、８×８画素の領域に作用する多数のフィルタ２７０Ａ、１６×１６画素の領域に作用する多数のフィルタ２７０Ｂ、および３２×３２の領域に作用する多数のフィルタ２７０Ｃからなるフィルタ群２７０が抽出されるとともに、各フィルタについての特徴量（前述した（２）式のベクトル）と一次評価値との対応関係（グラフ、表、関数式などのいずれでもよい）が求められ、図７、図１０に示すフィルタ記憶部２６０に格納される。

次に、以上のようにしてフィルタ記憶部２６０に格納されたフィルタを利用した領域抽出処理について説明する。

図１０に示す画像群生成部２１０、輝度補正部２２０、および差分画像作成部２３０では、学習時における、図１２に示す多重解像度展開処理４２０、輝度補正処理４３０、差分演算処理４４０とそれぞれ同様の処理が行なわれる。ただし、画像群生成部２１０における処理は、前述の多重解像度展開処理２２０とは多少異なっており、以下において説明する。

図２２は、図１０に示す画像群生成部２１０の処理を示す模式図である。

この画像群生成部２１０には、図１に示す２台の監視カメラ１０Ｌ，１０Ｒのそれぞれでの撮影により得られた動画像が入力され、その動画像を構成する１枚１枚の画像について図２２に示す処理が行なわれる。

ここでは、入力画像である原画像に補間演算処理が施されて、その原画像よりもサイズが少しだけ小さい補間画像１が求められ、さらにその補間画像１よりもサイズが少しだけ小さい補間画像２が求められ、同様にして補間画像３も求められる。

原画像と補間画像１との間の画像サイズの比率Ｓσは、縦横それぞれについて

但し、Ｎは、原画像を含む補間画像の数（図２２に示す例ではＮ＝４）である。
の比率である。

このようにして補間画像（図２２に示す例では補間画像１，２，３）を作成した後、原画像および補間画像のそれぞれについて縦横それぞれについて１画素おきに間引くことにより縦横それぞれについて１／２のサイズの画像が作成され、縦横それぞれについてさらに１／２のサイズの画像が作成され、もう１つさらに１／２のサイズの画像が作成され、これにより図２２に示す例では、１枚の原画像から４層の逆ピラミッド型の画像群が４つ作成される。

このようにして多数のサイズの画像を作成することにより、様々なサイズの頭部を抽出することができる。

図１０の輝度補正部２２０および差分画像作成部２３０の処理は、図１２を参照して説明した、輝度補正処理４３０および差分演算処理４４０と同じであり、重複説明は省略する。

図２２に示す逆ピラミッド型の画像群は、輝度補正部２２０における輝度補正処理を受けた後、さらには、差分画像作成部２３０で差分画像の逆ピラミッド型の画像群に変換された後、段階的検出部２４０に入力される。この段階的検出部２４０では、領域抽出演算制御部２７０によるシーケンス制御を受けながら以下の演算処理が行なわれる。

先ず、一次評価値算出部２４１において、フィルタ記憶部２６０から８×８画素の領域に作用する多数のフィルタが読み出され、図２２に示す逆ピラミッド型の４層の画像群を構成する各４枚の画像のうちの、サイズが最も小さい画像、および２番目に小さい画像が８×８画素の各フィルタでラスタスキャンされて、順次移動する各領域ごとに特徴量を表わすベクトル（（４）式参照）が求められ、各フィルタごとの、特徴量と一次評価値との対応関係（図１９参照）が参照されて、その特徴量が一次評価値に換算される。

二次評価値算出部２４２では、８×８画素の領域に作用する多数のフィルタによる多数の一次評価値が互いに加算されて二次評価値が求められ、領域抽出部２４３ではその二次評価値が所定の第１の閾値以上である（頭部が写されている可能性が高い）一次抽出領域が抽出される。

次にその一次抽出領域の位置情報が一次評価値算出部２４１に伝達され、一次評価値算出部２４１では、今度は、フィルタ記憶部２６０から１６×１６画素の領域に作用する多数のフィルタが読み出されて、図２２に示す逆ピラミッド型の４つの画像群それぞれについて、小さい方から２番目の画像と３番目（大きい方から２番目）の画像上の、領域抽出部２４３で抽出された一次抽出領域に対応する領域に１６×１６の画素の領域に作用する各フィルタを作用させて特徴量を算出し、その特徴量を一次評価値に換算する。それらの、１６×１６画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部２４２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部２４３において第２の閾値と比較されて、上述の一次抽出領域に対応する領域の中から頭部が写されている可能性がさらに高い二次抽出領域が抽出される。この二次抽出領域の位置情報は一次評価値算出部２４１に伝達され、今度は、その一次評価値算出部２４１では、フィルタ記憶部２６０から３２×３２画素の領域に作用する多数のフィルタが読み出されて、図２２に示す逆ピラミッド型の４つの画像群それぞれを構成する大きい方から２番目の画像と最も大きい画像上の、領域抽出部２４３で抽出された二次抽出領域に対応する領域に、３６×３６画素の領域に作用する各フィルタを作用させて特徴量が抽出され、その特徴量が一次評価値に換算される。それらの３２×３２画素の領域に作用する多数のフィルタによる多数の一次評価値は二次評価値算出部２４２において互いに加算されて二次評価値が求められ、その求められた二次評価値が領域抽出部２４３において第３の閾値と比較されて、二次抽出領域に対応する領域の中から頭部が写し込まれていると確信できるレベルの三次抽出領域が抽出される。この三次抽出領域の情報、すなわち、その領域の画像上の位置ｐｏｓ（領域の左上隅の座標（ｌ，ｔ）と右下隅の座標（ｒ，ｂ）と最終的な二次評価値ｌｉｋｅｎｅｓｓが、図５に示す領域統合部２５０に入力される。

図２３は領域統合部１５０における領域統合処理の説明図である。

この領域統合部２５０は複数の頭部領域（三次抽出領域）Ｈ_ｉ（ｉ＝１，…，Ｍ）の情報Ｈ_ｉ（ｐｏｓ，ｌｉｋｅｎｅｓｓ）が入力されると、その領域統合部２５０では、それらの頭部領域情報Ｈ_ｉが二次評価値ｌｉｋｅｎｅｓｓの順に並べ替えられる。ここでは、２つの領域Ｈ_ｒｅｆ，Ｈ_ｘについて互いの領域の一部の重なりが認められるものとし、領域
Ｈ_ｒｅｆの方が領域Ｈ_ｘよりも二次評価値ｌｉｋｅｎｅｓｓが高いものとする。

領域Ｈ_ｒｅｆの面積をＳ_Ｈｒｅｆ、領域Ｈ_ｘの面積をＳ_Ｈｘ、相互に重なった部分の面積をＳ_{ｃｒｏｓｓ}としたとき、重なりの比率

が算出され、この比率ρが閾値ρ_ｌｏｗ以上であったときに、領域統合演算が行なわれる。すなわち、領域Ｈ_ｒｅｆの４隅の座標と領域Ｈ_ｘの４隅の座標のうちの対応する座標にその領域のｌｉｋｅｎｅｓｓによる重みが付されて、１つに統合される。

例えば、各領域Ｈ_ｒｅｆ，Ｈ_ｘの左上隅の左右方向の座標ｌ_ｒｅｆ，ｌ_ｘが、各領域Ｈ_ｒｅｆ，Ｈ_ｘの各ｌｉｋｅｎｅｓｓであるｌｉｋｅｎｅｓｓ（ｒｅｆ），ｌｉｋｅｎｅｓｓ（ｘ）を用いて、統合された座標

に変換される。このような演算が位置ｐｏｓを表わす４つの座標
ｐｏｓ＝（ｌ，ｔ，ｒ，ｂ）^ｔ
のそれぞれについて行なわれ、２つの領域Ｈ_ｒｅｆ，Ｈ_ｘが１つの領域に統合される。この統合された領域のｌｉｋｅｎｅｓｓとしては、たとえばｌｉｋｅｎｅｓｓ（ｒｅｆ）がそのまま採用される。

３つ以上の領域が重なっている場合も同様である。

次に頭部検出部３００（図９、図１１）の詳細を説明する。

図２４は、図１１に示す頭部検出部３００に入力されてきた頭部領域（ここでは未だ候補に過ぎず、したがってここでは頭部候補と称する）についての前準備を示すブロック図である。

ここでは、左側の監視カメラ１０Ｌ（図１参照）で得られた画像上の、領域抽出部２００（図９、図１０参照）で抽出され頭部候補をＬＣＨ_ｉ（ｉ＝１，２，…，Ｍ）で表わし、右側の監視カメラ（図１参照）で得られた画像上の領域抽出部２００で抽出された頭部候補をＲＣＨ_ｊ（ｊ＝１，２，…，Ｎ）で表わす。

ここでの説明は、左右の監視カメラ１０Ｌ，１０Ｒで同時に撮影されたペア画像に関する説明である。

各ＬＣＨ_ｉ，ＲＣＨ_ｉには、その画像上の位置情報ｐｏｓ＝（ｌ，ｔ，ｒ，ｂ）^ｔと頭部である確からしさ（前述の二次評価値）ｌｉｋｅｎｅｓｓの情報を伴っている。位置情報ｐｏｓ＝（ｌ，ｔ，ｒ，ｂ）^ｔを構成するｌ，ｔ，ｒ，ｂは、その頭部候補領域の左上隅の、左右の座標ｌおよび上下の座標ｔと、右下隅の、左右の座標ｒおよび上下の座標ｂである。

左カメラの画像の頭部候補ＬＣＨ_ｉと右カメラの画像の頭部候補ＲＣＨ_ｊは、左右それぞれの画像ごとに確率（ｌｉｋｅｎｅｓｓ）の高い候補ほど上にくるようにソートされて各格納領域ＬＡ，ＲＡに格納される。

このようにソートされた後、確率の高い方から順に１つずつ取り出され、以下の処理によるペア探索およびペア検出が行なわれる。

先ずＬＣＨを１つ取り出して、そのＬＣＨの位置情報ｐｏｓから、そのＬＣＨの縦寸法と横寸法および中心座標を求める。

次に、ＲＣＨを１つずつ取り出して、ＬＣＨと同様にして、縦寸法と横寸法および中心座標を求め、その縦寸法および横寸法を、取り出されている１つのＬＣＨの縦寸法および横寸法と比べ、縦寸法が所定の比率範囲外又は横寸法が所定の比率範囲外なら、そのＲＣＨは、そのＬＣＨとペアになる可能性はなく、そのＬＣＨとのペアの候補から排除される。このようにして先ず寸法に着目してＲＣＨを粗振いする（図１１の寸法着目粗振部３１０の処理）。また、取り出されているＬＣＨの中心座標と、１つずつ取り出したＲＣＨの中心座標とを比較し、ＲＣＨの中心座標が、ＬＣＨの中心座標と比べ上下方向について所定範囲から外れていたら、そのＲＣＨはそのＬＣＨとペアになる可能性はなく、そのＲＣＨは、そのＬＣＨとのペアの候補から排除される（図１１の位置着目粗振部３２０の処理）。

次に、ＬＣＨと、そのＬＣＨとペアになる可能性のあるＲＣＨについて、以下のベクトル算出処理が行なわれる。

図２５は、ベクトル算出処理の説明図である。

図２５（Ａ）は、ＬＣＨ又はＲＣＨの１つの領域の模式図である。

ここでは、縦３２画素×横３２画素の領域であるとする。

ここでは、先ず、その領域に微分フィルタを作用させて、３２×３２の各画素について画素値（輝度値）の勾配ベクトル（ｄｘ，ｄｙ）が求められる（図１１のベクトル算出部３３０のうちの勾配算出部３３１の処理）。

図２５（Ｂ）は、各画素ごとの勾配ベクトルの模式図である。

ここでは、図示の関係上、１６×１６画素の領域について、各画素の勾配ベクトルが示されている。

次に、図２５（Ａ）に示すように、この３２×３２画素の領域が縦横それぞれ４分割される。この図２５（Ａ）に示すＬＣＨ又はＲＣＨは３２×３２画素であるから縦横それぞれ４分割したときの１つの領域は８×８画素となる。但し、ＬＣＨ，ＲＣＨが３２×３２画素の領域ではない場合も、各画素の勾配ベクトルを求めた後、縦横それぞれに４分割される。

次に、縦横それぞれ４分割されることにより形成された４×４＝１６個のサブ領域のそれぞれについて勾配ベクトルのヒストグラムが求められる。

図２５（Ｃ）は、そのヒストグラムを勾配方向の矢印の長さで表わした図、図２５（Ｄ）は、１つのサブ領域についてのヒストグラムを、横方向に角度、縦方向に大きさをとって示した図である。

ここでは４５°おきの８方向に量子化され、１つのサブ領域を構成する各画素ごとの勾配ベクトルの方向がその方向に最も近い量子化された８方向のいずれかに揃えられ、その勾配ベクトルの大きさがその揃えられた方向に加算される（図１１のベクトル算出部３３０のうちのヒストグラム算出部３３２の処理）。

このようにして、各サブ領域ごとに図２５（Ｄ）に示すようなヒストグラムが求められ、そのトータルの大きさ（図２５（Ｄ）の縦方向の長さ）の和が基準値（例えば１．０）となるように規格化される。

１つのＬＣＨ又はＲＣＨが４×４＝１６個のサブ領域に分けられ、１つのサブ領域につき、８方向それぞれの値（大きさ）が求められ、したがって、１つのＬＣＨ又はＲＣＨにつき、１６×８＝１２８要素のベクトルが算出される。

次に、このようにして求めた１つのＬＣＨのベクトルＶＬと、そのＬＣＨとペアになる可能性のある全てのＲＣＨそれぞれのベクトルＶＲとの間の論理上の距離（前述の（２）式）が算出され、その算出された距離が最も近く、かつその最も近い距離が閾値ｄｉｓｔｔｈよりも短かい距離であったときに、その最も近い距離のＲＣＨが、そのＬＣＨとのペアとして検出される。ここでは、このようにして検出されたペアを
Ｐ_ｋ（ＬＣＨ，ＲＣＨ，ｚ）
と表記する。Ｐ_ｋはｋ番目のペアを表わし、ｚはその頭部候補の監視カメラ１０Ｌ，１０Ｒからの距離である。

以上のようにして１つのＬＣＨについてペアが決まると、又はそのＬＣＨについてペアが存在しないことが判明すると、次のＬＣＨについて同様の処理が繰り返される。

次に、図１１に示す誤検出排除部３５０における処理が行なわれる。

ここでは、上記のようにして検出されたペアＰ_ｋ（ＬＣＨ，ＲＣＨ，ｚ）（ｋ＝１，２，…，Ｔ）が、画像上の上側に存在するペアから下側に存在するペアの順に並べられる。これは、肩が頭部と誤検出される可能性があり、肩が検出されたペアを排除するための処理である。すなわち、頭部は肩よりも上にあるため、ペアＰ_ｋ（ＬＣＨ，ＲＣＨ，ｚ）を画像上の上側の座標にあるペアから順に並べ、上側のペアほど優先順位を高めることにより、肩が誤検出されたペアを排除しようとするものである。

ここでは、上下の座標順に並べたペアのうち最優先のペアＰ_ｋ（ＬＣＨ，ＲＣＨ，ｚ）を取り出し、そのペアの距離情報ｚをｚ_ｒｅｆ、画像上の位置をｐｏｓ_ｒｅｆとする。

次に、そのペア以外のペアを１つずつ取り出してその１つずつ取り出したペアの距離ｚをｚ_ｅｘとし、画像上の位置をｐｏｓ_ｅｘとしたとき、ｚ_ｅｘがｚ_ｒｅｆに対しある近い距離範囲内にあるか否か、およびｐｏｓ_ｅｘがｐｏｓ_ｒｅｆに対し、ｐｏｓ_ｒｅｆが頭の位置としたときにｐｏｓ_ｅｘが肩の位置に相当するある位置範囲内にあるか否かが判定され、最優先のペアＰ_ｋ（ＬＣＨ，ＲＣＨ，ｚ）に対し肩の位置に相当するペアが排除される。

最優先のペアについての上記の処理が終了すると次の優先度にあるペアを取り出して、それ以下の優先度のペアと同様の比較が行なわれ、この処理が、優先度の高いペアから低いペアへと順に行なわれる。

この処理により肩の誤検出が排除される。

最後に、上記のような処理で残った、頭部である確率が極めて高いペアＰ_ｋ（ＬＣＨ，ＲＣＨ，ｚ）（ｋ＝１，２，…，Ｕ）について、その頭部の３次元座標および縦横の寸法が求められる。すなわち、Ｐ_ｋ（ＬＣＨ，ＲＣＨ，ｚ）から、ここではＬＣＨのｐｏｓ＝（ｌ，ｔ，ｒ，ｂ）^ｔを用いて

が算出され、その頭部の３次元位置座標と縦横の寸法が求められる。

本実施形態では、以上の処理により、人物頭部が写されている領域が高精度かつ高速に抽出される。

尚、ここでは、領域抽出部２００の一例についても詳細に説明したが、本発明の実施形態としての特徴はペア画像を利用して高精度な頭部検出を行なう頭部検出部３００の処理にあり、領域抽出部２００は、どのようなアルゴリズムで頭部の領域を抽出するものであってもよい。

本発明の一実施形態が組み込まれた監視カメラシステムの概略構成図である。 図１に示す一対の監視カメラに写し出された画像の模式図である。 図１に１つのブロックで示すパーソナルコンピュータの外観斜視図である。 パーソナルコンピュータのハードウエア構成図である。 図１〜図３に示すパーソナルコンピュータを利用して実施される頭部検出方法の一例を示すフローチャートである。 図５に示す頭部検出方法の説明図である。 図５に示す頭部検出方法のうちの領域抽出ステップの詳細フローを示した図である。 図５に示す頭部検出方法のうちの頭部検出ステップの詳細フローを示した図である。 頭部検出装置の一例を示すブロック図である。 図９に示す頭部検出装置のうちの領域抽出部の詳細ブロック図である。 図９に示す頭部検出装置のうちの頭部検出部の詳細ブロック図である。 頭部検出のためのフィルタの学習方法の詳細フロー図である。 多重解像度展開処理の説明図である。 動画像の差分処理の説明図である。 フィルタの構造の説明図である。 各種のフィルタを図解して例示した図である。 機械学習の概念図である。 教師画像の概念図である。 各種フィルタとそれらのフィルタの学習結果を示す概念図である。 教師画像の重み付けを示す説明図である。 ８×８画素用のフィルタの抽出が終了し、１６×１６画素のフィルタの学習への移行時の重み付け方法の説明図である。 画像群生成部の処理を示す模式図である。 領域統合部における領域統合処理の説明図である。 頭部検出部に入力されてきた頭部領域についての前準備を示すブロック図である。 ベクトル算出処理の説明図である。

符号の説明

１０Ｒ，１０Ｌ 監視カメラ
２０ パーソナルコンピュータ
２１Ｌ，２１Ｒ 画像
３１ 本体装置
３１ａ ＭＯ装填口
３１ｂ ＣＤ／ＤＶＤ装填口
３２ 画像表示画面
３２ａ 表示画面
３３ キーボード
３４ マウス
１００ 頭部検出装置
２００ 領域抽出部
２１０ 画像群生成部
２２０ 輝度補正部
２３０ 差分画像作成部
２４０ 段階的検出部
２４１ 一次評価値算出部
２４２ 二次評価値算出部
２４３ 領域抽出部
２５０ 領域統合部
２６０ フィルタ記憶部
２７０ 領域抽出演算制御部
２８１ ＣＰＵ
２８２ 主メモリ
２８３ ハードディスク装置
２８４ ＭＯドライブ
２８５ ＣＤ／ＤＶＤドライブ
２８６ インタフェース
２８７ バス
２９１ ＭＯ、勾配算出部
２９２ ＣＤ／ＤＶＤ
３００ 頭部検出部
３１０ 寸法着目粗振部
３２０ 位置着目粗振部
３３０ ベクトル算出部
３３１ 勾配算出部
３３２ ヒストグラム算出部
３４０ 距離算出部
３５０ 誤検出排除部
４００ 画像
４０１ 静止画像
４０２ 動画像
４１０ アフィン変換処理
４２０ 多重解像度展開処理
４３０ 輝度補正処理
４４０ 差分処理
４５０ 切出し処理
４５１ 教師画像群
４６０Ａ フィルタ候補
４７０ フィルタ群
４７０Ａ，４７０Ｂ，４７０Ｃ フィルタ

Claims (21)

1. 互いに所定距離隔てて設置され互いに同一のシーンを撮影する第１および第２のカメラでの撮影により得られた、それぞれが二次元的に配列された画素で表現された第１および第２の画像からなるペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出するオブジェクト検出方法であって、
   前記ペア画像を構成する第１および第２の各画像について、該各画像上の、特定種類のオブジェクトが写し込まれた領域を抽出する領域抽出ステップと、
   前記領域抽出ステップで抽出された前記第１の画像上の領域と前記第２の画像上の領域の中から互いに対応する領域のペアを検出することにより特定種類のオブジェクトを検出するオブジェクト検出ステップとを有し、
   前記オブジェクト検出ステップが、
   前記領域抽出ステップで抽出された領域について、１つの領域を複数のサブ領域に分けたときの各サブ領域に写し出された部分画像を特徴づける特徴量の、該複数のサブ領域に渡るベクトルを算出するベクトル算出ステップと、
   前記ベクトル算出ステップで算出された、前記第１の画像上の領域のベクトルと前記第２の画像上のベクトルとの間の論理上の距離を算出することにより、該論理上の距離が近い領域どうしからなる領域のペアを検出する距離算出ステップとを有することを特徴とするオブジェクト検出方法。
2. 前記ベクトル算出ステップが、
   前記領域抽出ステップで抽出された領域内の各画素について、画素値の勾配ベクトルを算出する勾配算出ステップと、
   前記勾配算出ステップで算出された勾配ベクトルを用いて、１つの領域をＮ個のサブ領域に分けたときの各サブ領域ごとに、Ｍ段階に量子化された勾配方向ごとの、勾配の大きさのヒストグラムを算出するヒストグラム算出ステップとを有し、
   前記ヒストグラム算出ステップで算出された、１つのサブ領域につきＭ段階の勾配方向それぞれの大きさの、前記Ｎ個のサブ領域に渡る、１つの領域につきＭ×Ｎ個の要素からなる１つのベクトルを算出するステップであることを特徴とする請求項１記載のオブジェクト検出方法。
3. 前記オブジェクト検出ステップが、前記領域抽出ステップで抽出された前記第１の画像上の領域の寸法と前記領域抽出ステップで抽出された前記第２の画像上の領域の寸法とを対比して、ペアとなり得る所定寸法範囲内にある領域を抽出する寸法着目粗振いステップを有し、
   前記距離算出ステップは、前記寸法着目粗振いステップで抽出された領域どうしについて、前記論理上の距離を算出するステップであることを特徴とする請求項１又は２記載のオブジェクト検出方法。
4. 前記オブジェクト検出ステップが、前記領域抽出ステップで抽出された前記第１の画像上の領域の該第１の画像上の位置と、前記領域抽出ステップで抽出された前記第２の画像上の領域の該第２の画像上の位置とを対比して、ペアとなり得る所定位置範囲内にある領域を抽出する位置着目粗振いステップを有し、
   前記距離算出ステップは、前記位置着目粗振いステップで抽出された領域どうしについて、前記論理上の距離を算出するステップであることを特徴とする請求項１から３のうちいずれか１項記載のオブジェクト検出方法。
5. 前記特定種類のオブジェクトが、該特定種類のオブジェクトと比べ所定の相対的位置にある、前記領域抽出ステップにおいて該特定種類のオブジェクトが写し出された領域として抽出される可能性のある擬オブジェクトを伴うものであって、
   前記オブジェクト検出ステップが、前記距離算出ステップにより検出された領域のペアどうしの相対的位置関係に基づいて前記擬オブジェクトが写し出された領域のペアを排除する誤検出排除ステップをさらに有することを特徴とする請求項１から４のうちいずれか１項記載のオブジェクト検出方法。
6. 前記領域抽出ステップが、人物頭部が写し出された領域を抽出するステップであることを特徴とする請求項１から５のうちいずれか１項記載のオブジェクト検出方法。
7. 前記領域抽出ステップが、人物頭部が写し出された領域を抽出するステップであり、
   前記誤検出排除ステップが、人物の肩が写し出された領域のペアを排除するステップであることを特徴とする請求項５記載のオブジェクト検出方法。
8. 互いに所定距離隔てて設置され互いに同一のシーンを撮影する第１および第２のカメラでの撮影により得られた、それぞれが二次元的に配列された画素で表現された第１および第２の画像からなるペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出するオブジェクト検出装置であって、
   前記ペア画像を構成する第１および第２の各画像について、該各画像上の、特定種類のオブジェクトが写し込まれた領域を抽出する領域抽出部と、
   前記領域抽出部で抽出された前記第１の画像上の領域と前記第２の画像上の領域の中から互いに対応する領域のペアを検出することにより特定種類のオブジェクトを検出するオブジェクト検出部とを備え、
   前記オブジェクト検出部が、
   前記領域抽出部で抽出された領域について、１つの領域を複数のサブ領域に分けたときの各サブ領域に写し出された部分画像を特徴づける特徴量の、該複数のサブ領域に渡るベクトルを算出するベクトル算出部と、
   前記ベクトル算出部で算出された、前記第１の画像上の領域のベクトルと前記第２の画像上のベクトルとの間の論理上の距離を算出することにより、該論理上の距離が近い領域どうしからなる領域のペアを検出する距離算出部とを備えたことを特徴とするオブジェクト検出装置。
9. 前記ベクトル算出部が、
   前記領域抽出部で抽出された領域内の各画素について、画素値の勾配ベクトルを算出する勾配算出部と、
   前記勾配算出部で算出された勾配ベクトルを用いて、１つの領域をＮ個のサブ領域に分けたときの各サブ領域ごとに、Ｍ段階に量子化された勾配方向ごとの、勾配の大きさのヒストグラムを算出するヒストグラム算出部とを備え、
   前記ヒストグラム算出部で算出された、１つのサブ領域につきＭ段階の勾配方向それぞれの大きさの、前記Ｎ個のサブ領域に渡る、１つの領域につきＭ×Ｎ個の要素からなる１つのベクトルを算出するものであることを特徴とする請求項８記載のオブジェクト検出装置。
10. 前記オブジェクト検出部が、前記領域抽出部で抽出された前記第１の画像上の領域の寸法と前記領域抽出部で抽出された前記第２の画像上の領域の寸法とを対比して、ペアとなり得る所定寸法範囲内にある領域を抽出する寸法着目粗振い部を備え、
    前記距離算出部は、前記寸法着目粗振い部で抽出された領域どうしについて、前記論理上の距離を算出するものであることを特徴とする請求項８又は９記載のオブジェクト検出装置。
11. 前記オブジェクト検出部が、前記領域抽出部で抽出された前記第１の画像上の領域の該第１の画像上の位置と、前記領域抽出部で抽出された前記第２の画像上の領域の該第２の画像上の位置とを対比して、ペアとなり得る所定位置範囲内にある領域を抽出する位置着目粗振い部を備え、
    前記距離算出部は、前記位置着目粗振い部で抽出された領域どうしについて、前記論理上の距離を算出するものであることを特徴とする請求項８から１０のうちいずれか１項記載のオブジェクト検出装置。
12. 前記特定種類のオブジェクトが、該特定種類のオブジェクトと比べ所定の相対的位置にある、前記領域抽出部において該特定種類のオブジェクトが写し出された領域として抽出される可能性のある擬オブジェクトを伴うものであって、
    前記オブジェクト検出部が、前記距離算出部により検出された領域のペアどうしの相対的位置関係に基づいて前記擬オブジェクトが写し出された領域のペアを排除する誤検出排除部をさらに備えたことを特徴とする請求項８から１１のうちいずれか１項記載のオブジェクト検出装置。
13. 前記領域抽出部が、人物頭部が写し出された領域を抽出するものであることを特徴とする請求項８から１２のうちいずれか１項記載のオブジェクト検出装置。
14. 前記領域抽出部が、人物頭部が写し出された領域を抽出するものであり、
    前記誤検出排除部が、人物の肩が写し出された領域のペアを排除するものであることを特徴とする請求項１２記載のオブジェクト検出装置。
15. プログラムを実行する演算装置内で実行され、該演算装置を、互いに所定距離隔てて設置され互いに同一のシーンを撮影する第１および第２のカメラでの撮影により得られた、それぞれが二次元的に配列された画素で表現された第１および第２の画像からなるペア画像から、該ペア画像に写し出された特定種類のオブジェクトを検出するオブジェクト検出装置として動作させるオブジェクト検出プログラムであって、
    前記演算装置を、
    前記ペア画像を構成する第１および第２の各画像について、該各画像上の、特定種類のオブジェクトが写し込まれた領域を抽出する領域抽出部と、
    前記領域抽出部で抽出された前記第１の画像上の領域と前記第２の画像上の領域の中から互いに対応する領域のペアを検出することにより特定種類のオブジェクトを検出するオブジェクト検出部とを有し、
    前記オブジェクト検出部が、
    前記領域抽出部で抽出された領域について、１つの領域を複数のサブ領域に分けたときの各サブ領域に写し出された部分画像を特徴づける特徴量の、該複数のサブ領域に渡るベクトルを算出するベクトル算出部と、
    前記ベクトル算出部で算出された、前記第１の画像上の領域のベクトルと前記第２の画像上のベクトルとの間の論理上の距離を算出することにより、該論理上の距離が近い領域どうしからなる領域のペアを検出する距離算出部とを有するオブジェクト検出装置として動作させることを特徴とするオブジェクト検出プログラム。
16. 前記演算装置を、前記ベクトル算出部が、
    前記領域抽出部で抽出された領域について、該領域内の各画素について画素値の勾配ベクトルを算出する勾配算出部と、
    前記勾配ベクトル算出部で算出された勾配ベクトルを用いて、１つの領域をＮ個のサブ領域に分けたときの各サブ領域ごとに、Ｍ段階に量子化された勾配方向ごとの、勾配の大きさのヒストグラムを算出するヒストグラム算出部とを有し、
    前記ヒストグラム算出部で算出された、１つのサブ領域につきＭ段階の勾配方向それぞれの大きさの、前記Ｎ個のサブ領域に渡る、１つの領域につきＭ×Ｎ個の要素からなる１つのベクトルを算出するものであるオブジェクト検出装置として動作させることを特徴とする請求項１５記載のオブジェクト検出プログラム。
17. 前記演算装置を、
    前記オブジェクト検出部が、前記領域抽出部で抽出された前記第１の画像上の領域の寸法と前記領域抽出部で抽出された前記第２の画像上の領域の寸法とを対比して、ペアとなり得る所定寸法範囲内にある領域を抽出する寸法着目粗振い部を有し、
    前記距離算出部が、前記寸法着目粗振い部で抽出された領域どうしについて、前記論理上の距離を算出するものであるオブジェクト検出装置として動作させることを特徴とする請求項１５又は１６記載のオブジェクト検出プログラム。
18. 前記演算装置を、
    前記オブジェクト検出部が、前記領域抽出部で抽出された前記第１の画像上の領域の該第１の画像上の位置と、前記領域抽出部で抽出された前記第２の画像上の領域の該第２の画像上の位置とを対比して、ペアとなり得る所定位置範囲内にある領域を抽出する位置着目粗振い部を有し、
    前記距離算出部は、前記位置着目粗振い部で抽出された領域どうしについて、前記論理上の距離を算出するものであるオブジェクト検出装置として動作させることを特徴とする請求項１５から１７のうちいずれか１項記載のオブジェクト検出プログラム。
19. 前記特定種類のオブジェクトが、該特定種類のオブジェクトと比べ所定の相対的位置にある、前記領域抽出部において、該特定種類のオブジェクトが写し出された領域として抽出される可能性のある擬オブジェクトを伴うものであって、
    前記演算装置を、前記オブジェクト検出部が、前記距離算出部により検出された領域のペアどうしの相対的位置関係に基づいて前記擬オブジェクトが写し出された領域のペアを排除する誤検出排除部をさらに有するオブジェクト検出装置として動作させることを特徴とする請求項１５から１８のうちいずれか１項記載のオブジェクト検出プログラム。
20. 前記演算装置を、前記領域抽出部が人物頭部が写し出された領域を抽出するものであるオブジェクト検出装置として動作させることを特徴とする請求項１５から１９のうちいずれか１項記載のオブジェクト検出プログラム。
21. 前記演算装置を、前記領域抽出部が人物頭部が写し出された領域を抽出するものであり、前記誤検出排除部が人物の肩が写し出された領域のペアを排除するものであるオブジェクト検出装置として動作させることを特徴とする請求項１９記載のオブジェクト検出プログラム。

Images