JP5748472B2 - オブジェクト判別装置、方法、及びプログラム - Google Patents

Description

本発明は、オブジェクト判別装置、方法、及びプログラムに関し、更に詳しくは、画像中に検出対象のオブジェクトが含まれているか否かを判別するオブジェクト判別装置、方法、及びプログラムに関する。

コンピュータなどの計算機を用いて、写真画像などのデジタル画像から顔等の所定の対象物（オブジェクト）を検出する方法が種々提案されている。画像から対象物を検出する方法としては、例えば比較的古くから利用されているテンプレートマッチングの手法が知られている。また、近年、ブースティング（boosting）と呼ばれる機械学習の手法を用いて判別器を構成し、その判別器を用いて画像から対象物を検出する手法も注目されている。ブースティングを用いた判別器の学習、及び、その判別器を用いたオブジェクト検出は、例えば特許文献１や特許文献２に記載されている。

一般に、ブースティング学習により生成された判別器は、複数の、例えば数百から数千の弱判別器を有する。それら複数の弱判別器を直列に接続（カスケード接続）することで１つの判別器（強判別器）が構成される。一般に、弱判別器は、真の分類と若干の相関を有する分類器として定義される。各弱判別器は、特徴量計算を行い、その特徴量に基づくスコアを求める。強判別器は、カスケード接続された全ての弱判別器で求められたスコアの合計を所定のしきい値でしきい値処理し、合計スコアがしきい値以上のとき、処理対象画像に検出対象のオブジェクトが現れていると判断する。

弱判別器における特徴量計算は、２点（２つの領域）間の画素値の差分が基本である。各弱判別器は、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める。差分計算に関する基本特徴タイプは、例えば横方向に並ぶ２点間の差分、縦方向に並ぶ２点間の差分、斜め方向に並ぶ２点間の差分など、テンプレート内の２点間の相対的な位置関係で定義することができる。基本特徴タイプが２点間の位置関係を複数ペア（２ペア、３ペア、・・・）で持ち、弱判別器がその組み合わせに応じて特徴量を計算する場合もある。２ペアの場合は４点参照、３ペアの場合は６点参照となる。

オブジェクト検出装置は、例えば、６４０×４８０画素の検出対象の画像に対して、３２×３２画素のテンプレート（ウィンドウ）を１画素単位又は数画素単位でラスタスキャンし、テンプレートの各位置で切り出される部分画像を強判別器に与える。強判別器は、初段側から順次に弱判別器による判別（スコア計算）を行い、最終段に到達したときの各弱判別器のスコアの合計をしきい値処理する。強判別器は、スコア合計がしきい値以上のとき、テンプレートにより切り出される３２×３２画素の位置に、検出対象のオブジェクトが現れている旨を出力する。

特開２００７−４７９６５号公報 特開２００７−１２８１２７号公報

通常、強判別器では、各弱判別器においてその段までのスコアをしきい値処理し、スコアがしきい値より低いとき、後段の弱判別器の処理を行わずに処理を終了するアーリーリジェクト判断（early reject判断）が行われる。アーリーリジェクト（早期終了）を行うことで、検出対象のオブジェクトが含まれないことが明らかな画像に対しては、直列接続された数千の弱判別器のうちの比較的早い段階で処理を終了することができ、最終段の弱判別器まで処理を行う場合に比して処理を高速化できる。特許文献１及び２にも記載されるように、一般に、学習により生成された弱判別器は、重み付き正答率が高い順に線形結合され、１つの強判別器が構成される。言い換えれば、学習により生成された複数の判別器を、判別に有効な順に直列接続することで、強判別器が構成される。

ところで、近年、検出対象オブジェクトのおおよその位置とサイズとを高速に推定する技術が開発されている。この技術を、強判別器の前処理として用い、前処理において抽出されたエリアの画像を強判別器の処理対象画像として用いることを考える。その場合、前処理において抽出されるエリアのほとんどが検出対象オブジェクトのエリアとなるものと考えられるため、弱判別器の初期の段階で早期終了となることは少なく、ほとんどのケースで、弱判別器の最終段近くまで処理が進行することになると考えられる。従って、早期終了を行っても処理高速化の効果は大きくない。むしろ、各弱判別器で早期終了の判断（条件分岐処理）を行うことで、パイプライン処理の乱れ（ハザード）が生じ、処理高速化の阻害要因となる。

早期終了の思想は、検出対象オブジェクトと背景の領域割合との大きな開きがベースとなっている。つまり、画像の大部分が背景領域で、検出対象オブジェクトが少ないという事前知識（仮定）をおいている。一般的な処理系においては、早期終了判断により処理を高速化できる。しかし、特に、オブジェクトが存在する確率が高い部分を対象に強判別器の処理を行うような場合は、上記したように早期終了判断が高速化の阻害要因になることを、本発明者は見出した。従来、早期終了を行わずに、カスケード接続された弱判別器の最終段まで一括で処理を行うとした場合に、処理を高速化できる手法は知られていなかった。

本発明は、上記に鑑み、弱判別器における処理を効率的に実行し、処理を高速化できるオブジェクト判別装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明は、それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別器がカスケード接続された強判別器を備え、該強判別器では、前記基本特徴タイプが同じ弱判別器が連続して並べられていることを特徴とする第１のオブジェクト判別装置を提供する。

本発明の第１のオブジェクト判別装置では、前記基本特徴タイプごとに、前記差分計算の計算値から前記スコアを求めるためのルックアップテーブルが生成されており、前記弱判別器が、前記差分計算の計算値に基づいて前記ルックアップテーブルを参照することで前記スコアを求める構成を採用できる。

本発明の第１のオブジェクト判別装置は、前記複数の弱判別器が機械学習を用いて学習されており、該学習により生成された複数の弱判別器を前記基本特徴タイプに応じて複数のグループにグループ化し、同じグループに所属する弱判別器が連続して並ぶように前記複数の弱判別器をカスケード接続することで前記強判別器が構成されるものとすることができる。

前記強判別器では、基本特徴タイプが同じ弱判別器が複数あるとき、該基本特徴タイプが同じ複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置に従った並び順で並べられている構成とすることができる。この場合、前記基本特徴タイプが同じ複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられている構成を採用できる。

本発明は、また、それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別器がカスケード接続された強判別器を備え、該強判別器では、各弱判別器における差分計算の際の画像の参照位置に従った並び順で前記弱判別器が並べられていることを特徴とする第２のオブジェクト判別装置を提供する。

本発明の第２のオブジェクト判別装置では、前記複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられている構成とすることができる。

本発明の第１及び第２のオブジェクト判別装置は、オブジェクトの位置を推定し、処理対象の画像から前記推定したオブジェクトの位置の周辺の画像を切り出して前記強判別器に与えるオブジェクト候補点検出手段を更に備える構成を採用することができる。

前記オブジェクト候補点検出手段が、オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行い、前記フレーム画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、前記複数枚の差分画像を合算し合算画像を生成する合算手段と、前記合算画像における画素値に基づいてオブジェクトの位置を推定する位置推定手段と、前記フレーム画像から前記推定された位置の周辺の領域の画像を切り出す部分画像生成手段とを含む構成とすることができる。

前記平滑化処理手段がスケールσ_１からσ_ａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ_１からσ_ｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σ_ｊ）（ｊ＝１〜ｋ）を、それぞれスケールσ_ｊの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ）とスケールσ_ｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ×ａ）との差分に基づいて生成してもよい。

上記に代えて、前記平滑化処理手段がスケールσ_１からσ_ｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ_１からσ_ｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ_ｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσ_ｊの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ）とスケールσ_ｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ＋ｐ）との差分に基づいて生成してもよい。

本発明は、それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行するオブジェクト判別方法であって、前記複数の弱判別のうちで前記基本特徴タイプが同じ弱判別を連続して実行することを特徴とする第１のオブジェクト判別方法を提供する。

更に本発明は、コンピュータに、それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行させるためのプログラムであって、前記コンピュータに、前記複数の弱判別のうちで前記基本特徴タイプが同じ弱判別を連続して実行させるための第１のプログラムを提供する。

また、本発明は、それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行するオブジェクト判別方法であって、各弱判別における差分計算の際の画像の参照位置に従った順序で前記複数の弱判別を実行することを特徴とする第２のオブジェクト判別方法を提供する。

本発明は、コンピュータに、それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行させるためのプログラムであって、前記コンピュータに、各弱判別における差分計算の際の画像の参照位置に従った順序で前記複数の弱判別を実行させるための第２のプログラムを提供する。

本発明の第１のオブジェクト判別装置、方法、及びプログラムは、基本特徴タイプが同じ弱判別を連続して実行する。基本特徴タイプが同じ複数の弱判別を連続して実行することで、弱判別において検出対象のオブジェクトの存在に関するスコアを求める際に参照の局所化を図ることができ、参照処理を効率的に行うことで、入力画像に検出対象のオブジェクトが存在するか否かの判別処理を高速化できる。

本発明の第２のオブジェクト判別装置、方法、及びプログラムは、複数の弱判別を、各弱判別における差分計算の際の画像の参照位置に従った順序で実行する。弱判別を、画像の参照位置に従った順序で実行することで、画像参照について参照の局所化を図ることができ、参照処理を効率的に行うことで、入力画像に検出対象のオブジェクトが存在するか否かの判別処理を高速化できる。

本発明の第１実施形態のオブジェクト判別装置を示すブロック図。 判別器の構成を示すブロック図。 （ａ）〜（ｄ）は、基本特徴タイプを例示する図。 基本特徴タイプに対して設定可能なパラメータを例示する図。 判別器の構成に用いられる判別器構成装置を示すブロック図。 （ａ）は学習後の判別器を示し、（ｂ）は再配置後の判別器を示すブロック図。 オブジェクト候補点検出手段の構成例を示すブロック図。 オブジェクト候補点検出手段の動作手順を示すフローチャート。 （ａ）は、基本特徴タイプ１における弱判別器の並び順を示すブロック図、（ｂ）は、テンプレート内での各弱判別器の画像の参照位置を示す図。 本発明の第２実施形態における判別器の構成に用いる判別器構成装置を示すブロック図。

以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態のオブジェクト判別装置を示す。オブジェクト判別装置１０は、画像入力手段１１、オブジェクト候補点検出手段１２、判別器１３、及びルックアップテーブル１４を備える。オブジェクト判別装置１０内の各部の機能は、コンピュータ（プロセッサ）が所定のプログラムに従って処理を実行することで実現可能である。オブジェクト判別装置１０は、例えばカメラなどに組み込まれ、カメラで撮影すべき画像に検出対象のオブジェクトが存在するか否かの判別を行う。

画像入力手段１１は、処理対象の画像を入力する。画像入力手段１１は、例えば６４０×４８０画素の画像を処理対象画像として入力する。画像入力手段１１は、例えば動画像を構成する各画像（各フレームの画像）を所定のレートで順次に入力してもよい。オブジェクト候補点検出手段１２は、処理対象画像から、所定のアルゴリズムで検出対象オブジェクトのおおよその位置を推定する。また、オブジェクト候補点検出手段１２は、オブジェクトのサイズを推定する。オブジェクト候補点検出手段１２は、処理対象画像から、オブジェクトが存在すると推定される位置の周辺の画像を切り出し、切り出した画像を、推定したサイズに応じて拡大／縮小する。なお、画像入力手段１１は、入力された処理対象画像に対して、例えばノイズの除去やフレーム間の輝度変動の抑制などの所定の画像処理を施し、処理後の画像をオブジェクト候補点検出手段１２に入力するようにしてもよい。

判別器１３は、オブジェクト候補点検出手段１２から、オブジェクト候補点検出手段１２が切り出したオブジェクトが存在すると推定される位置の周辺の画像を入力する。判別器１３は、それぞれが、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別器を含む。複数の弱判別器をカスケード接続することで、判別器（強判別器）１３が構成される。判別器１３は、各弱判別器により求められたスコアの合計をしきい値処理し、入力画像に検出対象のオブジェクトが存在しているか否かを判別する。

判別器１３は、例えば入力画像のサイズがテンプレートのサイズよりも大きいときは、入力画像内でテンプレートをラスタスキャンして入力画像からテンプレートのサイズに相当する画像を切り出し、その切り出した画像を弱判別器に与えてスコアを求めればよい。判別器１３は、入力画像のサイズがテンプレートのサイズと等しいときは、入力画像を弱判別器に与えてスコアを求めればよい。

図２は、判別器１３の構成を示す。判別器１３は、カスケード接続された複数の弱判別器１５を含んでいる。各弱判別器１５は、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行う。判別器１３は、テンプレートの大きさ、例えば３２×３２画素の大きさの画像中に検出対象のオブジェクトが存在する場合の画像と存在しない場合の画像とを用いて、機械学習を用いて生成される。各弱判別器１５が何れの基本特徴タイプで差分計算を行うかは、学習のプロセスにおいて決まる。

判別器１３では、基本特徴タイプが同じ弱判別器１５が連続して並べられている。図２においては、基本特徴タイプ１、基本特徴タイプ２、及び基本特徴タイプ３の弱判別器１５がそれぞれまとめられ、連続してカスケード接続されている。また、基本特徴タイプ１の弱判別器１５のグループに次に基本特徴タイプ２の弱判別器のグループが配置され、基本特徴タイプ２の弱判別器１５のグループの次に基本特徴タイプ３の弱判別器１５のグループが配置されている。

各弱判別器１５は、入力画像を参照して、入力画像中の少なくとも１組の２点間の画素値の差分を計算する。弱判別器１５は、２つの画素位置の画素値の差分を計算してもよく、或いは２つの領域の画素値の差分を計算してもよい。領域間の画素値の差分の計算では、領域内の画素値の合計の差分を求めてもよいし、領域内の画素値の平均値の差分を求めてもよい。各弱判別器１５は、計算した差分に基づいてスコアを求める。各弱判別器１５は、前段の弱判別器１５までのスコアの累計に自身が求めたスコアを加算し、次段の弱判別器１５に渡す。この処理を最終段の弱判別器１５まで行い、最終的に得られたスコアが、判別器１３における検出対象オブジェクトの存在に関するスコアとなる。

図３（ａ）〜（ｄ）は、基本特徴タイプを例示する。図３（ａ）〜（ｄ）に例示する基本特徴タイプは、何れも３組の差分（６点参照：３組の画素間の差分、又は３組の領域間の差分）で差分計算を行うタイプである。図３（ａ）〜（ｄ）において、点線の矢印で結ばれる２点は、差分計算を行う点を表している。図３（ａ）及び（ｃ）に示す基本特徴タイプでは、縦方向に並ぶ２点間で差分計算を行う。一方、図３（ｂ）及び（ｄ）に示す基本特徴タイプでは、横方向に並ぶ２点間で差分計算を行う。

図４は、基本特徴タイプに対して設定可能なパラメータを例示する。ここでは、図３（ａ）に示す基本特徴タイプにおいて差分計算を行う６点を、それぞれ点Ｐｔ０〜Ｐｔ５と呼ぶものとする。図３（ａ）に示す基本特徴タイプに対して設定できるパラメータには、以下の３つのパラメータが考えられる。１つ目のパラメータは、差分を計算する２点間の距離ｄである。横方向の座標をｘ、縦方向の座標をｙとすると、点Ｐｔ１は、点Ｐｔ０の座標位置からｙ方向にｄだけ離れた位置となる。同様に、点Ｐｔ３は、点Ｐｔ２の座標位置からｙ方向にｄだけ離れた位置となり、点Ｐｔ５は、点Ｐｔ４の座標位置からｙ方向にｄだけ離れた位置となる。

残り２つのパラメータは、差分計算を行う３組の点の並びに関するパラメータであり、各組間の紙面横方向の間隔Ｐｘと、紙面縦方向のずれ量Ｐｙである。図４において、点Ｐｔ２は、点Ｐｔ０の座標位置からｘ方向にＰｘ、ｙ方向のＰｙだけ離れた位置となる。また、点Ｐｔ４は、点Ｐｔ２の座標位置からｘ方向にＰｘ、ｙ方向にＰｙだけ離れた位置となる。点Ｐｔ０の座標位置と、上記の３つのパラメータとが定まることで、図３（ａ）に示す基本特徴タイプで差分計算を行う弱判別器１５において、入力画像中のどの位置の差分を計算すればよいかが決まる。

図１に戻り、ルックアップテーブル１４は、弱判別器１５（図２）における差分計算で求まる特徴空間と、検出対象のオブジェクトの存在に関するスコアとの関係を保持する。ルックアップテーブル１４は、例えば判別器１３の学習の際に、基本特徴タイプごとに生成される。各弱判別器１５は、差分計算の計算値に基づいて、自身の基本特徴タイプに対して用意されたルックアップテーブルを参照し、計算した差分からスコアを求める。

例えば、図３（ａ）に示す基本特徴タイプで差分計算を行う弱判別器１５は、３組の画素間の差分値から特徴空間を求める。弱判別器１５は、例えば図４の点Ｐｔ０と点Ｐｔ１との差分値をα、点Ｐｔ２と点Ｐｔ３との差分値をβ、点Ｐｔ４と点Ｐｔ５との差分値をγとして、（α，β，γ）を特徴空間として求める。弱判別器１５は、ルックアップテーブルの配列要素［α］［β］［γ］を参照し、その配列要素に格納されている値をスコアとして取得する。

図５は、判別器１３の構成に用いられる判別器構成装置３０を示す。学習結果入力手段３１は、機械学習を用いて学習された複数の弱判別器１５を入力する。グループ化手段３２は、学習により得られた複数の弱判別器１５を、基本特徴タイプに応じて複数のグループにグループ化する。グループ化手段３２は、複数の弱判別器１５を、例えば基本特徴タイプごとにグループ化する。再配置手段３３は、同じグループに所属する弱判別器１５が連続して並ぶように複数の弱判別器をカスケード接続し、判別器１３を構成する。判別器構成装置３０の各部の機能は、コンピュータが所定のプログラムに従って処理を実行することで実現可能である。

図６（ａ）は学習後の判別器を示し、（ｂ）は再配置後の判別器を示す。一般に、学習により得られた弱判別器は、重み付き正答率が高い順に、つまり判別に有効な順に並んでいる。図６（ａ）は、複数の弱判別器が判別に有効な順にカスケード接続された状態を示している。再配置手段３３は、図６（ｂ）に示すように、判別器１３において、基本特徴タイプが同じ弱判別器が連続して配置されるように学習済みの弱判別器を並び替える。並び替えを行うことで、例えば学習後の判別器（図６（ａ））において初段を構成していた弱判別器が、再配置後の判別器１３（図６（ｂ））の中段に配置され、学習後の判別器において中段を構成していた弱判別器が、再配置後の判別器１３の初段に配置され得る。

続いて、オブジェクト候補点検出手段１２の具体的な構成例を説明する。図７は、オブジェクト候補点検出手段１２の構成例を示す。オブジェクト候補点検出手段１２は、前処理手段２１、平滑化処理手段２２、差分画像生成手段２３、合算手段２４、位置推定手段２５、サイズ推定手段２６、及び部分画像生成手段２７を有する。オブジェクト候補点検出手段１２は、動画像内の特定パターン、例えば人物の頭部が存在すると推定される位置の周辺の画像を部分画像として切り出す。以下ではオブジェクト候補点検出手段１２が、オブジェクトが存在すると推定される位置を１つ推定し、その周辺の画像を部分画像として切り出すものとして説明を行う。

前処理手段２１は、解像度変換手段５１と動き領域抽出手段５２とを有する。解像度変換手段５１は、動画像を構成するフレーム画像を所定の解像度に低解像度化する。解像度変換手段５１は、例えば画像の解像度を縦横それぞれ１／８倍に変換する。

動き領域抽出手段５２は、動画像を構成するフレーム画像から動き領域を抽出し動き領域抽出画像を生成する。動き領域の抽出には、例えば背景画像やフレーム間画像の差分を算出するなど任意の手法を用いることができる。動き領域抽出手段５２は、抽出された動きの量に応じて、動きがある領域ほど白く（階調値が高く）、動きが少ない領域ほど黒く（階調値が低く）なるようなグレースケール画像を動き領域抽出画像として生成する。動き領域抽出手段５２は、例えば階調数２５６のグレースケール画像に対して所定の関数に従って階調を変換し、白から黒までの階調数を減少させるコントラスト低減処理を実施してもよい。動き領域抽出手段５２は、グレースケール画像に代えて、動き領域を白、背景領域を黒にするような２値化画像を動き領域抽出画像として生成してもよい。

平滑化処理手段２２には、前処理手段２１で前処理された画像Ｐ（ｘ，ｙ）、すなわち解像度が低解像度化され、動き領域が抽出された画像が入力される。平滑化処理手段２２は、平滑化フィルタを画像に畳み込む処理を繰り返し行うことにより、スケールが異なる複数枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を生成する。

平滑化処理手段２２は、まず画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込むことで平滑化画像Ｌ（ｘ，ｙ，σ_１）を生成し、その平滑化画像Ｌ（ｘ，ｙ，σ_１）に更に平滑化フィルタを畳み込むことでスケールσ_２の平滑化画像＋（ｘ，ｙ，σ_２）を生成する。平滑化処理手段２２は、以降同様に平滑化フィルタの畳み込みを繰り返し行い、任意のスケールσ_ｑの平滑化画像Ｌ（ｘ，ｙ，σ_ｑ）から次のスケールσ_ｑ＋１の平滑化画像Ｌ（ｘ，ｙ，σ_ｑ＋１）を生成する。

平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）におけるスケール番号ｉは、平滑化フィルタを畳み込んだ回数に相当する。平滑化処理手段２２は、例えばスケールが異なるａ×ｋ枚（ａ及びｋはそれぞれ２以上の整数）の平滑化画像Ｌ（ｘ，ｙ，σ_１）〜Ｌ（ｘ，ｙ，σ_ａ×ｋ）を生成する。平滑化処理手段２２は、例えばａ＝２、ｋ＝３０とすれば２×３０＝６０枚の平滑化画像Ｌ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_６０）を生成する。

平滑化フィルタには、例えばガウシアンフィルタを用いることができる。平滑化フィルタは、例えば検出対象であるオブジェクトの輪郭形状に合わせたフィルタ特性となる３×３オペレータから成る。例えば判別器１３（図１）で検出対象とするオブジェクトが人物の頭部であれば、平滑化フィルタとして、人物の頭部の輪郭形状に沿って下側のフィルタ係数が小さくなる特性（オメガ形状）を有するフィルタを用いる。このような平滑化フィルタを用いることで、人物の頭部の輪郭形状を有する領域を強調し、それ以外の領域は抑制された平滑化処理を実現できる。

なお、フィルタの形状はオメガ形状には限定されず、例えば特開２００３−２４８８２４号公報等に記載されたものなど、他の公知技術を適用することも可能である。例えば検出対象のオブジェクトの形状が円形、三角形、四角形などの場合には、それぞれのオブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化処理を施せばよい。

差分画像生成手段２３は、平滑化処理手段２２が生成した複数枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を入力し、スケールが互いに異なる２つの平滑化画像間の差分画像Ｇ（ｘ，ｙ，σ_ｊ）を、スケールを変えつつ複数枚生成する。ここで、差分画像Ｇ（ｘ，ｙ，σ_ｊ）におけるスケール番号ｊの最大値は、平滑化画像Ｌにおけるスケールσ_ｉの最大値（例えばａ×ｋ）よりは小さい。差分画像生成手段２３は、例えばスケール番号ｊに応じたスケールだけ離れた平滑化画像間の差分画像を生成する。具体的には、差分画像生成手段２３は、例えば下記式１を用いて差分画像Ｇ（ｘ，ｙ，σ_ｊ）を生成することができる。
Ｇ（ｘ，ｙ，σ_ｊ）＝Ｌ（ｘ，ｙ，σ_ｊ）−Ｌ（ｘ，ｙ，σ_ｊ×ａ）・・・（１）
差分画像は、差分値の絶対値であってもよい。

上記の式１の定義からわかるように、差分画像Ｇ（ｘ，ｙ，σ_ｊ）は、スケールσ_ｊの平滑化画像と、スケールσ_ｊ×ａの平滑化画像との差分として定義される。例えばａ＝２、ｋ＝３０とすると、差分画像生成手段２３は、スケールσ_１とσ_２、スケールσ_２とσ_４、スケールσ_３とσ_６、・・・、スケールσ_３０とσ_６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_３０）を生成する。式１に従って差分画像Ｇ（ｘ，ｙ，σ_ｊ）を生成する場合、ｊは１〜ｋの値を取る。すなわち、差分画像生成手段２３は、ｋ枚の差分画像Ｇ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_ｋ）を生成する。

差分画像生成手段２３は、上記に代えて、一定のスケールだけ離れた平滑化画像間の差分を差分画像として生成してもよい。差分画像生成手段２３は、例えばスケールσ_ｊの平滑化画像と、スケールσ_ｊ＋ｐの平滑化画像（ｐは１以上の整数）との差分を差分画像（ｘ，ｙ，σ_ｊ）として生成してもよい。具体的には、差分画像生成手段２３は、下記式２を用いて差分画像Ｇ（ｘ，ｙ，σ_ｊ）を生成してもよい。
Ｇ（ｘ，ｙ，σ_ｊ）＝Ｌ（ｘ，ｙ，σ_ｊ）−Ｌ（ｘ，ｙ，σ_ｊ＋ｐ）・・・（２）
この場合、平滑化画像の枚数をｒ（ｒ：３以上の整数）枚とすると、ｊは１〜ｒ−ｐの値を取る。すなわち差分画像生成手段２３は、ｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_ｒ−ｐ）を生成する。具体的には、ｒ＝６０で、ｐ＝３０の場合、差分画像生成手段２３は、スケールσ_１とσ_３１、スケールσ_２とσ_３２、スケールσ_３とσ_３３、・・・、スケールσ_３０とσ_６０の組み合わせからなる３０枚の差分画像Ｇ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_３０）を生成する。

合算手段２４は、差分画像生成手段２３が生成した複数枚の差分画像Ｇ（ｘ，ｙ，σ_ｊ）を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する。位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）における画素値に基づいてオブジェクトの位置を推定する。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）において画素値（差分値を合計した値）が最も大きくなる位置を調べ、その位置をオブジェクトの位置として推定する。

サイズ推定手段２６は、複数枚の差分画像Ｇ（ｘ，ｙ，σ_ｊ）の画素値を比較し、最大の画素値を有する差分画像のスケールに基づいて、検出すべきオブジェクトのサイズを推定する。サイズ推定手段２６は、例えば最大の画素値（差分値）を有する差分画像の生成元となった２枚の平滑化画像のうちのスケールが小さい方の平滑化画像内のスケールに基づいてオブジェクトのサイズを推定する。すなわちサイズ推定手段２６は、式１又は式２に従って生成される複数枚の差分画像Ｇ（ｘ，ｙ，σ_ｊ）のうちで、最大の差分値を有するスケールσ_ｊを求め、求めたスケールσ_ｊに基づいてオブジェクトの位置を推定する。

上記のオブジェクトの位置及びサイズの推定について説明する。平滑化処理手段２２は、オブジェクト形状に合わせたフィルタ特性を有する平滑化フィルタを用いて平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を生成しており、この平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）は、特定の形状を持つ領域が強調され、他の領域が抑制された画像となる。例えば平滑化処理を数十回行ったときでも平滑化画像内にオブジェクトの輪郭成分が残るが、スケールσ_ｉが大きくなるほど、オブジェクトの領域はボケていくと共に広がっていく。

平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）におけるオブジェクトの形状及びサイズは、入力画像内のオブジェクトの形状及びサイズとそれぞれ一致していると仮定する。この平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）でのオブジェクト形状及びサイズの顕著性を算出するために、あるスケールの平滑化画像に対して、そのスケールよりもスケールが大きい平滑化画像を背景として設定する。すなわちスケールσ_ｊの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ）対して、式１ではスケールσ_ｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ×ａ）を背景画像として設定し、式２ではスケールσ_ｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ＋ｐ）を背景として設定する。そして、式１又は式２に従って、スケールσ_ｊの平滑化画像と背景画像として設定する平滑化画像との差分画像Ｇ（ｘ，ｙ，σ_ｊ）が、スケールσ_ｊの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ）におけるオブジェクトの顕著性として算出される。このように差分画像生成手段２３においてオブジェクトの顕著性を数値化し、位置推定手段２５及びサイズ推定手段２６において、差分画像生成手段２３において数値化されたオブジェクトの顕著性に基づいて、オブジェクトの位置及びサイズをそれぞれ推定する。

ここで、画像内においてオブジェクトが理想形状、すなわちフィルタ特性に最も合致した形状であって、かつ背景にノイズがない差分画像が、他の差分画像に比べて最大の信号を有する。言い換えれば、前処理済みの画像Ｐ（ｘ，ｙ）内のオブジェクトを構成する各画素の成分がオブジェクトの領域にほぼ等しくなるまで広がったとき、差分画像Ｇ（ｘ，ｙ，σ_ｊ）内の差分値は最大となる。例えば画像Ｐ（ｘ，ｙ）内のオブジェクトが直径１０画素の円形画素から構成される場合、複数の差分画像のうちで、ｊ＝１０の差分画像Ｇ（ｘ，ｙ，σ_１０）（式１ではＬ（ｘ，ｙ，σ_１０）−Ｌ（ｘ，ｙ，σ_ａ×１０）、式２ではＬ（ｘ，ｙ，σ_１０）−Ｌ（ｘ，ｙ，σ_１０＋ｐ））における差分値が、他の差分画像における差分値に比べて大きな値を有することになる。

一方で、実際に画像内に映し出されるオブジェクトは、カメラとオブジェクトの位置関係や個体差などに応じて映り方が異なり、オブジェクトの輪郭形状及びサイズは理想形状になるとは限らない。つまり、オブジェクトの輪郭形状及びサイズは変動する。そこで、位置推定手段２５は、複数の差分画像Ｇ（ｘ，ｙ，σ_ｊ）を合算した合算画像ＡＰ（ｘ，ｙ）を用いてオブジェクトの位置を推定する。このようにすることで、オブジェクトの変動を吸収しながらオブジェクトの位置を推定できる。つまり、サイズが小さいオブジェクトからサイズが大きいオブジェクトに含まれる様々な輪郭形状の変動を持つオブジェクトに対して、平滑化画像を加算した合算画像ＡＰ（ｘ，ｙ）から最大値を検出することにより、変動を吸収しながら位置推定を行うことができる。

また、上述したように、式１、式２におけるスケール番号ｊは、画像Ｐ（ｘ，ｙ）内における検出対象のオブジェクトのサイズに対応するパラメータである。オブジェクトのサイズが小さい場合にはスケール番号ｊが小さい差分画像Ｇ（ｘ，ｙ，σ_ｊ）から最大値が検出され、オブジェクトのサイズが大きい場合にはスケール番号ｊが大きい差分画像Ｇ（ｘ，ｙ，σ_ｊ）から最大値が検出される。サイズ推定手段２６は、この性質を利用し、複数の差分画像の間で差分値同士を比較し、最大の差分値となる差分画像のスケール番号、すなわち平滑化処理の繰り返し回数からオブジェクトのサイズを推定する。

部分画像生成手段２７は、位置推定手段２５から推定されたオブジェクトの位置を入力し、サイズ推定手段２６から推定されたオブジェクトのサイズを入力する。部分画像生成手段２７は、入力画像（フレーム画像）からオブジェクトが存在すると推定される位置の周辺の画像を部分画像として切り出す。また部分画像生成手段２７は、切り出した部分画像を、推定されたサイズに応じた倍率で拡大／縮小する。推定されたサイズに応じた倍率で拡大／縮小することで、オブジェクトのサイズの変動を吸収することができる。

図８は、オブジェクト候補点検出手段１２の動作手順を示す。前処理手段２１は、画像入力手段１１（図１）からフレーム画像を受け取り、フレーム画像に対して前処理を行う（ステップＳ１）。すなわち、解像度変換手段５１がフレーム画像を所定の解像度にまで低解像度化し、動き領域抽出手段５２が低解像度化されたフレーム画像から動き領域を抽出する。前処理手段２１は、前処理後の画像、すなわち解像度が低解像度化され、動き領域が白で背景領域が黒となるようにグレースケール化された画像Ｐ（ｘ，ｙ）を平滑化処理手段２２に入力する。なお、前処理手段２１における解像度変換及び動き領域抽出の何れか一方、又は双方を省略しても構わない。双方を省略する場合、フレーム画像を平滑化処理手段２２に入力すればよい。

平滑化処理手段２２は、画像Ｐ（ｘ，ｙ）を入力し、画像Ｐ（ｘ，ｙ）に平滑化フィルタを畳み込む処理を繰り返すことで、スケールが異なる複数の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）を生成する（ステップＳ２）。平滑化処理手段２２は、フレーム画像そのものに対して平滑化フィルタを畳み込んでもよい。差分画像生成手段２３は、スケールが異なる２つの平滑化画像間の差分を計算し、差分画像Ｇ（ｘ，ｙ，σ_ｊ）を生成する（ステップＳ３）。差分画像生成手段２３は、例えば式１を用いて、ａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）からスケール番号１〜ｋのｋ枚の差分画像Ｇ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_ｋ）を生成する。あるいは差分画像生成手段２３は、式２を用いて、ｒ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）からスケール番号１〜ｒ−ｐのｒ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_ｒ−ｐ）を生成する。

合算手段２４は、差分画像生成手段２３が生成した複数の差分画像を合算し、合算画像ＡＰ（ｘ，ｙ）を生成する（ステップＳ４）。合算手段２４は、例えば差分画像生成手段２３で生成されたｋ枚の差分画像Ｇ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_ｋ）の各画素値を全て加算する。位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）に基づいて、オブジェクトが存在する位置を推定する（ステップＳ５）。位置推定手段２５は、例えば合算画像ＡＰ（ｘ，ｙ）を構成する各画素位置の画素値（差分の合算値）を比較し、合算画像において最大の画素値を有する画素位置をオブジェクトの位置として推定する。

なお、合算手段２４は、全ての差分画像を合算する必要はない。合算手段２４は、例えば全ｋ枚の差分画像のうちの任意数、及び任意のスケール番号の差分画像を合算してもよい。合算手段２４は、例えば吸収したいサイズ変動幅に応じて、加算処理に用いる差分画像の数（合算する差分画像のスケール）を変更してもよい。例えば、検出対象のオブジェクトの種類に応じて吸収したいサイズ変動幅を設定しておき、あるオブジェクトについては、スケール番号が小さい、具体的にはスケール番号１、２の差分画像Ｇ（ｘ，ｙ，σ_１）、（ｘ，ｙ，σ_２）を合算から除外して、スケール番号３〜ｋの差分画像Ｇ（ｘ，ｙ，σ_３）〜（ｘ，ｙ，σ_ｋ）を合算してもよい。また、合算手段２４が、スケール番号１から、ｋよりも小さい任意のスケール番号までの差分画像（ｘ，ｙ，σ_ｊ）を合算してもよい。

サイズ推定手段２６は、複数の差分画像Ｇ（ｘ，ｙ，σ_ｊ）に基づいて、オブジェクトのサイズを推定する（ステップＳ６）。サイズ推定手段２６は、例えばｋ枚の差分画像間で、位置推定手段２５で推定されたオブジェクトの位置の周辺の画素の画素値（差分値）を比較する。サイズ推定手段２６は、最大の画素値を与える差分画像のスケールを特定する。あるいはサイズ推定手段２６は、推定されたオブジェクトの位置の周辺だけではなく、差分画像の全画素の画素値を比較し、最大の画素値を与える差分画像のスケールを特定してもよい。平滑化処理を行うことで画像内の像がどの程度広がるか（ボケるか）は既知であるため、差分最大を与えるスケールが判明すれば、そのスケール番号に基づいてオブジェクトのサイズが推定できる。また、上述のように検出対象であるオブジェクトは変動するため、サイズ推定手段２６は、最も大きい差分値を有する差分画像から推定したサイズ±α（αは所定の値）をオブジェクトのサイズとして推定するようにしてもよい。

部分画像生成手段２７は、推定されたオブジェクトの位置及びサイズを利用して、フレーム画像におけるオブジェクトが存在すると推定される位置の周辺の画像を部分画像として生成する（ステップＳ７）。部分画像生成手段２７は、例えばフレーム画像からオブジェクトが存在すると推定される位置の周辺の画像を切り出し、切り出した画像を、推定されたオブジェクトのサイズに応じて拡大／縮小する。推定されたオブジェクトのサイズに応じて拡大／縮小を行うことで、部分画像におけるオブジェクトの大きさを、判別器１３で使用されるテンプレートにおけるオブジェクトの大きさに適合させることができる。部分画像生成手段２７は、生成した部分画像を判別器１３へ出力する。判別器１３は、部分画像生成手段２７により生成された部分画像に対して、検出対象のオブジェクトの存在に関する詳細な判別処理を実行する。

比較例としてＤＯＧ（Differential Of Gaussian）画像を用いたオブジェクトの位置推定を考えると、ＤＯＧ画像を用いた位置推定では隣接するスケールの平滑化画像間の差分を全て求める必要があり、生成する必要がある差分画像の枚数が多くなる。図７に示すオブジェクト候補点検出手段１２を用いる場合、あるスケールの平滑化画像と、そのスケールから所定スケールだけ離れたスケールの平滑化画像との差分を差分画像として生成すればよく、ＤＯＧ画像を用いた位置推定に比して、差分画像の生成枚数を少なくすることができる。このため、効率的に精度良くオブジェクトの位置を推定することができる。また、図７に示す構成のオブジェクト候補点検出手段１２では、多重解像度画像を生成しなくてもオブジェクトのサイズの推定することができ、効率的にオブジェクトのサイズを推定することができる。

特に、平滑化処理手段２２においてａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_１）〜（ｘ，ｙ，σ_ａ×ｋ）を生成し、差分画像生成手段２３において、式１用いて、スケールσ_ｊの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ）とスケールσ_ａ×ｊの平滑化画像Ｌ（ｘ，ｙ，σ_ａ×ｊ）との差分を差分画像Ｇ（ｘ，ｙ，σ_ｊ）として求める場合、オブジェクトのサイズの様々な変動に合わせて、オブジェクトの位置を精度よく推定することができる。また、オブジェクトのサイズの推定を精度よく行うことができる。

なお、上記の説明では、動き領域抽出手段５２が動き領域（オブジェクト）を白、背景領域を黒とするようなグレースケール化処理又は２値化処理を行うものとして説明したが、動き領域抽出手段５２の動作はこれには限定されない。例えば動き領域抽出手段５２は、動き領域を黒、背景領域を白とするようなグレースケール化処理又は２値化処理を行ってもよい。その場合には、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）において、画素値が最小となる画素位置を、オブジェクトの位置として推定すればよい。また、サイズ推定手段２６は、複数の差分画像のうちで最小の画素値（差分値）を与える差分画像のスケールに基づいて、オブジェクトのサイズを推定すればよい。

また、上記の説明では、オブジェクト候補点検出手段１２が動画像からオブジェクトが存在すると推定される位置を１つだけ推定する例を説明したが、これには限定されない。オブジェクト候補点検出手段１２において、複数のオブジェクトの存在を推定し、オブジェクトが存在すると推定された複数の位置の周辺の画像をそれぞれ部分画像を切り出してもよい。例えばオブジェクト候補点検出手段１２において位置を推定すべきオブジェクトの数をＭとする。その場合、位置推定手段２５は、合算画像ＡＰ（ｘ，ｙ）の画素値を大きい順に並べ、上位Ｍ個の画素位置を各オブジェクトの位置として推定し、各位置の周辺の画像を部分画像として切り出せばよい。つまり、合算画像ＡＰ（ｘ，ｙ）において画素値が大きい順にＭ個の画素位置をオブジェクトの位置として推定すればよい。サイズ推定手段２６は、推定されたＭ個のオブジェクトの位置の周辺において、最大の画素値を与える差分画像のスケールに基づいて、各オブジェクトのサイズを推定すればよい。

次いで、本実施形態における効果を説明する。図１に示すルックアップテーブル１４には、基本特徴タイプごとに生成されたルックアップテーブルが格納されており、基本特徴タイプが同じ弱判別器１５は、同じルックアップテーブルを参照してスコアを求める。通常、判別器１３の処理を実現するプロセッサにはキャッシュメモリが備えられており、そのキャッシュメモリには、弱判別器１５が参照したルックアップテーブルの参照箇所に近い部分が格納されることになる。

弱判別器を、判別に有効な順にカスケード接続した一般的な判別器（強判別器）では、ある段の弱判別器の基本特徴タイプとその次の段の弱判別器の基本特徴タイプとが異なっていることが多い。その場合、ある段の弱判別器の処理において、その弱判別器が参照するルックアップテーブルの一部がキャッシュメモリに格納されたとしても、その次の段の弱判別器の処理においてキャッシュがヒットすることはあまり期待できない。これに対し、基本特徴タイプが同じ弱判別器が連続して並ぶ場合、同じ基本特徴タイプの弱判別器１５が連続して処理を行う間は同じルックアップテーブルが参照されることになり、キャッシュがヒットする確率の向上が見込める。

本実施形態では、オブジェクト判別装置１０は、基本特徴タイプが同じ弱判別器１５が連続して並べられている判別器１３を用いて画像に検出対象のオブジェクトが存在するか否かの判別を行う。このようにすることで、同じ基本特徴タイプの弱判別器１５を連続して並べない場合に比して、参照の局所化を図ることができ、キャッシュヒットの確率を上げることができる。本実施形態では、キャッシュがヒットした分だけ、処理を高速化できる。特に、主に組み込み系で用いられるようなローパワーの処理系では、キャッシュヒットの有無が処理時間に与える影響は大きく、キャッシュをヒットさせることで処理時間を大幅に短縮することができる。

また、本実施形態では、オブジェクト候補点検出手段１２を用いており、オブジェクトが存在する可能性が高い画像部分を判別器１３に入力している。本実施形態では、オブジェクトが存在する確率が高い画像部分を判別器１３で処理するため、各弱判別器１５で早期終了の判断を行わずに、複数の弱判別器１５を最終段まで一括で実行することが好ましい。早期終了を行わない場合、各弱判別器１５で分岐判断が発生しないため、パイプラインの乱れが生じない。更に、早期終了を行わないことで、判別器１３における処理時間を一定の時間に保つことができる効果もある。

続いて、本発明の第２実施形態を説明する。本実施形態におけるオブジェクト判別装置の構成は、図１に示す第１実施形態のオブジェクト判別装置１０の構成と同様である。本実施形態では、判別器１３において、基本特徴タイプが同じ複数の弱判別器１５（図２）が、各弱判別器１５における差分計算の際の画像の参照位置に従った並び順で並べられる。その他の点は、第１実施形態と同様である。

図９（ａ）は、基本特徴タイプ１における弱判別器の並び順を示し、（ｂ）は、テンプレート内での各弱判別器の画像の参照位置を示している。基本特徴タイプ１は、横方向（ｘ方向）に並ぶ２つの画素の差分であるとする。図９（ｂ）は、基本特徴体タイプ１で差分計算を行う複数の弱判別器１５のうちのいくつかにおける画像の参照位置を示している。基本特徴タイプ１で差分計算を行う複数の弱判別器１５は、図９（ａ）に示すように、各弱判別器１５における差分計算の際の画像の参照位置に従った順序でカスケード接続される。

例えば、基本特徴タイプ１で差分計算を行う複数の弱判別器１５は、各弱判別器１５における差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられている。図２に示す判別器１３における基本特徴タイプ２で差分計算を行う複数の弱判別器１５、及び、基本特徴タイプ３で差分計算を行う複数の弱判別器１５も、基本特徴タイプ１と同様に、弱判別器１５が、差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられている。

図１０は、本実施形態における判別器１３の構成に用いる判別器構成装置３０ａを示している。学習結果入力手段３１は、機械学習を用いて学習された複数の弱判別器１５を入力する。グループ化手段３２は、学習により得られた複数の弱判別器１５を、基本特徴タイプに応じて複数のグループにグループ化する。グループ化手段３２は、複数の弱判別器１５を、例えば基本特徴タイプごとにグループ化する。ソート手段３４は、同じグループに所属する弱判別器１５を、差分計算の際の画像の参照位置に従ってソートする。再配置手段３３は、ソート手段３４でソートされた順初に従って、グループごとに複数の弱判別器をカスケード接続し、判別器１３を構成する。

ソート手段３４は、例えば、弱判別器１５が差分計算の際に参照する複数の参照位置のうちで最も原点（画像の左上）に近い参照位置を、その弱判別器１５が差分計算の際に参照する画像の参照位置としてソートを行う。具体的に、図３（ａ）に示す基本特徴タイプのように、弱判別器１５が３組の差分（６点参照）で差分計算を行う場合、ソート手段３４は、図４に示す点ｐｔ０を、その弱判別器１５における差分計算の際の画像の参照位置としてソートを行うことができる。これに代えて、図４に示す点ｐｔ１〜ｐｔ５のうちの何れかを、差分計算の際の画像の参照位置としてソートを行ってもよい。あるいは、弱判別器１５における複数の参照点の重心位置、例えば点ｐｔ０〜ｐｔ６の重心位置を、差分計算の際の画像の参照位置としてソートを行ってもよい。

ここで、単に基本特徴タイプに応じてグループ分けを行っただけであれば、基本特徴タイプは同じでも、ある段の弱判別器における差分計算の際の画像の参照箇所とその次の段の弱判別器における差分計算の際の画像の参照箇所とが離れている場合が多いと考えられる。その場合、ある段の弱判別器の処理において、その弱判別器が差分計算の際に参照する位置付近の画像がキャッシュメモリに格納されたとしても、その次の段の弱判別器が差分計算を行う際に画像のキャッシュがヒットすることはない。

本実施形態では、複数の弱判別器１５を、差分計算の際の画像の参照位置に従った並び順でカスケード接続した判別器１３を用いる。弱判別器１５が画像の参照箇所に従った並び順で並べられている場合、後段の弱判別器１５が前段の弱判別器１５の参照箇所と近い部分を参照して差分計算を行い、画像のキャッシュがヒットする可能性がある。ルックアップテーブルの参照の局所化だけでなく、画像についても参照の局所化を図ることができ、差分計算における画像参照を効率的に行うことが可能である。

なお、第１実施形態では、基本特徴タイプごとにグループ化を行い、全ての基本特徴タイプについて、同じ基本特徴タイプの弱判別器１５が連続してカスケード接続されるものとして説明したが、これには限定されない。必ずしも、全ての基本特徴タイプについて、同じ基本特徴タイプの弱判別器１５が連続して並んでいる必要はない。例えば、基本特徴タイプの使用頻度に応じて、いくつかの基本特徴タイプはグループ化の対象から除外し、除外した基本特徴タイプの弱判別器１５については連続してカスケード接続しないという構成も可能である。

また、第２実施形態では、基本特徴タイプでグループ化した後に、弱判別器１５を差分計算の際の画像の参照位置に応じて並べる例について説明したが、これには限定されない。例えば、基本特徴タイプでグループ化せずに、弱判別器１５を差分計算の際の画像の参照位置に応じて並べてもよい。すなわち、各弱判別器１５における差分計算の際の画像の参照位置に従った並び順で複数の弱判別器１５をカスケード接続し、判別器１３を構成してもよい。その場合でも、画素値参照の際のキャッシュヒットの向上を見込むことができ、処理の高速化が可能である。

上記各実施形態では、判別器１３が早期終了を行わないこととして説明を行ったが、判別器１３において早期終了を行ってもよい。例えば、数千の弱判別器を、数百の弱判別器ごとにブロック化し、ブロックごとに早期終了の判断を行うようにしてもよい。その場合、同一ブロック内で、基本特徴タイプが同じ弱判別器が連続して並ぶように、複数の弱判別器をカスケード接続すればよい。または、ブロックごとに、差分計算の際の画像の参照箇所に従った並び順で弱判別器を並べればよい。その場合、ブロック内の処理において参照の局所化を図ることができ、ブロック内で弱判別器が判別に有効な順に並んでいる場合に比して、処理時間を短縮できる。ブロックごとに基本特徴量タイプの母集団を変えて学習し、複数ブロックから構成させる強判別器を構成することも可能であり、その場合、ブロックごとに最後に１回だけ早期終了判断を行ってもよい。

以上、本発明をその好適な実施形態に基づいて説明したが、本発明のオブジェクト判別装置、方法、及びプログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

１０：オブジェクト判別装置
１１：画像入力手段
１２：オブジェクト候補点検出手段
１３：判別器（強判別器）
１４：ルックアップテーブル
１５：弱判別器
２１：前処理手段
２２：平滑化処理手段
２３：差分画像生成手段
２４：合算手段
２５：位置推定手段
２６：サイズ推定手段
２７：部分画像生成手段
３０：判別器構成装置
３１：学習結果入力手段
３２：グループ化手段
３３：再配置手段
３４：ソート手段
５１：解像度変換手段
５２：動き領域抽出手段

Claims (15)

1. それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別器がカスケード接続された強判別器を備え、該強判別器では、前記基本特徴タイプが同じ弱判別器が連続して並べられていることを特徴とするオブジェクト判別装置。
2. 前記基本特徴タイプごとに、前記差分計算の計算値から前記スコアを求めるためのルックアップテーブルが生成されており、前記弱判別器が、前記差分計算の計算値に基づいて前記ルックアップテーブルを参照することで前記スコアを求めるものであることを特徴とする請求項１に記載のオブジェクト判別装置。
3. 前記複数の弱判別器が機械学習を用いて学習されており、該学習により生成された複数の弱判別器を前記基本特徴タイプに応じて複数のグループにグループ化し、同じグループに所属する弱判別器が連続して並ぶように前記複数の弱判別器をカスケード接続することで前記強判別器が構成されるものであることを特徴とする請求項１又は２に記載のオブジェクト判別装置。
4. 前記強判別器では、基本特徴タイプが同じ弱判別器が複数あるとき、該基本特徴タイプが同じ複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置に従った並び順で並べられていることを特徴とする請求項１から３何れかに記載のオブジェクト判別装置。
5. 前記基本特徴タイプが同じ複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられていることを特徴とする請求項４に記載のオブジェクト判別装置。
6. それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別器がカスケード接続された強判別器を備え、該強判別器では、各弱判別器における差分計算の際の画像の参照位置に従った並び順で前記弱判別器が並べられていることを特徴とするオブジェクト判別装置。
7. 前記複数の弱判別器が、各弱判別器における差分計算の際の画像の参照位置がラスタスキャン走査順に従って現れるように並べられていることを特徴とする請求項６に記載のオブジェクト判別装置。
8. オブジェクトの位置を推定し、処理対象の画像から前記推定したオブジェクトの位置の周辺の画像を切り出して前記強判別器に与えるオブジェクト候補点検出手段を更に備えることを特徴とする請求項１から７何れかに記載のオブジェクト判別装置。
9. 前記オブジェクト候補点検出手段が、
   オブジェクトの輪郭形状に対応したフィルタ特性を有する平滑化フィルタを画像に畳み込む処理を繰り返し行い、前記処理対象の画像からスケールが異なる複数枚の平滑化画像を生成する平滑化処理手段と、
   前記複数枚の平滑化画像のうち、スケールが互いに異なる２枚の平滑化画像間の差分画像を、スケールを変えつつ複数枚生成する差分画像生成手段と、
   前記複数枚の差分画像を合算し合算画像を生成する合算手段と、
   前記合算画像における画素値に基づいてオブジェクトの位置を推定する位置推定手段と、
   前記処理対象の画像から前記推定された位置の周辺の領域の画像を切り出す部分画像生成手段とを含むものであること特徴とする請求項８に記載のオブジェクト判別装置。
10. 前記平滑化処理手段がスケールσ_１からσ_ａ×ｋ（ａ及びｋは２以上の整数）までのａ×ｋ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（ｉ＝１〜ａ×ｋ）を生成し、前記差分画像生成手段が、スケールσ_１からσ_ｋまでのｋ枚の差分画像Ｇ（ｘ，ｙ，σ_ｊ）（ｊ＝１〜ｋ）を、それぞれスケールσ_ｊの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ）とスケールσ_ｊ×ａの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ×ａ）との差分に基づいて生成するものであることを特徴とする請求項９に記載のオブジェクト判別装置。
11. 前記平滑化処理手段がスケールσ_１からσ_ｒ（ｒは３以上の整数）までのｒ枚の平滑化画像Ｌ（ｘ，ｙ，σ_ｉ）（ｉ＝１〜ｒ）を生成し、前記差分画像生成手段が、スケールσ_１からσ_ｋ−ｐ（ｐは１以上の整数）までのｋ−ｐ枚の差分画像Ｇ（ｘ，ｙ，σ_ｊ）（ｊ＝１〜ｋ−ｐ）を、それぞれスケールσ_ｊの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ）とスケールσ_ｊ＋ｐの平滑化画像Ｌ（ｘ，ｙ，σ_ｊ＋ｐ）との差分に基づいて生成するものであることを特徴とする請求項９に記載のオブジェクト判別装置。
12. それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行するオブジェクト判別方法であって、
    前記複数の弱判別のうちで前記基本特徴タイプが同じ弱判別を連続して実行することを特徴とするオブジェクト判別方法。
13. コンピュータに、それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行させるためのプログラムであって、
    前記コンピュータに、前記複数の弱判別のうちで前記基本特徴タイプが同じ弱判別を連続して実行させるためのプログラム。
14. それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行するオブジェクト判別方法であって、
    各弱判別における差分計算の際の画像の参照位置に従った順序で前記複数の弱判別を実行することを特徴とするオブジェクト判別方法。
15. コンピュータに、それぞれが、差分計算に関する複数の基本特徴タイプの何れかで差分計算を行い、入力画像から検出対象物の存在に関するスコアを求める複数の弱判別をカスケードに実行させるためのプログラムであって、
    前記コンピュータに、各弱判別における差分計算の際の画像の参照位置に従った順序で前記複数の弱判別を実行させるためのプログラム。