JP2006202184A - 検出装置、検出方法及び検出プログラム - Google Patents

Abstract

【課題】画像中に存在する複数の大きさの被写体を、高速に検出可能とする技術を提供する。
【解決手段】検出処理にあたり、複数の大きさの物体を検出するために用いるピラミッド画像と高速検出に用いるピラミッド画像とを一部共通化したピラミッド画像ＭＰ（ＭＰ１）を作成する。具体的には、検出処理に一度利用した画像を、別の大きさの顔を検出処理する際にも再度利用できるようなピラミッド画像の構成とし、さらに、縮小率β＝１／Ｋ（Ｋは２以上の整数）を有効に利用した方法で当該ピラミッド画像を作成する。これにより、検出処理に用いるピラミッド画像の作成総数を減らし、かつ、縮小画像作成に要する処理時間を短縮することが可能となる。
【選択図】図５

Description

本発明は、対象画像中に存在する物体を検出する検出技術に関する。

近年、対象画像中に存在する被写体（例えば、人体又は物体）を検出する技術が多く提案されている。肌色検出又はエッジ検出等の簡易な手法も存在するが、被写体検出後に、認証又は状態検出等の高度な処理を実行する場合には、テンプレートマッチング等による検出位置精度の高い検出手法が有効となる。

テンプレートマッチングにおいて、検出処理時間を短縮するために、多重解像度画像を用いる手法が存在する（特許文献１参照）。これは、検出対象画像を所定の縮小率で縮小した低解像度画像を用いて粗く検出し位置限定を行い、限定された位置情報に基づいて高解像度画像でより正確な検出を行うものであり、高速かつ高精細な検索処理を実現する。

特開２０００−１３４６３８号公報

しかしながら、この手法においては、検出に用いるテンプレートと同等の大きさを有する被写体しか検出できない。したがって、対象画像中において複数の大きさで現された被写体を検出するためには、複数の大きさを検出するための多重解像度画像を、検出対象の大きさごとに別々に作成するための処理時間を要することとなり、十分に高速化を図ることができないという問題がある。

そこで、本発明は、上記課題に鑑みてなされたものであり、対象画像中に存在する複数の大きさの被写体を効率的に検出可能とする技術を提供することを課題とする。

上記の課題を解決するため、請求項１の発明は、対象画像中に存在する物体を検出する検出装置であって、前記対象画像中における複数の大きさの物体を検出するために用いる第１の画像群であって、前記対象画像に対する倍率が互いに異なる複数の画像を有する第１の画像群と、前記対象画像中における前記複数の大きさの物体をそれぞれ高速に検出するために用いる第２の画像群であって、前記第１の画像群における前記複数の画像がそれぞれ所定倍率で縮小された状態に相当する複数の画像を有する第２の画像群とを含む階層画像群を作成する階層画像群作成手段と、前記階層画像群を用いて前記物体を検出する物体検出手段とを備え、前記第１の画像群と前記第２の画像群とは、各画像群の一部の画像についての前記対象画像に対する倍率が互いに同一となるように、当該一部の画像が共通化された状態で作成されることを特徴とする。

また、請求項２の発明は、請求項１の発明に係る検出装置において、前記階層画像群作成手段は、前記対象画像に対する倍率が互いに異なる複数の基準画像を作成するとともに当該複数の基準画像のそれぞれをさらに所定倍率で縮小した複数の縮小画像を作成することによって、前記複数の基準画像と前記複数の縮小画像とを含む前記階層画像群を作成し、前記複数の縮小画像の一部は、前記第１の画像群と前記第２の画像群との両方に属する画像として共通化されて作成されることを特徴とする。

また、請求項３の発明は、請求項２の発明に係る検出装置において、前記階層画像群作成手段は、第１の縮小率αと第２の縮小率βとを、β＝α^N（Ｎは２以上の整数）の関係を満たすように決定する決定手段と、前記対象画像に基づいて第１の基準画像を作成するとともに当該第１の基準画像を前記第１の縮小率αの画像間縮小率で順次縮小して（Ｎ−１）個の中間階層の基準画像を作成することによって、前記第１の基準画像と前記（Ｎ−１）個の中間階層の基準画像とを含む前記複数の基準画像を作成する手段と、前記複数の基準画像のそれぞれをさらに前記第２の縮小率βで縮小することによって複数の縮小画像を作成する手段とを有することを特徴とする。

また、請求項４の発明は、請求項３の発明に係る検出装置において、前記階層画像群作成手段は、前記複数の縮小画像のうちの１つの画像または複数の画像のそれぞれを、さらに前記第２の縮小率βで縮小することによって、少なくとも１つの再縮小画像を作成する手段、をさらに有することを特徴とする。

また、請求項５の発明は、請求項３または請求項４の発明に係る検出装置において、前記第２の縮小率βは、１／Ｋ（Ｋは２以上の整数）であることを特徴とする。

また、請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る検出装置において、前記物体検出手段は、前記第１の画像群の中から選択した注目画像とテンプレートとを用いた比較処理によって、当該注目画像で検出対象となる大きさの物体を検出する動作を繰り返すことによって前記複数の大きさの物体を検出し、前記注目画像に対応する大きさの物体を検出する動作においては、前記注目画像と前記注目画像を前記所定倍率で縮小した画像であって前記第２の画像群の一画像とのうち低解像度の画像から順に用いて、物体の検出を行うことによって前記注目画像での検出対象となる大きさの物体を効率的に検出することを特徴とする。

また、請求項７の発明は、対象画像中に存在する物体を検出する検出方法であって、前記対象画像中における複数の大きさの物体を検出するために用いる第１の画像群であって、前記対象画像に対する倍率が互いに異なる複数の画像を有する第１の画像群と、前記対象画像中における前記複数の大きさの物体をそれぞれ高速に検出するために用いる第２の画像群であって、前記第１の画像群における前記複数の画像がそれぞれ所定倍率で縮小された状態に相当する複数の画像を有する第２の画像群とを含む階層画像群を作成する階層画像群作成工程と、前記階層画像群を用いて前記物体を検出する物体検出工程とを含み、前記第１の画像群と前記第２の画像群とは、各画像群の一部の画像についての前記対象画像に対する倍率が互いに同一となるように、当該一部の画像が共通化された状態で作成されることを特徴とする。

また、請求項８の発明は、請求項７の発明に係る検出方法において、前記階層画像群作成工程は、前記対象画像に対する倍率が互いに異なる複数の基準画像を作成するとともに当該複数の基準画像のそれぞれをさらに所定倍率で縮小した複数の縮小画像を作成することによって、前記複数の基準画像と前記複数の縮小画像とを含む前記階層画像群を作成し、前記複数の縮小画像の一部は、前記第１の画像群と前記第２の画像群との両方に属する画像として共通化されて作成されることを特徴とする。

また、請求項９の発明は、請求項８の発明に係る検出方法において、前記階層画像群作成工程は、第１の縮小率αと第２の縮小率βとを、β＝α^N（Ｎは２以上の整数）の関係を満たすように決定する決定工程と、前記対象画像に基づいて第１の基準画像を作成するとともに当該第１の基準画像を前記第１の縮小率αの画像間縮小率で順次縮小して（Ｎ−１）個の中間階層の基準画像を作成することによって、前記第１の基準画像と前記（Ｎ−１）個の中間階層の基準画像とを含む前記複数の基準画像を作成する工程と、前記複数の基準画像のそれぞれをさらに前記第２の縮小率βで縮小することによって複数の縮小画像を作成する工程とを備えることを特徴とする。

また、請求項１０の発明は、請求項９の発明に係る検出方法において、前記階層画像群作成工程は、前記複数の縮小画像のうちの１つの画像または複数の画像のそれぞれを、さらに前記第２の縮小率βで縮小することによって、少なくとも１つの再縮小画像を作成する工程、をさらに有することを特徴とする。

また、請求項１１の発明は、請求項９または請求項１０の発明に係る検出方法において、前記第２の縮小率βは、１／Ｋ（Ｋは２以上の整数）であることを特徴とする。

また、請求項１２の発明は、請求項７ないし請求項１１のいずれかの発明に係る検出方法において、前記物体検出工程は、前記第１の画像群の中から選択した注目画像とテンプレートとを用いた比較処理によって、当該注目画像で検出対象となる大きさの物体を検出する動作を繰り返すことによって前記複数の大きさの物体を検出し、前記注目画像に対応する大きさの物体を検出する動作においては、前記注目画像と前記注目画像を前記所定倍率で縮小した画像であって前記第２の画像群の一画像とのうち低解像度の画像から順に用いて、物体の検出を行うことによって前記注目画像での検出対象となる大きさの物体を効率的に検出することを特徴とする。

また、請求項１３の発明は、コンピュータに、対象画像中における複数の大きさの物体を検出するために用いる第１の画像群であって、前記対象画像に対する倍率が互いに異なる複数の画像を有する第１の画像群と、前記対象画像中における前記複数の大きさの物体をそれぞれ高速に検出するために用いる第２の画像群であって、前記第１の画像群における前記複数の画像がそれぞれ所定倍率で縮小された状態に相当する複数の画像を有する第２の画像群とを含む階層画像群を作成する階層画像群作成工程と、前記階層画像群を用いて前記物体を検出する物体検出工程とを実行させることによって、前記対象画像中に存在する物体を検出するプログラムであって、前記第１の画像群と前記第２の画像群とは、各画像群の一部の画像についての前記対象画像に対する倍率が互いに同一となるように、当該一部の画像が共通化された状態で作成されることを特徴とする。

また、請求項１４の発明は、請求項１３の発明に係るプログラムにおいて、前記階層画像群作成工程は、前記対象画像に対する倍率が互いに異なる複数の基準画像を作成するとともに当該複数の基準画像のそれぞれをさらに所定倍率で縮小した複数の縮小画像を作成することによって、前記複数の基準画像と前記複数の縮小画像とを含む前記階層画像群を作成し、前記複数の縮小画像の一部は、前記第１の画像群と前記第２の画像群との両方に属する画像として共通化されて作成されることを特徴とする。

また、請求項１５の発明は、請求項１４の発明に係るプログラムにおいて、前記階層画像群作成工程は、前記コンピュータに、第１の縮小率αと第２の縮小率βとを、β＝α^N（Ｎは２以上の整数）の関係を満たすように決定する決定工程と、前記対象画像に基づいて第１の基準画像を作成するとともに当該第１の基準画像を前記第１の縮小率αの画像間縮小率で順次縮小して（Ｎ−１）個の中間階層の基準画像を作成することによって、前記第１の基準画像と前記（Ｎ−１）個の中間階層の基準画像とを含む前記複数の基準画像を作成する工程と、前記複数の基準画像のそれぞれをさらに前記第２の縮小率βで縮小することによって複数の縮小画像を作成する工程とを実行させることを特徴とする。

また、請求項１６の発明は、請求項１５の発明に係るプログラムにおいて、前記階層画像群作成工程は、前記コンピュータに、前記複数の縮小画像のうちの１つの画像または複数の画像のそれぞれを、さらに前記第２の縮小率βで縮小することによって、少なくとも１つの再縮小画像を作成する工程、をさらに実行させることを特徴とする。

また、請求項１７の発明は、請求項１５または請求項１６の発明に係るプログラムにおいて、前記第２の縮小率βは、１／Ｋ（Ｋは２以上の整数）であることを特徴とする。

また、請求項１８の発明は、請求項１３ないし請求項１７のいずれかの発明に係るプログラムにおいて、前記物体検出工程は、前記コンピュータに、前記第１の画像群の中から選択した注目画像とテンプレートとを用いた比較処理によって、当該注目画像に対応する大きさの物体を検出する動作を繰り返すことによって前記複数の大きさの物体を検出し、前記注目画像で検出対象となる大きさの物体を検出する動作においては、前記注目画像と前記注目画像を前記所定倍率で縮小した画像であって前記第２の画像群の一画像とのうち低解像度の画像から順に用いて、物体の検出を行うことによって前記注目画像での検出対象となる大きさの物体を効率的に検出することを特徴とする。

請求項１から請求項１８に記載の発明によれば、対象画像中における複数の大きさの物体を検出するために用いる画像群と対象画像中における物体を高速に検出するために用いる画像群とが一部共通化された階層画像群が作成されるので、対象画像中に存在する複数の大きさの物体を効率的に検出することが可能となる。

以下、本発明の実施形態を図面に基づいて説明する。

＜概要＞
図１は、本発明の実施形態に係る検出装置（画像処理装置）１の概要を示す図である。図１に示すように、検出装置１は、コンピュータシステム（以下、単に「コンピュータ」とも称する）として構成される。具体的には、当該コンピュータ（検出装置）は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えている。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体９からその中に記録されている情報を読み出すことができる。尚、このコンピュータに対して供給される情報は、記録媒体９を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。

検出装置１は、記録媒体９等から読み出されて記憶部３に予め記録されたソフトウェアプログラム（以下、単に「プログラム」とも称する）をメモリ（ＲＡＭ等）上に読み込み、そのプログラムをＣＰＵ２等を用いて実行することによって、後述するような各種機能を実現する。

図２は、検出装置１が備える各種機能を示すブロック図である。図２に示すように、検出装置１は、情報設定部１１とピラミッド画像作成部１２と探索窓決定部１３とマッチング処理部１４とを備えている。

情報設定部１１は、検出に用いる参照情報を検出に適した情報に設定する機能を有している。

ピラミッド画像作成部１２は、検出の対象となる対象画像（以下、「元画像」とも称する）中に存在する複数の大きさの物体を検出するために用いる画像群（以下、「複数サイズ検出用ピラミッド画像」とも称する）と、対象画像中に存在する複数の大きさの物体をそれぞれ高速に検出可能とする画像群（以下、「高速検出用ピラミッド画像」とも称する）とが一部共通化された階層画像群（以下、「統合ピラミッド画像」とも称する）を作成する機能を有している。尚、以下では、「複数サイズ検出用ピラミッド画像」、「高速検出用ピラミッド画像」及び「統合ピラミッド画像」をそれぞれ単に「ピラミッド画像」とも称する。

探索窓決定部１３は、前述のピラミッド画像作成部１２によって作成された階層画像群中の所定の画像上において、検出に用いる情報をラスタスキャンする探索窓領域を決定する機能を有している。

マッチング処理部１４は、前述の探索窓決定部１３において決定された探索窓領域において、照合及び検索処理を行い、検出対象物体の検出を行う機能を有している。詳細にはマッチング処理部１４は、テンプレートを用いた比較処理を行うことによって対象画像中に存在する対象物体を検出する。尚、テンプレートを用いた比較処理としては、（１）テンプレートとして利用される画像と対象画像とを画素単位で比較する処理（パターンマッチング処理あるいは直接比較処理とも称する）、及び、（２）テンプレート画像と対象画像とからそれぞれ抽出した特徴量同士を比較する処理（間接比較処理とも称する）などが存在する。

図３は、被写体として数人の人物を現す画像ＰＩを示す図である。図４は、プログラム実行時の操作画面を示す図である。

上述の各機能を備えた検出装置１は、対象画像中に存在する複数の大きさの物体を、高速に検出する。例えば、図３に示された画像ＰＩ中に存在する人物の顔を検出対象として検出する場合、検出装置１は、単一の大きさの顔だけでなく、図４に示す操作画面Ｑ中のウィンドウＷ１において使用者（ユーザ）によって指定された範囲内（最も小さい顔から最も大きい顔まで）の複数の大きさの顔を検出することができる。

ここで、検出装置１において実行される検出処理の概要について説明する。

図５は、検出装置１において実行される検出処理を模式的に示した図である。図６は、元画像ＦＥ１（ＰＩ）中に存在する複数の大きさの物体をピラミッド画像を用いて検出する検出処理の原理を示す模式図である。図７は、画像中に存在する所定の物体を高速に検出する検出処理の原理を示す模式図である。図８は、図６と図７とに示される両検出処理を組み合わせた検出処理の一例を示す模式図であり、図５に示される検出処理の比較例を示す図である。尚、図５と図８との関係は後に詳述する。

図５に示すように、検出装置１は、検出位置精度の高い検出手法であるテンプレートを用いたテンプレートマッチングによって物体検出を行っている。以下では、検出装置１が有する各機能の概要を説明する。

検出装置１は、情報設定部１１において、検出テンプレートＴＥ１と、検出テンプレートＴＥ１を縮小率βで縮小した縮小テンプレートＴＥ２と、縮小テンプレートＴＥ２を縮小率βでさらに縮小した再縮小テンプレートＴＥ３とで構成される検出用情報ＩＦ（ＩＦ１）を作成する。また、ピラミッド画像作成部１２では、対象画像ＦＥ１から縮小率γと縮小率αと縮小率βとを用いて階層画像群ＭＰ（ＭＰ１）を作成する。各縮小率α，β，γについては後述する。さらに、探索窓決定部１３においては、前述のピラミッド画像作成部１２によって作成された階層画像群ＭＰ１中の所定階層の画像において、探索窓領域を決定する。この探索窓領域は、検出対象物体をラスタスキャン動作によって検索する際に用いられる。そして、マッチング処理部１４において、前述の決定された探索窓領域での照合及び検索を行い、検出対象物体の検出処理を行う。具体的には、図５に示されるように、第２階層の画像ＦＥ２中で検出テンプレートＴＥ１に対応する大きさの物体を検出する場合、検出装置１は、再縮小テンプレートＴＥ３と第６階層の画像ＦＥ６との間で上述の検出処理を実行する。当該検出処理によって検出されれば、その検出位置を基にして、より高い解像度間つまり縮小テンプレートＴＥ２と第４階層の画像ＦＥ４との間において検出処理を行う。さらに検出されれば、当該検出位置を基にして、検出テンプレートＴＥ１と第２階層の画像ＦＥ２との間において検出処理を行う。このような動作によれば、低解像度の画像を用いた検出処理を行うことによって検出対象物体の存在及びその概要位置を高速に検出することができるとともに、その後に、より高解像度の画像を用いた検出処理を行うことによってさらに高精度に検出対象物体の位置を特定することができる。

ここで、検出装置１における検出方法の基礎となる検出原理について図６及び図７を用いて説明する。

図６は、上述したように、複数サイズの物体をピラミッド画像を用いて検出する検出処理の原理を示す模式図である。図６には、元画像ＦＥ１を縮小することによって複数の大きさ検出用（複数サイズ検出用）のピラミッド画像ＰＥ１を作成し、作成した階層画像ごとに検出テンプレートＴＥ１を用いて検索又は照合（検出処理）を行うことで、元画像ＦＥ１中に存在する複数の大きさを有する物体を一つの検出テンプレートＴＥ１を用いて検出可能とする検出方法が示されている。

ここで、元画像ＦＥ１中に存在する複数の大きさを有する物体を一つの検出テンプレートＴＥ１によって検出可能となることについて詳述する。元画像ＦＥ１と検出テンプレートＴＥ１との間で実行される検出処理においては、元画像ＦＥ１中に存在する検出テンプレートＴＥ１に対応する大きさの物体が検出される。一方、元画像ＦＥ１を縮小した画像ＦＥ２と検出テンプレートＴＥ１との間の検出処理においては、画像ＦＥ２中に存在する検出テンプレートＴＥ１に対応する大きさの物体が検出される。画像ＦＥ２と検出テンプレートＴＥ１との間で検出される大きさの物体は、元画像ＦＥ１に換算すると検出テンプレートＴＥ１に対応する大きさよりもさらに大きな物体となる。つまり、元画像ＦＥ１を縮小した画像ＦＥ２と検出テンプレートＴＥ１との間で実行される検出処理では、検出テンプレートＴＥ１に対応する大きさの物体よりもさらに大きな物体を検出していることになる。また、このように検出される物体の大きさは、元画像ＦＥ１と縮小した画像との間の縮小率によって決まるため、縮小率を変更することによって複数の大きさの物体を一つの検出テンプレートＴＥ１を用いて検出することが可能となる。

図７は、上述したように、所定の大きさの物体を高速に検出する検出処理の原理を示す模式図である。具体的には、図７に示されるように、まず、検出テンプレートＴＥ１と検出対象画像ＫＥとを縮小率βでそれぞれ縮小することで検出用情報ＩＦ１（具体的には、テンプレートＴＥ１，ＴＥ２，ＴＥ３）と高速検出用ピラミッド画像ＰＳ１（具体的には、画像ＫＥ，ＫＳ２，ＫＳ３）とが作成される。そして、作成した低解像度画像ＫＳ３とテンプレートＴＥ３とを用いて最初の検出処理を実行することによって対象物の概略位置を特定し、さらに、特定された概略位置の情報に基づいて、高解像度画像（ＫＳ２，ＫＥ）と当該高解像度に対応するテンプレートＴＥ２，ＴＥ１とを用いてさらに正確な検出を行う。これにより、画像ＫＥ中に存在する物体を高速に検出することが可能となる。

そして、上述した二つの検出処理を組み合わせることによって、すなわち、図６に示されるピラミッド画像ＰＥ１中における階層画像ごとに、図７に示される高速検出手法を採用することによって、元画像ＦＥ１中に存在する複数の大きさの物体を高速に検出することが可能となる。図８は、このような検出原理を用いた比較例に係る検出処理を示している。

一方、上述の図５の検出処理は、図８のような検出原理を用いつつ更に高速化を図ることを可能にするものである。具体的には、上述した図５に示される検出装置１が実行する検出方法では、図８中の複数用ピラミッド画像ＰＥ１と高速用ピラミッド画像ＰＳ１とを一部共通化したピラミッド画像ＭＰ１を作成し、これを検出処理に用いることによって、図８に示す検出手法よりもピラミッド画像作成の効率化を可能としている。つまり、検出装置１は、画像中に存在する複数の大きさの物体を高速に検出することを可能とし、さらに、検出に用いるピラミッド画像作成の効率化により、検出処理時間の短縮も実現している。

＜動作＞
以下では、上述した検出装置１の各機能について詳細に説明する。尚、ここでは、検出対象物体を顔とした場合について説明するが、対象画像上で物体の大きさを想定して検出する場合であれば本発明の思想を適用することが可能であり、検出対象物は顔に限定されない。

図９は、検出装置１の全体動作を示すフローチャートである。

まず、使用者（ユーザ）が行う入力部６等の操作による検出開始指示（ステップＳ２１）の後、検出に用いる参照情報である検出対象物のテンプレート（以下、「検出テンプレート」とも称する）から検出用情報ＩＦが設定され（ステップＳ２２）、また、対象画像から階層画像群ＭＰが作成される（ステップＳ２３）。

次に、ステップＳ２２において設定された情報に基づいて、前述の階層画像群ＭＰ中の所定の画像上においてラスタスキャンを行う探索窓の領域が決定され（ステップＳ２４）、当該探索窓において、マッチング（照合）処理が行われる（ステップＳ２５）。さらに、所定画像上の領域が全て検索されたか否かを判定し（ステップＳ２６）、検索が終了したと判定されると検出処理を終了し（ステップＳ２７）、検索が終了していないと判定されると、ステップＳ２４からステップＳ２６までの工程が繰り返し実行される。

以下、ステップＳ２１からステップＳ２５において実行される各処理を詳細に説明する。図１０は、情報設定処理を示すフローチャートである。図１１は、ピラミッド画像作成処理を示すフローチャートである。図１２は、探索窓決定処理を示すフローチャートである。図１３は、マッチング処理を示すフローチャートである。

＜顔検出処理開始＞
顔検出処理を開始する前に、使用者（ユーザ）は、検出装置１によって検出する顔の大きさを指定する。具体的には、図４に示される操作画面Ｑ上で使用者（ユーザ）が入力部６等の操作を行い、検出装置１により検出される顔の大きさを指定する。例えば、操作画面Ｑ中の小ウィンドウＷ１の欄Ｒ１に数値「１」が、欄Ｒ２に数値「６」が入力されると、各欄の上部に入力した数値に該当する顔の大きさが表示される。尚、欄Ｒ１では、検出対象とする最小の大きさＭＮ（最小サイズ）を指定し、欄Ｒ２では、検出対象とする最大の大きさＭＸ（最大サイズ）を指定する。使用者（ユーザ）は、画像ＰＩ中に現された顔の大きさと検出対象とする顔の大きさとを比較し、検出する顔の大きさを決定する。決定は、各欄に数値を入力した状態で、実行ボタンＢＴを入力部６等で選択し押下することによって行う。上述の数値「１」及び数値「６」が欄Ｒ１及び欄Ｒ２にそれぞれ入力された状態で実行ボタンＢＴが押下されると、数値「１」に該当する大きさＳＺ１から数値「６」に該当する大きさＳＺ６までの６種類の大きさ（ＳＺ１〜ＳＺ６）の顔が検出対象として指定され（大きさの数Ｍ＝６）、検出処理が開始されたことになり、情報設定処理（ステップＳ２２）へと移行する。

＜情報設定処理＞
図１４は、情報設定処理を模式的に示した図である。

この実施形態においては、図７と同様に、各大きさの顔を検出する際に、２段階の縮小画像を用いて比較処理を行うものとする。そのため、検出テンプレートＴＰ１に加えて、当該テンプレートＴＰ１を縮小率βを用いて順次に縮小した２つのテンプレートＴＰ２，ＴＰ３が作成される。

具体的には、図１０に示されるように、情報設定処理が開始されると（ステップＳ３１）、記憶部３に保持している検出用の参照情報である顔検出テンプレートＴＰ１から検出用情報ＩＦ（ＩＦ２）が設定される（ステップＳ３２）。詳細には、顔検出テンプレートＴＰ１から縮小率β＝１／２によって縮小された縮小顔テンプレートＴＰ２が作成され、さらに、当該縮小顔テンプレートＴＰ２から縮小率β＝１／２によって再縮小テンプレートＴＰ３が作成される。

ここで、縮小率βは、上述の１／２に限定されるものではなく、様々な値であってもよが、縮小率β＝１／Ｋ（Ｋは２以上の整数）を満たす数値であることが好ましい。尚、本願においては、画像の「縮小率」を、画像一辺あたりの倍率で表すものとする。また、画像の縮小は、処理時間の制限及び必要画質に応じて、バイリニア法（bi-linear interpolation）、ニアレストネイバー法(nearest neighbor) 又はバイキュービック法（bi-cubic convolution）等の既存の補間方法を用いて行うことができる。

さらに、この実施形態においては、再縮小テンプレートＴＰ３と縮小画像とを直接的に比較するのではなく、再縮小テンプレートＴＰ３から抽出した特徴量と縮小画像から抽出した特徴量とを比較することによって、テンプレートを用いた比較処理を行う場合を例示する。そのため、このステップＳ３２において、再縮小テンプレートＴＰ３から当該全体領域に対する肌色領域の割合を数値化した特徴量ＣＨを抽出する。尚、これに限定されず、再縮小テンプレートＴＰ３と縮小画像とを直接的に画素単位で比較するパターンマッチング処理によって、テンプレートを用いた比較処理を行うようにしてもよく、その場合には、特徴量ＣＨの抽出処理は不要である。

このように作成又は抽出された各テンプレート及び特徴量ＣＨは、検出用情報ＩＦ（ＩＦ２）としてＲＡＭ３ｂに読み込まれ、後述するマッチング処理において使用される。

尚、顔検出テンプレートＴＰ１を基準として実行するテンプレート縮小回数Ｓは、上述のような回数（すなわち２回）に限定されるものではなく、検出処理時間及び検出精度等との関係により適切な回数に変更することが可能である。また、特徴量ＣＨは、再縮小テンプレートＴＰ３から抽出することに限定されず、縮小テンプレートＴＰ２又は顔検出テンプレートＴＰ１から特徴量を抽出し、マッチング処理に使用してもよい。さらに、ここでは、抽出される特徴量ＣＨとして、前述のように再縮小テンプレートＴＰ３が有する当該全体領域に対する肌色領域の割合を数値化した値を例示しているがこれに限定されず、当該テンプレートが有する他の特徴を抽出したものであってもよい。また、主成分分析 (Principal Component Analysis, ＰＣＡ)等を利用してテンプレートをパラメータ化した情報を特徴量として用いてもよい。

検出用情報ＩＦ（ＩＦ２）が設定されると情報設定処理の工程を終了し（ステップＳ３３）、ピラミッド画像作成処理（ステップＳ２３）に移行する。

＜ピラミッド画像作成処理＞
図１５は、ピラミッド画像作成処理における基準画像作成を示す図である。図１６は、ピラミッド画像作成処理における縮小画像作成を示す図である。図１７は、ピラミッド画像の完成図である。図１８は、ピラミッド画像における画像種別を示す図である。図１９は、ピラミッド画像における各画像間の縮小倍率を示す図である。

図１１に示されるように、ピラミッド画像作成処理が開始されると（ステップＳ４１）、作成する階層数Ｌ（以下、「総階層数」とも称する）が決定される（ステップＳ４２）。具体的には、検出対象の顔の大きさの数Ｍとテンプレート縮小回数Ｓと後述する基準画像数Ｎとの関係から導出される総階層数Ｌ＝Ｍ＋Ｓ×Ｎによって決定される。本実施形態においては、検出対象の顔の大きさの数Ｍ＝６、テンプレート縮小回数Ｓ＝２、基準画像数Ｎ＝Ｍ−２＝４とした場合について説明を行う。よって、本実施形態では、作成される総階層数は、Ｌ＝１４階層となる。

次に、検出処理開始（ステップＳ２１）時に指定された最小の顔の大きさを検出するために用いる第１階層の画像Ｆ１が作成される（ステップＳ４３）。具体的には、対象画像Ｆ０（元画像）から所定の倍率γを用いて作成される（図１５参照）。所定の倍率γは、顔検出テンプレートＴＰ１が有する顔の大きさＬＡ１と使用者（ユーザ）が指定した最小の顔の大きさＭＮ（最小サイズ）との比で決定される。例えば、指定された大きさＭＮがテンプレートＴＰ１の大きさＬＡ１の２倍の大きさである場合は、倍率γ＝１／２となり、指定された大きさＭＮとテンプレートＴＰ１の大きさＬＡ１とが等しい場合は、倍率γ＝１つまり等倍となる。

上述のようにステップＳ４３において第１階層の画像Ｆ１が作成されると、中間階層の基準画像作成工程（ステップＳ４４）において、（Ｎ−１）個つまり３個の中間階層の基準画像Ｇ２が作成される（図１５参照）。具体的には、まず、第１階層の画像Ｆ１から縮小率αによって縮小された第２階層の画像Ｆ２が作成される。さらに、第２階層の画像Ｆ２から縮小率αによって第３階層の画像Ｆ３が作成され、以後、第Ｎ階層までの画像が縮小率αによって順次作成される。つまり、基準画像数Ｎ＝４の場合は、第４階層の画像Ｆ４まで縮小率αを用いて基準画像が作成されることになる。尚、ステップＳ４３で作成される第１階層の画像Ｆ１とステップＳ４４で作成される中間階層の基準画像Ｇ２（画像Ｆ２〜Ｆ４）とは、基準画像Ｇ３を構成する（図１８参照）。これらの基準画像Ｇ３は、次述するように、縮小画像を作成するにあたり基準となる画像である。基準画像Ｇ３の構成要素である各画像Ｆ１〜Ｆ４は、対象画像Ｆ０に対する倍率が互いに異なっている。詳細には、画像Ｆ１〜Ｆ４は、それぞれ対象画像Ｆ０のγ倍、γ×α倍、γ×α²倍、γ×α³倍となっている。

中間階層の基準画像作成工程（ステップＳ４４）が終了すると、縮小画像作成工程（ステップＳ４５）へと移行する。ステップＳ４５では、まず、第（Ｎ＋１）階層つまり第５階層に該当する画像Ｆ５が第１階層の画像Ｆ１に基づいて作成される。具体的には、第５階層の画像Ｆ５は、第１階層の画像Ｆ１を縮小率βによって縮小することによって作成される（図１６参照）。ここで、基準画像数Ｎと縮小率αと縮小率βとの間においては、β＝α^Nの関係が成立する。つまり、本実施形態（基準画像数Ｎ＝４、縮小率β＝１／２）の場合、上記の関係によって自動的に縮小率αが決定され、縮小率α≒１／１．１９となる。尚、この実施形態においては基準画像数Ｎ＝４としているが、基準画像数Ｎは、２以上でありかつ検出対象の顔の大きさの数Ｍ未満の整数であれば任意な数である。

ステップＳ４５における縮小画像の作成が終了すると、ステップＳ４２で決定された総階層数ＬとステップＳ４５で既に作成済みとなった画像の階層数Ｆｋとが比較される（ステップＳ４６）。この比較によって総階層数Ｌ分の階層画像が作成されたと判断されると、ピラミッド画像作成処理を終了し（ステップＳ４７）、作成階層数Ｆｋが総階層数Ｌに満たない場合は、作成階層数Ｆｋに１が加算される（ステップＳ４８）。例えば、Ｆｋ＝５である場合は、ステップＳ４８へと移行し、Ｆｋ＝６となる。

この後、新たな上位階層６について再び縮小画像処理（ステップＳ４５）が実行される。第６階層の画像Ｆ６の作成には、第２階層の画像Ｆ２が基準となり、第２階層の画像Ｆ２が縮小率βによって縮小されることによって作成される（図１６参照）。以後同様に、第７階層の画像Ｆ７の作成には、第３階層の画像Ｆ３が基準となり、第８階層の画像Ｆ８の作成には、第４階層の画像Ｆ４が基準となり、順次作成される。さらに、第９階層以降の画像も作成階層より４階層下の画像を基にして同様に作成され、階層数Ｆｋ＝１４までステップＳ４５からステップＳ４８の工程が繰り返し実行される（図１７参照）。

図１７に示されるように、上述の繰り返し処理によって、総階層数Ｌ分の画像つまり第１４階層の画像Ｆ１４まで作成されると、ピラミッド画像作成処理は、終了し（ステップＳ４７）、探索窓決定処理（ステップＳ２４）へと移行する。

上述したピラミッド画像作成処理（ステップＳ２３）を図１８を用いて総括すると、ステップＳ４３において基準画像Ｇ１に相当する第１階層の画像Ｆ１が作成され、ステップＳ４４において基準画像Ｇ１（画像Ｆ１）に基づいて中間階層の基準画像Ｇ２が縮小率αによって作成される。次に、ステップＳ４５からステップＳ４８の繰り返し処理において、基準画像Ｇ３（画像Ｆ１〜Ｆ４）から縮小画像ＧＭ１（画像Ｆ５〜Ｆ８）が縮小率βによって作成され、作成された縮小画像ＧＭ１に基づいて再縮小画像ＧＭ２（画像Ｆ９〜Ｆ１２）が縮小率βによって作成され、さらに、再縮小画像ＧＭ２に基づいて再々縮小画像ＧＭ３（画像Ｆ１３、Ｆ１４）が作成される。

この繰り返し処理によって作成される画像は、全て縮小率β＝１／Ｋ（Ｋは２以上の整数）を用いて作成されるため、縮小率α等の数値を用いて作成するよりもピラミッド画像作成の処理を高速化することができる。

尚、ピラミッド画像ＭＰにおいては、上位階層になるほど縮小の度合いが大きくなっている（言い換えれば、元画像Ｆ０に対する倍率が小さくなっている）ので、上位階層になるほど解像度が低くなっている。また、本実施形態では、作成する総階層数がＬ＝１４であるため、再々縮小画像ＧＭ３に該当する画像は、再縮小画像ＧＭ２に属する第９階層の画像Ｆ９及び第１０階層の画像Ｆ１０を基にして作成された第１３階層の画像Ｆ１３及び第１４階層の画像Ｆ１４の二つとなる。仮に、総階層数Ｌ＝１３（Ｍ＝５，Ｓ＝２，Ｎ＝４）の場合を想定すると、再々縮小画像ＧＭ３に該当する画像は、再縮小画像ＧＭ２に属する第９階層の画像Ｆ９を基にして作成された第１３階層の画像Ｆ１３のみとなる。

図１８においては、対象画像中における複数の大きさの物体を検出するために用いる複数サイズ検出用ピラミッド画像Ｈ１は、対象画像に対する倍率が互いに異なる６つの画像Ｆ１〜Ｆ６を有するものとして構成されている。また、対象画像中における複数の大きさの物体をそれぞれ高速に検出するために用いる高速検出用ピラミッド画像Ｈ２は、１０枚の画像Ｆ５〜Ｆ１４で構成されている。詳細には、高速検出用ピラミッド画像Ｈ２は、複数サイズ検出用ピラミッド画像Ｈ１における６つの画像Ｆ１〜Ｆ６がそれぞれ所定倍率βで縮小された状態に相当する６つの画像Ｆ５〜Ｆ１０を有している。また、高速検出用ピラミッド画像Ｈ２は、これら６つの画像Ｆ５〜Ｆ１０がそれぞれ所定倍率βでさらに縮小された状態に相当する６つの画像Ｆ９〜Ｆ１４を有している。

ここで、複数サイズ検出用ピラミッド画像Ｈ１と高速検出用ピラミッド画像Ｈ２とは、上述の手法等で作成されることによって、各ピラミッド画像Ｈ１，Ｈ２の一部の画像についての対象画像に対する倍率が互いに同一となるように、当該一部の画像（具体的には、画像Ｆ５，Ｆ６）が共通化された状態で作成される。これによって、ピラミッド画像作成に要する時間を短縮することができる。これについては後述する。

尚、基準画像数Ｎ＝４かつ縮小率β＝１／２とした場合のピラミッド画像作成処理（ステップＳ２３）においては、縮小率β＝α^Nの関係から、縮小率αは、厳密には縮小率α＝１／１．１８９２・・・の無理数となるが、上述の実施形態では、縮小率β＝α^Nの関係を満たす値として、α＝１／１．１９の有理数を採用している。このため、α^Nは縮小率βに完全には一致しない。しかしながら、この不一致は許容誤差範囲内のものでありピラミッド画像作成処理において不都合を生じるものではない。なぜなら、図１９に示すように、中間階層の基準画像Ｇ２を作成する際に、一律縮小率α＝１／１．１９を用いたとしても、第５階層の画像Ｆ５は、そもそも第１階層の画像Ｆ１から縮小率βによって作成される画像であり、同様に、第６階層以降の画像も全て縮小率βを用いて作成されるため、ピラミッド画像作成に影響を与えることはないからである。

＜探索窓決定処理＞
次に、探索窓決定処理（ステップＳ２４）の説明前に、検出装置１における検索方法について図２０、図２１及び図２２を用いて詳細に説明する。

図２０は、最小の大きさの顔を検出する場合の検出用情報ＩＦ（ＩＦ２）とピラミッド画像ＭＰ（ＭＰ２）との対応関係を示す図である。図２１は、検出する各大きさに対応するピラミッド画像中の注目階層を示す図である。図２２は、ピラミッド画像において各注目階層が検出に使用する階層を示した図である。

図２０に示されるように、使用者（ユーザ）によって指定された最小の大きさの顔（大きさＳＺ１）を検出する場合には、第１階層の画像Ｆ１と顔検出テンプレートＴＰ１と、第５階層の画像Ｆ５と縮小顔テンプレートＴＰ２と、第９階層の画像Ｆ９と再縮小テンプレートＴＰ３から抽出された特徴量ＣＨとがそれぞれ比較検出されることになる。

ここで、比較検出の際に基準となる階層は、注目階層と呼ぶ。つまり、大きさＳＺ１を検出する際の注目階層は、第１階層である。例えば、図２１に示されるように、大きさＳＺ２の顔を検出する場合には、注目階層は、第２階層となる。この場合、縮小顔テンプレートＴＰ２の比較対象になる階層は第６階層であり、特徴量ＣＨの比較対象になる階層は第１０階層である。さらに、大きさＳＺ３から大きさＳＺ６までの各大きさの顔を検出する場合には、それぞれ第３階層から第６階層までが注目階層となる。上述した対応関係は、図２２において詳細に示されている。例えば、大きさＳＺ５の顔を検出する場合には、注目階層（図２２中、◎を付記した部分に該当）は第５階層、縮小顔テンプレートＴＰ２の比較対象になる階層（○を付記した部分に該当）は第９階層、特徴量ＣＨの比較対象になる階層（△を付記した部分に該当）は第１３階層となる。

図２２に示されるように、注目階層が第１階層の画像Ｆ１から第６階層の画像Ｆ６である場合、検出処理に必要とされるピラミッド画像の階層数は、第１階層の画像Ｆ１から第１４階層の画像Ｆ１４までの１４階層となる。また、これは、ステップＳ４２において算出したピラミッド画像作成総数と一致している。

ここで、図８の比較例に示されるような複数サイズ検出用ピラミッド画像ＰＥ１と高速検出用ピラミッド画像ＰＳ１とを別々に作成し検出処理を実行する検出手法を採用して、本実施形態と同様に６つの顔の大きさを高速に検出する場合を想定する。この場合、複数サイズ検出用ピラミッド画像に注目階層分の６階層の画像を必要とし、さらに、高速検出用ピラミッド画像に注目階層の１階層ごとに２階層ずつ、つまり、６×２＝１２階層分の画像を必要とする。すなわち、検出に要するピラミッド画像の合計作成総数Ｌｎは、１２＋６＝１８階層分の画像となる。また、図８の比較例に示される検出手法において、検出に要するピラミッド画像の作成総数Ｌｎは、検出対象の顔の大きさの数Ｍとテンプレート縮小回数Ｓとの関係からＬｎ＝Ｍ＋Ｍ×Ｓによって求められる。

このように、検出装置１でのピラミッド画像作成数Ｌが図８に示す検出手法よりも少なくて済む理由は、検出装置１では、複数サイズ検出用ピラミッド画像と高速検出用ピラミッド画像とを一部共通化したピラミッド画像ＭＰ（ＭＰ２）を作成することによって、ピラミッド画像作成の効率化を実現しているためである。より詳細には、図２２中の第５階層及び第６階層Ｃ１又は第９階層及び第１０階層Ｃ２に示されるように、検出装置１は、検出処理の際に一度利用した画像を、別の大きさの顔を検出処理する際にも再利用できるようにピラミッド画像を作成することによって、作成する総画像数を減らすことを可能にしている。具体的には、この場合、（基準画像数Ｎ）＜（検出対象の顔の大きさの数Ｍ）が成立するため、（本実施形態における作成画像数Ｌ）＜（図８の比較例における作成画像数Ｌｎ）となる。

また、第５階層の画像Ｆ５及び第６階層の画像Ｆ６は、複数サイズ検出用ピラミッド画像及び高速検出用ピラミッド画像の両ピラミッド画像（画像群）に属する画像であり、対象画像Ｆ０に対する倍率が各々互いに同一である。このため、ピラミッド画像ＭＰ（ＭＰ２）は複数サイズ検出用ピラミッド画像と高速検出用ピラミッド画像とを一部共通化したピラミッド画像となっている。

以上より、検出装置１は、画像中に存在する複数の大きさの物体を高速に検出することを可能とし、さらに、検出に用いるピラミッド画像の効率使用により当該作成数を減らし、ピラミッド画像作成に要する時間を短縮することで、検出処理のさらなる高速化を実現している。

また、検出装置１は、注目階層に相当する第５階層の画像Ｆ５を、第１階層の画像Ｆ１から縮小率βによって縮小することによって作成し、同様に、第６階層の画像Ｆ６も第２階層の画像Ｆ２から縮小率βによって縮小することによって作成している。このように、縮小率β＝１／Ｋ（Ｋは２以上の整数）を用いて作成することにより、縮小率α＝１／１．１９等を用いて作成する場合に比べて、複雑な補間処理を行わずに済むため、縮小画像作成の処理時間を短縮することが可能となる。

一方、図８の比較例に示される検出手法においては、注目階層分の画像作成の際、縮小率βを有効に利用した作成手法とはなっていない。

つまり、検出装置１は、第５階層の画像Ｆ５及び第６階層の画像Ｆ６の作成に要する処理時間を短縮することができ、検出処理の高速化を実現している。

次に、比較検出の順序について説明する。比較検出は、まず最初に、最も縮小された画像同士間つまり第９階層の画像Ｆ９と再縮小テンプレートＴＰ３との間において行われる（ＣＰ１）。より詳細には、画像Ｆ９から抽出された特徴量（肌色度数）と、再縮小テンプレートＴＰ３から抽出された特徴量ＣＨ（肌色度数）とが比較される。この最初の比較検出ＣＰ１は画像Ｆ９の全領域において行われ、最初の比較検出ＣＰ１によって検出対象の大きさの顔が検出された場合、検出された位置を基にして、第５階層の画像Ｆ５と縮小顔テンプレートＴＰ２との間において比較検出が行われる（ＣＰ２）。さらに、２回目の比較検出ＣＰ２において、さらに検出された場合、検出された位置を基にして、第１階層の画像Ｆ１と顔検出テンプレートＴＰ１との間において比較検出が行われる（ＣＰ３）。３回目の比較検出ＣＰ３においても検出された場合、検出対象の大きさの顔が対象画像中に存在するとして出力されることになる。

上述のように、最初に、縮小画像全体において比較検出を実行し、検出対象物体の概略位置を特定することにより、検出に要する処理時間を短縮することができる。

次に、探索窓決定処理について、図２０、図２３及び図２４を用いて説明する。

図２３は、注目階層を第１階層とした際の検出処理手順を示す図である。図２４は、探索窓のシフト処理を示す図である。図２４では、画像Ｆ９の左上隅を基準位置Ｐ（１，１）、右下隅の位置をＰ（Ｘｍ，Ｙｍ）としている。また、各探索窓の位置を、当該各探索窓の左上隅の座標で表すものとする。

図１２に示されるように、探索窓決定処理が開始されると（ステップＳ５１）、後述のマッチング処理を実行する探索窓が決定される（ステップＳ５２）。

図２３は、図２０と同様、注目階層が第１階層である場合の検出方法を図示したものであり、上述の通り、最初に実行される処理ＣＰ１は、最も縮小された画像同士間つまり第９階層の画像Ｆ９と再縮小テンプレートＴＰ３から抽出された特徴量ＣＨとの間において行われる。より詳細には、再縮小テンプレートＴＰ３と等しい大きさの領域を有する探索窓ＩＷが画像Ｆ９の左上隅に設定される。探索窓ＩＷの設定が終了すると（ステップＳ５３）、後述のマッチング処理（ステップＳ２５）に移行する。マッチング処理（ステップＳ２５）では、設定された探索窓ＩＷにおいて、特徴量ＣＨを用いたマッチング処理が行われる。マッチング処理終了後、再び探索窓決定処理が開始され（ステップＳ５１）、前回マッチング処理位置よりも１画素分ｘ軸方向にシフトした場所が新たな探索窓ＩＷと設定される（ステップＳ５２）。ステップＳ５１からステップＳ５３までの工程は、探索窓ＩＷが第９階層の画像Ｆ９の全ての領域をシフトし、網羅するまで実行される。

探索窓ＩＷのシフト処理を、図２４を用いてより詳細に説明する。探索窓ＩＷは、第９階層の画像Ｆ９における左上隅の初期位置Ｐ（１，１）から右上隅位置Ｐ（Ｘｍ，１）まで１画素ずつｘ軸方向にシフトする（図２４（ａ）参照）。探索窓ＩＷが右上隅位置Ｐ（Ｘｍ，１）まで到達すると、初期位置Ｐ（１，１）よりｙ軸方向に１画素分シフトした位置Ｐ（１，２）に探索窓ＩＷを設定する。以後同様に、位置Ｐ（１，２）からｘ方向に同様の走査が行われ、最終的には、位置Ｐ（Ｘｍ，Ｙｍ）まで探索窓ＩＷが移動する。すなわち、ｘ方向を主走査方向、ｙ方向を副走査方向として探索窓ＩＷの走査処理が行われる。尚、シフト幅は、上述のように１画素に限定されるものではなく、検出処理時間及び検出精度等との関係により適切な値に変更してもよい。シフト幅を増やせば、検出精度は粗くなるが、検出処理時間は短縮される。

＜マッチング処理＞
以下、図２５及び図２６を用いてマッチング処理（ステップＳ２５）について説明する。

図２５は、低解像度画像におけるシフトの様子と高解像度画像におけるシフトの様子とを一次元で示す図である。

図２６は、高解像度画像におけるシフトの様子を二次元で示す図である。

図１３に示されるように、マッチング処理が開始されると（ステップＳ６１）、探索窓ＩＷにおいて肌色領域判定処理が実行される（ステップＳ６２）。肌色領域判定は、上述した最初の比較検出ＣＰ１（図２３参照）に相当する処理であり、縮小テンプレートＴＰ３より抽出される当該全体領域に対する肌色画素の割合即ち特徴量ＣＨと探索窓ＩＷが占める領域中の肌色画素の割合とが比較される。例えば、探索窓ＩＷが有する赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色情報を色相（Ｈ）、色彩（Ｓ）、明度（Ｖ）の色彩体系へと色空間変換を行い、色相（Ｈ）の値が予め設定した肌色を示す範囲内か否かによって判断し、探索窓ＩＷ領域中の肌色画素数を算出し、当該肌色画素数が、特徴量ＣＨの肌色画素数から決定されるしきい値以上であれば肌色領域を検出したと判断すればよい。

肌色領域判定処理（ステップＳ６２）において、肌色領域が検出されなければ（ステップＳ６３）、マッチング処理を終了し（ステップＳ６４）、ステップＳ２６を経て次の探索窓ＩＷを決定する処理に移行する（図９参照）。肌色領域が検出されると（ステップＳ６３）、検出された位置を基にして、上述の第５階層の画像Ｆ５と縮小顔テンプレートＴＰ２との間において比較検出ＣＰ２が行われる（ステップＳ６５）。

さらに、上述のステップＳ６５において検出対象の大きさの顔が存在すると検出されなければ（ステップＳ６６）、マッチング処理を終了し（ステップＳ６７）、ステップＳ２６を経て次の探索窓ＩＷを決定する処理に移行する（図９参照）。検出対象の大きさの顔が存在すると検出されると（ステップＳ６６）、検出された位置を基にして、第１階層の画像Ｆ１と顔検出テンプレートＴＰ１との間においてテンプレートマッチングによる比較検出ＣＰ３が行われる（ステップＳ６８）。

このように、最初の比較検出ＣＰ１において、特徴量ＣＨを用いた肌色領域判定を実行することにより、肌色領域を有しない探索窓ＩＷのテンプレートマッチングを省略することが可能となり検出処理を高速に行うことができる。すなわち、顔が存在する可能性が高い領域を、低解像度画像を用いた比較処理によって全体領域の中から絞り込むことが可能である。言い換えれば、肌色領域による比較処理で顔が存在しないと判定される領域を、高解像度画像による比較処理の対象から予め除外することが可能である。

ステップＳ６８が終了すると、マッチング処理を終了し（ステップＳ６９）、ステップＳ２６へと移行する。尚、ステップＳ６８において、検出対象の大きさの顔が検出されると、検出情報（例えば、検出位置又は大きさ等）は出力情報としてＲＡＭ３ｂに記憶され、全処理終了後（ステップＳ２７）出力される。

以下、マッチング処理について、具体的に例を挙げて詳説する。

例えば、ステップＳ６２において、図２３における第９階層の画像Ｆ９中の位置Ｐ（ｖ，ｗ）で肌色領域が検出されたとすると、第５階層の画像Ｆ５中の位置Ｐ（ｖ，ｗ）を基にして、縮小顔テンプレートＴＰ２とのテンプレートマッチングによる比較検出ＣＰ２が行われる。具体的には、図２５に示すように、比較検出ＣＰ１において、探索窓ＩＷが位置Ｐｖ−２、位置Ｐｖ−１、さらに、位置Ｐｖとシフトし、位置Ｐｖにおける肌色領域判定（ステップＳ６２）において肌色領域が検出された場合、第５階層の画像Ｆ５と縮小顔テンプレートＴＰ２との間の比較検出ＣＰ２（ステップＳ６５）へと移行し、位置Ｐｖと位置Ｐｖ＋０．５との２地点においてテンプレートマッチングが実行される。

ここで、比較検出ＣＰ１において用いられる画像Ｆ９は、比較検出ＣＰ２において用いられる画像Ｆ５を１／２倍にした画像であるため、画像Ｆ９における探索窓ＩＷのシフト幅１画素分は画像Ｆ５における０．５画素分に相当する。

このため、比較検出ＣＰ２において行うテンプレートマッチングのシフト幅を１画素とすると、比較検出ＣＰ２においてテンプレートマッチングを実行する位置は、一次元でみると、図２５に示される上述の２地点となり、実際に実行される二次元では、画像Ｆ９中におけるＰ（ｖ，ｗ）、Ｐ（ｖ＋０．５，ｗ）、Ｐ（ｖ，ｗ＋０．５）及びＰ（ｖ＋０．５，ｗ＋０．５）の４点に相当する位置となる。図２６は、上述した４地点におけるシフトの様子を示しおり、図２３中の領域ＰＲ２を拡大表示した図に相当する。画像Ｆ５において画像Ｆ９中のＰ（ｖ，ｗ）に相当する位置ＰＡにおいてテンプレートマッチングが行われ、その後、位置ＰＡよりｘ軸方向に１画素分シフトした位置ＰＢ（画像Ｆ９中のＰ（ｖ＋０．５，ｗ）に相当）においてテンプレートマッチングが行われる（図２６（ａ）参照）。さらに、位置ＰＡからｙ軸方向に１画素分シフトした位置ＰＣ（画像Ｆ９中のＰ（ｖ，ｗ＋０．５）に相当）においてテンプレートマッチングが行われ、その後、位置ＰＣよりｘ軸方向に１画素分シフトした位置ＰＤ（画像Ｆ９中のＰ（ｖ＋０．５，ｗ＋０．５）に相当）においてテンプレートマッチングが行われる（図２６（ｂ）参照）。

また、テンプレートマッチングは、比較する画像同士（例えば、縮小顔テンプレートＴＰ２と第５階層の画像Ｆ５の比較領域）の相関値を算出し、算出した相関値と予め設定したしきい値とを比較することにより、検出対象の大きさの顔が存在するか否かを決定する。例えば、検出用テンプレートが１００×１００の画素を有する場合には、一万個の対応する２画素間で画素信号（ここでは色差情報）の差分絶対値を求め、それによって得られる一万個の差分絶対値の平均値を、相関値とすることができる。このような相関値は、対応する画素同士が被写体の同一部分を含む場合には小さな値となり、異なる部分である場合には大きな値となる。

尚、画像Ｆ５において行うテンプレートマッチングのシフト幅を１画素としたが、これに限定されない。例えば、所定の縮小画像ＡＡにおいて採用した所定のシフト幅ｓａを、当該縮小画像ＡＡの元となる画像ＢＢに換算した際のシフト幅ｓａ２よりも大きくならない範囲で、画像ＢＢにおいて実行するシフト幅ｓｂを採用すれば、画像ＢＢにおいて実行する検出は、縮小画像ＡＡにおいて実行した検出と同等、若しくは、高精度の検出が可能となる。つまり、画像Ｆ９における探索窓ＩＷのシフト幅が１画素であれば、画像Ｆ５においては、２画素以下のシフト幅に設定すればよい。

以上、ステップＳ６２において肌色領域が検出され、当該検出位置に基づいてステップＳ６５において実行されるマッチング処理について詳述したが、さらにステップＳ６５において検出対象の大きさの顔が存在すると検出された場合も同様の処理が行われる。すなわち、ステップＳ６８では、ステップＳ６５で検出された位置から得られる４地点において第１階層の画像Ｆ１と顔検出テンプレートＴＰ１とのテンプレートマッチングによる比較検出ＣＰ３が実行される。例えば、ステップＳ６５において第５階層の画像Ｆ５中の位置ＰＷ２（ＰＣ）で検出されたとすると、位置ＰＷ２に対応する第１階層の画像Ｆ１中の位置ＰＷ１を基にして得られる図２３中の領域ＰＲ１に示す４地点においてテンプレートマッチングによる比較検出ＣＰ３が行われる。

以上のように、或る注目階層の画像（以下、単に注目画像とも称する）で検出対象となる大きさの物体を検出する動作（すなわち或るサイズの物体検出動作）においては、注目画像と注目画像を所定倍率βで縮小した画像（高速検出用ピラミッド画像Ｈ２中の画像）とのうち低解像度の画像から順に決定された画像を対象として、テンプレートを用いた比較処理を行うことによって、対象物体の検出が行われる。たとえば、最小大きさＳＺ１の顔検出処理を行う場合には、最初に低解像度の画像Ｆ９とテンプレートＴＰ３とを用いた比較処理（比較検出ＣＰ１）が行われ、次に中解像度の画像Ｆ５とテンプレートＴＰ２とを用いた比較処理（比較検出ＣＰ２）が行われ、最後に高解像度の画像Ｆ１とテンプレートＴＰ１とを用いた比較処理（比較検出ＣＰ３）が行われる。これによって、最小大きさＳＺ１の顔が対象画像中に存在するか否か、及び存在する場合にはその存在位置が検出されることになる。また、より大きなサイズＳＺ２の顔検出処理が行われる場合には、最初に低解像度の画像Ｆ１０とテンプレートＴＰ３とを用いた比較処理（比較検出ＣＰ１）が行われ、次に中解像度の画像Ｆ６とテンプレートＴＰ２とを用いた比較処理（比較検出ＣＰ２）が行われ、最後に高解像度の画像Ｆ２とテンプレートＴＰ１とを用いた比較処理（比較検出ＣＰ３）が行われる。これによって、大きさＳＺ２の顔の存在位置等が検出される。他のサイズＳＺ３〜ＳＺ６についても同様である。

このようにして、複数サイズ検出用ピラミッド画像Ｈ１（図１８参照）の中から選択した注目画像と、テンプレートとを用いた比較処理によって、当該注目画像で検出対象となる大きさの物体を検出する動作が行われる。

そして、このような動作を複数の注目画像について繰り返すことによって、複数（上記の例では６つ）の大きさＳＺ１〜ＳＺ６の物体が検出される。

＜その他＞
以上、この発明の実施の形態について説明したが、この発明は上記に説明した内容に限定されるものではない。

例えば、上記実施の形態においては、比較検出ＣＰ１において肌色領域判定を行い、比較検出ＣＰ２及びＣＰ３では、テンプレートマッチングを行い、検出処理を実行しているがこれに限定されない。具体的には、比較検出ＣＰ１〜ＣＰ３の全てにおいてテンプレートマッチングを実行してもよく、また、比較検出ＣＰ１〜ＣＰ３の全てにおいて実行するテンプレートマッチングに先立って、肌色領域判定等の特徴量を利用した判定処理を実行してもよい。このように、簡易な判定処理をテンプレートマッチングに先立って実行することにより、肌色領域を有しない探索窓のマッチング処理を省略することが可能となり、検出処理を高速に実行することができる。

また、上記実施の形態においては、縮小率αは、縮小率β＝α^Nの関係が成立する値としたがこれに限定されない。具体的には、縮小率αは、基準画像ＧＭ３を作成するために用いる値であり、縮小率βが一定の値であれば、ピラミッド画像作成に影響を与えることはない。このため、縮小率αとしては、縮小率β＝α^Nの関係を満たさない任意の値を設定することも可能である。

さらに、上記実施の形態においては、図４に示される操作画面Ｑ上で使用者（ユーザ）が指定する顔の大きさは、予め設定されていた顔の大きさを使用者が選択するという態様であったが、これに限定されない。具体的には、上述のように縮小率αが任意の値に設定可能であることにより、対象画像Ｆ０（元画像）から第１階層の画像Ｆ１を作成する際に用いる所定の倍率γも任意の値に設定可能とすると、顔の大きさ自体を使用者（ユーザ）自身が自由に設定することが可能となる。つまり、基準画像ＧＭ３の作成に当たり、使用者（ユーザ）が指定した顔の大きさを検出するための注目階層の画像を、作成可能とするような所定の倍率γ及び縮小率αを決定するという態様にしてもよい。

本発明の実施形態に係る検出装置の概要を示す図である。 検出装置が備える各種機能を示すブロック図である。 被写体として数人の人物を有する画像を示す図である。 プログラム実行時の操作画面を示す図である。 検出装置において実行される検出処理の一例を模式的に示した図である。 元画像中に存在する複数の大きさの物体をピラミッド画像を用いて検出する検出処理の模式図である。 画像中に存在する所定の物体を高速に検出する検出処理の模式図である。 比較例に係る検出処理の模式図である。 検出装置の全体動作を示すフローチャートである。 情報設定処理を示すフローチャートである。 ピラミッド画像作成処理を示すフローチャートである。 探索窓決定処理を示すフローチャートである。 マッチング処理を示すフローチャートである。 情報設定処理を模式的に示した図である。 ピラミッド画像作成処理における基準画像作成を示す図である。 ピラミッド画像作成処理における縮小画像作成を示す図である。 ピラミッド画像の完成図である。 ピラミッド画像における画像種別を示す図である。 ピラミッド画像における各画像間の縮小倍率を示す図である。 最小の大きさの顔を検出する場合の検出用情報とピラミッド画像との対応関係を示す図である。 検出する各大きさに対応するピラミッド画像中の注目階層を示す図である。 ピラミッド画像において各注目階層が検出に使用する階層を示した図である。 注目階層を第１階層とした際の検出処理手順を示す図である。 探索窓のシフト処理を示す図である。 低解像度画像におけるシフトの様子と高解像度画像におけるシフトの様子とを一次元で示す図である。 高解像度画像におけるシフトの様子を二次元で示す図である。

符号の説明

１ 検出装置
３ 記憶部
３ａ ハードディスクドライブ（ＨＤＤ）
３ｂ ＲＡＭ
５ 表示部
６ 入力部
６ａ キーボード
６ｂ マウス
１１ 情報設定部
１２ ピラミッド画像作成部
１３ 探索窓決定部
１４ マッチング処理部

Claims (18)

1. 対象画像中に存在する物体を検出する検出装置であって、
   前記対象画像中における複数の大きさの物体を検出するために用いる第１の画像群であって、前記対象画像に対する倍率が互いに異なる複数の画像を有する第１の画像群と、前記対象画像中における前記複数の大きさの物体をそれぞれ高速に検出するために用いる第２の画像群であって、前記第１の画像群における前記複数の画像がそれぞれ所定倍率で縮小された状態に相当する複数の画像を有する第２の画像群とを含む階層画像群を作成する階層画像群作成手段と、
   前記階層画像群を用いて前記物体を検出する物体検出手段と、
   を備え、
   前記第１の画像群と前記第２の画像群とは、各画像群の一部の画像についての前記対象画像に対する倍率が互いに同一となるように、当該一部の画像が共通化された状態で作成されることを特徴とする検出装置。
2. 請求項１に記載の検出装置において、
   前記階層画像群作成手段は、前記対象画像に対する倍率が互いに異なる複数の基準画像を作成するとともに当該複数の基準画像のそれぞれをさらに所定倍率で縮小した複数の縮小画像を作成することによって、前記複数の基準画像と前記複数の縮小画像とを含む前記階層画像群を作成し、
   前記複数の縮小画像の一部は、前記第１の画像群と前記第２の画像群との両方に属する画像として共通化されて作成されることを特徴とする検出装置。
3. 請求項２に記載の検出装置において、
   前記階層画像群作成手段は、
   第１の縮小率αと第２の縮小率βとを、β＝α^N（Ｎは２以上の整数）の関係を満たすように決定する決定手段と、
   前記対象画像に基づいて第１の基準画像を作成するとともに当該第１の基準画像を前記第１の縮小率αの画像間縮小率で順次縮小して（Ｎ−１）個の中間階層の基準画像を作成することによって、前記第１の基準画像と前記（Ｎ−１）個の中間階層の基準画像とを含む前記複数の基準画像を作成する手段と、
   前記複数の基準画像のそれぞれをさらに前記第２の縮小率βで縮小することによって複数の縮小画像を作成する手段と、
   を有することを特徴とする検出装置。
4. 請求項３に記載の検出装置において、
   前記階層画像群作成手段は、
   前記複数の縮小画像のうちの１つの画像または複数の画像のそれぞれを、さらに前記第２の縮小率βで縮小することによって、少なくとも１つの再縮小画像を作成する手段、
   をさらに有することを特徴とする検出装置。
5. 請求項３または請求項４に記載の検出装置において、
   前記第２の縮小率βは、１／Ｋ（Ｋは２以上の整数）であることを特徴とする検出装置。
6. 請求項１ないし請求項５のいずれかに記載の検出装置において、
   前記物体検出手段は、
   前記第１の画像群の中から選択した注目画像とテンプレートとを用いた比較処理によって、当該注目画像で検出対象となる大きさの物体を検出する動作を繰り返すことによって前記複数の大きさの物体を検出し、
   前記注目画像に対応する大きさの物体を検出する動作においては、前記注目画像と前記注目画像を前記所定倍率で縮小した画像であって前記第２の画像群の一画像とのうち低解像度の画像から順に用いて、物体の検出を行うことによって前記注目画像での検出対象となる大きさの物体を効率的に検出することを特徴とする検出装置。
7. 対象画像中に存在する物体を検出する検出方法であって、
   前記対象画像中における複数の大きさの物体を検出するために用いる第１の画像群であって、前記対象画像に対する倍率が互いに異なる複数の画像を有する第１の画像群と、前記対象画像中における前記複数の大きさの物体をそれぞれ高速に検出するために用いる第２の画像群であって、前記第１の画像群における前記複数の画像がそれぞれ所定倍率で縮小された状態に相当する複数の画像を有する第２の画像群とを含む階層画像群を作成する階層画像群作成工程と、
   前記階層画像群を用いて前記物体を検出する物体検出工程と、
   を含み、
   前記第１の画像群と前記第２の画像群とは、各画像群の一部の画像についての前記対象画像に対する倍率が互いに同一となるように、当該一部の画像が共通化された状態で作成されることを特徴とする検出方法。
8. 請求項７に記載の検出方法において、
   前記階層画像群作成工程は、前記対象画像に対する倍率が互いに異なる複数の基準画像を作成するとともに当該複数の基準画像のそれぞれをさらに所定倍率で縮小した複数の縮小画像を作成することによって、前記複数の基準画像と前記複数の縮小画像とを含む前記階層画像群を作成し、
   前記複数の縮小画像の一部は、前記第１の画像群と前記第２の画像群との両方に属する画像として共通化されて作成されることを特徴とする検出方法。
9. 請求項８に記載の検出方法において、
   前記階層画像群作成工程は、
   第１の縮小率αと第２の縮小率βとを、β＝α^N（Ｎは２以上の整数）の関係を満たすように決定する決定工程と、
   前記対象画像に基づいて第１の基準画像を作成するとともに当該第１の基準画像を前記第１の縮小率αの画像間縮小率で順次縮小して（Ｎ−１）個の中間階層の基準画像を作成することによって、前記第１の基準画像と前記（Ｎ−１）個の中間階層の基準画像とを含む前記複数の基準画像を作成する工程と、
   前記複数の基準画像のそれぞれをさらに前記第２の縮小率βで縮小することによって複数の縮小画像を作成する工程と、
   を備えることを特徴とする検出方法。
10. 請求項９に記載の検出方法において、
    前記階層画像群作成工程は、
    前記複数の縮小画像のうちの１つの画像または複数の画像のそれぞれを、さらに前記第２の縮小率βで縮小することによって、少なくとも１つの再縮小画像を作成する工程、
    をさらに有することを特徴とする検出方法。
11. 請求項９または請求項１０に記載の検出方法において、
    前記第２の縮小率βは、１／Ｋ（Ｋは２以上の整数）であることを特徴とする検出方法。
12. 請求項７ないし請求項１１のいずれかに記載の検出方法において、
    前記物体検出工程は、
    前記第１の画像群の中から選択した注目画像とテンプレートとを用いた比較処理によって、当該注目画像で検出対象となる大きさの物体を検出する動作を繰り返すことによって前記複数の大きさの物体を検出し、
    前記注目画像に対応する大きさの物体を検出する動作においては、前記注目画像と前記注目画像を前記所定倍率で縮小した画像であって前記第２の画像群の一画像とのうち低解像度の画像から順に用いて、物体の検出を行うことによって前記注目画像での検出対象となる大きさの物体を効率的に検出することを特徴とする検出方法。
13. コンピュータに、
    対象画像中における複数の大きさの物体を検出するために用いる第１の画像群であって、前記対象画像に対する倍率が互いに異なる複数の画像を有する第１の画像群と、前記対象画像中における前記複数の大きさの物体をそれぞれ高速に検出するために用いる第２の画像群であって、前記第１の画像群における前記複数の画像がそれぞれ所定倍率で縮小された状態に相当する複数の画像を有する第２の画像群とを含む階層画像群を作成する階層画像群作成工程と、
    前記階層画像群を用いて前記物体を検出する物体検出工程と、
    を実行させることによって、前記対象画像中に存在する物体を検出するプログラムであって、
    前記第１の画像群と前記第２の画像群とは、各画像群の一部の画像についての前記対象画像に対する倍率が互いに同一となるように、当該一部の画像が共通化された状態で作成されることを特徴とするプログラム。
14. 請求項１３に記載のプログラムにおいて、
    前記階層画像群作成工程は、前記対象画像に対する倍率が互いに異なる複数の基準画像を作成するとともに当該複数の基準画像のそれぞれをさらに所定倍率で縮小した複数の縮小画像を作成することによって、前記複数の基準画像と前記複数の縮小画像とを含む前記階層画像群を作成し、
    前記複数の縮小画像の一部は、前記第１の画像群と前記第２の画像群との両方に属する画像として共通化されて作成されることを特徴とするプログラム。
15. 請求項１４に記載のプログラムにおいて、
    前記階層画像群作成工程は、
    前記コンピュータに、
    第１の縮小率αと第２の縮小率βとを、β＝α^N（Ｎは２以上の整数）の関係を満たすように決定する決定工程と、
    前記対象画像に基づいて第１の基準画像を作成するとともに当該第１の基準画像を前記第１の縮小率αの画像間縮小率で順次縮小して（Ｎ−１）個の中間階層の基準画像を作成することによって、前記第１の基準画像と前記（Ｎ−１）個の中間階層の基準画像とを含む前記複数の基準画像を作成する工程と、
    前記複数の基準画像のそれぞれをさらに前記第２の縮小率βで縮小することによって複数の縮小画像を作成する工程と、
    を実行させることを特徴とするプログラム。
16. 請求項１５に記載のプログラムにおいて、
    前記階層画像群作成工程は、
    前記コンピュータに、
    前記複数の縮小画像のうちの１つの画像または複数の画像のそれぞれを、さらに前記第２の縮小率βで縮小することによって、少なくとも１つの再縮小画像を作成する工程、
    をさらに実行させることを特徴とするプログラム。
17. 請求項１５または請求項１６に記載のプログラムにおいて、
    前記第２の縮小率βは、１／Ｋ（Ｋは２以上の整数）であることを特徴とするプログラム。
18. 請求項１３ないし請求項１７のいずれかに記載のプログラムにおいて、
    前記物体検出工程は、
    前記コンピュータに、
    前記第１の画像群の中から選択した注目画像とテンプレートとを用いた比較処理によって、当該注目画像に対応する大きさの物体を検出する動作を繰り返すことによって前記複数の大きさの物体を検出し、
    前記注目画像で検出対象となる大きさの物体を検出する動作においては、前記注目画像と前記注目画像を前記所定倍率で縮小した画像であって前記第２の画像群の一画像とのうち低解像度の画像から順に用いて、物体の検出を行うことによって前記注目画像での検出対象となる大きさの物体を効率的に検出することを特徴とするプログラム。
    

Images