JP5041229B2 - 学習装置および方法、認識装置および方法、並びにプログラム - Google Patents

Description

本発明は学習装置および方法、認識装置および方法、並びにプログラムに関し、特に、画像からより確実に対象物体を検出できるようにした学習装置および方法、認識装置および方法、並びにプログラムに関する。

従来、画像から人を検出する技術は、主にセキュリティや車載用途のために研究開発されてきた（例えば、非特許文献１乃至６参照）。

非特許文献２乃至非特許文献６においては、画像から人を検出（認識）するための主な特徴量として、エッジ抽出により得られる輪郭特徴量が用いられている。より詳細には、これらの技術においては、エッジ抽出で得られた輪郭特徴量の様々な変化形が新たな特徴量として定義されて、人の認識が行われる。

例えば、非特許文献３では、エッジのある小領域内の方向のヒストグラムをとることで特徴量が得られ、この特徴量を用いることで多少の輪郭の歪みなどに強くなるという利点がある。また、非特許文献５では、エッジの小領域の教師画像を用いた学習と、教師画像を用いて、エッジの小領域を階層的に学習したモデルが提案されている。

さらに、非特許文献２では、Gaussian Derivativesを用いた輪郭特徴量により、人の体の各パーツが表現されている。さらに、また、非特許文献６では、エッジのグローバルテンプレートが用いられて人の認識が行われている。

Papageorgiou, C., M. Oren, and T. Poggio. 「A General Framework for Object Detection」 Proceedings of the Sixth International Conference on Computer Vision (ICCV'98), Bombay, India, 555-562, January 1998 K. Mikolajczyk, C. Schmid, and A. Zisserman「Human detection based on a probabilistic assembly of robust part detectors」Proc. ECCV, 1:69.81, 2004 Navneet Dalal and Bill Triggs「Histograms of Oriented Gradients for Human Detection」CVPR2005 B. Wu and R. Nevatia「Detection of multiple, partially occluded humans in a single image by bayesian combination of edgelet part detectors」In Proc. 10th Int. Conf. Computer Vision, 2005 Payam Sabzmeydani and Greg Mori「Detecting Pedestrians by Learning Shapelet Features」CVPR2007 S.Munder and D.Gavrilla「An Experimental Study on Pedestrian Classification」

しかしながら、上述した技術では、輪郭により画像中の人を認識しようとすると、画像から輪郭がうまく抽出できない場合や、背景周辺に輪郭が多数抽出される場合に、人の不検出または誤検出が生じるという欠点があった。

本発明は、このような状況に鑑みてなされたものであり、画像からより確実に対象物体を検出することができるようにするものである。

本発明の第１の側面の学習装置は、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの第１の特徴量を計算する第１の特徴量計算手段と、複数の前記第１の特徴量を用いた統計学習により、画像から前記対象物体を検出する第１の識別器を生成する第１の識別器生成手段とを備える。

学習装置には、前記複数の学習画像のそれぞれについて、前記学習画像に対するフィルタ処理を行なうことで前記学習画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段と、複数の前記第２の特徴量を用いた統計学習により、前記画像から前記対象物体を検出する第２の識別器を生成する第２の識別器生成手段と、前記第１の識別器と、前記第２の識別器とを統合して、前記画像から前記対象物体を検出する第３の識別器を生成する第３の識別器生成手段とをさらに設けることができる。

前記第３の識別器生成手段には、前記第１の識別器と前記第２の識別器とを線形結合することにより前記第３の識別器を生成させることができる。

学習装置には、前記複数の学習画像のそれぞれについて、前記学習画像に対するフィルタ処理を行なうことで前記学習画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに設け、前記第１の識別器生成手段には、複数の前記第１の特徴量、および複数の前記第２の特徴量を用いた統計学習により、前記第１の識別器を生成させることができる。

本発明の第１の側面の学習方法またはプログラムは、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの特徴量を計算する特徴量計算ステップと、複数の前記特徴量を用いた統計学習により、画像から前記対象物体を検出する識別器を生成する識別器生成ステップとを含む。

本発明の第１の側面においては、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とが画素のペアとされて、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離が計算されることで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの第１の特徴量が計算され、複数の前記第１の特徴量を用いた統計学習により、画像から前記対象物体を検出する第１の識別器が生成される。

本発明の第２の側面の認識装置は、入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの第１の特徴量を計算する第１の特徴量計算手段と、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第１の特徴量を用いた統計学習により生成された第１の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量に基づいて、前記入力画像から前記対象物体を検出する検出手段とを備える。

認識装置には、前記入力画像に対するフィルタ処理を行なうことで前記入力画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに設け、前記検出手段には、前記対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第２の特徴量を用いた統計学習により生成された第２の識別器と前記第１の識別器とが統合された第３の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量、および前記第２の特徴量計算手段により計算された前記第２の特徴量に基づいて、前記入力画像から前記対象物体を検出させることができる。

認識装置には、前記入力画像に対するフィルタ処理を行なうことで前記入力画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに設け、前記検出手段には、前記対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第２の特徴量と、前記複数の第１の特徴量とを用いた統計学習により生成された前記第１の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量、および前記第２の特徴量計算手段により計算された前記第２の特徴量に基づいて、前記入力画像から前記対象物体を検出させることができる。

本発明の第２の側面の認識方法またはプログラムは、入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの特徴量を計算する特徴量計算ステップと、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記特徴量を用いた統計学習により生成された識別器を用い、前記特徴量計算ステップにおいて計算された前記特徴量に基づいて、前記入力画像から前記対象物体を検出する検出ステップとを含む。

本発明の第２の側面においては、入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離が計算されることで、予め定められた複数の前記ペアの第１の特徴量が計算され、認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第１の特徴量を用いた統計学習により生成された第１の識別器が用いられて、計算された前記第１の特徴量に基づいて、前記入力画像から前記対象物体が検出される。

本発明の第１の側面によれば、画像からより確実に対象物体を検出することができる識別器を提供することができる。

また、本発明の第２の側面によれば、画像からより確実に対象物体を検出することができる。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用した人識別システムの一実施の形態の構成例を示すブロック図である。この人識別システムは、学習装置１１、識別器記録部１２、および認識装置１３からなり、入力された画像における、対象物体として人間の画像のある領域を認識させるものである。

学習装置１１は、入力された学習画像に基づいて、認識装置１３において画像上における対象物体の有無を識別する処理を行うときに用いられる、識別用特徴量および統合識別器を生成し、識別器記録部１２に記録させる。認識装置１３は、識別器記録部１２に記録されている識別用特徴および統合識別器を用いて、入力された入力画像に対象物体である人の画像が存在するか否かを識別し、その識別結果を出力する。

学習装置１１は、服装特徴点抽出部２１、服装特徴量計算部２２、服装識別器生成部２３、輪郭特徴点抽出部２４、輪郭特徴量計算部２５、輪郭識別器生成部２６、および統合識別器生成部２７から構成される。

服装特徴点抽出部２１は、入力された学習画像から、その学習画像の画素のいくつかを服装識別器を生成するときに用いられる服装特徴点として抽出し、抽出した服装特徴点と学習画像とを服装特徴量計算部２２に供給する。ここで、服装識別器とは、統計学習により生成された、複数の弱識別器からなる強い識別器であり、人の服装の特徴を利用して、入力された画像中に人の画像の領域が存在するか否かを識別するときに用いられる。

服装特徴量計算部２２は、服装特徴点抽出部２１からの各服装特徴点について、その服装特徴点と、他の服装特徴点とを１つのペアとするペアリングを行う。また、服装特徴量計算部２２は、服装特徴点抽出部２１からの学習画像に基づいて、服装特徴点のペアごとに、任意の２つの領域のテクスチャの距離を示す服装特徴量を計算し、求められた服装特徴量と学習画像とを服装識別器生成部２３に供給する。

服装識別器生成部２３は、服装特徴量計算部２２から供給された学習画像および服装特徴量に基づいて、例えばAdaboostによる統計学習処理を行い、対象物体である人を認識する服装識別器を生成する。また、服装識別器生成部２３は、生成した服装識別器を統合識別器生成部２７に供給する。

輪郭特徴点抽出部２４は、入力された学習画像から、その学習画像の画素のいくつかを輪郭識別器を生成するときに用いられる輪郭特徴点として抽出し、抽出した輪郭特徴点と学習画像とを輪郭特徴量計算部２５に供給する。ここで、輪郭識別器とは、統計学習により生成された、複数の弱識別器からなる強い識別器であり、人の輪郭を利用して、入力された画像中に人の画像の領域が存在するか否かを識別するときに用いられる。

輪郭特徴量計算部２５は、輪郭特徴点抽出部２４からの学習画像に基づいて、例えばステアラブルフィルタ（Steerable Filter）を用いたフィルタ処理により、輪郭特徴点ごとに、抽出された輪郭を示す輪郭特徴量を計算し、求められた輪郭特徴量と学習画像とを輪郭識別器生成部２６に供給する。輪郭識別器生成部２６は、輪郭特徴量計算部２５から供給された学習画像および輪郭特徴量に基づいて、例えばAdaboostによる統計学習処理を行い、対象物体である人を認識する輪郭識別器を生成する。また、輪郭識別器生成部２６は、生成した輪郭識別器を統合識別器生成部２７に供給する。

統合識別器生成部２７は、服装識別器生成部２３からの服装識別器と、輪郭識別器生成部２６からの輪郭識別器とを統合して統合識別器を生成し、生成した統合識別器を識別器記録部１２に供給して記録させる。また、統合識別器生成部２７は、統合識別器を用いて対象物体の認識を行うときに用いられる服装特徴点のペアの服装特徴量、および輪郭特徴点の輪郭特徴量を、識別用特徴量として識別器記録部１２に供給し、記録させる。

また、認識装置１３は、服装特徴点抽出部３１、服装特徴量計算部３２、輪郭特徴点抽出部３３、輪郭特徴量計算部３４、識別計算部３５、および識別結果出力部３６から構成される。なお、認識装置１３の服装特徴点抽出部３１乃至輪郭特徴量計算部３４のそれぞれは、対象物体を認識しようとする入力画像に対して、学習装置１１の服装特徴点抽出部２１、服装特徴量計算部２２、輪郭特徴点抽出部２４、および輪郭特徴量計算部２５のそれぞれと同様の処理を行うものであるので、その説明は省略する。

識別計算部３５は、識別器記録部１２に記録されている識別用特徴量および統合識別器を読み出す。また、識別計算部３５は、服装特徴量計算部３２からの服装特徴量、および輪郭特徴量計算部３４からの輪郭特徴量のうちの識別用特徴量に対応するものを、読み出した統合識別器に代入して演算を行う。識別結果出力部３６は、識別計算部３５における演算結果を取得し、その演算結果に基づいて、対象物体が入力画像で認識されたか否かの識別結果を出力する。

次に、図２を参照して、図１の輪郭特徴量計算部２５のより詳細な構成例について説明する。輪郭特徴量計算部２５は、１次フィルタ処理部６１、２次フィルタ処理部６２、３次フィルタ処理部６３、および特徴量生成部６４から構成される。また、輪郭特徴点抽出部２４からの学習画像は、１次フィルタ処理部６１乃至特徴量生成部６４に供給され、輪郭特徴点は、１次フィルタ処理部６１乃至３次フィルタ処理部６３に供給される。

１次フィルタ処理部６１は、供給された輪郭特徴点ごとに、輪郭特徴点に対してガウス関数Ｇの１次微分関数Ｇ₁によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。ここで、ガウス関数Ｇ、および１次微分関数Ｇ₁は、次式（１）および式（２）により示される。

なお、式（１）において、σはガウス幅を示しており、また式（２）において、θは任意の角度、つまり計算したいフィルタの方向を示している。

例えば、１次フィルタ処理部６１は、ガウス関数Ｇのガウス幅σを３つの所定値（例えば、ガウス幅σ１，σ２，σ３＝１，２，４）に変化させ、ガウス幅σごとに所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について式（２）を計算する。なお、方向θは４方向に限らず、８方向、例えばｐｉを８方向に等分したときの各方向などとしてもよい。

２次フィルタ処理部６２は、供給された輪郭特徴点ごとに、輪郭特徴点に対してガウス関数Ｇの２次微分関数Ｇ₂によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。次式（３）は、２次微分関数Ｇ₂を示しており、式（３）においてθは任意の角度を示している。

また、式（３）における係数ｋ_2i（θ）（但し、ｉ＝１，２，３）は、次式（４）で示される関数である。

例えば、２次フィルタ処理部６２は、ガウス関数Ｇのガウス幅σを３つの所定値（例えば、ガウス幅σ１，σ２，σ３＝１，２，４）に変化させ、ガウス幅σごとに所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について式（３）を計算する。

３次フィルタ処理部６３は、供給された輪郭特徴点ごとに、輪郭特徴点に対してガウス関数Ｇの３次微分関数Ｇ₃によりフィルタ処理を施して特徴量を抽出し、特徴量生成部６４に供給する。次式（５）は、３次微分関数Ｇ₃を示しており、式（５）においてθは任意の角度を示している。

また、式（５）における係数ｋ_3i（θ）（但し、ｉ＝１，２，３）は、次式（６）で示される関数である。

例えば、３次フィルタ処理部６３は、ガウス関数Ｇのガウス幅σを３つの所定値（例えば、ガウス幅σ１，σ２，σ３＝１，２，４）に変化させ、ガウス幅σごとに所定の４方向（例えば、θ＝θ１，θ２，θ３，θ４）について、式（５）を計算する。

特徴量生成部６４は、１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３のそれぞれから供給された、３種類のガウス幅σごとに、４つの方向θについて計算された各輪郭特徴点の特徴量の供給を受け、供給された合計３６個（＝３（次数）×４（方向）×３（ガウス幅））の特徴量を並べて輪郭特徴点における輪郭特徴量とする。また、特徴量生成部６４は、生成した輪郭特徴量と、供給された学習画像とを輪郭識別器生成部２６に供給する。

このように、輪郭特徴量計算部２５では、ガウス関数を微分して得られる、方向および周波数、つまり方向θおよびガウス幅σに選択性を持つフィルタ（基底関数）が用いられて、微分の次数ごとに異なる特徴量（輪郭）が抽出され、輪郭特徴量とされている。

輪郭特徴量の抽出にステアラブルフィルタを用いる場合、図３に示すように、方向θおよびガウス幅σの異なるフィルタを用意すれば、それらのフィルタの線形結合により、任意の方向θのフィルタ、つまりガウス関数Ｇの微分関数Ｇ_n（但し、ｎ＝１，２，３）を表現することができる。

図３において、図中、左側の一番上の列の画像は、図中、左から順番にガウス幅σ＝２である場合における１次微分関数Ｇ₁（０°）および１次微分関数Ｇ₁（９０°）を表している。また、図中、左側の真ん中の列の画像は、図中、左から順番にガウス幅σ＝２である場合における２次微分関数Ｇ₂（０°）、２次微分関数Ｇ₂（６０°）、２次微分関数Ｇ₂（１２０°）、およびラプラシアンを表している。さらに、図中、左側の一番下の列の画像は、図中、左から順番にガウス幅σ＝２である場合における３次微分関数Ｇ₃（０°）、３次微分関数Ｇ₃（４５°）、３次微分関数Ｇ₃（９０°）、および３次微分関数Ｇ₃（１３５°）を表している。

また、図中、右側の横方向の列のうちの一番上の列の画像は、図中、左側から順番に、ガウス幅σ＝１である場合における１次微分関数Ｇ₁（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとしたものを表している。

同様に、図中、右側の横方向の各列の画像は、図中、上から二番目から下方向に順番に、ガウス幅σ＝２である場合における１次微分関数Ｇ₁（θ）、ガウス幅σ＝４である場合における１次微分関数Ｇ₁（θ）、ガウス幅σ＝１である場合における２次微分関数Ｇ₂（θ）、ガウス幅σ＝２である場合における２次微分関数Ｇ₂（θ）、ガウス幅σ＝４である場合における２次微分関数Ｇ₂（θ）、ガウス幅σ＝１である場合における３次微分関数Ｇ₃（θ）、ガウス幅σ＝２である場合における３次微分関数Ｇ₃（θ）、およびガウス幅σ＝４である場合における３次微分関数Ｇ₃（θ）を示している。そして、それらの各列の画像は、図中、左側から順番に微分関数の方向θを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとしたものを表している。

例えば、図中、左側のフィルタである１次微分関数Ｇ₁（０°）および１次微分関数Ｇ₁（９０°）を用いることで、図中、右側の上から二番目の列の各方向θにおける１次微分関数Ｇ₁（θ）を表すことができる。同様に、図中、左側の２次微分関数Ｇ₂を用いて、図中、右側の上から５番目の列に示す各方向θにおける２次微分関数Ｇ₂（θ）を表すことができ、図中、左側の３次微分関数Ｇ₃を用いて、図中、右側の上から８番目の列に示す各方向θにおける３次微分関数Ｇ₃（θ）を表すことができる。つまり、各次元の任意の方向の微分関数は、その次元より１だけ多い数の基底関数があれば、それらの基底関数の線形結合により表現することができる。

また、図４乃至図６に、ガウス幅σを変えて、ガウス関数Ｇの微分関数により、人が写っている画像に対してフィルタ処理を行うことで得られた結果を示す。なお、図４乃至図６のそれぞれにおいて、図中、左側にはフィルタ処理の対象となる画像が示されている。

図４の右側において、一番上側の横方向の画像の列は、左側から順番に、ガウス幅σ＝１とし、１次微分関数Ｇ₁（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果のそれぞれを示している。

同様に、図４の右側において、真ん中の横方向の画像の列は、左側から順番に、ガウス幅σ＝１とし、２次微分関数Ｇ₂（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合、およびラプラシアンを用いた場合におけるフィルタ処理の結果を示している。図中、一番下の横方向の画像の列は、左側から順番に、ガウス幅σ＝１とし、３次微分関数Ｇ₃（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。

また、図５は、ガウス幅σを２としたときのフィルタ処理の結果を示している。つまり、図５の右側において、一番上側の横方向の画像の列は、左側から順番に、ガウス幅σ＝２とし、１次微分関数Ｇ₁（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。

同様に、図５の右側において、真ん中の横方向の画像の列は、左側から順番に、ガウス幅σ＝２とし、２次微分関数Ｇ₂（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合、およびラプラシアンを用いた場合におけるフィルタ処理の結果を示している、また、図中、一番下の横方向の画像の列は、左側から順番に、ガウス幅σ＝２とし、３次微分関数Ｇ₃（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。

さらに、図６は、ガウス幅σを４としたときのフィルタ処理の結果を示している。つまり、図６の右側において、一番上側の横方向の画像の列は、左側から順番に、ガウス幅σ＝４とし、１次微分関数Ｇ₁（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。

同様に、図６の右側において、真ん中の横方向の画像の列は、左側から順番に、ガウス幅σ＝４とし、２次微分関数Ｇ₂（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合、およびラプラシアンを用いた場合におけるフィルタ処理の結果を示している。また、図中、一番下の横方向の画像の列は、左側から順番に、ガウス幅σ＝４とし、３次微分関数Ｇ₃（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果を示している。

また、図４乃至図６に示した各フィルタでのフィルタ処理を、複数の異なる画像に対して行い、それらの結果を平均して得られる画像を図７乃至図９に示す。すなわち、図７乃至図９のそれぞれは、ガウス幅σを１，２，４とした場合における、フィルタ処理の結果の平均を示しており、図７乃至図９のそれぞれにおいて、図中、左側にはフィルタ処理の対象となった画像を平均して得られる画像が示されている。

したがって、図７乃至図９の図中、右側の横方向に並んだ画像の各列は、それらの列と同じ位置にある図４乃至図６の図中、右側の各列と同様のフィルタ処理を、複数の画像に対して行った結果を平均したものを示している。例えば、図７の右側において、一番上側の画像の列は、左側から順番に、ガウス幅σ＝１とし、１次微分関数Ｇ₁（θ）のθを０，１／８ｐｉ，２／８ｐｉ，３／８ｐｉ，４／８ｐｉ，５／８ｐｉ，６／８ｐｉ，７／８ｐｉとした場合におけるフィルタ処理の結果の平均を示している。

図７乃至図９において、各フィルタ処理の結果の平均の画像からは、人の輪郭を確認することができ、各フィルタを用いたフィルタ処理によって、画像から適切に人の輪郭が抽出されていることが分かる。

次に、図１０は、図１の服装識別器生成部２３のより詳細な構成例を示すブロック図である。服装識別器生成部２３は、サンプリング部１０１、重み設定部１０２、並び替え部１０３、識別器設定部１０４、識別器選択部１０５、および重み更新部１０６から構成される。

サンプリング部１０１は、重み設定部１０２により設定される学習画像単位の重みに応じて、服装特徴点のペアごとに、複数の学習画像のそれぞれの同じ位置の服装特徴点のペアの服装特徴量から、Ｍ個の服装特徴量をサンプリングして並び替え部１０３に供給する。

並び替え部１０３は、各服装特徴点のペアについて、サンプリングされたＭ個の服装特徴量を昇べきの順、または降べきの順に並び替えて識別器設定部１０４に供給する。

識別器設定部１０４は、服装特徴量が抽出された学習画像に認識しようとする対象物体が含まれているか否かを示す正誤情報に基づいて、昇べきの順、または降べきの順に並び替えられた各ペアの服装特徴量のそれぞれについて、閾値を変化させながら誤り率計算部１０４ａを制御して、誤り率を計算させ、誤り率が最小となるように閾値を設定する（この閾値が、弱識別器として設定される）。さらに、識別器設定部１０４は、弱識別器ごとの誤り率を識別器選択部１０５に供給する。

なお、より詳細には、学習画像には、その学習画像に対象物体が含まれているか否かを示す正誤情報（ラベル）が付加されており、識別器設定部１０４は、服装特徴量計算部２２から供給された学習画像に付加されている正誤情報に基づいて、弱識別器の設定を行う。

識別器選択部１０５は、弱識別器のうち、誤り率が最小となる弱識別器を選択して、弱識別器からなる服装識別器を更新し、最終的な服装識別器および各弱識別器に対応する服装特徴量を統合識別器生成部２７に供給する。さらに、識別器選択部１０５は、選択した弱識別器の誤り率に基づいて信頼度を計算し、重み更新部１０６に供給する。

重み更新部１０６は、供給された信頼度に基づいて学習画像ごとの重みを再計算すると共に、重みを正規化して更新し、更新結果を重み設定部１０２に供給する。重み設定部１０２は、重み更新部１０６より供給されてくる重みの更新結果に基づいて、学習画像単位の重みを設定する。

なお、図１の輪郭特徴量計算部３４は、図２に示した輪郭特徴量計算部２５と同様の構成とされ、図１の輪郭識別器生成部２６は、図１０に示した服装識別器生成部２３と同様の構成とされるため、その図示および説明は省略する。

ところで、学習装置１１に学習画像が入力され、統合識別器の生成が指示されると、学習装置１１は、学習処理を開始して統計学習により統合識別器を生成する。以下、図１１のフローチャートを参照して、学習装置１１による学習処理について説明する。

ステップＳ１１において、服装特徴点抽出部２１は、入力された学習画像から服装特徴点を抽出して、抽出した服装特徴点および学習画像を服装特徴量計算部２２に供給する。

ステップＳ１２において、服装特徴量計算部２２は、服装特徴点抽出部２１から供給された服装特徴点と学習画像とに基づいて、各服装特徴点について、服装特徴点のペアリングを行う。

ステップＳ１３において、服装特徴量計算部２２は、ペアリングによりペアとされた服装特徴点の各ペアについて服装特徴量を計算し、これにより得られた服装特徴量を服装識別器生成部２３に供給する。

例えば、図１２に示す学習画像が服装特徴点抽出部２１に入力された場合、服装特徴点抽出部２１は、予め定められたマージン（のりしろ）と、サンプリングスキップ数とに基づいて、学習画像から服装特徴点を抽出する。なお、図１２において、学習画像上の円は、服装特徴点とされた画素を示している。

ここで、マージンとは、学習画像において、学習画像の端から服装特徴点の抽出の対象となる領域までの画素数をいう。また、サンプリングスキップ数とは、服装特徴点とされる学習画像上の画素と画素との間隔をいう。

したがって、例えばマージンが５画素であり、サンプリングスキップ数が５画素である場合、服装特徴点抽出部２１は、学習画像の端から５画素以内の位置にある画素からなる領域を学習画像から除外し、残りの領域Ｅ１１を服装特徴点の抽出の対象とする。そして、服装特徴点抽出部２１は、領域Ｅ１１内の画素のうち、互いに５画素だけ離れている位置の画素を服装特徴点として抽出する。つまり、図中、縦方向または横方向に互いに隣り合う服装特徴点間の距離は５画素とされ、各服装特徴点は、領域Ｅ１１内の画素とされる。

次に、服装特徴量計算部２２は、予め定められた最小半径および最大半径に基づいて、各服装特徴点のペアリングを行う。例えば、最小半径がＲ１１であり、最大半径がＲ１２である場合、所定の服装特徴点ＫＴ１に注目したとき、服装特徴量計算部２２は、服装特徴点ＫＴ１からの距離が、最小半径Ｒ１１以上であり、かつ最大半径Ｒ１２以内である全ての服装特徴点について、その服装特徴点と、服装特徴点ＫＴ１とを１つのペアとする。

したがって、例えば、服装特徴点ＫＴ１からの距離が、最小半径Ｒ１１以上であり、かつ最大半径Ｒ１２以内である服装特徴点がＮ個存在する場合、Ｎ個の服装特徴点のペアが得られることになる。服装特徴量計算部２２は、全ての服装特徴点について、他の服装特徴点とのペアリングを行う。

さらに、服装特徴量計算部２２は、ペアリングにより得られた服装特徴点の各ペアについて、ペアとなる各服装特徴点を中心とする所定の形の所定の大きさの領域同士のテクスチャの距離を服装特徴量として計算する。

例えば、図１２に示す服装特徴点ＫＴ１と服装特徴点ＫＴ２とのペアについての服装特徴量をSSD（Sum of Square Distance）により求める場合、服装特徴量計算部２２は、服装特徴点ＫＴ１を中心とする所定の領域を領域ＴＸ１とし、服装特徴点ＫＴ２を中心とする領域ＴＸ１と同じ大きさの領域を領域ＴＸ２とする。そして、服装特徴量計算部２２は、領域ＴＸ１内の画素の画素値と、その画素に対応する領域ＴＸ２内の画素の画素値との差分の絶対値和を求め、求められた差分の絶対値和を服装特徴量とする。

なお、服装特徴量は、SSDに限らず、SAD（Sum of Absolute Distance）や、正規化相関などとされてもよい。

このようにして、服装特徴量計算部２２は、学習画像から抽出された服装特徴点の各ペアについて、服装特徴量を求める。なお、より詳細には、学習装置１１には、対象物体が含まれているいくつかの学習画像と、対象物体が含まれていないいくつかの学習画像とからなる複数の学習画像が入力される。そして、入力された学習画像ごとに、服装特徴点の抽出および服装特徴量の計算が行われる。

したがって、例えばＭ個（但し、Ｍは自然数）の学習画像ＰＩ₁乃至学習画像ＰＩ_Mが学習装置１１に入力された場合には、図１３に示すように、Ｍ個の学習画像ＰＩ_i（但し、１≦ｉ≦Ｍ）について、服装特徴点のペアごとの服装特徴量が得られる。

図１３では、１つの四角形は、１つの服装特徴点のペアの服装特徴量を表している。また、図中、縦方向に並べられた四角形の列は、１つの学習画像ＰＩ_i（但し、１≦ｉ≦Ｍ）から得られた服装特徴量の列を表しており、１つの列には、その学習画像ＰＩ_iから得られた服装特徴点のペアの数だけ服装特徴量が並んでいる。つまり、１つの学習画像ＰＩ_iから得られた服装特徴点のペアの数が、その学習画像ＰＩ_iの服装特徴量の次元となる。

さらに、各学習画像ＰＩ_iの服装特徴量の列の図中、下側には、その学習画像ＰＩ_iに対象物体が含まれているか否かを示すラベル（正誤情報）が示されている。例えば、学習画像ＰＩ₁の服装特徴量の列の図中、下側に示されるラベル「＋１」は、学習画像ＰＩ₁に対象物体が含まれることを表しており、学習画像ＰＩ_Mの服装特徴量の列の図中、下側に示されるラベル「−１」は、学習画像ＰＩ_Mに対象物体が含まれていないことを表している。

図１１のフローチャートの説明に戻り、ステップＳ１３において、服装特徴量が求められると、ステップＳ１４において、服装識別器生成部２３は、服装識別器生成処理を行って、服装識別器を生成する。

ここで、図１４のフローチャートを参照して、ステップＳ１４の処理に対応する服装識別器生成処理について説明する。

ステップＳ５１において、重み設定部１０２は、例えば、図１３で示される学習画像ＰＩ_i（１≦ｉ≦Ｍ）毎の重みＷｉを全て１／Ｍに初期化し、識別器選択部１０５は、カウンタｊを１に、弱識別器の和からなる服装識別器Ｒ（ｘ）を０にそれぞれ初期化する。

ここで、ｉは、図１３における学習画像ＰＩ_iを識別するものであり、１≦ｉ≦Ｍである。ステップＳ５１の処理により、全ての学習画像ＰＩ_iの重みＷｉは、いずれも正規化された同一の重み（＝１／Ｍ）とされる。また、カウンタｊは、予め定められた、服装識別器Ｒ（ｘ）を更新する回数を示している。

ステップＳ５２において、サンプリング部１０１は、各服装特徴点のペアごとに、複数の学習画像ＰＩ_iのそれぞれの同じ位置の服装特徴点のペアの服装特徴量から、学習画像ＰＩ_iの重みＷｉに応じて、Ｍ個の服装特徴量を選択し、並び替え部１０３に供給する。

例えば、服装特徴量計算部２２からサンプリング部１０１に、図１５に示すように、Ｍ個の学習画像ＰＩ₁乃至学習画像ＰＩ_Mの服装特徴量が供給されたとする。図１５では、図中、横方向に学習画像ＰＩ_i（但し、１≦ｉ≦Ｍ）から得られた服装特徴量が並べられており、学習画像を表す文字ＰＩ_iの図中、左側の数字「＋１」または「−１」は、その学習画像ＰＩ_iに付加されたラベル（正誤情報）を示している。

すなわち、図中、一番上側に横方向に並んでいる（Ａ₁，Ａ₂，Ａ₃，・・・，Ａ_N）は、学習画像ＰＩ₁の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、学習画像ＰＩ₁を示す文字「ＰＩ₁」の図中、左側の文字「＋１」は、学習画像ＰＩ₁に対象物体が含まれている旨のラベルを表している。

同様に、図中、上から二番目の横方向に並んでいる（Ｂ₁，Ｂ₂，Ｂ₃，・・・，Ｂ_N）は、学習画像ＰＩ₂の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、学習画像ＰＩ₂を示す文字「ＰＩ₂」の図中、左側の文字「＋１」は、学習画像ＰＩ₂に対象物体が含まれている旨のラベルを表している。

また、図中、上から三番目の横方向に並んでいる（Ｃ₁，Ｃ₂，Ｃ₃，・・・，Ｃ_N）は、学習画像ＰＩ₃の服装特徴点の各ペアの服装特徴量のそれぞれを表しており、文字「ＰＩ₃」の図中、左側の文字「−１」は、学習画像ＰＩ₃に対象物体が含まれていない旨のラベルを表している。さらに、図中、上からＭ番目の横方向に並んでいる（Ｍ₁，Ｍ₂，Ｍ₃，・・・，Ｍ_N）は、学習画像ＰＩ_Mの服装特徴点の各ペアの服装特徴量のそれぞれを表しており、文字「ＰＩ_M」の図中、左側の文字「−１」は、学習画像ＰＩ_Mに対象物体が含まれていない旨のラベルを表している。

このように、図１５の例では、１つの学習画像ＰＩ_iからは、服装特徴点のＮ個のペアのそれぞれの服装特徴量が得られる。また、図１５では、縦方向に並んだＭ個の服装特徴量Ａ_k乃至服装特徴量Ｍ_k（但し、１≦ｋ≦Ｎ）が１つのグループＧｒ_kとされており、このグループＧｒ_kに属す服装特徴量は、各学習画像ＰＩ_iにおける同じ位置の服装特徴点のペアの服装特徴量とされている。

例えば、グループＧｒ₁は、縦方向に並んだ服装特徴量Ａ₁乃至服装特徴量Ｍ₁からなり、服装特徴量Ａ₁が求められる学習画像ＰＩ₁のペアとなる２つの服装特徴点と、グループＧｒ₁に属す他の服装特徴量、例えば服装特徴量Ｍ₁が求められる学習画像ＰＩ_Mのペアとなる２つの服装特徴点とは、学習画像上の同じ位置にある。なお、以下において、各学習画像ＰＩ_iにおける服装特徴点のペアであって、グループＧｒ_k（１≦ｋ≦Ｎ）に属す服装特徴量が求まめられるペアをペアｋと称する。

サンプリング部１０１に、図１５に示される学習画像ＰＩ_iごとの服装特徴量が供給された場合、サンプリング部１０１は、ペアｋごと、つまりグループＧｒ_kごとに、そのグループに属す服装特徴量から学習画像ＰＩ_iの重みＷｉに応じて、Ｍ個の服装特徴量を抽選で選択する。例えば、サンプリング部１０１は、重みＷｉに応じて、グループＧｒ₁に属す服装特徴量Ａ₁乃至服装特徴量Ｍ₁から、Ｍ個の服装特徴量を選択する。なお、最初の処理においては、いずれの重みＷｉも１／Ｍであり、等しいため、Ｍ個が抽選されると、確率的には全ての服装特徴量が選択されることになる。そのため、ここでは、最初の処理では各グループＧｒ_kにおいて、全ての服装特徴量が選択されたものとする。もちろん、実際には、同一の服装特徴量が重複して選択されることもある。

なお、重みＷｉは、服装特徴点のペアごとのエラー計算に用いることもできる。この場合、データ重み係数（重みＷｉ）がエラー値に掛け合わされてエラー計算が行われる。

ステップＳ５３において、並び替え部１０３は、Ｎ個のグループＧｒ_kのそれぞれについて、グループＧｒ_k、つまりペアｋごとに選択されたＭ個の服装特徴量を昇べきの順、または降べきの順に並び替えて、識別器設定部１０４に供給する。例えば、図１５のグループＧｒ₁に属す服装特徴量から選択された、Ｍ個の服装特徴量が順番に並び替えられる。

ステップＳ５４において、識別器設定部１０４は、服装特徴量計算部２２から供給された学習画像に付加されている正誤情報（ラベル）に基づいて、グループＧｒ_kごと、つまり服装特徴点のペアｋごとに、閾値を変化させながら誤り率計算部１０４ａを制御して、以下の式（７）で示すように誤り率ｅ_jkを計算させ、誤り率ｅ_jkが最小となるように閾値を設定する。

ここで、服装特徴点のペアｋごとの閾値ｔｈ_jkが、１個の弱識別器ｆ_jkとなる。識別器設定部１０４は、弱識別器ｆ_jkごとの誤り率ｅ_jkを識別器選択部１０５に供給する。すなわち、Ｎ個のペアｋのそれぞれに対して、Ｎ個の弱識別器ｆ_jkのそれぞれが設定され、Ｎ個の弱識別器ｆ_jkのそれぞれについて誤り率ｅ_jkが求められることになる。なお、弱識別器ｆ_jkは、認識しようとする対象物体を含む場合「＋１」を出力し、認識しようとする対象物体を含まない場合「−１」を出力する関数である。

例えば、図１６に示すように、ｊ＝１であって、服装特徴点のペアｋ＝１の服装特徴量がＬ₁，Ａ₁，Ｃ₁，Ｂ₁，・・・，Ｍ₁に昇べき、または、降べきの順に並べられた場合、閾値ｔｈ₁₁が服装特徴量Ａ₁とＣ₁の間に設定される。そして、閾値ｔｈ₁₁より小さい範囲では、認識しようとする対象物体がないと認識され（「−１」で示されている範囲）、閾値ｔｈ₁₁より大きい範囲では、認識しようとする対象物体があると認識される（「＋１」で示されている範囲）とき、図中の点線で囲まれた服装特徴量Ａ₁は、認識しようとする対象物体が含まれた学習画像の服装特徴量であるので、エラーであるとみなされる。また、服装特徴量Ｃ₁，Ｍ₁は、逆に、認識しようとする対象物体が含まれていない学習画像の服装特徴量であるので、エラーであるとみなされる。

図１６の例では、閾値ｔｈ₁₁は、誤り率ｅ_jkが最小となる位置に設定されている。例えば、図１６に示す閾値ｔｈ₁₁が、誤り率ｅ_jkの最小となる位置ではない場合には、識別器設定部１０４は、閾値ｔｈ₁₁の位置を変化させて、各位置における誤り率ｅ_jkを参照しながら、誤り率ｅ_jkが最小となる閾値ｔｈ₁₁の位置を探し出し、その位置を閾値ｔｈ₁₁の位置とする。

誤り率計算部１０４ａは、以下の式（７）で示されるように、学習画像の正誤情報（ラベル）に基づいて、エラーであるとみなされた服装特徴量が抽出された学習画像の重みＷｉを加算し、誤り率ｅ_jkを計算する。

ここで、ｙ≠ｆ_jkはエラーとなっている服装特徴点のペアｋの条件を示しており、Ｅ_wは、エラーの発生したペアｋにおける重みが加算されることを示している。

ステップＳ５５において、識別器選択部１０５は、識別器設定部１０４から供給されたペアｋごとのＮ個の誤り率ｅ_jkに基づいて、Ｎ個の弱識別器ｆ_jkのうち、誤り率ｅ_jkが最小となる弱識別器ｆ_jkを選択する。そして、識別器選択部１０５は、識別器設定部１０４から選択した弱識別器ｆ_jkを取得する。

ステップＳ５６において、識別器選択部１０５は、選択した弱識別器ｆ_jkの誤り率ｅ_jkに基づいて、以下の式（８）で示される信頼度ｃ_jを計算し、計算結果を重み更新部１０６に供給する。

なお、式（８）において、ｅ_jは、誤り率ｅ_jkのうち、選択された弱識別器ｆ_jkの誤り率ｅ_jk、つまりＮ個の誤り率ｅ_jkのうちの最小の誤り率ｅ_jkを示している。また、以下において、ステップＳ５５の処理において選択されたペアｋの弱識別器を、弱識別器ｆ_jとも称し、その弱識別器ｆ_jの誤り率ｅ_jkを誤り率ｅ_jとも称する。

ステップＳ５７において、重み更新部１０６は、供給された信頼度ｃ_jに基づいて、以下の式（９）を計算することで、学習画像ＰＩ_iごとに重みＷｉを再計算すると共に、全ての重みＷｉを正規化して更新し、更新結果を重み設定部１０２に供給する。重み設定部１０２は、重み更新部１０６より供給されてくる重みの更新結果に基づいて、学習画像ごとの重みを設定する。

すなわち、式（９）においては、エラーの発生した服装特徴量を含む学習画像の重みＷｉが大きくなることが示されている。

ステップＳ５８において、識別器選択部１０５は、新たに求められた弱識別器ｆ_jを用いて、保持している服装識別器Ｒ（ｘ）を更新する。すなわち、識別器選択部１０５は、次式（１０）を計算することで服装識別器Ｒ（ｘ）を更新する。

Ｒ（ｘ）＝Ｒ’（ｘ）＋ｃ_j×ｆ_j（ｘ） ・・・（１０）

なお、式（１０）において、Ｒ’（ｘ）は、識別器選択部１０５が保持している更新前の服装識別器を表しており、ｆ_j（ｘ）は、新たに求められた弱識別器ｆ_jを表している。すなわち、識別器選択部１０５は、保持している服装識別器に、信頼度ｃ_jが乗算されて重み付けされた、新たに求められた弱識別器を加算することで服装識別器を更新する。

ステップＳ５９において、識別器選択部１０５は、誤り率ｅ_jkが最小となる弱認識器ｆ_jkに対応する服装特徴点のペアｋの服装特徴量を、識別用特徴量として保持する。

ステップＳ６０において、識別器選択部１０５は、カウンタｊがＬ以上であるか否かを判定する。ステップＳ６０において、カウンタｊがＬ以上でないと判定された場合、ステップＳ６１において、識別器選択部１０５は、カウンタｊをインクリメントする。そして、その後、処理はステップＳ５２に戻り、上述した処理が繰り返される。

すなわち、新たに設定された学習画像ごとの重みＷｉが用いられて、Ｎ個のペアｋについて、新たな弱識別器ｆ_jkが設定され、それらの弱識別器ｆ_jkから誤り率ｅ_jkが最小となる弱認識器ｆ_jkが選択される。そして、選択された弱認識器ｆ_jkにより、服装識別器が更新される。

これに対して、ステップＳ６０において、カウンタｊがＬ以上であると判定された場合、ステップＳ６２において、識別器選択部１０５は、保持している服装識別器および識別用特徴を統合識別器生成部２７に出力する。そして、その後、処理は図１１のステップＳ１５に進む。

以上の処理により、Ｌ個の比較的誤り率の低い弱識別器ｆ_j（１≦ｊ≦Ｌ）からなる服装識別器が統合識別器生成部２７に供給されるとともに、それぞれの弱識別器ｆ_jで使用されるべき服装特徴点のペアｋの服装特徴量が統合識別器生成部２７に供給される。ここでＬは、Ｌ≦Ｎである。

なお、式（１０）の服装識別器を用いて、服装特徴量を代入した服装識別器が正である場合に「＋１」を出力し、服装識別器が負である場合に「−１」を出力する識別器（関数）を生成すると、その識別器は、Ｌ個の弱識別器の多数決により、認識しようとする対象物体の有無を出力する関数であると言える。また、図１４のフローチャートを参照して説明した弱識別器を学習処理により重み付けしつつ付加することを繰り返し、識別器を生成する学習処理は、Descrete Adaboost Algorithmと呼ばれている。

すなわち、以上の服装識別器生成処理により、誤り率の高い学習画像の服装特徴量の重みが順次大きくなり、誤り率の低い服装特徴量の重みが小さくなるように、服装特徴点のペアごとに弱識別器と誤り率が計算される処理が繰り返されることになる。したがって、繰り返し処理（ステップＳ５２乃至Ｓ６１の処理）の中で、弱識別器を設定する際に選択される服装特徴量（ステップＳ５２で選択される服装特徴量）は、徐々に誤り率の高いものが選択されやすくなるので、認識し難い服装特徴量が繰り返されるほどに選択されて学習が繰り返されることになるため、認識し難い学習画像の服装特徴量がより多く選択されることになり、最終的に高い認識率にすることが可能となる。

また、繰り返し処理（ステップＳ５２乃至Ｓ６１の処理）の中で、識別器選択部１０５は、常に誤り率の最も低いペアに対応する弱識別器を選択することになるので、学習処理の繰り返しにより、常に信頼度の最も高い服装特徴点のペアについての弱識別器が選択されて服装識別器に加算されることになり、繰り返されるごとに精度の高い弱識別器が順次加算されることになる。

さらに、服装識別器は、服装特徴量を用いて画像に対象物体としての人が含まれているか否かを識別する識別器である。そして、服装識別器を構成する各弱識別器に代入される服装特徴量に対応する服装特徴点のペアは、服装特徴点のペアのうち、入力された画像から対象物体を検出するのに適したペアである。

例えば、服装識別器に代入される服装特徴量に対応するペアは、図１７に示すように、画像中の対象物体としての人の周囲にある服装特徴点のペアとされている。図１７では、点線の直線は、ペアとなる２つの服装特徴点を結ぶ直線を表しており、その点線の端を中心とする四角形は、服装特徴量を求めるときに用いられるテクスチャの領域を表している。

図１７の例では、画像上の人が身に着けている、その人の上半身の洋服内にある２つの服装特徴点からなり、テクスチャ間の距離、つまり服装特徴量が小さくなるペアや、人の洋服内の服装特徴点と、人ではなく背景上の服装特徴点とからなり、服装特徴量が大きくなるペアなどが選択されていることが分かる。

図１１のフローチャートの説明に戻り、ステップＳ１５において、輪郭特徴点抽出部２４は、入力された学習画像から輪郭特徴点を抽出する。

例えば、輪郭特徴点抽出部２４に図１８Ａに示す学習画像が入力された場合、輪郭特徴点抽出部２４は、図１８Ｂに示すように、学習画像において所定の間隔で並んでいる画素を、輪郭特徴点として抽出する。なお、図１８Ｂにおいて、学習画像上の円は輪郭特徴点とされた画素を表している。

図１８Ａおよび図１８Ｂに示す学習画像は、図中、横方向に３２画素、縦方向に６４画素からなる学習画像であり、輪郭特徴点抽出部２４は、学習画像上の画素を、横方向および縦方向に２画素おきに輪郭特徴点とする画素として選択する。これにより、学習画像において、図中、横方向に１２画素、縦方向に２８画素、合計３３６（＝１２×２８）画素が輪郭特徴点として選択される。

輪郭特徴点抽出部２４は、学習画像から輪郭特徴点を抽出すると、抽出した輪郭特徴点と、入力された学習画像とを輪郭特徴量計算部２５に供給する。

ステップＳ１６において、輪郭特徴量計算部２５は、輪郭特徴量計算処理を行い、輪郭特徴点抽出部２４から供給された輪郭特徴点および学習画像に基づいて、各輪郭特徴点の輪郭特徴量を計算する。

ここで、図１９のフローチャートを参照して、ステップＳ１６の処理に対応する輪郭特徴量計算処理について説明する。

ステップＳ１０１において、輪郭特徴量計算部２５、より詳細には、輪郭特徴量計算部２５の１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３は、それぞれ輪郭特徴点抽出部２４から供給されてきた輪郭特徴点のうち、未処理の輪郭特徴点の１つを注目画素として選択する。

ステップＳ１０２において、輪郭特徴量計算部２５は、方向θｑを示すカウンタｑを１とする。これにより、方向θｑはθ１とされる。

ステップＳ１０３において、輪郭特徴量計算部２５は、ガウス幅σｐを示すカウンタｐを１とする。これにより、ガウス幅σｐはσ１とされる。

ステップＳ１０４において、１次フィルタ処理部６１は、１次フィルタ処理を行う。すなわち、１次フィルタ処理部６１は、処理対象となる注目画素の画素値に基づいて、ガウス幅をσｐとし、かつ方向をθｑとして式（２）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。つまり、式（２）における方向θがθｑとされて演算が行われ、輪郭が抽出される。

ステップＳ１０５において、２次フィルタ処理部６２は、２次フィルタ処理を行う。すなわち、２次フィルタ処理部６２は、注目画素の画素値に基づいて、ガウス幅をσｐとし、かつ方向をθｑとして式（３）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。つまり、式（３）における方向θがθｑとされて演算が行われ、輪郭が抽出される。

ステップＳ１０６において、３次フィルタ処理部６３は、３次フィルタ処理を行う。すなわち、３次フィルタ処理部６３は、注目画素の画素値に基づいて、ガウス幅をσｐとし、かつ方向をθｑとして式（５）を演算し、フィルタ処理した結果を特徴量生成部６４に供給する。つまり、式（５）における方向θがθｑとされて演算が行われ、輪郭が抽出される。

ステップＳ１０７において、輪郭特徴量計算部２５は、ガウス幅σｐがσ３であるか、つまりカウンタｐ＝３であるか否かを判定する。ステップＳ１０７において、ガウス幅σｐがσ３でないと判定された場合、ステップＳ１０８において、輪郭特徴量計算部２５は、カウンタｐをインクリメントする。例えば、カウンタｐ＝１であった場合、カウンタｐがインクリメントされてｐ＝２とされ、これによりガウス幅σｐはσ２とされる。カウンタｐがインクリメントされると、処理はステップＳ１０４に戻り、上述した処理が繰り返される。

一方、ステップＳ１０７において、ガウス幅σｐがσ３であると判定された場合、ステップＳ１０９において、輪郭特徴量計算部２５は、方向θｑがθ４であるか否か、つまりカウンタｑ＝４であるか否かを判定する。

ステップＳ１０９において、方向θｑがθ４でないと判定された場合、ステップＳ１１０において、輪郭特徴量計算部２５は、カウンタｑをインクリメントする。例えば、カウンタｑ＝１であった場合、カウンタｑがインクリメントされてｑ＝２とされ、これにより方向θｑはθ２とされる。カウンタｑがインクリメントされると、処理はステップＳ１０３に戻り、上述した処理が繰り返される。

これに対して、ステップＳ１０９において、方向θｑがθ４であると判定された場合、ステップＳ１１１において、特徴量生成部６４は、１次フィルタ処理部６１、２次フィルタ処理部６２、および３次フィルタ処理部６３から供給された演算結果を輪郭特徴量として合成し、１つの輪郭特徴点に対する輪郭特徴量を生成する。

ステップＳ１１２において、輪郭特徴量計算部２５は、全ての輪郭特徴点について処理が終了したか否かを判定する。例えば、輪郭特徴点抽出部２４から供給された全ての輪郭特徴点について、輪郭特徴量が求められた場合、処理が終了したと判定される。

ステップＳ１１２において、全ての輪郭特徴点について処理が終了していないと判定された場合、処理はステップＳ１０１に戻り、次の輪郭特徴点が注目画素として選択される。

これに対して、ステップＳ１１２において、全ての輪郭特徴点について処理が終了したと判定された場合、特徴量生成部６４は、輪郭特徴点抽出部２４から供給された学習画像と、生成された各輪郭特徴点の輪郭特徴量とを輪郭識別器生成部２６に供給する。そして、その後、処理は図１１のステップＳ１７に進む。

なお、学習画像からの輪郭特徴量の抽出には、ステアラブルフィルタに限らず、ガボアフィルタなどが用いられるようにしてもよい。

図１１のフローチャートの説明に戻り、各輪郭特徴点の輪郭特徴量が求められると、ステップＳ１７において、輪郭識別器生成部２６は、輪郭特徴量計算部２５から供給された学習画像および輪郭特徴量に基づいて、輪郭識別器生成処理を行い、輪郭識別器を生成する。なお、この輪郭識別器生成処理は、図１４を参照して説明した服装識別器生成処理と同様であるので、その説明は省略する。

すなわち、服装識別器生成処理と輪郭識別器生成処理とは、処理対象となる特徴量が服装特徴量であるか、または輪郭特徴量であるかという点のみが異なる。したがって、輪郭識別器生成処理においては、最も誤り率の低い輪郭特徴点の輪郭特徴量に対応する弱識別器の和から輪郭識別器が生成される。輪郭識別器生成部２６は、生成した輪郭識別器および識別用特徴を統合識別器生成部２７に出力する。

ステップＳ１８において、統合識別器生成部２７は、服装識別器生成部２３から供給された服装識別器と、輪郭識別器生成部２６から供給された輪郭識別器とを統合して統合識別器を生成する。

例えば、Adaboostによる統計学習処理により得られた識別器は、弱識別器の線形結合により表現されるので、統合識別器生成部２７は、服装識別器と輪郭識別器とをLate Fusion方式により統合する。

すなわち、統合識別器生成部２７は、次式（１１）を計算することで、服装識別器Ｒ（ｘ）と、輪郭識別器Ｔ（ｘ）との識別器和Ｕ（ｘ）を求める。つまり、服装識別器Ｒ（ｘ）と、輪郭識別器Ｔ（ｘ）との線形結合により、識別器和Ｕ（ｘ）が求められる。

Ｕ（ｘ）＝α・Ｒ（ｘ）＋β・Ｔ（ｘ） ・・・（１１）

なお、式（１１）において、αおよびβは所定の定数、つまりチューニングパラメータであり、例えば統計学習処理に用いられる学習画像に対する識別率などにより求められる。また、輪郭識別器Ｔ（ｘ）は、式（１０）により示される服装識別器Ｒ（ｘ）と同様に、信頼度が乗算された弱識別器の和とされる。

さらに、統合識別器生成部２７は、求められた識別器和Ｕ（ｘ）を用いて、次式（１２）により示される統合識別器を生成する。

統合識別器＝sign（Ｕ（ｘ）） ・・・（１２）

なお、式（１２）において、sign（Ｕ（ｘ））は、識別器和Ｕ（ｘ）が正の場合、認識しようとする対象物体が、入力画像中に存在することを示す「＋１」を出力し、識別器和Ｕ（ｘ）が負の場合、認識しようとする対象物体が、入力画像中に存在しないことを示す「−１」を出力する関数である。

このようにして、統合識別器が生成されると、統合識別器生成部２７は、生成した統合識別器を識別器記録部１２に供給して記録させる。また、統合識別器生成部２７は、服装識別器生成部２３から供給された識別用特徴量に、輪郭識別器生成部２６から供給された識別用特徴量を付加して最終的な識別用特徴量とし、最終的な識別用特徴量を識別器記録部１２に供給して記録させ、学習処理は終了する。

以上のようにして、学習装置１１は、学習画像から服装特徴点を抽出して、服装特徴点のペアの服装特徴量を求め、統計学習により服装識別器を生成するとともに、学習画像から輪郭特徴点を抽出して輪郭特徴量を求め、統計学習により輪郭識別器を生成する。そして、学習装置１１は、服装識別器と輪郭識別器とを線形結合により統合して、統合識別器を生成する。

このように、服装識別器と輪郭識別器とを統合して統合識別器を生成することで、画像からより確実に対象物体を検出できる統合識別器を提供することができる。すなわち、統合識別器は、対象物体の服装の特徴を利用した服装識別器と、対象物体の輪郭を利用した輪郭識別器とが統合されたものであるので、入力された画像から、少なくとも一方の特徴量を充分に抽出することができれば、画像から対象物体を検出することができる。

画像から対象物体としての人を検出する場合、対象物体としての人は、服装が変化しても、人として検出されるべきである。そのため、従来は、人の服装の輝度によらない特徴量として、輪郭だけが用いられて画像からの人の検出が行われていた。

これに対して、学習装置１１では、人の服装の特徴を利用した、人の服装のパターンの変化に対して不変な服装特徴量を画像からの人の検出に用いている。この服装特徴量は、統計的に、人が上半身（シャツ）で同じテクスチャの繰り返しのパターンであり、下半身（ズボン）で同じテクスチャの繰り返しのパターンである洋服を着用することが多いことに着目し、新たに定義された特徴量である。

つまり、服装特徴量は、画像上の任意の２つの領域のテクスチャ、すなわち輝度のパターンの似ている度合い（類似度）を示している。例えば、人の上半身の２つの領域間のテクスチャの類似度は高く、上半身と下半身や、人の服装と背景とのテクスチャの類似度は低い。学習装置１１では、このような２つの領域のテクスチャの類似度を利用して、画像から人を検出する服装識別器が用いられ、統合識別器が生成される。

したがって、例えば、入力された画像から輪郭が充分に抽出できなくても、画像から２つの領域のテクスチャの類似の特徴を充分に抽出できれば、統合識別器を用いて、画像から人を検出することができる。逆に、画像中において、人の着用している洋服が繰り返しでないパターンの服であったり、バッグなどで洋服が部分的に隠れていたりする場合には、画像からテクスチャの類似の特徴を充分に抽出できない恐れがあるが、画像から輪郭を充分に抽出することができれば、統合識別器により画像から人を検出することができる。

ところで、認識装置１３に入力画像が入力され、対象物体としての人の検出が指示されると、認識装置１３は、人検出処理を開始して、入力画像から対象物体を検出する。以下、図２０のフローチャートを参照して、認識装置１３による人検出処理について説明する。

なお、ステップＳ１５１の処理乃至ステップＳ１５３の処理のそれぞれは、図１１のステップＳ１１の処理乃至ステップＳ１３の処理のそれぞれと同様であるので、その説明は省略する。すなわち、服装特徴点抽出部３１は、入力された入力画像から服装特徴点を抽出し、服装特徴量計算部３２は、服装特徴点抽出部３１により抽出された服装特徴点のペアリングを行って、各ペアの服装特徴量を計算する。そして、服装特徴量計算部３２は、各ペアについて求めた服装特徴量を識別計算部３５に供給する。

ステップＳ１５４において、輪郭特徴点抽出部３３は、図１１のステップＳ１５の処理と同様の処理を行い、入力された入力画像から輪郭特徴点を抽出し、入力画像とともに輪郭特徴量計算部３４に供給する。

ステップＳ１５５において、輪郭特徴量計算部３４は、輪郭特徴点抽出部３３からの入力画像および輪郭特徴点に基づいて、輪郭特徴量計算処理を行い、各輪郭特徴点の輪郭特徴量を計算する。そして、輪郭特徴量計算部３４は、求められた輪郭特徴量を識別計算部３５に供給する。なお、この輪郭特徴量計算処理は、図１９を参照して説明した輪郭特徴量計算処理と同様の処理であるため、その説明は省略する。

ステップＳ１５６において、識別計算部３５は、識別器記録部１２から識別用特徴量および統合識別器を読み出して、読み出した統合識別器に特徴量を代入して計算する。すなわち、識別計算部３５は、服装特徴量計算部３２からの服装特徴量、および輪郭特徴量計算部３４からの輪郭特徴量のうちの識別用特徴量に対応するものを、式（１２）により示される統合識別器に代入して演算を行う。

ここで、統合識別器を構成する弱識別器に代入される特徴量は、識別用特徴量とされた特徴量が求められた、学習画像の服装特徴点のペアまたは輪郭特徴点と同じ位置にある、入力画像上の服装特徴点のペアまたは輪郭特徴点から求められた特徴量である。また、識別用特徴量とされる特徴量は、統計学習処理時において、統合識別器を構成する弱識別器の設定に用いられた特徴量である。

式（１２）の演算が行われると、その演算の結果として、入力画像中に対象物体としての人が存在することを示す「＋１」、または入力画像中に対象物体としての人が存在しないことを示す「−１」が得られる。識別計算部３５は、統合識別器での演算結果を識別結果出力部３６に供給する。

ステップＳ１５７において、識別結果出力部３６は、識別計算部３５からの演算結果に基づいて、人の検出結果を出力し、人検出処理は終了する。すなわち、対象物体が入力画像で認識されたか否かの識別結果が出力される。

例えば、対象物体が入力画像で認識されたか否かの識別結果として、図２１に示すように、対象物体としての人が検出された領域に枠が表示された入力画像が、識別結果出力部３６に表示されるようにしてもよい。

図２１に示す入力画像は、対象物体としての２人の人が写っている画像であり、入力画像には、それぞれの人を囲む枠が表示されている。この場合、識別結果出力部３６にも入力画像が入力され、識別計算部３５は、演算結果とともに入力画像における対象物体が検出された領域を示す情報を識別結果出力部３６に供給する。すると、識別結果出力部３６は、識別計算部３５からの演算結果および領域を示す情報に基づいて、入力画像から対象物体が検出された場合には、入力画像とともに、対象物体が検出された領域を囲む枠を表示する。

このようにして、認識装置１３は、入力画像から服装特徴点を抽出して、服装特徴点のペアの服装特徴量を求めるとともに、入力画像から輪郭特徴点を抽出して輪郭特徴量を求める。そして、認識装置１３は、求めた服装特徴量および輪郭特徴量と、識別器記録部１２に記録されている統合識別器とを用いて、入力画像から対象物体を検出する。

このように、服装特徴量および輪郭特徴量を用いて入力画像から対象物体を検出することで、より確実に画像から対象物体を検出することができる。すなわち、入力画像から服装特徴量または輪郭特徴量の少なくとも何れか一方を充分に抽出することができれば、入力画像から対象物体を確実に検出することができる。

なお、以上においては、対象物体として人を検出すると説明したが、対象物体は、人に限らず、物体の表面のパターンが、同じテクスチャの繰り返しのパターンとなるものであれば、どのようなものであってもよい。

また、以上においては、Descrete Adaboost Algorithmに基づいて、統計学習処理を実行する例について説明してきたが、それ以外のBoosting Algorithmを適用するようにしてもよく、例えば、Gentle Adaboost Algorithmを用いるようにしてもよい。Descrete Adaboost Algorithmと、Gentle Adaboost Algorithmとは、前者の識別器の出力結果が離散変量であるのに対して、後者は、連続変量である点で異なる。しかしながら、前者においては、信頼度が乗じられるため、出力結果は、実質的に連続変量として扱われており、本質的に処理の違いはない。

さらに、その他、SVM（Support Vector Machine）やBaysianなどにより統計学習処理を行い、服装識別器や輪郭識別器を生成するようにしてもよい。なお、統計学習処理において、Adaboostなどで特徴量（服装特徴量または輪郭特徴量）を選択するようにすると、認識装置１３における統合識別器を用いた人の検出時に、より高速に処理を行うことができるようになる。

また、以上においては、服装識別器と輪郭識別器とを生成し、それらの識別器を統合して統合識別器を生成すると説明したが、服装識別器および輪郭識別器を生成せずに、服装特徴量および輪郭特徴量から、直接、統合識別器が生成されるようにしてもよい。

そのような場合、人識別システムは、例えば図２２に示すように構成される。なお、図２２において、図１における場合と対応する部分には、同一の符号を付してあり、その説明は省略する。

図２２に示す人識別システムと、図１に示す人認識システムとでは、識別器記録部１２および認識装置１３は同じ構成とされ、学習装置１１の構成だけが異なる。

すなわち、図２２に示す学習装置１１は、服装特徴点抽出部２１、服装特徴量計算部２２、輪郭特徴点抽出部２４、輪郭特徴量計算部２５、および統合識別器生成部２０１から構成される。なお、服装特徴点抽出部２１、服装特徴量計算部２２、輪郭特徴点抽出部２４、および輪郭特徴量計算部２５は、図１に示した学習装置１１における場合と同様であるので、その説明は省略する。

統合識別器生成部２０１は、服装特徴量計算部２２から供給された服装特徴量、および輪郭特徴量計算部２５から供給された輪郭特徴量に基づいて、例えばAdaboostによる統計学習処理を行い、統合識別器を生成する。また、統合識別器生成部２０１は、生成した統合識別器、および識別用特徴量を識別器記録部１２に供給して記録させる。

また、統合識別器生成部２０１は、より詳細には、例えば図２３に示すように構成される。統合識別器生成部２０１は、サンプリング部２３１、重み設定部２３２、並び替え部２３３、識別器設定部２３４、識別器選択部２３５、および重み更新部２３６から構成される。

これらのサンプリング部２３１乃至重み更新部２３６のそれぞれは、処理の対象となる特徴量が服装特徴量および輪郭特徴量である点が異なるだけで、行われる処理自体は、図１０のサンプリング部１０１乃至重み更新部１０６のそれぞれと同様であるので、その説明は適宜、省略する。

つまり、サンプリング部２３１には、服装特徴量計算部２２から学習画像および服装特徴量が供給されるとともに、輪郭特徴量計算部２５から学習画像および輪郭特徴量が供給される。そして、サンプリング部２３１は、同じ学習画像から抽出された服装特徴量および輪郭特徴量を並べて１つの特徴量とし、学習画像単位の重みに応じて、服装特徴点のペアまたは輪郭特徴点ごとに、複数の学習画像のそれぞれにおける同じ位置の服装特徴点のペアの服装特徴量、または同じ輪郭特徴点の輪郭特徴量のうちのＭ個の特徴量（服装特徴量または輪郭特徴量）をサンプリングし、並び替え部２３３に供給する。

また、識別器設定部２３４は、服装特徴量計算部２２および輪郭特徴量計算部２５からの学習画像に付加されている正誤情報に基づいて、並び替えられた各服装特徴点のペアの服装特徴量、または各輪郭特徴点の輪郭特徴量のそれぞれについて、閾値を変化させながら誤り率計算部２３４ａを制御して、誤り率を計算させ、誤り率が最小となるように閾値設定する。

識別器選択部２３５は、弱識別器のうち、誤り率が最小となる弱識別器を選択して、保持している弱識別器からなる統合識別器を更新し、最終的な統合識別器と、各弱識別器に対応する服装特徴量または輪郭特徴量とを識別用特徴量として識別器記録部１２に供給して記録させる。

次に、図２４のフローチャートを参照して、図２２の学習装置１１による学習処理について説明する。なお、ステップＳ２０１の処理乃至ステップＳ２０３の処理のそれぞれは、図１１のステップＳ１１の処理乃至ステップＳ１３の処理のそれぞれと同様であるので、その説明は省略する。

ステップＳ２０３において、服装特徴量計算部２２から統合識別器生成部２０１に、服装特徴量および学習画像が供給されると、ステップＳ２０４において、輪郭特徴点抽出部２４は、図１１のステップＳ１５の処理と同様の処理を行って、入力された学習画像から輪郭特徴点を抽出し、輪郭特徴点および学習画像を輪郭特徴量計算部２５に供給する。

ステップＳ２０５において、輪郭特徴量計算部２５は、輪郭特徴点抽出部２４からの輪郭特徴点および学習画像に基づいて、輪郭特徴量計算処理を行い、各輪郭特徴点の輪郭特徴量を計算する。なお、この輪郭特徴量計算処理は、図１１のステップＳ１６の処理と同様であるため、その説明は省略する。

輪郭特徴量計算処理が行われ、輪郭特徴量計算部２５から統合識別器生成部２０１に輪郭特徴量および学習画像が供給されると、ステップＳ２０６において、統合識別器生成部２０１は、服装特徴量計算部２２から供給された学習画像および服装特徴量と、輪郭特徴量計算部２５から供給された学習画像および輪郭特徴量とに基づいて、統合識別器生成処理を行って、統合識別器を生成する。なお、この統合識別器生成処理は、図１４を参照して説明した服装識別器生成処理と同様であるので、その説明は省略する。

ステップＳ２０６の統合識別器生成処理では、服装特徴量および輪郭特徴量からなる１つの特徴量が用いられて、Early Fusion方式により統合識別器を生成する処理が行われる。したがって、例えば図１５に示したグループＧｒ_k（但し、服装特徴量の数をＮ１とし、輪郭特徴量の数をＮ２として、１≦ｋ≦Ｎ１＋Ｎ２）に属す特徴量は、服装特徴量または輪郭特徴量の何れかとされる。

また、グループＧｒ_kごとに設定された、Ｎ１＋Ｎ２個の弱識別器ｆ_jkのうち、選択される誤り率ｅ_jkが最小となる弱識別器ｆ_jkは、服装特徴点のペアの弱識別器、または輪郭特徴点の弱識別器の何れかとなる。つまり、服装特徴点のペアの弱識別器または輪郭特徴点の弱識別器のうち、そのときに最もエラーが少なくなるものがどの弱識別器であるかによって、統合識別器を構成する弱識別器として、統合識別器に加算される弱識別器が、服装特徴点のペアの弱識別器となるか、または輪郭特徴点の弱識別器となるかが定まる。

このように、統合識別器を服装特徴量および輪郭特徴量から直接生成する場合にも、統合識別器は、服装特徴点のペアの弱識別器と、輪郭特徴点の弱識別器とが線形結合されて生成される。そして、統合識別器は、特徴量を代入したときの各弱識別器の和が正である場合、画像中に対象物体が存在することを示す「＋１」を出力し、各弱識別器の和が負である場合、画像中に対象物体が存在しないことを示す「−１」を出力する関数とされる。つまり、２つの強い識別器が独立に学習されるのではなく、２つの弱い特徴量が用いられて、１つの強い識別器が学習される。

統合識別器生成部２０１により、統合識別器が生成されると、生成された統合識別器と識別用特徴量とが識別器記録部１２に供給されて記録され、学習処理は終了する。

以上のようにして、学習装置１１は、服装特徴量と輪郭特徴量とから、直接、統計学習により１つの統合識別器を生成する。このように、服装特徴量および輪郭特徴量から統合識別器を生成することで、画像からより確実に人を検出できる識別器を提供することができる。

また、図２２に示した学習装置１１により生成された統合識別器を用いて、認識装置１３が入力画像から対象物体を検出する場合、識別計算部３５は、服装特徴量計算部３２からの服装特徴量と、輪郭特徴量計算部３４からの輪郭特徴量とのうち、識別器記録部１２に記録されている識別用特徴量に対応する特徴量を統合識別器に代入して演算を行う。この処理は、識別用特徴量が異なるだけで、図２０を参照して説明した人検出処理と同様の処理であるため、その説明は省略する。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した人識別システムの一実施の形態の構成例を示すブロック図である。 輪郭特徴量計算部の詳細な構成例を示すブロック図である。 ステアラブルフィルタについて説明する図である。 画像に対してフィルタ処理を行った結果を示す図である。 画像に対してフィルタ処理を行った結果を示す図である。 画像に対してフィルタ処理を行った結果を示す図である。 画像に対してフィルタ処理を行った結果の平均を示す図である。 画像に対してフィルタ処理を行った結果の平均を示す図である。 画像に対してフィルタ処理を行った結果の平均を示す図である。 服装識別器生成部の詳細な構成例を示すブロック図である。 学習処理を説明するフローチャートである。 服装特徴点の抽出について説明する図である。 服装特徴量を説明する図である。 服装識別器生成処理を説明するフローチャートである。 服装特徴点のペアごとの服装特徴量のサンプリングについて説明する図である。 弱識別器の設定について説明する図である。 服装特徴点のペアについて説明する図である。 輪郭特徴点の抽出について説明する図である。 輪郭特徴量計算処理を説明するフローチャートである。 人検出処理を説明するフローチャートである。 対象物体の認識結果の表示例を示す図である。 本発明を適用した人識別システムの他の構成例を示すブロック図である。 統合識別器生成部の詳細な構成例を示すブロック図である。 学習処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

符号の説明

１１ 学習装置， １２ 識別器記録部， １３ 認識装置， ２１ 服装特徴点抽出部， ２２ 服装特徴量計算部， ２３ 服装識別器生成部， ２４ 輪郭特徴点抽出部， ２５ 輪郭特徴量計算部， ２６ 輪郭識別器生成部， ２７ 統合識別器生成部， ３１ 服装特徴点抽出部， ３２ 服装特徴量計算部， ３３ 輪郭特徴点抽出部， ３４ 輪郭特徴量計算部， ３５ 識別計算部， ２０１ 統合識別器生成部

Claims (11)

1. 認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの第１の特徴量を計算する第１の特徴量計算手段と、
   複数の前記第１の特徴量を用いた統計学習により、画像から前記対象物体を検出する第１の識別器を生成する第１の識別器生成手段と
   を備える学習装置。
2. 前記複数の学習画像のそれぞれについて、前記学習画像に対するフィルタ処理を行なうことで前記学習画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段と、
   複数の前記第２の特徴量を用いた統計学習により、前記画像から前記対象物体を検出する第２の識別器を生成する第２の識別器生成手段と、
   前記第１の識別器と、前記第２の識別器とを統合して、前記画像から前記対象物体を検出する第３の識別器を生成する第３の識別器生成手段と
   をさらに備える請求項１に記載の学習装置。
3. 前記第３の識別器生成手段は、前記第１の識別器と前記第２の識別器とを線形結合することにより前記第３の識別器を生成する
   請求項２に記載の学習装置。
4. 前記複数の学習画像のそれぞれについて、前記学習画像に対するフィルタ処理を行なうことで前記学習画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに備え、
   前記第１の識別器生成手段は、複数の前記第１の特徴量、および複数の前記第２の特徴量を用いた統計学習により、前記第１の識別器を生成する
   請求項１に記載の学習装置。
5. 認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの特徴量を計算する特徴量計算ステップと、
   複数の前記特徴量を用いた統計学習により、画像から前記対象物体を検出する識別器を生成する識別器生成ステップと
   を含む学習方法。
6. 認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とからなる複数の学習画像のそれぞれについて、前記学習画像上の予め定められた複数の画素のうちの所定の画素と、前記複数の画素のうちの前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、前記複数の画素のそれぞれを前記所定の画素として定めた各前記ペアの特徴量を計算する特徴量計算ステップと、
   複数の前記特徴量を用いた統計学習により、画像から前記対象物体を検出する識別器を生成する識別器生成ステップと
   を含む処理をコンピュータに実行させるプログラム。
7. 入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの第１の特徴量を計算する第１の特徴量計算手段と、
   認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第１の特徴量を用いた統計学習により生成された第１の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量に基づいて、前記入力画像から前記対象物体を検出する検出手段と
   を備える認識装置。
8. 前記入力画像に対するフィルタ処理を行なうことで前記入力画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに備え、
   前記検出手段は、前記対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第２の特徴量を用いた統計学習により生成された第２の識別器と前記第１の識別器とが統合された第３の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量、および前記第２の特徴量計算手段により計算された前記第２の特徴量に基づいて、前記入力画像から前記対象物体を検出する
   請求項７に記載の認識装置。
9. 前記入力画像に対するフィルタ処理を行なうことで前記入力画像から輪郭を抽出する計算を行い、その計算結果から第２の特徴量を生成する第２の特徴量計算手段をさらに備え、
   前記検出手段は、前記対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記第２の特徴量と、前記複数の第１の特徴量とを用いた統計学習により生成された前記第１の識別器を用い、前記第１の特徴量計算手段により計算された前記第１の特徴量、および前記第２の特徴量計算手段により計算された前記第２の特徴量に基づいて、前記入力画像から前記対象物体を検出する
   請求項７に記載の認識装置。
10. 入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの特徴量を計算する特徴量計算ステップと、
    認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記特徴量を用いた統計学習により生成された識別器を用い、前記特徴量計算ステップにおいて計算された前記特徴量に基づいて、前記入力画像から前記対象物体を検出する検出ステップと
    を含む認識方法。
11. 入力画像上の所定の画素と、前記所定の画素とは異なる他の画素とを画素のペアとして、前記所定の画素を含む領域と、前記他の画素を含む領域とのテクスチャの距離を計算することで、予め定められた複数の前記ペアの特徴量を計算する特徴量計算ステップと、
    認識対象の対象物体が含まれている学習画像と、前記対象物体が含まれていない学習画像とから求められた複数の前記特徴量を用いた統計学習により生成された識別器を用い、前記特徴量計算ステップにおいて計算された前記特徴量に基づいて、前記入力画像から前記対象物体を検出する検出ステップと
    を含む処理をコンピュータに実行させるプログラム。

Images