JP2005242640A - 対象物検出方法および装置並びにプログラム - Google Patents

Abstract

【課題】 デジタル画像から所定の対象物を確実かつ迅速に検出する。
【解決手段】 通常顔検出部１０は、写真画像Ｓ０に対して、通常の顔を検出する処理を行う。眼鏡顔検出部２０は、通常顔検出部１０により顔が検出されなかった写真画像Ｓ０に対して、眼鏡をかけた顔を検出する処理を行う。髭顔検出部３０は、通常顔検出部１０によりも、眼鏡顔検出部２０によりも顔が検出されなかった写真画像Ｓ０に対して、髭のある顔を検出する処理を行う。
【選択図】 図１

Description

本発明はデジタル画像から所定の対象物を検出する対象物検出方法および装置並びにプログラムに関するものである。

従来より、デジタル画像から所定の対象物を検出する手法としては、マッチングによる手法が広く行われている。マッチング手法においては、検出する対象となる対象物のモデルの集合（テンプレート）とデジタル画像中における対象物とをマッチング（テンプレートマッチング）させることによって検出を行う。しかし、対象物のモデルが固定されているため、デジタル画像中における対象物のさまざまな変化（大きさ、方向、形の変化）に対して対応できないなど、多くの問題点がある（非特許文献１）。そこで、これらの問題点に対してロバストな検出を実現するため、ＫＬ展開、ハフ変換などを用いて、デジタル画像における対象物の特徴がより扱い易い特徴空間へと画像を投影し、検出を行う方法が提案されている（非特許文献２、非特許文献３）、しかし、これらの方法も、対象物のさまざまな変化に対応することは難しく、条件を限定して行われている段階である。

このような問題点を解決するための手法として、最近、人間の脳の情報処理を模擬したニューラルネットワークによる手法が提案されている。このニューラルネットワークは、適当な神経回路のモデルを、生理学的に知られる事実や研究成果を十分に考慮して構成し、その動作および性能を調べ、実際の人間の脳と比較することで、脳の情報原理を解明していこうという構成的方法と呼ばれる情報処理の一つの研究手法であり、視覚モデル、学習モデル、連想記憶モデルなど多くの研究が行われている。

例えば、対象物の大きさや位置のずれに強いニューラルネットワークの認識モデルとして、ネオコグニトロンがある（非特許文献４）。ネオコグニトロンは、パターンマッチングを対象物体の微小部分に対して行い、その位置ずれを階層構造に依って、何段かに分けて吸収しながら行うという原理によるものである。

このように、対象物の位置ずれを少しずつ何段階にも分けて許容していくという操作が、ネオコグニトロンにおいて、入力パターンの位置ずれの影響を取り除くのみならず、変形に強いパターン認識を行ううえにも重要な役割をはたしている。すなわち、入力パターンの拡大や縮小をはじめとする種々の変形にともなう局所的特徴の相対的な位置ずれの影響は、特徴の統合の過程で少しずつ吸収され、最終的には入力パターンのかなりの変形に対しても影響されない出力を得ることができる。

また、学習モデルとして、コホーネンの自己組織化マッピング（非特許文献５）が挙げられる。コホーネンの自己組織化マッピングとはトポロジカルなマッピングを自己組織化で学習するモデルである。ここでトポロジカルなマッピングとは、例えば、人間が外界から受け取った信号、すなわち、あるパターンを、その序列を反映しながらある種の規則に従って、皮質上の神経細胞に割り当てていることを意味している。

このコホーネンの自己組織化を利用したシステムとしては、例えばハードシステムで２値の画像を学習させている試みが報告されている(非特許文献６)。

一方、デジタル画像から所定の対象物を検出する処理が、様々な分野で行われている。例えば、証明写真の分野において、パスポートや免許証の交付申請、あるいは履歴書の作成などの場合において、本人の顔が写っている予め定められた出力規格の写真、すなわち証明写真の提出が要求されることが多い。このため、被写体となる人物の顔が写っている写真画像（顔写真画像）から顔や、目、頭頂部、顎利用者の撮影を行うための撮影室が設けられ、撮影室内の椅子に着座した利用者を撮影し、利用者の証明写真用の顔写真画像をシートに記録した証明写真シートを作成することを自動的に行う証明写真の自動作成装置が従来より利用されている。このような自動作成装置は、大型であり、設置場所が限られているため、利用者が証明写真を取得するためには、自動作成装置が設置された場所を探して出向く必要があり、不便である。

この問題を解決するために、例えば、特許文献１に記載されたように、証明写真の作成に用いる顔写真画像（顔が写されている画像）がモニタなどの表示装置で表示されている状態で、表示されている顔写真画像における頭頭部位置と顎の先端位置を指示すると、コンピュータが指示された２つの位置および証明写真の出力規格に基づいて顔の拡大縮小率、顔の位置を求めて画像を拡大縮小すると共に、拡大縮小した画像中の顔が証明写真における所定の位置に配置されるように拡大縮小した顔写真画像をトリミングして得たトリミング画像を証明写真画像として形成する方法が提案されている。このような方法によって、利用者は、証明写真の自動作成装置よりも多数存在しているＤＰＥ店などに証明写真の作成を依頼することができると共に、手持ちの写真のうち、写りが良いなどのような気に入った写真が記録された写真フィルムまたは記録媒体をＤＰＥ店などに持ち込むことで、気に入った写真から証明写真を作成させることも可能となる。

しかしながら、この技術では、表示されている顔写真画像に対して頭頭部位置と顎の先端位置を各々指示する、という煩雑な操作をオペレータが行う必要があるので、特に多数の利用者の証明写真を作成するなどの場合にオペレータの負担が大きい。また、特に表示されて顔写真画像中の顔の領域の面積が小さい場合や、顔写真画像の解像度が粗いなどの場合には、頭頭部位置と顎の先端位置をオペレータが迅速かつ正確に指示することは困難であり、適切な証明写真の迅速な作成ができないという問題がある。

そこで、オペレータの負担を減らし、迅速かつ正確にトリミング領域を設定する方法が数多く提案されている。例えば、特許文献２には、顔写真画像中の頭頭部位置および両目の位置を検出すると共に、検出された頭頭部位置と両目の位置から顎の先端位置を推定してトリミング領域を設定する自動トリミング処理方法を提案している。自動トリミング処理においては、最も重要な処理としては、トリミング領域の設定をするための部位の検出である。この部位、すなわち検出の対象物は、例えば特許文献２に記載されたように頭頭部位置および両目の位置であってもよいし、顔部分全体、両瞳またはこれらの組合せであってもよい。

これらの部位を検出するために、対象物を検出するための上述した種々の手法が利用されている。
高木、下田、画像解析ハンドブック、pp172-205 、1991、東京大学出版会 赤松他３名、ＫＬ展開によるパターン記述法の顔画像識別への応用の評価、ＮＴＴヒューマンインターフェース研究所、信技報、PR090-152 長谷川、志水、Ｈｏｕｇｈ変換を用いた顔画像処理の一方法、大阪市大、信技報、PR090-153 福島：位置ずれに影響されないパターン認識機構の神経回路モデル−ネオコグニトロン、電子通信学会論文誌A,J62-A(10),pp658-665,Oct.1979 T.Kohonen Self-Organization and Associative Memory,Spriger-Verlag 1984 Taiwei Lu etc. Self-organizing optical neural network for unsupervised learning,Optical Engineering Vol.29 No.9 1990 特開平１１―３４１２７２号公報 特開２００２−１５２４９２号公報

しかしながら、デジタル画像から所定の対象物を検出する際に、デジタル画像にこの対象物が存在していれば常に検出できるとは限らない。例えば、顔写真画像から顔を検出する際に、通常の顔であれば検出しやすいが、何かの特別な特徴がある顔（例えば眼鏡をかけた顔、髭が濃い顔、髪型が奇抜な顔など）の検出が難しい。これは、世の中の顔は通常の顔のほうが圧倒的に多いため、顔を検出するアルゴリズムとしては、通常の顔を検出することに重点を置いて設計されるからである。

一方、通常の顔に限らず、上述したような特徴のある顔も検出できるようにするために、顔を検出する処理において、特徴のある顔を検出するためのアルゴリズムも盛り込むようにすると、演算量が膨大になると共に、通常の顔の検出精度が下がってしまう虞もあり、本末顛倒である。

本発明は、上記事情に鑑みてなされるものであり、デジタル画像から所定の対象物を検出する際に、通常の所定の対象物に限らず、特徴のあるこの所定の対象物も検出することができると共に、演算量の膨大を防ぐことができる対象物検出方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の対象物検出方法は、デジタル画像から、該デジタル画像に存在する所定の対象物を検出する対象物検出方法において、
前記デジタル画像に対して、通常の前記所定の対象物を検出する通常対象物検出処理を行い、
該通常対象物検出処理により前記所定の対象物を検出することができなかった前記デジタル画像に対して、所定の特徴を有する前記所定の対象物を検出する特徴対象物検出処理を行うことを特徴とするものである。

ここで、本発明の処理対象となるデジタル画像は、デジタルカメラなどにより取得された画像に限らず、デジタル形式により表されるいかなる画像、例えば、印刷用紙、写真用紙などの印刷媒体に印刷された画像をスキャナなどの読取装置で読み取って得たデジタル画像も含むものである。

本発明の対象物検出方法は、前記所定の対象物が検出されるまで、夫々異なる前記所定の特徴に対応する前記特徴対象物検出処理を順次行うことが好ましい。

本発明の対象物検出方法は、顔写真画像から顔を検出する処理に適用することができる。

本発明の対象物検出装置は、デジタル画像から、該デジタル画像に存在する所定の対象物を検出する対象物検出装置であって、
前記デジタル画像に対して、通常の前記所定の対象物を検出する通常対象物検出手段と、
所定の特徴を有する前記所定の対象物を検出する特徴対象物検出手段と、
前記通常対象物検出手段により前記所定の対象物を検出することができなかった前記デジタル画像に対して、前記特徴対象物検出手段による検出を行わせる制御手段とを有してなることを特徴とするものである。

前記特徴対象物検出手段は、複数あり、該複数の特徴対象物検出手段は、夫々異なる前記所定の特徴に対応するものであり、前記制御手段は、前記所定の対象物が検出されるまで、前記複数の特徴対象物検出手段による検出を順次行わせるものであることが好ましい。

本発明の対象物検出装置は、顔写真画像から顔を検出処理に用いられることができる。

本発明のプログラムは、本発明の対象物検出方法をコンピュータに実行させるものである。

本発明によれば、デジタル画像から所定の対象物を検出する際に、通常の所定の対象物が、何らかの特徴を有する所定の対象物より多いことを利用し、まず、デジタル画像に対して、通常の所定の対象物を検出する通常対象物検出処理を行う。通常対象物検出処理により、この所定の対象物が検出されなかった場合において、所定の特徴を有する所定の対象物を検出する特徴対象物検出処理を行う。こうすることによって、まず、デジタル画像に存在する通常の所定の対象物となる対象物を検出することができる。また、通常対象物検出処理によりこの所定の対象物が検出されなかったデジタル画像に対しては、特徴対象物検出処理を行うことによって、通常の所定の対象物と比較し、何らかの所定の特徴を有するこの対象物を検出することができる。ここで、通常対象物検出処理においては、なんらかの特徴を有するこの対象物の検出処理を考慮する必要がないため、通常対象物の検出精度が高いと共に、通常対象物検出処理と特徴対象物検出処理とを分けることによって、処理の速度を向上させることができる。

また、本発明において、互いに異なる複数の、対象物が有し得る特徴に夫々対応する特徴対象物検出処理を複数用意しておき、対象物が検出されるまで、これらの特徴対象物検出処理を順次行うようにすれば、より確実に特徴を有する対象物を検出することができる。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の実施形態となる顔検出装置の構成を示すブロック図である。なお、図１のような顔検出装置の構成は、補助記憶装置に読み込まれた顔検出プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この顔検出プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。また、本実施形態の顔検出装置は、写真画像から顔部位を検出してこの部位の画像（顔画像）を得るためのものであり、処理対象となる写真画像は、デジタルカメラにより取得された写真画像に限らず、プリント用紙や、写真用紙などの印刷媒体に印刷された画像を読み取って得たデジタル画像も含むものである。

図１に示すように、本実施形態の顔検出装置は、顔写真画像（以下略して写真画像Ｓ０という）の特徴量Ｃ０を算出する特徴量算出部１と、写真画像Ｓ０に対して通常の顔を検出する通常顔検出処理を行う通常顔検出部１０と、通常顔検出部１０による検出が失敗した際に写真画像Ｓ０から眼鏡をかけた顔を検出する眼鏡顔検出処理を行う眼鏡顔検出部２０と、眼鏡顔検出部２０による検出が失敗した際に写真画像Ｓ０から髭のある顔を検出する髭顔検出処理を行う髭顔検出部３０と、上記各検出部の制御を行う制御部５０とを有してなるものである。

図２は、通常顔検出部１０の構成を示すブロック図である。図示のように、通常顔検出部１０は、第１の参照データＥ１を記憶した第１の記憶部４と、特徴量算出部１により算出された特徴量Ｃ０および第１の参照データＥ１を用いて写真画像Ｓ０から顔を検出する第１の識別部５とを備えてなる。ここで、まず、特徴量算出部１について説明する。

特徴量算出部１は、顔の識別に用いる特徴量Ｃ０を写真画像Ｓ０から算出する。具体的には、勾配ベクトル（すなわち写真画像Ｓ０上の各画素における濃度が変化する方向および変化の大きさ）を特徴量Ｃ０として算出する。以下、勾配ベクトルの算出について説明する。まず、特徴量算出部１は、写真画像Ｓ０に対して図３（ａ）に示す水平方向のエッジ検出フィルタによるフィルタリング処理を施して写真画像Ｓ０における水平方向のエッジを検出する。また、特徴量算出部１は、写真画像Ｓ０に対して図３（ｂ）に示す垂直方向のエッジ検出フィルタによるフィルタリング処理を施して写真画像Ｓ０における垂直方向のエッジを検出する。そして、写真画像Ｓ０上の各画素における水平方向のエッジの大きさＨおよび垂直方向のエッジの大きさＶとから、図４に示すように、各画素における勾配ベクトルＫを算出する。なお、特徴量算出部１は、後述するように写真画像Ｓ０および顔画像の変形の各段階において特徴量Ｃ０を算出する。

なお、このようにして算出された勾配ベクトルＫは、図５（ａ）に示すような人物の顔の場合、図５（ｂ）に示すように、目および口のように暗い部分においては目および口の中央を向き、鼻のように明るい部分においては鼻の位置から外側を向くものとなる。また、口よりも目の方が濃度の変化が大きいため、勾配ベクトルＫは口よりも目の方が大きくなる。

そして、この勾配ベクトルＫの方向および大きさを特徴量Ｃ０とする。なお、勾配ベクトルＫの方向は、勾配ベクトルＫの所定方向（例えば図４におけるｘ方向）を基準とした０から３５９度の値となる。

ここで、勾配ベクトルＫの大きさは正規化される。この正規化は、写真画像Ｓ０の全画素における勾配ベクトルＫの大きさのヒストグラムを求め、その大きさの分布が写真画像Ｓ０の各画素が取り得る値（８ビットであれば０〜２５５）に均一に分布されるようにヒストグラムを平滑化して勾配ベクトルＫの大きさを修正することにより行う。例えば、勾配ベクトルＫの大きさが小さく、図６（ａ）に示すように勾配ベクトルＫの大きさが小さい側に偏ってヒストグラムが分布している場合には、大きさが０〜２５５の全領域に亘るものとなるように勾配ベクトルＫの大きさを正規化して図６（ｂ）に示すようにヒストグラムが分布するようにする。なお、演算量を低減するために、図６（ｃ）に示すように、勾配ベクトルＫのヒストグラムにおける分布範囲を例えば５分割し、５分割された頻度分布が図６（ｄ）に示すように０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。

第１の記憶部４内に格納されている第１の参照データＥ１は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。

第１の参照データＥ１中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

ここで、本実施形態において、第１の参照データＥ１の学習のための、顔であることが分かっている複数のサンプル画像（以下サンプル画像群）は、任意の多数の人間の顔写真画像（顔が写っている画像）から構成されたものであり、顔に特別な特徴（例えば眼鏡をかけている顔や、奇抜な髪型をしている顔など）を有するものも含まれている可能性があるが、何かの特徴に偏ったサンプル画像群ではない。

なお、本実施形態においては、第１の参照データＥ１を生成する際には、顔であることが分かっているサンプル画像として、３０×３０画素サイズを有し、図７に示すように、１つの顔の画像について両目の中心間の距離が１０画素、９画素および１１画素であり、両目の中心間距離において垂直に立った顔を平面上±１５度の範囲において３度単位で段階的に回転させた（すなわち、回転角度が−１５度，−１２度，−９度，−６度，−３度，０度，３度，６度，９度，１２度，１５度）サンプル画像を用いるものとする。したがって、１つの顔の画像につきサンプル画像は３×１１＝３３通り用意される。なお、図７においては−１５度、０度および＋１５度に回転させたサンプル画像のみを示す。また、回転の中心はサンプル画像の対角線の交点である。ここで、両目の中心間の距離が１０画素のサンプル画像であれば、目の中心位置はすべて同一となっている。この目の中心位置をサンプル画像の左上隅を原点とする座標上において（ｘ１，ｙ１）、（ｘ２，ｙ２）とする。また、図面上の上下方向における目の位置（すなわちｙ１，ｙ２）はすべてのサンプル画像において同一である。

また、顔でないことが分かっているサンプル画像としては、３０×３０画素サイズを有する任意の画像を用いるものとする。

ここで、顔であることが分かっているサンプル画像として、両目の中心間距離が１０画素であり、平面上の回転角度が０度（すなわち顔が垂直な状態）のもののみを用いて学習を行った場合、第１の参照データＥ１を参照して顔の位置であると識別されるのは、両目の中心間距離が１０画素で全く回転していない顔のみである。写真画像Ｓ０に含まれる可能性がある顔のサイズは一定ではないため、顔を識別する際には、後述するように写真画像Ｓ０を拡大縮小して、サンプル画像のサイズに適合するサイズの顔および目の位置を識別できるようにしている。しかしながら、両目の中心間距離を正確に１０画素とするためには、写真画像Ｓ０のサイズを拡大率として例えば１．１単位で段階的に拡大縮小しつつ識別を行う必要があるため、演算量が膨大なものとなる。

また、写真画像Ｓ０に含まれる可能性がある顔は、図８（ａ）に示すように平面上の回転角度が０度のみではなく、図８（ｂ）、（ｃ）に示すように回転している場合もある。しかしながら、両目の中心間距離が１０画素であり、顔の回転角度が０度のサンプル画像のみを使用して学習を行った場合、顔であるにも拘わらず、図８（ｂ）、（ｃ）に示すように回転した顔については識別を行うことができなくなってしまう。

このため、本実施形態においては、顔であることが分かっているサンプル画像として、図７に示すように両目の中心間距離が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたサンプル画像を用いて、第１の参照データＥ１の学習に許容度を持たせるようにしたものである。これにより、後述する第１の識別部５において識別を行う際には、写真画像Ｓ０を拡大率として１１／９単位で段階的に拡大縮小すればよいため、写真画像Ｓ０のサイズを例えば拡大率として例えば１．１単位で段階的に拡大縮小する場合と比較して、演算時間を低減できる。また、図８（ｂ）、（ｃ）に示すように回転している顔も識別することができる。

以下、図９のフローチャートを参照しながらサンプル画像群の学習手法の一例を説明する。

学習の対象となるサンプル画像群は、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。なお、顔であることが分かっているサンプル画像は、上述したように１つのサンプル画像につき両目の中心位置が９，１０，１１画素であり、各距離において平面上±１５度の範囲にて３度単位で段階的に顔を回転させたものを用いる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（Ｓ１）。

次に、サンプル画像における複数種類の画素群のそれぞれについて識別器が作成される（Ｓ２）。ここで、それぞれの識別器とは、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて、顔の画像と顔でない画像とを識別する基準を提供するものである。本実施形態においては、１つの画素群を構成する各画素における特徴量Ｃ０の組み合わせについてのヒストグラムを識別器として使用する。

図１０を参照しながらある識別器の作成について説明する。図１０の左側のサンプル画像に示すように、この識別器を作成するための画素群を構成する各画素は、顔であることが分かっている複数のサンプル画像上における、右目の中心にある画素Ｐ１、右側の頬の部分にある画素Ｐ２、額の部分にある画素Ｐ３および左側の頬の部分にある画素Ｐ４である。そして顔であることが分かっているすべてのサンプル画像について全画素Ｐ１〜Ｐ４における特徴量Ｃ０の組み合わせが求められ、そのヒストグラムが作成される。ここで、特徴量Ｃ０は勾配ベクトルＫの方向および大きさを表すが、勾配ベクトルＫの方向は０〜３５９の３６０通り、勾配ベクトルＫの大きさは０〜２５５の２５６通りあるため、これをそのまま用いたのでは、組み合わせの数は１画素につき３６０×２５６通りの４画素分、すなわち（３６０×２５６）⁴通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、勾配ベクトルの方向を０〜３５９を０〜４４と３１５〜３５９（右方向、値：０），４５〜１３４（上方向値：１），１３５〜２２４（左方向、値：２），２２５〜３１４（下方向、値３）に４値化し、勾配ベクトルの大きさを３値化（値：０〜２）する。そして、以下の式を用いて組み合わせの値を算出する。

組み合わせの値＝０（勾配ベクトルの大きさ＝０の場合）
組み合わせの値＝（（勾配ベクトルの方向＋１）×勾配ベクトルの大きさ（勾配ベクトルの大きさ＞０の場合）
これにより、組み合わせ数が９⁴通りとなるため、特徴量Ｃ０のデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記画素Ｐ１〜Ｐ４の位置に対応する画素が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１０の一番右側に示す、識別器として用いられるヒストグラムである。この識別器のヒストグラムが示す各縦軸の値を、以下、識別ポイントと称する。この識別器によれば、正の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔である可能性が高く、識別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の識別ポイントに対応する特徴量Ｃ０の分布を示す画像は顔でない可能性が高く、やはり識別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ２では、識別に使用され得る複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせについて、上記のヒストグラム形式の複数の識別器が作成される。

続いて、ステップＳ２で作成した複数の識別器のうち、画像が顔であるか否かを識別するのに最も有効な識別器が選択される。最も有効な識別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各識別器の重み付き正答率が比較され、最も高い重み付き正答率を示す識別器が選択される（Ｓ３）。すなわち、最初のステップＳ３では、各サンプル画像の重みは等しく１であるので、単純にその識別器によって画像が顔であるか否かが正しく識別されるサンプル画像の数が最も多いものが、最も有効な識別器として選択される。一方、後述するステップＳ５において各サンプル画像の重みが更新された後の２回目のステップＳ３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく識別されることに、より重点が置かれる。

次に、それまでに選択した識別器の組み合わせの正答率、すなわち、それまでに選択した識別器を組み合わせて使用して各サンプル画像が顔の画像であるか否かを識別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（Ｓ４）。ここで、組み合わせの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した識別器を用いれば画像が顔であるか否かを十分に高い確率で識別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した識別器と組み合わせて用いるための追加の識別器を選択するために、ステップＳ６へと進む。

ステップＳ６では、直近のステップＳ３で選択された識別器が再び選択されないようにするため、その識別器が除外される。

次に、直近のステップＳ３で選択された識別器では顔であるか否かを正しく識別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく識別できたサンプル画像の重みが小さくされる（Ｓ５）。このように重みを大小させる理由は、次の識別器の選択において、既に選択された識別器では正しく識別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく識別できる識別器が選択されるようにして、識別器の組み合わせの効果を高めるためである。

続いて、ステップＳ３へと戻り、上記したように重み付き正答率を基準にして次に有効な識別器が選択される。

以上のステップＳ３からＳ６を繰り返して、顔が含まれるか否かを識別するのに適した識別器として、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせに対応する識別器が選択されたところで、ステップＳ４で確認される正答率が閾値を超えたとすると、顔が含まれるか否かの識別に用いる識別器の種類と識別条件とが確定され（Ｓ７）、これにより第１の参照データＥ１の学習を終了する。

なお、上記の学習手法を採用する場合において、識別器は、特定の画素群を構成する各画素における特徴量Ｃ０の組み合わせを用いて顔の画像と顔でない画像とを識別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１０の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

第１の識別部５は、複数種類の画素群を構成する各画素における特徴量Ｃ０の組み合わせのすべてについて第１の参照データＥ１が学習した識別条件を参照して、各々の画素群を構成する各画素における特徴量Ｃ０の組み合わせについての識別ポイントを求め、すべての識別ポイントを総合して写真画像Ｓ０に顔が含まれるか否かを識別する。この際、特徴量Ｃ０である勾配ベクトルＫの方向は４値化され大きさは３値化される。本実施形態では、すべての識別ポイントを加算して、その加算値が正であり、かつその値が所定の閾値以上である場合には写真画像Ｓ０には顔が含まれると判断し、顔識別閾値より小さい場合には顔は含まれないと判断する。

ここで、写真画像Ｓ０のサイズは３０×３０画素のサンプル画像とは異なり、各種サイズを有するものとなっている可能性がある。また、顔が含まれる場合、平面上における顔の回転角度が０度であるとは限らない。このため、第１の識別部５は、図１１に示すように、写真画像Ｓ０を縦または横のサイズが３０画素となるまで段階的に拡大縮小するとともに平面上で段階的に３６０度回転させつつ（図１１においては縮小する状態を示す）、各段階において拡大縮小された写真画像Ｓ０上に３０×３０画素サイズのマスクＭを設定し、マスクＭを拡大縮小された写真画像Ｓ０上において１画素ずつ移動させながら、マスク内の画像が顔の画像であるか否かの識別を行うことにより、写真画像Ｓ０に顔が含まれるか否かを識別する。

なお、第１参照データＥ１の生成時に学習したサンプル画像として両目の中心位置の画素数が９，１０，１１画素のものを使用しているため、写真画像Ｓ０の拡大縮小時の拡大率は１１／９とすればよい。また、第１の参照データＥ１の生成時に学習したサンプル画像として、顔が平面上で±１５度の範囲において回転させたものを使用しているため、写真画像Ｓ０は３０度単位で３６０度回転させればよい。

なお、特徴量算出部１は、写真画像Ｓ０の拡大縮小および回転という変形の各段階において特徴量Ｃ０を算出する。なお、特徴量算出部１は、算出された特徴量Ｃ０を、それが算出された段階に対応付けて図示しない一時記憶手段に記憶させる。

このようにして、通常顔検出部１０の第１の識別部５は、写真画像Ｓ０に顔が含まれるか否かの識別を拡大縮小および回転の全段階の写真画像Ｓ０について行い、一度でも顔が含まれると識別された場合には、写真画像Ｓ０には顔が含まれると識別し、顔が含まれると識別された段階におけるサイズおよび回転角度の写真画像Ｓ０から、識別されたマスクＭの位置に対応する３０×３０画素の領域を顔の画像、すなわち顔画像として抽出する。

図１２は、図１に示す実施形態の顔検出装置における眼鏡顔検出部２０の構成を示すブロック図である。図示のように、眼鏡顔検出部２０は、第２の記憶部１４と第２の識別部１５とを備えてなり、第２の記憶部１４には第２の参照データＥ２が記憶されており、第２の識別部１５は、第２の参照データＥ２、および特徴量算出部１により算出された、図示しない一時記憶手段に記憶された特徴量Ｃ０を用いて写真画像Ｓ０から顔を検出するものである。

第２の記憶部１４内に格納されている第２の参照データＥ２は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。

第２の参照データＥ２中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

ここで、本実施形態において、第２の参照データＥ２の学習のための、顔であることが分かっているサンプル画像は、通常顔検出部１０に用いられた第１の参照データＥ１の学習のためのサンプル画像と異なり、眼鏡をかけた人間の顔写真画像のみである。

なお、第２の参照データＥ２が、第１の参照データＥ１と異なる点を除けば、眼鏡顔検出部２０の動作は、通常顔検出部１０の動作と同じであるため、ここで、その詳細な説明を省略する。

図１３は、図１に示す実施形態の顔検出装置における髭顔検出部３０の構成を示すブロック図である。図示のように、髭顔検出部３０は、第３の記憶部２４と第３の識別部２５とを備えてなり、第３の記憶部２４には第３の参照データＥ３が記憶されており、第３の識別部２５は、第３の参照データＥ３、および特徴量算出部１により算出された、図示しない一時記憶手段に記憶された特徴量Ｃ０を用いて写真画像Ｓ０から顔を検出するものである。

第３の記憶部２４内に格納されている第３の参照データＥ３は、後述するサンプル画像から選択された複数画素の組み合わせからなる複数種類の画素群のそれぞれについて、各画素群を構成する各画素における特徴量Ｃ０の組み合わせに対する識別条件を規定したものである。

第３の参照データＥ３中の、各画素群を構成する各画素における特徴量Ｃ０の組み合わせおよび識別条件は、顔であることが分かっている複数のサンプル画像と顔でないことが分かっている複数のサンプル画像とからなるサンプル画像群の学習により、あらかじめ決められたものである。

ここで、本実施形態において、第３の参照データＥ３の学習のための、顔であることが分かっているサンプル画像は、通常顔検出部１０に用いられた第１の参照データＥ１の学習のためのサンプル画像とも、眼鏡顔検出部２０に用いられた第２の参照データＥ２の学習のためのサンプル画像とも異なり、髭のある人間の顔写真画像のみである。

なお、第３の参照データＥ３が、第１の参照データＥ１と異なる点を除けば、髭顔検出部３０の動作は、通常顔検出部１０の動作と同じであるため、ここで、髭顔検出部３０についてもその詳細な説明を省略する。

図１４は、図１に示す本発明の実施形態の顔検出装置における処理を示すフローチャートである。図示のように、写真画像Ｓ０に対して、まず、特徴量算出部１が写真画像Ｓ０の拡大縮小および回転の各段階において、写真画像Ｓ０の勾配ベクトルＫの方向および大きさを特徴量Ｃ０として算出し、図示しない一時記憶手段に記憶する（Ｓ１０）。そして、通常顔検出部１０における第１の識別部５は、任意の多数の人間のサンプル写真画像および顔ではないと分かっているサンプル画像を学習して得た第１の参照データＥ１を第１の記憶部４から読み出し（Ｓ１２）、特徴量算出部１により得られた特徴量Ｃ０とに基づいて写真画像Ｓ０に顔が含まれているか否かの識別を行う（Ｓ１４）。

通常顔検出部１０における第１の識別部５は、写真画像Ｓ０に顔が含まれると判別する（Ｓ１６：Ｙｅｓ）と、写真画像Ｓ０から顔を抽出し（Ｓ３０）、写真画像Ｓ０に対する本実施形態の顔検出装置の処理が終了する。

一方、通常顔検出部１０において、顔が検出されなければ（Ｓ１６：Ｎｏ）、制御部５０は、写真画像Ｓ０に対する顔の検出処理を眼鏡顔検出部２０に行わせる。眼鏡顔検出部２０における第２の識別部１５は、眼鏡をかけた人間の顔のみが夫々写っているサンプル写真画像および顔ではいなと分かっているサンプル画像を学習得た第２の参照データＥ２を第２の記憶部１４から読み出し（Ｓ２０）、特徴量算出部１により算出された、図示しない記憶手段に記憶された特徴量Ｃ０とに基づいて写真画像Ｓ０に顔が含まれているか否かの識別を行う（Ｓ２２）。

眼鏡顔検出部２０における第２の識別部１５は、写真画像Ｓ０に顔が含まれると判別する（Ｓ２４：Ｙｅｓ）と、写真画像Ｓ０から顔を抽出し（Ｓ３０）、写真画像Ｓ０に対する本実施形態の顔検出装置の処理が終了する。

また、眼鏡顔検出部２０において、顔が検出されなければ（Ｓ２４：Ｎｏ）、制御部５０は、写真画像Ｓ０に対する顔の検出処理をさらに髭顔検出部３０に行わせる。髭顔検出部３０における第３の識別部２５は、髭のある人間の顔のみが夫々写っているサンプル写真画像および顔ではいなと分かっているサンプル画像を学習得た第３の参照データＥ３を第３の記憶部２４から読み出し（Ｓ２６）、特徴量算出部１により算出された、図示しない記憶手段に記憶された特徴量Ｃ０とに基づいて写真画像Ｓ０に顔が含まれているか否かの識別を行う（Ｓ２８）。

髭顔検出部３０における第３の識別部２５は、写真画像Ｓ０に顔が含まれると判別する（Ｓ２８：Ｙｅｓ）と、写真画像Ｓ０から顔を抽出し（Ｓ３０）、写真画像Ｓ０に対する本実施形態の顔検出装置の処理が終了する一方、写真画像Ｓ０に顔が含まれないと判別する（Ｓ２８：Ｎｏ）、制御部５０は、顔写真画像Ｓ０に対する顔検出処理を終了させる。

このように、本実施形態の顔検出装置において、通常顔検出部１０と、眼鏡顔検出部２０と、髭顔検出部３０とは、通常顔と、眼鏡をかけた顔と、髭がある顔とを夫々検出するために設けられたものであるため、自身の検出対象の検出精度が高い。また、夫々のタイプの顔を検出する処理を複数に分けることによって、演算量を減らし、処理速度を向上させることができる。

以上、本発明の望ましい実施形態について説明したが、本発明は、上述した実施形態に限られるものではなく、本発明の主旨を逸脱しない限り、様々な増減、変更を行うことができる。

例えば、本実施形態において、特徴のある顔を検出する処理として、眼鏡をかけた顔を検出する処理と、髭のある顔を検出する処理との２つを用いたが、この２つに限らず、特徴のある顔を検出する処理の数および種類の増減をしてもよい。

また、本実施形態において、デジタル画像から検出する所定の対象物が顔であるが、本発明の対象物検出方法および装置並びにプログラムは、いかなる対象物の検出にも適用することができる。

また、通常対象物検出処理（本実施形態においては通常顔検出処理）、特徴対象物検出処理（本実施形態においては眼鏡顔検出処理、髭顔検出処理）の手法としても、本実施形態において用いられた手法に限らず、従来公知の種々の対象物検出手法を用いることができる。

本発明の実施形態となる顔検出装置の構成を示すブロック図 図１に示す顔検出装置における通常顔検出部１０の構成を示すブロック図 エッジ検出フィルタを示す図 勾配ベクトルの算出を説明するための図 （ａ）は人物の顔を示す図、（ｂ）は（ａ）に示す人物の顔の目および口付近の勾配ベクトルを示す図 （ａ）は正規化前の勾配ベクトルの大きさのヒストグラムを示す図、（ｂ）は正規化後の勾配ベクトルの大きさのヒストグラムを示す図、（ｃ）は５値化した勾配ベクトルの大きさのヒストグラムを示す図、（ｄ）は正規化後の５値化した勾配ベクトルの大きさのヒストグラムを示す図 通常顔検出部１０における第１の記憶部４に記憶された第１の参照データＥ１の学習に用いられる顔であることが分かっているサンプル画像の例 顔の回転を説明するための図 参照データの学習手法を示すフローチャート 識別器の導出方法を示す図 図２に示す通常顔検出部１０における第１の識別部５により顔を検出する際の、写真画像の段階的な変形を説明するための図 図１に示す顔検出装置における眼鏡顔検出部２０の構成を示すブロック図 図１に示す顔検出装置における髭顔検出部３０の構成を示すブロック図 図１に示す顔検出装置において行われる処理を示すフローチャート

符号の説明

１ 特徴量算出部
４ 第１の記憶部
５ 第１の識別部
１０ 通常顔検出部
１４ 第２の記憶部
１５ 第２の識別部
２０ 眼鏡顔検出部
２４ 第３の記憶部
２５ 第３の識別部
３０ 髭顔検出部
５０ 制御部

Claims (8)

1. デジタル画像から、該デジタル画像に存在する所定の対象物を検出する対象物検出方法において、
   前記デジタル画像に対して、通常の前記所定の対象物を検出する通常対象物検出処理を行い、
   該通常対象物検出処理により前記所定の対象物を検出することができなかった前記デジタル画像に対して、所定の特徴を有する前記所定の対象物を検出する特徴対象物検出処理を行うことを特徴とする対象物検出方法。
2. 前記所定の対象物が検出されるまで、夫々異なる前記所定の特徴に対応する前記特徴対象物検出処理を順次行うことを特徴とする請求項１記載の対象物検出方法。
3. 前記デジタル画像が、顔写真画像であり、
   前記所定の対象物が、顔であることを特徴とする請求項１または２記載の対象物検出方法。
4. デジタル画像から、該デジタル画像に存在する所定の対象物を検出する対象物検出装置であって、
   前記デジタル画像に対して、通常の前記所定の対象物を検出する通常対象物検出手段と、
   所定の特徴を有する前記所定の対象物を検出する特徴対象物検出手段と、
   前記通常対象物検出手段により前記所定の対象物を検出することができなかった前記デジタル画像に対して、前記特徴対象物検出手段による検出を行わせる制御手段とを有してなることを特徴とする対象物検出装置。
5. 前記特徴対象物検出手段が複数あり、
   該複数の特徴対象物検出手段が、夫々異なる前記所定の特徴に対応するものであり、
   前記制御手段が、前記所定の対象物が検出されるまで、前記複数の特徴対象物検出手段による検出を順次行わせるものであることを特徴とする請求項４記載の対象物検出装置。
6. 前記デジタル画像が、顔写真画像であり、
   前記所定の対象物が、顔であることを特徴とする請求項４または５記載の対象物検出装置。
7. デジタル画像から、該デジタル画像に存在する所定の対象物を検出する対象物検出処理をコンピュータに実行させるプログラムであって、
   前記対象物検出処理が、通常の前記所定の対象物を検出する通常対象物検出処理と、
   該通常対象物検出処理により前記所定の対象物を検出することができなかった前記デジタル画像に対して、所定の特徴を有する前記所定の対象物を検出する特徴対象物検出処理とからなることを特徴とするプログラム。
8. 前記デジタル画像が、顔写真画像であり、
   前記所定の対象物が、顔であることを特徴とする請求項７記載のプログラム。

Images