JP2010108494A - 画像内の顔の特性を判断する方法及びシステム - Google Patents

Abstract

【課題】顔の画像から、性別、年齢、人種、心的状態、表情、及び、姿勢のような顔の特性を判断する。
【解決手段】入力画像１１０を入力パッチのセット１２５に分割する（１２０）。各パッチを、原型パッチのセット１４０と比較する（１３０）。この比較の結果、マッチする原型パッチのセットがもたらされる。該マッチする原型パッチのセットの特性に基づいて、顔の画像の特性が判断される（４００）。
【選択図】図１

Description

本発明は、包括的には顔の画像を分析することに関し、より詳細には、画像内の顔の特性を判断することに関する。

人間は顔の特性を認識することに非常に長けているが、コンピュータはそうではない。性別、年齢、人種、心的状態、表情、及び、姿勢（または態度）のような、顔のさまざまな特性を判断するために画像の自動分析を必要とする多くの用途が存在する。コンピュータビジョン技法を使用して画像から顔の概括的な特性を自動的に判断することができれば、大きな商業上の利益となるであろう。

顔分析のためのいくつかの従来のコンピュータビジョン方法が存在するが、それらのすべてがいくつかの欠点を抱えている。一般的な従来の方法は、最初に、教師付きの学習技法を使用してトレーニングしなければならない分類器を使用するが、これは資源及び時間を消費する。分類器の例は、ブースト分類器、サポートベクタマシン（ＳＶＭ）、及び、ニューラルネットワーク又はベイズネットワークを含む。これらの分類器のうちのいくつかは、生の画素画像に対して動作し、一方で、他のものはガボール特徴又はハール状特徴のような、画像から抽出される特徴に対して動作する。

従来の分類器
Golomb他は非特許文献１において、３０×３０画素画像から成るヒトの顔画像から性別を特定する、完全接続２層ニューラルネットワークを記載している。

Cottrell他も非特許文献２において、顔の感情及び性別の認識にニューラルネットワークを適用している。該ニューラルネットワークは、自動符号化器ネットワークを介して４０９６×４０９６画像のセットの解像度を４０×４０に低減する。次いで、該ネットワークの出力は、トレーニング及び認識のためにもう１つの層のネットワークに入力される。

Brunelli他は非特許文献３において、性別分類のためのハイパーＢＦ（HyperBF）ネットワークを開発している。該ハイパーＢＦネットワークでは、一方が男性用でもう一方が女性用である２つの競合する放射基底関数（ＲＢＦ）ネットワークが、たとえば、瞳から眉毛までの距離、眉毛の太さ、及び、鼻の幅のような１６個の幾何学的特徴を入力として使用してトレーニングされる。

グレイレベルのラスタ走査ベクトルを使用して顔画像を表現する代わりに、Wiskott他は、非特許文献４において、顔を記述するための２次元ビューのラベルを付されたグラフを使用するシステムを記載している。ノードは、ウェーブレット変換に基づいて計算されるローカルテンプレートの特別なクラスであるジェットを表し、エッジは距離ベクトルを用いてラベル付けされる。それらは男性及び女性の制御されたモデルグラフの小さなセットを使用して概括的な顔の知識を符号化する。

最近では、Gutta他が非特許文献５において、ニューラルネットワーク（ＲＢＦ）と帰納的決定木（inductive decision tree）との組み合わせを含むハイブリッド方法を記載している。

画像内の顔の特性を判断する、単純で、しかし正確な方法が望まれている。明示的に画像をトレーニングすることなく画像内の顔の特性を判断することも望まれている。

Golomb他著「SEXNET: A neural network identifies sex from human faces」（Advances in Neural Information Processing Systems, pp. 572-577, 1991） Cottrell他著「Empath: face, emotion, and gender recognition using holons」（Advances in Neural Information Processing Systems, pp. 564-571, 1991） Brunelli他著「HyperBF networks for gender classification」（Proceedings of the DARPA Image Under-standing Workshop, pp. 311-314, 1992） Wiskott他著「Face recognition and gender determination」（Proceedings of the International Workshop on Automatic Face and Gesture Recognition, pp. 92-97, 1995） Gutta他著「Gender and ethnic classification of Face Images」（Proceedings of the IEEE International Automatic Face and Gesture Recognition, pp. 194-199, 1998）

本発明の目的は、顔の画像から、限定ではないが、性別、年齢、人種、心的状態、表情、及び、姿勢のような顔の特性を判断する方法を提供することである。

本発明のさらなる目的は、ほとんどの従来の顔分類器に使用される明示的な又は暗黙的なトレーニングを必要としない方法を提供することである。

本発明による方法の主要な利点は、該方法が従来の解決策よりも単純且つ正確であることである。本発明の実施の形態は、年齢のような特性が３つ以上の可能な値を有する場合にマルチクラス問題に対する解決策も提供する。

本方法はまた、分類器のトレーニングという負担も取り除く。

本発明は、他の人間の顔の画像の複数の小さな領域を合成することによって顔の画像を良好に近似することができるという認識に基づく。換言すれば、異なる複数の人間から取得される、たとえば、鼻、眼、頬、及び、口のような顔の画像部分を合成することによって顔を特性化することができる。さらに、これらの画像部分は顔全体の特性のセットを保持することができる。たとえば、男性の鼻の画像部分は、女性の顔のセット内の鼻よりも、男性の顔のセット内の鼻に最も類似している可能性が高い。

したがって、未知の顔の画像の鼻部分が、男性の顔の画像内の鼻部分と類似している場合、或る程度の確率性をもって、画像内の未知の顔が男性であると言うことができる。

同様に、年齢、人種、及び表情のような顔の画像の他の特性を、既知の特性を有するパッチのセットを用いて比較することによって発見することができる。

意外なことに、また驚くべきことに、本発明による比較的単純な方法はパッチのみを比較し、従来技術のように画像は比較しない。本方法は従来の画像分類ベースの手法と比較した場合にはるかに優れた結果をもたらす。これらの結果はより正確であり、同時に複数の特性を判断することができる。

従来技術の分類器ベースの方法では、これには複数の分類器をトレーニングする必要があり、また画像全体にわたって複数回トレーニングする必要があった。したがって、本発明の実施の形態による方法はリアルタイムのコンピュータビジョンの用途に特に適している。

本発明の実施形態による、取得される顔の画像を使用して顔の特性を判断する方法の流れ図である。 本発明の実施形態による、原型パッチのセットを用いての顔の画像のパッチの比較の概略図である。 本発明の実施形態による、顔の分割された画像の図である。 本発明の実施形態による、顔の分割された画像の図である。 本発明の実施形態による、顔のクロッピングされた画像の図である。 本発明の実施形態による、マッチする原型パッチの特性から顔の特性を判断する流れ図である。

図１は、本発明の実施の形態による入力画像１１０内の顔の特性のセット１１５を判断する方法１００を示す。本方法１００はリアルタイムで実施することができる。本明細書において使用される場合、特性のセットは１つ又は複数の特性を含むことができる。

一実施形態では、顔の入力画像１１０はカメラによって取得される。他の実施形態では、方法１００はコンピュータ可読メモリ（図示せず）から、又はネットワークを介して入力画像１１０を取り出す。

入力画像１１０を入力パッチのセット１２５に分割する（１２０）。一実施形態では、分割は、特に関心のある入力パッチのサブセットを選択することによって達成される。たとえば、１つのみのパッチ又はいくつかのパッチが選択され得る。

原型パッチのセット１４０は、異なる原型顔の画像のパッチを含む。本明細書において定義される「原型」の使用は従来どおりである。顔は、「或る個人の顔が特定のタイプの基本的な特徴を呈する」場合に原型である。原型セット１４０内の各パッチは、そのタイプの１つ又は複数の関連付けられる特性１４１を有する。特性のセット１４１の例は、限定ではないが、性別、人種、年齢、たとえば楽しい表情又は悲しい表情のような顔の表情である。

入力パッチのセット１２５内の各パッチを、原型パッチのセット１４０と比較する（１３０）。入力パッチ１２５に最良にマッチする原型パッチが、マッチする原型パッチのセット１３５として選択される。このように、すべての入力パッチ１２５に関して、最良にマッチする原型パッチ１３５が原型パッチ１４０から選択される。

マッチする特性１５５を、マッチする原型パッチのセット１３５から取り出す（１５０）。次いで、マッチする特性を使用して、入力画像１１０内の顔の（１つ又は複数の）特性のセット１１５を判断する（４００）。

パッチ比較
図２は、本発明の実施形態による、パッチ１２５とパッチ１４０との比較１３０を概略的に示す。

本発明は、さまざまな人間から取られた、たとえば、鼻、眼、及び、頬のような既知の顔の部分を合成することによって未知の顔を特性化することができるという認識の結果である。さらに、顔のこれらの部分は通常、顔全体の特性を保持する。たとえば、男性の眼を含むパッチ１１２は、女性の画像の中からよりも、他の男性の画像の中から発見される可能性が高い。したがって、入力画像１１０内の眼のパッチ１１２が「男性」の性別特性１４１を有する原型パッチとマッチする場合、或る程度の確率性をもって、入力画像１１０は男性から取得されたと言うことができる。

同様に、既知の特性１４１を有する原型パッチのセット１４０との比較１３０によって、年齢及び人種のような、入力画像１１０の他の特性を判断することができる。

パッチはさまざまな方法で比較する（１３０）ことができる。いくつかの実施形態は、画素値の差分絶対値和（Ｌ１ノルム）若しくは画素値の残差平方和（Ｌ２ノルム）、又は、正規化相互相関を使用する。パッチから抽出される特徴を比較することもできる。この実施形態では、たとえばガボール特徴、勾配特徴のヒストグラム、又は、ハール状特徴のような特徴ベクトルのセットをすべてのパッチに関して求める。次いで、特徴ベクトルを比較することができる。特徴の比較は画素ごとの比較よりも少ない時間で行うことができる。特徴を、特性を検知しやすいように設計することもできる。

画像分割
図３Ａは、画像全体上に規則的な格子を使用する、入力画像１１０の、パッチ１２５への一例の分割１２０を示す。パッチ１２５は、サイズが同じであっても異なっていてもよく、また重なっていても重なっていなくてもよい。同じ分割方式を使用して原型パッチ１４０を生成することができる。

パッチが矩形形状を有する必要はない。図３Ｂは他の例のパッチを示す。パッチは、矩形形状１２５ａ、楕円形状１２５ｂ、又は、任意形状１２５ｃを有することができる。さらに、パッチ１２５を複数の分離している画素１２５ｄから形成することができる。分割後、関心のある特性を最良に特性化する最適なパッチのセットを、原型パッチ及び入力パッチの双方に対して選択することができる。たとえば、強い特徴、たとえば眼及び口を有するパッチを保持することができ、一方で特徴の少ないパッチ、たとえば額又は頬を廃棄することができる。その結果、特定の関心のある特性を判断するのに最適な原型パッチ及び入力パッチのセットがもたらされる。

画像位置合わせ
パッチ比較１３０の精度を向上させるために、顔の各画像、すなわち入力画像１１０及び原型パッチ１４０の選択に使用される画像の双方を位置合わせする。位置合わせはパッチに対して行うこともできる。たとえば、画像は、縮尺（scale）、面内回転及び平行移動に関して正規化される。本発明の一実施形態では、画像位置合わせは、たとえば眼の中心のような特徴点を使用する位置合わせ方法を使用して行われる。顔検出器及び眼検出器をこの目的に使用して、画像の位置合わせを自動化することができる。少なくとも２つの特徴点が与えられると、特徴点を或る目標特徴ロケーションにマッピングする４つのパラメータ（縮尺、面内回転角、ｘオフセット及びｙオフセット）を、線形最小二乗問題を解くことによって計算することができる。次いで、双線形補間を使用して入力画像１１０を変形させて（warp）一定のサイズの位置合わせされた画像をもたらすことができる。図３Ｃに示すように、クロッピング３００によって、毛髪のような外部の特徴を除去することができる。

原型パッチ
関連する特性及び用途に応じて、種々のソースから原型パッチ１４０を取得することができる。たとえば、性別特性に関して、ワールドワイドウェブ又は写真集からデジタル写真を収集することによって数百又は数千の原型顔画像を得ることができる。手作業で又はコンピュータビジョン技法を使用して特性を指定することができる。原型パッチの最適なセットを上述のように選択することができる。

画像特性
マッチする原型パッチのセット１３５が求められた後、特性１５５を使用して入力画像１１０の特性を判断することができるいくつかの方法が存在する。

図４は、特性１１５を判断する一例を示す。一実施形態では、スコア４１５を、特定の値を有するマッチする原型パッチ１３５の特性１５５のパーセンテージとして求める（４１０）。たとえば、マッチするパッチ１３５の６０％が男性であり且つ４０％が女性である場合、スコア４１５は６０である。画像スコア４１５を求めた後、該スコア４１５を閾値４２５と比較して（４３０）、特性１１５を判断する。たとえば、男性のスコアが６０である場合、閾値４２５ｍが６０未満である場合は画像１１０の性別の特性は「男性」であり、それ以外の場合は画像１１０の特性は「女性」である。このプロセスを各タイプの特性に対して繰り返すことができる。

男性の顔の画像及び女性の顔の画像の試験セットを使用して、男性の顔に関する失敗対女性の顔に対する失敗のパーセンテージをプロットする受信者動作特性（ＲＯＣ）曲線から、閾値４２５を得ることができる。なお、このためにこの方法を使用してスコアが計算されている。閾値が非常に低く設定されている場合、すべての顔が男性であると予測されることになり、これによって女性の顔のすべてに関してエラーが生じるが、男性の顔に関してはいずれもエラーはない。逆に、閾値が非常に高く設定されている場合、すべての顔が女性であると予測されることになり、これによって男性の顔のすべてに関してエラーが生じるが、女性の顔に関してはエラーは全くない。したがって、最適な閾値４２５はこれらの値の間にあり、特定の用途に関して、女性に対するエラーに対して男性に対するエラーをどの程度重み付けするかによって決まる。ＲＯＣ曲線は閾値の各可能な値に対する試験セットに関する全体のエラーレートをプロットする。

連続値とすることができる、年齢のような特性に関して、すべてのマッチする原型パッチの特性の平均又は加重平均を使用することができる。

本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内でさまざまな他の適合及び変更を行うことができることは理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入るこのようなすべての変形及び変更を包含することである。

Claims (12)

1. 画像内の顔の特性を判断する方法であって、
   顔の入力画像を入力パッチのセットに分割するステップと、
   各前記入力パッチを原型パッチのセットと比較して、マッチする原型パッチを求めるステップであって、各該マッチする原型パッチは、該マッチする原型パッチに関連付けられる特性のセットを形成する少なくとも１つの特性に関連付けられる、ステップと、
   前記マッチする原型パッチに関連付けられる前記特性のセットに従って、前記入力画像内の前記顔の特性のセットを判断するステップと、
   を含む、画像内の顔の特性を判断する方法。
2. カメラによって前記顔の前記画像を取得するステップをさらに含む、請求項１に記載の方法。
3. 前記マッチする原型パッチに関連付けられる前記特性を取り出すステップをさらに含む、請求項１に記載の方法。
4. 前記比較するステップは、
   各前記入力パッチ及び各前記原型パッチから特徴ベクトルを抽出するステップと、
   前記特徴ベクトルを比較して、前記マッチする原型パッチを求めるステップと、
   をさらに含む、請求項１に記載の方法。
5. 前記分割するステップは、
   前記比較のために前記入力パッチの最適なセットを選択するステップをさらに含む、請求項１に記載の方法。
6. 前記入力パッチ及び前記原型パッチは位置合わせされた画像から得られる、請求項１に記載の方法。
7. 前記原型パッチのセットは最適であるように選択される、請求項１に記載の方法。
8. 前記判断するステップは、
   前記マッチする原型パッチに関連付けられる前記特性のセットに従ってスコアを求めるステップと、
   前記スコアを閾値化して、前記顔の前記特性のセットを判断するステップと、
   をさらに含む、請求項１に記載の方法。
9. 前記セット内の前記特性は、性別、年齢、前記顔の表情、姿勢、人種、及び、それらの組合せから成る群から選択される、請求項１に記載の方法。
10. 画像内の顔の特性を判断する方法であって、
    顔の画像のパッチを取得するステップと、
    前記パッチを原型パッチのセットと比較して、マッチする原型パッチを求めるステップであって、該マッチする原型パッチは関連付けられる特性のセットを有する、ステップと、
    前記マッチする原型パッチに関連付けられる前記特性のセットに従って前記画像内の前記顔の特性のセットを判断するステップと、
    を含む、画像内の顔の特性を判断する方法。
11. 画像内の顔の特性を判断するシステムであって、
    顔の入力画像の入力パッチのセットを原型パッチのセットと比較して、マッチする原型パッチを求めるように構成されたパッチ比較モジュールであって、各該マッチする原型パッチは、該マッチする原型パッチに関連付けられる特性のセットを形成する少なくとも１つの特性に関連付けられる、パッチ比較モジュールと、
    前記マッチする原型パッチに関連付けられる前記特性のセットに従って前記入力画像内の前記顔の特性のセットを判断するように構成された特性比較モジュールと、
    を備える、画像内の顔の特性を判断するシステム。
12. 前記顔の前記入力画像を前記入力パッチのセットに分割するように構成される画像分割モジュールをさらに備える、請求項１１に記載のシステム。

Images