JP6071002B2 - 信頼度取得装置、信頼度取得方法および信頼度取得プログラム - Google Patents

Description

本発明は、信頼度取得装置、信頼度取得方法、信頼度取得プログラムに関する。

画像中から対象（例えば、顔領域）の位置を特定する検出技術が、これまでに数多く提案されている。このような検出技術では、入力画像が与えられたときに、画像領域が対象であるか否かを判定する識別器を用いて、入力画像中を満遍なく探索することで対象の検出を行う場合が多い。

ここで、顔検出で用いられる識別器は、通常、顔領域を切り出した画像と顔を含まない画像を大量に用意し、学習を行って生成する。しかし、顔か否かを判別するのに必要な情報を完全に含んだ学習用の画像群を用意することは困難なため、一般的に、構築された識別器はある程度の検出間違いを伴う。このような検出間違いには二種類あり、顔領域を顔と判定できず見逃す場合（未検出）と、顔ではない領域を誤って顔と判定する場合（誤検出）があり、後者について、その数を減らすための技術が幾つか知られている。

例えば、特許文献１には、顔の誤検出を低減する方法として、顔として検出した領域の色が肌色かどうかを判定に用いる手法が記載されている。

また、特許文献２には、顔の誤検出を低減する方法として、顔のテクスチャと形状に関する統計的なモデルを用いる方法が記載されている。この方法では、統計的なモデルのパラメータを調整し、このモデルから生成される顔画像と、顔検出結果に基づき顔領域として切り出した画像との、輝度値の差分を最小化する。なお、モデルから生成される顔画像と、顔検出結果に基づき顔領域として切り出した画像とはそれぞれ、顔形状に関して正規化されている。そして、最小化した輝度値の差分が所定の閾値以上の場合、検出結果は誤検出であると判定する。通常、顔に関する統計的なモデルは、顔以外の画像の表現力が乏しいため、仮に、顔検出結果に基づき切り出した画像が顔でない場合（誤検出）、モデルから生成される顔画像と顔検出結果に基づき切り出した画像との輝度値の差分は大きくなると考えられる。特許文献２記載の方法は、このような知見に基づき、輝度値の差分により顔検出結果が真に顔であるか否かを判定するものである。

また、非特許文献１には、顔の誤検出を低減する方法として、サポートベクタマシン（ＳＶＭ）により顔の誤検出判定器を学習し、この判定器を顔検出結果に基づいて切り出した領域に対して適用することで、より積極的に誤検出を除去する手法が提案されている。この方法では、ガボールウェーブレット変換により抽出される画像特徴量をＳＶＭで学習し、対象領域のテクスチャが顔らしいか否かを識別する識別器を構築する。

特開２００９‐１２３０８１ 特開２０１０‐１９１５９２

山下ら，"顔検出の高性能化のための誤検出除去手法"，電子情報通信学会技術研究報告ＰＲＭＵ２００４−１０２ D. Cristinacce and T. F. Cootes, "A Comparison of Shape Constrained Facial Feature Detectors," In 6th International Conference on Automatic Face and Gesture Recognition 2004, Korea, pages 357-380, 2004.

しかしながら、特許文献１の方法では、顔として検出した領域における色が肌色かどうかに基づき顔か否かを判定しているため、肌色以外の背景については顔以外の領域として除去できる一方、背景に肌色に近い領域が含まれている場合や、照明変動の影響で顔の肌の色が変化する場合に、顔か否かを適切に判定できないといった問題があった。

また、特許文献２の方法では、検出した顔領域と顔に関する統計的なモデルとの、輝度画像に関する差分を用いている。この場合、照明や表情などが複雑に変化する環境では顔領域の輝度値も複雑に変化するため、検出した顔領域と統計的なモデルとの輝度画像の差分値がどの程度の大きさであれば誤検出であるかを固定的に決めることが難しい。そのため、輝度画像の差分値に基づいて顔か否かを判定する方法は、精度が十分に得られないといった問題があった。

さらに、非特許文献１の方法では、ガボールウェーブレット変換による画像特徴量を、検出した顔領域の全体から抽出し、その特徴量を顔か否かの判定に用いている。しかし、顔検出器が背景などの顔ではない領域を誤って顔と判定するケースは、そもそもその領域に顔らしいテクスチャが含まれていることが誤検出の原因になっていると考えられ、この場合、検出した顔領域の全体から抽出した画像特徴量は、対象領域が顔らしいことを示す可能性がある。そのため、非特許文献１の方法のように、検出した顔領域の全体から抽出した画像特徴量で判定する方法では、精度が十分に得られず、顔の誤検出を低減することは難しいといった問題があった。

これらの問題は、顔以外を検出対象とする場合においても生じる問題である。

そこで、本発明は、上記の課題を解決するためになされたものであり、誤検出などの検出間違いを低減すべく、入力画像が検出対象の画像（例えば、顔画像）であるか否かを判定するための信頼度を高い精度で求めることを目的とする。

本発明の一側面に係る信頼度取得装置は、画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部と、入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求める部位らしさ取得部と、前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定する部位位置決定部と、前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部と、前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求める差分取得部と、前記差分情報に基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める信頼度取得部と、を備える。

また、本発明の一側面に係る信頼度取得方法では、コンピュータが、画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部を参照して、入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求め、前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定し、前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部を参照して、前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求め、前記差分情報に基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める。

また、本発明の一側面に係るプログラムは、コンピュータに、画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部を参照して、入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求める機能と、前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定する機能と、前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部を参照して、前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求める機能と、前記差分情報に基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める機能と、を実現させるためのものである。

なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、入力画像が検出対象の画像であるか否かを判定するための信頼度を高い精度で求めることが可能となる。

本実施形態の顔領域信頼度算出装置１の構成例を示す図である。 本実施形態の顔領域信頼度算出装置１の動作を示すフローチャートである。 画像入力部が入力する画像の例を示す図である。 顔の写った画像において、顔特徴点信頼度生成装置が対象とする顔特徴点を示す図である。 右目の瞳中心の信頼度画像の例を示す図である。 右目の瞳中心周辺の信頼度画像において、信頼度が最大となる位置を示す図である。

以下、検出対象を顔とし、顔の部位に関する部位らしさとして、目や鼻といった顔の部位に対応する特徴点（顔特徴点）の特徴点らしさ（顔特徴点信頼度）を用いる場合を例に、図面を参照して本発明の実施形態について説明する。

図１は、本発明の実施形態である顔領域信頼度算出装置１の構成例を示す図である。図１に示すように、本発明による顔領域信頼度算出装置１は、データ処理装置１００と、記憶装置２００とを含む。データ処理装置１００は、顔画像入力部１１０と、顔特徴点信頼度生成部１２０と、顔特徴点位置決定部１３０と、顔特徴点位置差分計算部１４０と、顔領域信頼度算出部１５０とを含む。記憶装置２００は、顔特徴点識別器記憶部２１０と、顔形状モデル記憶部２２０とを含む。なお、図示しないが、顔領域信頼度算出装置１は、従来の顔検出器を備えていてもよい。

顔特徴点識別器記憶部２１０は、顔特徴点ごとに、画像に対して適用した場合に顔特徴点らしさを出力する顔特徴点識別器の情報を記憶する。このような顔特徴点識別器は、種々の従来技術を用いて生成することができる。

顔形状モデル記憶部２２０は、顔の部位の基準位置に関する情報として、顔特徴点の位置（座標）に関する統計分布に基づき、顔特徴点の基準位置を規定する顔形状モデルの情報を記憶する。このような顔形状モデルとしては、例えば顔特徴点ごとに複数人の顔特徴点の平均座標を基準位置として規定するモデル、各顔特徴点の位置座標を要素とするベクトルＸを考え、複数の顔画像から得られるベクトルＸを主成分分析して得られる部分空間を規定するモデル、顔特徴点の基準位置をパラメトリック関数で規定するモデル、入力画像のサイズおよび顔の撮影位置が固定された環境において、顔特徴点の平均位置（画像座標系における位置）を保持したモデルなどを考えることができる。

顔画像入力部１１０は、処理対象となる入力画像を取得する。

顔特徴点信頼度生成部１２０は、入力画像に含まれる画像領域（画素を含む）について、顔特徴点識別器記憶部２１０に記憶されている顔特徴点識別器の情報に基づいて顔特徴点らしさを求め、顔特徴点らしさの分布を表す信頼度画像を生成する。

顔特徴点位置決定部１３０は、顔特徴点信頼度生成部１２０が生成した信頼度画像に基づいて、入力画像における顔特徴点（検出特徴点）の位置を決定する。

顔特徴点位置差分計算部１４０は、顔形状モデル記憶部２２０に記憶されている顔形状モデルに基づいて顔特徴点の基準位置を求め、かかる顔特徴点の基準位置と、顔特徴点位置決定部１３０が決定した検出特徴点の位置の差分情報を求める。

顔領域信頼度算出部１５０は、顔特徴点位置差分計算部１４０で求めた差分情報に基づいて、入力画像が顔画像である可能性を示す顔領域信頼度を算出する。

次に、顔領域信頼度算出装置１の動作について、図面を参照して説明する。図２は、図１に示す顔領域信頼度算出装置１の動作を示すフローチャートである。

まず、顔画像入力部１１０が、処理対象となる入力画像を取得する（ステップＳ１１１）。

次に、顔特徴点信頼度生成部１２０が、入力画像に含まれる画像領域について、顔特徴点識別器記憶部２１０に記憶されている顔特徴点識別器の情報に基づいて顔特徴点らしさを求め、顔特徴点らしさの分布を表す信頼度画像を生成する（ステップＳ１１２）。

次に、顔特徴点位置決定部１３０が、Ｓ１１２で生成した信頼度画像に基づいて、入力画像における顔特徴点（検出特徴点）の位置を決定する（ステップＳ１１３）。

次に、顔特徴点位置差分計算部１４０が、顔形状モデル記憶部２２０に記憶されている顔形状モデルに基づいて顔特徴点の基準位置を求め、かかる顔特徴点の基準位置と、Ｓ１１３で決定した検出特徴点の位置との差分情報を求める（ステップＳ１１４）。

次に、顔領域信頼度算出部１５０が、Ｓ１１４で求めた差分情報に基づいて、入力画像が顔画像である可能性を示す顔領域信頼度を算出する（ステップＳ１１５）。

本実施形態によれば、顔領域信頼度算出部において、目や鼻、口などの部位の顔特徴点の位置が顔らしい配置をしているか否かに基づいて顔領域信頼度を算出しているため、顔領域信頼度をより高い実用的な精度で算出することができる。かかる顔領域信頼度を用いることで、顔検出器が背景などの顔ではない領域を誤って顔領域として検出してしまう場合においても、検出した顔領域が真に顔であるか否かを精度良く判定することが可能となる。

次に、本発明の実施形態の構成と動作とについて、具体的な実施例を用いて説明する。

図１に示す本発明による顔領域信頼度算出装置１において、データ処理装置１００は、例えば、パーソナルコンピュータや携帯情報端末等の情報処理装置を用いて構成することができる。また、記憶装置２００（顔特徴点識別器記憶部２１０、顔形状モデル記憶部２２０）は、例えば、半導体メモリまたはハードディスクによって構成することができる。

顔画像入力部１１０、顔特徴点信頼度生成部１２０、顔特徴点位置決定部１３０、顔特徴点位置差分計算部１４０、および、顔領域信頼度算出部１５０は、データ処理装置１００において、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が記憶部に格納されたプログラムを実行することにより実現することができる。なお、データ処理装置１００の各部は、その一部又は全部がハードウェアとして実現されてもよい。例えば、顔画像入力部１１０は、デジタルカメラ、スキャナなどの撮像部を含んでいてもよく、また外部装置と通信して入力画像を取得するための通信モジュール等を備えていてもよい。

顔画像入力部１１０は、顔領域信頼度を算出する対象の入力画像を取得する。取得する入力画像は、従来の顔検出器によって検出された顔領域画像であってもよいし、デジタルカメラ等によって人物を撮像した画像であってもよい。

図３は、入力画像の例を示す図である。入力画像には、顔の他に背景が含まれていてもよい。顔領域信頼度算出装置１が顔検出器を備える場合、デジタルカメラ等で撮像した画像に対して顔検出処理を行って顔領域画像を切り出し、入力画像として用いることができる。

顔特徴点信頼度生成部１２０は、顔画像入力部１１０が取得した入力画像に対して、顔特徴点識別器記憶部２１０に記憶されている顔特徴点識別器を適用し、例えば入力画像の各画素について、目や鼻などの顔の各部位に対応する顔特徴点らしさを求める。

図４は、顔特徴点の例を示す図である。図４において、顔特徴点は×印で示されている。本実施例では、図４に示すように、左右の眉の両端部、左右の目の中央部および両端部、鼻の下部、口の両端部および中央部の１４点を顔特徴点として用いる。なお、顔特徴点は図４に示す例に限られず、１４点以外、例えば１点であってもよい。

顔特徴点信頼度生成部１２０は、顔特徴点ごとに、顔特徴点らしさを画素値とする信頼度画像を生成する。図４に示す例では、信頼度画像は１４個生成されることになる。なお、顔特徴点識別器を適用して顔特徴点らしさを計算するための手法は、従来提案されている種々の手法を用いることが可能である。例えば、非特許文献２のように、入力画像の領域全体に、ＶｉｏｌａとＪｏｎｅｓによるＨａａｒ−ｌｉｋｅ特徴にもとづくＡｄａＢｏｏｓｔを用いて構成した顔特徴点ごとの識別器を適用することで信頼度画像を生成してもよい。このように、顔特徴点識別器の学習の際に、照明や表情の変動に頑健な画像特徴量および学習アルゴリズムを用いることで、照明や表情変動に頑健な顔領域信頼度を算出することが可能となる。

図５は、右目中央部に対応する信頼度画像の例を示す図である。図５に示す例では、顔特徴点らしさが大きいほど、濃い黒で示されており、右目中央部以外に、左目の瞳中心付近、右眉付近、および鼻下付近において、右目中央部の顔特徴点らしさが大きい（右目中央部らしい）ことが示されている。

顔特徴点位置決定部１３０は、顔特徴点信頼度生成部１２０が生成した信頼度画像に基づいて、入力画像における顔特徴点の位置を決定する。顔特徴点位置決定部１３０は、例えば、顔特徴点信頼度生成部１２０が生成した各信頼度画像において顔特徴点らしさが最大となる位置を、対応する顔特徴点の位置に決定することができる。または、信頼度画像において顔特徴点らしさが最大となる位置に代えて、顔特徴点位置の事前分布と顔特徴点らしさとの積が最大となる位置を顔特徴点の位置に決定してもよい。

図６は、右目中央部に対応する信頼度画像において、顔特徴点らしさが最大となる位置を×印で示す図である。

顔特徴点位置差分計算部１４０は、顔形状モデル記憶部２２０に記憶されている顔形状モデルに基づいて、顔形状モデルに基づいて決定される顔特徴点の基準位置（顔形状モデル特徴点）の位置を求め、かかる顔特徴点の基準位置と、顔特徴点位置決定部１３０が決定した入力画像における顔特徴点（検出特徴点）の位置との差分情報を、顔特徴点ごとに計算する。

顔特徴点位置の差分情報の計算は、例えば、以下のように行う。なお以下では、顔形状モデルとして、顔特徴点の基準位置が直接、顔形状モデル記憶部２２０に記録されているものとする。具体的には、本実施例では、顔形状モデルとして、図４に示す１４点の顔特徴点について二次元の座標値（２８個の値）がそれぞれ記録される。また、顔特徴点位置決定部１３０が決定した検出特徴点の位置は、同様に、図４に示す１４点の顔特徴点についての二次元の座標値（２８個の値）となる。

顔形状モデル特徴点の座標系と、検出特徴点の座標系には相違があるため、これらの間の位置の差分を求めるには両者の座標系を揃える必要がある。そのため、まず、検出特徴点の座標ｔから、顔形状モデル特徴点の座標ｋへの座標変換ｐを求める。

本実施例では、座標変換ｐとして、ｘ軸方向の平行移動、ｙ軸方向の平行移動、画面内方向の回転、およびスケールに関しての座標変換であるヘルマート変換を用いる。この場合、座標変換ｐは、式（１）に示す、ヘルマート変換を規定する４つのパラメータ（ｐａ、ｐｂ、ｐｃ、ｐｄ）により特定される。式（１）のｔは変換前、ｕは変換後の座標である。

（１）

また、本実施例では、ヘルマート変換ｐのパラメータを最小二乗法により求める。この場合、検出特徴点ｔをある座標変換ｐにより変換した際の顔形状モデル特徴点との二乗誤差（式（２））を最小にするｐが、求めるべきヘルマート変換のパラメータとなる。なお、式（２）のＮは、顔特徴点の数を表わし、図４に示す１４点の顔特徴点について二乗誤差を計算する場合、Ｎ＝１４となる。

（２）

このような式（２）で表される二乗誤差を最小とする座標変換ｐは、式（３）より解析的に求めることができる。なお、式（３）のｎは最小二乗を求める際のデータ数、[ｚ]はｚの平均値である。

（３）

次に、求めた座標変換ｐを用いて、式（４）に従って、顔特徴点ごとに顔形状モデル特徴点の座標ｋと検出特徴点の座標ｔのユークリッド距離を、差分εとして求める。

（４）

なお、顔特徴点位置差分計算部１４０は、顔形状モデル特徴点の座標ｋと検出特徴点の座標ｔの差分εを計算する際に、顔形状モデル特徴点の座標ｋと検出特徴点の座標ｔのユークリッド距離ではなくマハラノビス距離などの別の距離尺度を用いてもよい。

さらに、顔特徴点位置差分計算部１４０は、顔特徴点位置決定部１３０で位置の決定に失敗した顔特徴点がある場合（例えば、サングラスやマスクによって顔特徴点が遮蔽されている状況や、入力画像が不鮮明で顔特徴点の位置の特定が困難な状況において、誤った位置が顔特徴点として決定される場合）、そのような顔特徴点を外れ値として扱って処理してもよい。具体的には、顔特徴点位置決定部１３０で決定した位置の顔特徴点らしさが所定の閾値以下の顔特徴点を、検出特徴点ｔから顔形状モデル特徴点ｋへの座標変換ｐを求める際に利用しない方法が考えられる。また、顔特徴点位置決定部１３０で決定した位置が、真の位置と比べて大きく外れた顔特徴点（例えば、右目の顔特徴点が、左目付近の位置に存在するとして決定されるような場合）を考慮しながら顔特徴点の位置の差分を計算するために、顔形状モデル特徴点の座標ｋから検出特徴点の座標ｔへの座標変換ｐを、ロバスト推定の手法により求めることができる。ロバスト推定は、従来提案されている種々の手法を用いることが可能である。

ここで、顔特徴点位置差分計算部１４０においてロバスト推定を用いて座標変換ｐを求める方法の一例として、最小メジアン法（ＬＭｅｄＳ（ｌｅａｓｔ ｍｅｄｉａｎ ｏｆ ｓｑｕａｒｅｓ）法）を用いて検出特徴点の座標ｔから顔形状モデル特徴点の座標ｋへのヘルマート変換ｐを求める方法について説明する。

まず、図４に示す１４個の顔特徴点から２個の顔特徴点をランダムに選択する。以下では、ランダムに選択された各顔特徴点にａおよびｂを付して説明する。また、検出特徴点のうち、ランダムに選択された２個の顔特徴点に対応する座標の組を（ｔａ，ｔｂ）とし、顔形状モデル特徴点のうち、ランダムに選択された２個の顔特徴点に対応する座標の組を（ｋａ，ｋｂ）とする。なお、ｋａ、ｋｂ、ｔａ、ｔｂは、それぞれ座標値を表す二次元ベクトルである。

次に、座標の組（ｔａ，ｔｂ）から座標の組（ｋａ，ｋｂ）へのヘルマート変換ｐのパラメータを求める。この場合、２点から２点への変換のため、パラメータは一意に求まる。

次に、求めたヘルマート変換ｐにより、検出特徴点の座標ｔの１４点を座標変換し、変換された座標をｕとおく。次に、座標ｕと座標ｋのユークリッド距離を、１４点の顔特徴点それぞれについて求め、１４点分の距離の中央値を保持する。

以上の処理を繰り返し、ユークリッド距離が最も小さいヘルマート変換ｐを最終的に採用する。

顔領域信頼度算出部１５０は、顔特徴点位置差分計算部１４０で計算した顔特徴点ごとの位置の差分情報に基づいて、入力画像が顔画像である可能性を示す顔領域信頼度Ｊを算出し、記憶部に記憶する。記憶部に記憶された顔領域信頼度Ｊは、顔認識等の種々のアプリケーションによって読み出すことができ、その目的に応じて利用することができる。

顔領域信頼度Ｊの算出は、顔特徴点位置差分計算部１４０が算出した顔特徴点の位置の差分εから、式（５）に従い、差分εを関数σにより変換した値の中央値を計算することにより行うことができる。ここで関数σは、差分εの値が増加すると関数σの値が減少するような関数であり、例えば、式（６）に示すシグモイド関数を用いる。ここで、式（６）のａ、ｂは、差分εの値が増加した場合に関数σの値をどの程度減少させるかを調整するパラメータであり、ａは負数である。

（５）

（６）

なお、顔領域信頼度算出部１５０は、顔特徴点の位置の差分εを関数σにより変換した値の中央値を顔領域信頼度Ｊとするのではなく、差分εを関数σにより変換した値の平均値を顔領域信頼度Ｊとしてもよい。

また、顔領域信頼度算出部１５０は、顔領域信頼度Ｊを算出する際に、顔特徴点位置差分計算部１４０で求めた顔特徴点ごとの位置の差分εに加えて、顔特徴点位置決定部１３０で求めた検出特徴点の位置における顔特徴点らしさを用いてもよい。

この場合、顔領域信頼度Ｊの算出は、顔特徴点ごとの位置の差分ε、顔特徴点ごとの顔特徴点らしさをｓとして、式（７）に従い、差分εを関数σにより変換した値の中央値（もしくは平均値）と、顔特徴点らしさｓの中央値（もしくは平均値）の重みつき和を計算することにより行うことができる。ここで、式（７）のｃは、顔特徴点位置の差分εと顔特徴点らしさｓのバランスを調整するパラメータである。なお、ｃは０から１の範囲の実数値である。

（７）

また、顔領域信頼度算出部１５０は、顔領域信頼度Ｊを算出する際に、顔特徴点位置差分計算部１４０で求めた顔特徴点ごとの位置の差分ε（またはそれに加えて、顔特徴点位置決定部１３０で求めた顔特徴点位置における顔特徴点らしさｓ）に、さらに、顔領域信頼度Ｊとは異なる手法で求めた追加の顔領域信頼度（例えば、従来の顔検出装置が出力する顔らしさを表す値）を１つないし複数用いて、統合顔領域信頼度を求めてもよい。

例えば、顔特徴点ごとの位置の差分εから式（５）で算出した顔領域信頼度Ｊ（または、差分εと顔特徴点ごとの顔特徴点らしさｓとから式（７）で算出した顔領域信頼度Ｊ）と、追加の顔領域信頼度Ｊ０から、式（８）に従って、統合顔領域信頼度Ｊハットを算出してもよい。ここで、式（８）のｄは、顔領域信頼度Ｊと追加顔領域信頼度Ｊ０のバランスを調整するパラメータである。なお、ｄは０から１の範囲の実数値である。

（８）

本実施例の構成によれば、顔領域信頼度取得部において、入力画像が全体的に検出対象（本実施例では、顔）らしいテクスチャを含んでいるか否かで信頼度を算出するのではなく、入力画像において検出した所定部位の位置（本実施例では、目や鼻、口などに対応する顔特徴点の位置）が、検出対象の所定部位らしい配置をしているか否かに基づいて、もしくはさらに検出した位置における部位らしさ（本実施例では、顔特徴点らしさｓ）に基づいて、顔領域信頼度を求めているため、顔領域信頼度をより高い実用的な精度で算出することができる。また、かかる顔領域信頼度を用いることで、顔検出器が背景などの顔ではない領域を誤って顔領域として検出してしまう場合においても、検出した顔領域が真に顔であるか否かを精度良く判定することが可能となる。

本実施形態に係る顔領域信頼度算出装置、顔領域信頼度算出方法、及び顔領域信頼度算出プログラムは、顔検出、顔認証、表情認識等の顔画像を入力とする処理における高精度化に広く利用可能である。

なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。

例えば、上述した実施形態では、顔領域信頼度算出装置において、部位らしさとして顔特徴点らしさを求める場合を例として説明したが、本発明はこのような構成に限られない。例えば、顔以外を検出対象とすることもできるし、部位らしさとして、特徴点らしさではなく、領域らしさなどを用いることもできる。すなわち、検出対象の部位らしさを出力する識別器を生成でき、また部位の基準位置を統計的に決定できる（モデルを生成できる）場合は、そのような検出対象、部位に対して本発明を適用して信頼度を求めることができる。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が実施し得る様々な変更をすることができる。

本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部と、入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求める部位らしさ取得部と、前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定する部位位置決定部と、前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部と、前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求める差分取得部と、前記差分情報に基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める信頼度取得部と、を備えたことを特徴とする信頼度取得装置。
（付記２）前記検出対象は顔であることを特徴とする付記１記載の信頼度取得装置。
（付記３）前記識別器記憶部及び前記基準位置情報記憶部はそれぞれ、複数の所定部位について識別器の情報、基準位置の情報を記憶しており、前記部位らしさ取得部、前記部位位置決定部、前記差分取得部はそれぞれ、各所定部位について、部位らしさを取得し、所定部位の位置を決定し、差分情報を求めることを特徴とする付記１又は２記載の信頼度取得装置。
（付記４）前記信頼度取得部は、前記差分情報と、前記求めた部位らしさとに基づいて、前記信頼度を求めることを特徴とする付記１乃至３のいずれかに記載の信頼度取得装置。
（付記５）前記信頼度取得部は、前記信頼度と、前記信頼度とは異なる方法により求めた１以上の追加信頼度とに基づいて、統合信頼度を求めることを特徴とする付記１乃至４のいずれかに記載の信頼度取得装置。
（付記６）前記差分取得部は、ロバスト推定の手法を用いて、前記位置決定部において決定した部位位置が外れ値であるかどうかに基づいて差分情報を求めることを特徴とする付記１乃至５のいずれかに記載の信頼度取得装置。
（付記７）コンピュータが、画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部を参照して、入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求め、前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定し、前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部を参照して、前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求め、前記差分情報に基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める、信頼度取得方法。
（付記８）コンピュータに、画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部を参照して、入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求める機能と、前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定する機能と、前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部を参照して、前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求める機能と、前記差分情報に基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める機能と、を実現させるためのプログラム。

この出願は、２０１２年２月１６日に出願された日本出願特願２０１２−３１３１９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１ 顔領域信頼度算出装置１
１００ データ処理装置
１１０ 顔画像入力部
１２０ 顔特徴点信頼度生成部
１３０ 顔特徴点位置決定部
１４０ 顔特徴点位置差分計算部
１５０ 顔領域信頼度算出部
２００ 記憶装置
２１０ 顔特徴点識別器記憶部
２２０ 顔形状モデル記憶部

Claims (7)

1. 画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部と、
   入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求める部位らしさ取得部と、
   前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定する部位位置決定部と、
   前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部と、
   前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求める差分取得部と、
   前記差分情報と前記部位らしさとに基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める信頼度取得部と、
   を備えることを特徴とする信頼度取得装置。
2. 前記検出対象は顔であることを特徴とする請求項１記載の信頼度取得装置。
3. 前記識別器記憶部及び前記基準位置情報記憶部はそれぞれ、複数の所定部位について識別器の情報、基準位置の情報を記憶しており、
   前記部位らしさ取得部、前記部位位置決定部、前記差分取得部はそれぞれ、各所定部位について、部位らしさを取得し、所定部位の位置を決定し、差分情報を求める
   ことを特徴とする請求項１又は２記載の信頼度取得装置。
4. 前記信頼度取得部は、前記信頼度と、前記信頼度とは異なる方法により求めた１以上の追加信頼度とに基づいて、統合信頼度を求める
   ことを特徴とする請求項１乃至３のいずれか１項に記載の信頼度取得装置。
5. 前記差分取得部は、ロバスト推定の手法を用いて、前記位置決定部において決定した部位位置が外れ値であるかどうかに基づいて差分情報を求める
   ことを特徴とする請求項１乃至４のいずれか１項に記載の信頼度取得装置。
6. コンピュータが、
   画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部を参照して、入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求め、
   前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定し、
   前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部を参照して、前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求め、
   前記差分情報と前記部位らしさとに基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める、
   信頼度取得方法。
7. コンピュータに、
   画像に対して適用した場合に、検出対象の所定部位に関する部位らしさを出力する識別器の情報を記憶する識別器記憶部を参照して、入力画像に含まれる画像領域について、前記識別器の情報に基づいて前記部位らしさを求める機能と、
   前記求めた部位らしさに基づいて、前記入力画像における前記所定部位の位置を決定する機能と、
   前記所定部位の基準位置に関する情報を記憶する基準位置情報記憶部を参照して、前記基準位置の情報に基づいて、前記所定部位の基準位置と、前記所定部位の前記決定した位置との差分情報を求める機能と、
   前記差分情報と前記部位らしさとに基づいて、入力画像が検出対象の画像である可能性を示す信頼度を求める機能と、
   を実現させるためのプログラム。