JP2010117948A5 - - Google Patents

Description

上記目的は、入力された画像データから人物の顔を検出する検出手段を有し、検出された顔が所定の表情であるか否かを判定する表情判定装置であって、前記検出された顔を構成する顔部品の特徴量を、当該顔部品ごとに抽出する抽出手段と、前記抽出手段により抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定手段と、前記表情判定手段において前記第１の判定モード、又は、前記第２の判定モードのいずれによって表情判定するかを、予め定められた判定条件に応じて前記表情判定手段に設定する制御手段と、を備え、前記第１の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、前記第２の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードである、ことを特徴とする表情判定装置によって達成される。

また、上記目的は、入力された画像データから人物の顔を検出する検出手段を有し、検出した顔が所定の表情であるか否かを判定する表情判定装置の制御方法であって、抽出手段が、前記検出された顔を構成する顔部品の特徴量を、当該顔部品ごとに抽出する抽出工程と、表情判定手段が、前記抽出工程において抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定工程と、制御手段が、前記表情判定工程で用いる判定モードを、予め定められた判定条件に応じて、前記第１の判定モード及び前記第２の判定モードのいずれかに設定する制御工程と、を有し、前記第１の判定モードは、前記抽出工程において抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、前記第２の判定モードは、前記抽出手段において抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードである、ことを特徴とする表情判定装置の制御方法によっても達成される。

Ｓ５６では、制御回路１１の制御の下、無表情顔を撮影する撮影処理が行われ、人物の無表情の顔が撮影される。具体的には、制御回路１１の制御の下、表示部１０に無表情顔を撮影する旨のガイダンス表示などを行って人物の無表情顔の撮影を促し、操作部１２のシャッターボタンの操作に応じた撮影が行われる。あるいは、所定期間その人物の顔の画像を連続して撮影し、得られた顔の中から最も表情の小さいと思われる顔を無表情顔として登録するようにしてもよい。次いで、Ｓ５７ではＳ５６で撮影された人物の無表情の顔が表情判定処理部６に登録される。次いで、Ｓ５８では、その登録された表情の顔画像における顔を構成する顔部品の輪郭を表す特徴量が表情判定処理部６で抽出され、Ｓ５２に処理が進む。

Claims (13)

1. 入力された画像データから人物の顔を検出する検出手段を有し、検出された顔が所定の表情であるか否かを判定する表情判定装置であって、
   前記検出された顔を構成する顔部品の特徴量を、当該顔部品ごとに抽出する抽出手段と、
   前記抽出手段により抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定手段と、
   前記表情判定手段において前記第１の判定モード、又は、前記第２の判定モードのいずれによって表情判定するかを、予め定められた判定条件に応じて前記表情判定手段に設定する制御手段と、
   を備え、
   前記第１の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、
   前記第２の判定モードは、前記抽出手段により抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードである、ことを特徴とする表情判定装置。
2. 前記判定条件が、前記表情判定手段における判定速度と判定精度のどちらを優先するかであり、前記制御手段は、前記表情判定手段における判定速度を優先する場合は前記第１の判定モードを、前記表情判定手段における判定精度を優先する場合は前記第２の判定モードを前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。
3. 前記判定条件が、前記検出手段により前記画像データから検出された顔の数であり、前記制御手段は、前記検出手段により複数の顔が検出された場合は前記第１の判定モードを設定することを特徴とする請求項１に記載の表情判定装置。
4. 逐次入力された複数の前記画像データに基づいて前記顔の動き量を検出する動作検出手段を更に備え、
   前記判定条件が前記顔の動き量の大きさであって、前記制御手段は、前記動作検出手段により検出された動き量が予め設定された基準動き量より大きい場合は前記第１の判定モードを設定することを特徴とする請求項１に記載の表情判定装置。
5. 逐次入力された複数の前記画像データに亘って前記抽出手段により抽出された顔部品ごとの特徴量の変化量を検出する変化量検出手段を更に備え、
   前記判定条件が前記特徴量の変化量の大きさであって、前記制御手段は、前記変化量検出手段により検出された変化量が予め設定された基準変化量より小さい場合は前記第２の判定モードへ切り替えることを特徴とする請求項１に記載の表情判定装置。
6. ユーザから前記判定モードを指定する入力を受け付ける操作手段を更に備え、
   前記判定条件が前記操作手段で受け付けた入力の内容であり、前記制御手段は、前記操作手段が受け付けた入力で指定された判定モードを前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。
7. 前記検出手段で検出された顔について、逐次入力された前記画像データから前記抽出手段により抽出された顔部品ごとの特徴量のうち、前記基準となる表情の顔を構成する顔部品ごとの特徴量を、前記基準となる表情の顔を構成する顔部品ごとの特徴量として記憶する基準表情記憶手段を更に備え、
   前記判定条件が前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されているか否かであり、前記制御手段は、前記検出手段で検出された顔について前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されていない場合は前記第１の判定モードを、前記基準表情記憶手段に前記基準となる表情の顔を構成する顔部品ごとの特徴量が記憶されている場合は前記第２の判定モードを、前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。
8. 前記基準となる表情の顔を構成する顔部品ごとの特徴量を予め記憶するとともに、逐次入力された前記画像データから前記抽出手段により抽出された顔部品ごとの特徴量が、前記基準となる表情の顔を構成する顔部品ごとの特徴量の相関を示す基準データに類似する場合に、当該抽出された顔部品ごとの特徴量を記憶する基準表情記憶手段を更に備え、
   前記第１の判定モードで用いる前記基準値は、前記基準表情記憶手段に予め記憶された前記基準となる表情の顔を構成する顔部品ごとの特徴量であり、
   前記第２の判定モードで用いる前記予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量は、前記基準表情記憶手段に記憶された前記抽出された顔部品ごとの特徴量であって、
   前記判定条件が前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されているか否かであり、前記制御手段は、前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されていない場合は前記第１の判定モードを、前記基準表情記憶手段に前記抽出された顔部品ごとの特徴量が記憶されている場合は前記第２の判定モードを、前記表情判定手段に設定することを特徴とする請求項１に記載の表情判定装置。
9. 逐次入力された複数の前記画像データに亘って前記抽出手段により抽出された顔部品ごとの特徴量の変化量に応じて、前記検出された顔が別人物の顔に切り替わったか否かを判別する判別手段を更に備え、
   前記制御手段は、前記判別手段により別人物の顔に切り替わったと判別された場合は前記基準表情記憶手段に記憶された前記抽出された顔部品ごとの特徴量を消去することを特徴とする請求項７又は８に記載の表情判定装置。
10. 前記所定の表情は、笑顔、又は、目瞑り顔であることを特徴とする請求項１乃至９のいずれか一項に記載の表情判定装置。
11. 撮像手段と、
    表示手段と、
    前記撮像手段により撮影された画像データを記録する記録手段と、
    前記撮像手段により撮影された画像データから人物の顔を検出する検出手段を有し、検出された顔が所定の表情であるか否かを判定する請求項１乃至１０のいずれか一項に記載の表情判定装置と、
    前記表情判定装置の判定結果に応じて、前記撮影された画像データの前記記録手段への記録、又は、当該判定結果の前記表示手段への表示出力を制御する出力制御手段と、
    を備えることを特徴とする撮像装置。
12. 入力された画像データから人物の顔を検出する検出手段を有し、検出した顔が所定の表情であるか否かを判定する表情判定装置の制御方法であって、
    抽出手段が、前記検出された顔を構成する顔部品の特徴量を、当該顔部品ごとに抽出する抽出工程と、
    表情判定手段が、前記抽出工程において抽出された顔部品ごとの特徴量に基づいて、第１の判定モード、又は、前記第１の判定モードと異なる第２の判定モードのいずれかで、前記検出された顔が前記所定の表情であるか否かを判定する表情判定工程と、
    制御手段が、前記表情判定工程で用いる判定モードを、予め定められた判定条件に応じて、前記第１の判定モード及び前記第２の判定モードのいずれかに設定する制御工程と、
    を有し、
    前記第１の判定モードは、前記抽出工程において抽出された顔部品ごとの特徴量と、前記所定の表情であることを示す基準値との相関に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードであり、
    前記第２の判定モードは、前記抽出工程において抽出された顔部品ごとの特徴量と、予め記憶された基準となる表情の顔を構成する顔部品ごとの特徴量との差分に基づいて、前記検出された顔が前記所定の表情であるか否かを判定する判定モードである、ことを特徴とする表情判定装置の制御方法。
13. 請求項１２に記載の表情判定装置の制御方法の各工程をコンピュータに実行させるためのプログラム。