JP2010171797A - 撮像装置及びプログラム - Google Patents

Abstract

【課題】 本発明は、被写体である人物の撮影において、人物の笑顔の判定を確度高く行うことができる技術を提供することを目的とする。
【解決手段】 本発明は、被写体を撮像素子の全画素読み出し又は間引き読み出しによって撮像し画像を生成する撮像部と、間引き読み出しして撮像された画像を用いて、被写体の顔を検出する顔検出部と、検出された被写体の顔とともに、歯、口角及び目尻それぞれの形状を認識する顔認識部と、認識された歯、口角及び目尻それぞれの形状が、歯、口角及び目尻におけるそれぞれの形状に基づいて決められる３つの条件からなる笑顔条件のうち、少なくとも１つと一致した場合、被写体が笑顔であると判定する表情判定部と、表情判定部によって被写体が笑顔であると判定した場合、撮像部に被写体を全画素読み出しによる撮像指令を出す制御部とを備える。
【選択図】 図１

Description

本発明は、被写体である人物の笑顔検出に基づいて撮像することのできる撮像装置及びプログラムに関する。

近年、被写体である人物が所望する表情やポーズになった時に、電子カメラのレリーズが自動的に作動して、人物を撮像するための顔検出等の画像処理の技術開発が盛んに行われている。

例えば、特許文献１では、あらかじめ所定の望ましいと考えられる表情やポーズの形状データを記憶しておき、撮像された画像からユーザである被写体の表情やポーズの形状を抽出して、記憶されている表情やポーズの形状データと比較し、その一致度を算出することによって、その一致度が所定値以上になった時、ユーザが希望する表情やポーズであると判断して撮像する技術を開示している。

しかしながら、従来技術では、一般的に、笑顔等の表情判定は、顔の目尻や口角の形状といった複数の条件に基づいて行われており、そうした条件全てが一定の条件を満たす必要がある。たとえ、特許文献１のように、一致度の所定値を徐々に下げるとしても、笑顔を作るのが苦手な人にとっては、笑顔と判定されない場合がある。

上記従来技術が有する問題に鑑み、本発明の目的は、被写体である人物の撮影において、人物の笑顔の判定を確度高く行うことができる技術を提供することにある。

上記課題を解決するために、本発明の撮像装置は、被写体を撮像素子の全画素読み出し又は間引き読み出しによって撮像し画像を生成する撮像部と、間引き読み出しして撮像された画像を用いて、被写体の顔を検出する顔検出部と、検出された被写体の顔とともに、歯、口角及び目尻それぞれの形状を認識する顔認識部と、認識された歯、口角及び目尻それぞれの形状が、歯、口角及び目尻におけるそれぞれの形状に基づいて決められる３つの条件からなる笑顔条件のうち、少なくとも１つと一致した場合、被写体が笑顔であると判定する表情判定部と、表情判定部によって被写体が笑顔であると判定した場合、撮像部に被写体を全画素読み出しによる撮像指令を出す制御部とを備える。

また、本発明において、笑顔条件を任意に設定選択することが可能な操作部材をさらに備える。

また、本発明において、制御部は、表情判定部が笑顔条件を１つも満たしていないと判定した場合、撮像部に撮像指令を中止する。

また、本発明において、複数の被写体の顔の画像及び複数の被写体の各々の笑顔条件を記憶している記憶部をさらに備え、制御部は、顔認識部によって認識された被写体の顔が、記憶部に記憶されている複数の被写体のいずれかの顔と一致したと判定した場合、顔認識部によって顔認識された前記被写体の前記笑顔条件を前記表情判定部に設定する。

また、本発明において、制御部は、新たに撮像された画像の被写体における表情判定部の判定結果に基づいて、記憶部に記録されている被写体の笑顔条件を更新する条件更新部をさらに備え、制御部は、更新された笑顔条件を表情判定部に設定する。

また。本発明において、制御部は、顔認識部によって記憶部にない新しい被写体であると判定した場合、又は条件更新部による被写体の笑顔条件の更新回数が所定の回数よりも少ない場合、所定の時間間隔毎に笑顔条件の数を減らして表情判定部に設定する。

また、本発明において、制御部は、条件更新部による被写体の笑顔条件の更新回数が所定の回数よりも多いと判定した場合、被写体の笑顔条件を初期の設定に近づける変更を行い表情判定部に設定する。

また、本発明において、撮像部によって被写体が撮像された時の表情判定部による笑顔条件の判定結果を表示する表示部をさらに備える。

また、本発明において、制御部は、撮像部に被写体を撮像させた画像に、表情判定部による撮像時の被写体の笑顔条件の判定結果を付加する。

本発明のプログラムは、被写体を撮像素子によって撮像された画像を読み込む入力ステップと、画像を用いて、被写体の顔を検出する顔検出ステップと、検出された被写体の顔とともに、歯、口角及び目尻それぞれの形状を認識する顔認識ステップと、認識された歯、口角及び目尻それぞれの形状が、歯、口角及び目尻におけるそれぞれの形状に基づいて決められる３つの条件からなる笑顔条件のうち、少なくとも１つと一致した場合、被写体が笑顔であると判定する表情判定ステップと、表情判定ステップによって被写体が笑顔であると判定した場合、被写体が笑顔であると判定した時の笑顔条件を被写体毎に記憶する記憶ステップとを備え、コンピュータに実行させる。

本発明によれば、被写体である人物の撮影において、被写体の笑顔の判定を確度高く行うことができる。

本発明の一の実施形態に係る電子カメラ１００の構成例を示す模式図 本発明の一の実施形態に係る電子カメラ１００の記憶部１０に保持される人物データ表１５の一例を示す図 本発明の一の実施形態に係る電子カメラ１００の笑顔撮影モードにおける撮影手順を示すフローチャート 本発明の一の実施形態における笑顔撮影において必要となる条件設定の画面２０の一例を示す図 本発明の一の実施形態における被写体の一例を示す図 本発明の一の実施形態に係る電子カメラ１００によって本撮像された静止画像５０の表示例を示す図

≪一の実施形態≫
図１は、本発明の一の実施形態に係る電子カメラ１００の構成図である。

電子カメラ１００は、撮像レンズ群１、撮像素子２、Ａ／Ｄ変換部３、フレームメモリ４、ＣＰＵ５、タイミングジェネレータ（ＴＧ）６、画像処理部７、カードメモリ８、カードインタフェース（カードＩ／Ｆ）９、記憶部１０、操作部材１１、表示回路１２及び表示部１３から構成される。フレームメモリ４、ＣＰＵ５、画像処理部７、カードＩ／Ｆ９、記憶部１０、操作部材１１及び表示回路１２は、バス１４を介して情報伝達可能に接続されている。また、撮像素子２及びＡ／Ｄ変換部３は、ＴＧ６を介して、ＣＰＵ５にそれぞれ接続され制御される。

撮像レンズ群１は、複数の光学レンズにより構成され、被写体像を撮像素子３の受光面に結像する。

撮像素子２は、ＣＰＵ５の指令を受けてＴＧ６が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ群１によって結像された被写体像を取得し、画像信号に変換して出力する。なお、本実施形態の撮像素子２は、ＣＰＵ５の指令に基づいて、全画素による被写体像の撮像や、水平走査方向又は垂直走査方向に間引いて画素値を読み出して、ライブビュー用のスルー画や動画の被写体像の撮像を行うことができる。撮像素子２には、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができる。

撮像素子２から出力される画像信号は、Ａ／Ｄ変換部３でデジタル信号に変換される。変換されたデジタルの画像信号は、フレームメモリ４に一時的に記録された後、記憶部１０又は画像処理部７へ転送される。なお、Ａ／Ｄ変換部３は、撮像素子２からのアナログ信号を、ＩＳＯ感度に応じて増幅する増幅部を有するアナログフロントエンドを備えていることが好ましい。また、フレームメモリ４には、半導体メモリのうち、任意の不揮発性の半導体を適宜選択して用いることができる。

ＣＰＵ５は、ユーザによる操作部材１１の電源釦操作によって電子カメラ１００の電源が入れられると、記憶部１０に記憶されている制御プログラムを読み込み、電子カメラ１００を初期化する。ＣＰＵ５は、操作部材１１を介して、ユーザからの指示を受け付けると、制御プログラムに基づいて、ＴＧ６に被写体像の全画素による静止画撮像又は間引き読み出しによるスルー画や動画の撮像指令を出す。さらに、本実施形態では、ＣＰＵ５は、後述するように、操作部材１１のモード設定釦によって笑顔撮影モードが選択されて、レリーズ釦が押された場合、撮像素子２からのスルー画を用いて、スルー画中の被写体の顔検出、顔認識及び笑顔条件に基づいた表情判定を行い、被写体が笑顔であると判定した場合には、撮像素子２の全画素による被写体像の静止画像の撮像指令を強制的に出す。また、ＣＰＵ５は、画像処理部７に撮像した静止画像や動画等の画像処理、そうした画像のカードメモリ８や記憶部１０への記録、又は表示部１３への表示等の制御を行う。ＣＰＵ５には、一般的なコンピュータのＣＰＵが使用できる。

画像処理部７は、デジタルフロントエンド回路で、フレームメモリ４や記憶部１０からの静止画像等の画像データに対して、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行う。

カードＩ／Ｆ９には、カードメモリ８が脱着可能に装着される。フレームメモリ４や記憶部１０に記録された画像は、ＣＰＵ５の指示に基づいて画像処理部７で画像処理された後、Ｅｘｉｆ形式やＹＵＶ形式等のファイルとしてカードメモリ８に記録される。

記憶部１０は、電子カメラ１００が撮像した静止画像や動画等や、ＣＰＵ５が電子カメラ１００を制御するための制御プログラムを記憶する。さらに、本実施形態では、記憶部１０は、図２に示すような、被写体となる各人物の画像と歯、口角及び目尻等の顔のパーツ情報とを格納するファイル名、後述する笑顔条件及び各人物の撮影回数からなる人物データ表１５を保持する。記憶部１０に記憶されるこれらのプログラムやデータは、バス１４を介して、ＣＰＵ５から適宜参照することができる。記憶部１０は、一般的なハードディスク装置、光磁気ディスク装置又は半導体メモリである任意の不揮発性メモリ等を適宜選択して用いることができる。

操作部材１１は、ユーザによる部材操作の内容に応じた操作信号をＣＰＵ５に出力する。操作部材１１には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等を有する。なお、操作部材１１は、表示部１３の画面に表示されるタッチパネル形式の釦であっても良い。

表示部１３は、表示回路１２を介して、撮像素子２が撮像したスルー画等の動画や画像、又はモード設定画面等を表示する。表示部１３には、液晶モニタ等を適宜選択して用いることができる。

次に、本実施形態に係る電子カメラ１００による笑顔撮影モードにおける処理について、図３のフローチャートを参照しながら説明する。なお、本実施形態では、記憶部１０の人物データ表１５にはまだ登録されていない、人物を撮像する場合について説明する。

まず、ユーザにより操作部材１１の電源釦が押されると、ＣＰＵ５は、電子カメラ１００の記憶部１０に保持されている制御プログラムを読み込み、電子カメラ１００を初期化する。同時に、ＣＰＵ５は、記憶部１０に記録されている人物データ表１５を読み込み、ＣＰＵ５内部のメモリ（不図示）に保持する。

次に、ユーザは、操作部材１１のモード設定釦を用いて、撮影のモード設定等の設定を行う。本実施形態では、ユーザは、モード設定釦を用いて、笑顔撮影モードを選択するものとする。すると、図４に示すような、笑顔撮影において必要となる条件設定の画面２０が表示部１３に表示される。図４に示すように、本実施形態では、被写体である人物における歯、口角及び目尻の３条件を笑顔条件とし、各条件を設定部２４〜２６を用いて設定を行う。図４は、本実施形態におけるユーザが設定した（或いは、デフォルトの）各条件の初期設定値を示す。

ここで、歯の項目２１では、後述するＣＰＵ５による顔認識において、口の面積に対して歯の白い部分が占める割合を設定する。ユーザは、設定部２４を介して、任意の値を設定することができる。口角の項目２２では、口角の位置と口を真一文字した時の口の中心位置とを結ぶ直線が、重力方向に対して水平な方向に対して成す角度を設定する。ユーザは、設定部２５において任意の値を設定することができる。最後に、目尻の項目２３では、目尻が初期の位置に対して何度下がったかの角度を設定する。ユーザは、設定部２６において任意の値を設定することができる。なお、目尻の項目２３については、笑顔を作るのが苦手な人のために、目尻の角度の設定以外に、笑いじわや細い目等の条件の項目を設けることが好ましい。

以上のような笑顔撮影モードの設定が全て行われると、ユーザはＯＫ釦２７を押して設定を終了する。そして、ユーザは、笑顔撮影モードによる撮像を行うために、操作部材１１のレリーズ釦が押す。そして、図３のステップＳ１０からステップＳ２２の処理が行われる。なお、以下の説明では、図５のような１人の人物のいる画像を撮像する場合について説明する。

ステップＳ１０：ＣＰＵ５は、ＴＧ６に対して、所定のフレームレート（例えば、３０ｆｐｓ）で、撮像素子２に被写体像を間引き読み出しによる撮像を行わせ、生成されたライブビュー表示用のスルー画３０を取得するとともに、表示部１３に表示する。

ステップＳ１１：ＣＰＵ５は、取得したスルー画３０において、人物が写っているか否かを判定し、写っている場合には、人物の顔を検出する。ここで、ＣＰＵ５が行う顔検出の手法は、公知である手法を適宜用いて行うことができる。具体的には、ＣＰＵ５は、取得したスルー画３０からエッジ量等の画像特徴量の特徴点を抽出して、各人物の顔の領域、大きさ等を検出する。

ステップＳ１２：ＣＰＵ５は、ステップＳ１１において検出した人物が誰であるかの顔認識を行う。ＣＰＵ５が行う顔認識の手法については、公知である手法を適宜用いて行うことができる。具体的には、ＣＰＵ５は、検出した人物の顔の特徴点に基づいて、顔の特徴点の位置や顔の歯、口角及び目尻等の顔パーツの大きさ等を求める。

ステップＳ１３：ＣＰＵ５は、ステップＳ１１で検出した人物の画像及びステップＳ１２で認識した顔パーツを、人物データ表１５に登録されている各人物の画像及び顔パーツの情報と比較して、被写体である人物が、記憶部１０に登録された人物であるか否かを判定する。具体的には、ＣＰＵ５は、ステップＳ１１で検出した人物の画像及びステップＳ１２で認識した顔パーツと、人物データ表１５にある画像及び顔パーツとを比較して、特徴点の相対位置や大きさ等を調節しながら相似度を求める。ＣＰＵ５は、その相似度が所定値（例えば、８０％）以上ならば、スルー画３０の人物は登録されたいずれかの人物であると判定して、ステップＳ１４（ＹＥＳ側）へ移行する。一方、相似度が所定値より小さい場合には、ＣＰＵ５は、スルー画３０の人物は登録されたいずれの人物ではないと判定し、ステップＳ１５（ＮＯ側）へ移行する。

ステップＳ１４：ＣＰＵ５は、スルー画３０の人物に対応する、人物データ表１５に記憶されている歯、口角及び目尻からなる笑顔条件を読み込み、最初にユーザが設定した笑顔条件の設定値に変えて設定する。ＣＰＵ５は、ステップＳ１５へ移行する。

ステップＳ１５：ＣＰＵ５は、ステップＳ１２で求めた人物の顔パーツである歯、口角及び目尻の形状が、その人物が記憶部１０に登録されていない人物の場合には、ユーザによって最初に設定された笑顔条件の各条件を満たすか否かを判定し、その人物が記憶部１０に登録された人物である場合には、ステップＳ１４で設定した笑顔条件の各条件に満たすか否かを判定する。ＣＰＵ５が、笑顔条件の全てを満たすと判定した場合には、ステップＳ２０（ＹＥＳ側）へ移行する。一方、笑顔条件の全てを満たさないと判定した場合には、ステップＳ１６（ＮＯ側）へ移行する。

ステップＳ１６：ＣＰＵ５は、笑顔条件が満たされるのを待たずに、ユーザによってレリーズ釦が強制的に全押しされて、被写体像が撮像されたか否かを判定する。ＣＰＵ５は、強制レリーズされたと判定した場合（ＹＥＳ側）には、撮像された静止画像を画像処理部７に転送して、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行った後、カードメモリ８や記憶部１０に記録して、笑顔撮影モードでの処理を終了する。一方、ＣＰＵ５は、強制レリーズされてないと判定した場合には、ステップＳ１７（ＮＯ側）へ移行する。

ステップＳ１７：ＣＰＵ５は、笑顔撮影モードによる撮像を開始してから所定時間（本実施形態では、例えば、３０秒）毎に、次のステップＳ１８において笑顔条件の変更を行うために、その所定時間が経過したか否かを判定する。ＣＰＵ５が所定時間経過したと判定した場合には、ステップＳ１８（ＹＥＳ側）へ移行する。一方、ＣＰＵ５が経過していないと判定した場合には、ステップＳ１９へ移行する。

ステップＳ１８：ＣＰＵ５は、笑顔条件を変更する。具体的には、例えば、ＣＰＵ５は、スルー画３０の人物が電子カメラ１００にとって初めて撮像する人物であることから、その人物は笑顔を作るのが苦手な人であるか、笑顔条件の各条件の設定値が不適切等であると判断して、ユーザが最初に設定した笑顔条件である歯が２５％、口角が２５度及び目尻が１０度という条件のうち、一番満たしていない条件を０の値にし（つまり、その条件を外し）、そうした笑顔条件を新たな笑顔条件として設定する。又は、ＣＰＵ５は、一番満たしていない条件の値を小さい値に変更して、新たな笑顔条件として設定しても良い。或いは、ＣＰＵ５は、目尻の条件として、笑いじわや細い目等の条件設定がなされ、ステップＳ１２で求めた人物の顔パーツの中に、そうした形状が認識されない場合には、笑顔条件から外すか、数値の設定を変更するようにしても良い。そして、ＣＰＵ５は、ステップＳ１９へ移行する。

ステップＳ１９：ＣＰＵ５は、ステップＳ１８で行われた笑顔条件の変更を行ったが、少なくとも１つの条件が存在する必要があることから、変更された新しい笑顔条件に１つ以上の条件が存在するか否かを判定する。ＣＰＵ５が、笑顔条件として１つ以上あると判定した場合には、ステップＳ１０（ＹＥＳ側）へ移行し、次の新しいスルー画３０を取得して、ステップＳ１０からステップＳ１９の処理を行う。一方、ＣＰＵ５が、笑顔条件として１つもないと判定した場合（各条件が全て０の値等）には、笑顔撮影モードによる撮影を中止し処理を終了する。

ステップＳ２０：ＣＰＵ５は、ステップＳ１５において、被写体である人物が笑顔であると判定されたので、ＴＧ６を介して、撮像素子２に全画素による被写体像の本撮像の指令を出し、フレームメモリ４に一時的に静止画像を保持する。

ステップＳ２１：ＣＰＵ５は、ステップＳ２０で撮像した静止画像を、バス１４を介して、画像処理部７へ転送する。画像処理部７は、静止画像に対して、画素補間処理、色変換処理やホワイトバランス補正等の画像処理を行うとともに、処理された静止画像に、その静止画像が撮像されるきっかけとなった笑顔条件の判定結果が付加されたＥｘｉｆ形式等の画像ファイルにする。画像処理部７は、バス１４を介して、その画像ファイルをメモリカード８や記憶部１０に記録する。これと同時に、ＣＰＵ５は、図２の人物データ表１５に、撮像した人物の名前、顔の画像及び顔パーツ情報が格納されたファイル名、３つの条件からなる笑顔条件及び撮像回数（今回の場合は、１という値）が新たに登録される。

ステップＳ２２：ＣＰＵ５は、図６に示すように、ステップＳ２１において、画像処理部７で処理された静止画像５０を表示部１３に表示する。同時に、ＣＰＵ５は、静止画像５０に撮像された人物がどのような笑顔条件を満たした時に撮像されたかを、図６（ａ）の文字６０や図６（ｂ）のイラストのアイコン６１のように表示される。これにより、被写体である人物自身が、自分の笑顔の特徴が、口角や目尻にあることを客観的に知ることができる。

このように本実施形態は、たとえ人物データ表１５に登録されていない人物を撮像する場合で、笑顔を作るのが苦手な人であっても、歯、口角及び目尻の３つの条件からなる笑顔条件を適宜変更することにより、被写体である人物の笑顔の判定を確度高く行うことができ、その人物にとって最良の笑顔の画像を取得することができる。

また、新たに撮像された人物の笑顔であると判定された時の笑顔条件の値を、人物データ表１５に新たに登録することから、次回撮像する際において、その人物の笑顔の判定を確実に行うことができる。
≪他の実施形態≫
本発明の他の実施形態に係る電子カメラは、図１の一の実施形態に係る電子カメラ１００と同じであり、各構成要素及びそれらの動作に関する説明は省略する。本実施形態が一の実施形態と異なる点は、撮像する被写体の人物が、記憶部１０に記憶されている人物データ表１５に登録されている人物である点である。

したがって、本実施形態における電子カメラ１００の笑顔撮影モードによる撮像処理は、基本的に、図３に示したフローチャートと同じステップＳ１０〜ステップＳ２２までの処理が行われる。ただし、本実施形態における処理と一の実施形態における処理とが異なる点は、ステップＳ２１における処理において、登録されている人物を、新たに撮像した際の笑顔条件となった歯、口角及び目尻の条件と、人物データ表１５に記録されていたその人物の笑顔条件の歯、口角及び目尻の条件とに基づいて更新する。具体的には、ＣＰＵ５は、例えば、撮影された人物がＡさんである場合、人物データ表１５における笑顔条件の歯、口角及び目尻の条件が、１０％、１５度及び１０度であり、今回新たに撮像した際の笑顔条件が歯、口角及び目尻の値が、１５％、１２度及び１５度であった場合には、これまでの撮像回数を考慮して、それぞれの条件について、例えば、平均値等を算出し、算出した新たな値をＡさんの新しい笑顔条件として、人物データ表１５のＡさんの欄を更新する。

このように本実施形態は、たとえ人物データ表１５に登録されている人物を撮像する場合であっても、歯、口角及び目尻の３つの条件からなる笑顔条件を適宜更新することにより、被写体である人物の笑顔の判定を確度高く行うことができ、その人物にとって最良の笑顔の画像を取得することができる。
≪実施形態の補足事項≫
一の実施形態及び他の実施形態では、スルー画３０に撮像される被写体である人物は１人であったが、本発明はこれに限定されず、複数人を撮像する場合に対しても適用可能である。この場合、例えば、ステップＳ１１で人物毎に顔検出を行い、ステップＳ１２で人物毎に顔の画像及び顔のパーツ情報を取得して、ステップＳ１３で人物毎に人物データ表１５に登録された人物であるか否かの判定を行い、ステップＳ１５で人物毎の笑顔条件を持たすか否かの判定を行って撮像しても良い。又は、ステップＳ１１で人物毎に顔検出を行った後、検出された人物のうち、人物データ表１５に登録されている人物、登録されていない人物、或いは任意に選択した人物の笑顔条件のみによる判定に基づいて撮像を行っても良い。

なお、一の実施形態及び他の実施形態では、笑顔撮影モードがユーザによって選択されると、ユーザが笑顔条件の歯、口角及び目尻の条件を設定したが、本発明はこれに限定されず、電子カメラ１００にあらかじめ設定されているデフォルトの初期値を使用しても良い。

なお、一の実施形態及び他の実施形態では、電子カメラ１００が初めて撮像する人物の場合は、ユーザの設定した笑顔条件を用いて撮像が行われた後、その人物の画像、顔パーツ情報及び判定結果に基づいた笑顔条件等のデータが人物データ表１５に登録され、それ以後は、撮像毎にそれらのデータが更新されるとしたが、本発明はこれに限定されない。例えば、人物データ表１５には登録されてない人物であるが、電子カメラ１００の記憶部１０にこれまでに電子カメラ１００で撮像されたその人物の複数の画像が存在する場合、ユーザが操作部材１１を介して、それら複数の画像を用いて、その人物の笑顔条件を算出させる指示をＣＰＵ５に対して行い、ＣＰＵ５がステップＳ１０〜ステップＳ１９のような処理に基づいて、その人物に合った笑顔条件を求めて、電子カメラ１００の記憶部１０にある人物データ表１５にあらかじめ追加登録するようにしても良い。

なお、一の実施形態及び他の実施形態では、ステップＳ１７において、ステップＳ１８での笑顔条件の変更を行う所定時間の間隔を３０秒として設定したが、本発明はこれに限定されず、任意に決めることができる。

なお、一の実施形態及び他の実施形態では、ステップＳ１８において笑顔条件の３つの条件のうちの１つを外したり、歯、口角又は目尻の条件の値を小さくしたりする変更を行ったが、本発明はこれに限定されない。例えば、パーティーや風景等の撮影モードに応じて、笑顔撮影モードにおける笑顔条件の各条件の値や変更の仕方等を変えるのが好ましい。つまり、パーティーのような場面では、参加者たちは、普通大きく笑うことから、笑顔条件の歯、口角及び目尻の値を、あらかじめ当初の初期値よりも大きな値に設定するようにしても良いし、ステップＳ１８において、それらの条件の値を大きな値にするような変更を行っても良い。一方、会議や社交場のような集まりにおいては、大きく笑うことは憚られることから、笑顔条件の歯、口角及び目尻の値をあらかじめ当初の初期値よりも小さな値に設定しても良い。

また、撮影回数が増えると笑顔条件の精度が良くなることから、記憶部１０に記録される画像の枚数が増えてしまう。そこで、それを防止するために、例えば、所定の撮影回数以上になった場合等の条件によっては、笑顔条件をデフォルトの初期値に近づけるような笑顔と判定され難い笑顔条件に設定し直すようにしても良い。

なお、一の実施形態及び他の実施形態では、スルー画３０の人物は帽子や眼鏡等を着用していなかったが、本発明はこれに限定されず、帽子や眼鏡等を着用によって、通常の笑顔条件に基づいた笑顔の判定ができない箇所が存在する場合には、その箇所に相当する条件を外して、笑顔の判定を行うのが好ましい。

なお、一の実施形態及び他の実施形態では、ステップＳ１８の笑顔条件の変更によって、全ての笑顔条件が外されない限りは、被写体である人物の笑顔が得られるまで、笑顔撮影モードの処理が行われるが、本発明はこれに限定されない。例えば、歯、口角又は目尻のいずれも認識不可能な場合、又は一定の時間（例えば、１分等）経過後、笑顔撮影モードによる処理をキャンセルするようにしても良い。ただし、この場合、笑顔撮影モードがキャンセルされたことを表示部１３に表示するとともに、なぜキャンセルされたのかの理由（例えば、「歯、口角又は目尻のいずれも認識不可能のため」等）を、併せて表示するのが好ましい。

なお、他の実施形態では、ステップＳ２１において、人物を撮影する毎に、その人物に対する笑顔条件を更新したが、本発明はこれに限定されない。例えば、最初に人物データ表１５に登録されてから、所定撮影回数（例えば、１０回）までは、撮像毎に人物データ表１５における笑顔条件の更新を行うが、それ以降は、１０回や２０回等の一定の撮影回数の間隔毎に笑顔条件の更新を行うようにしても良い。

なお、本発明に係る撮像装置における各機能を実現するためのプログラムを備え、コンピュータに実行させることに対しても適用可能である。これによって、例えば、電子カメラ１００の記憶部１０の人物データ表１５に登録されてない人物であっても、これまでに他の電子カメラ等で撮像されたその人物の複数の画像を用い、コンピュータで解析することによって、その人物に合った笑顔条件を求めることができる。そして、その結果をメモリカード８等に記録させる等して、メモリカード８等を介して、電子カメラ１００の記憶部１０にある人物データ表１５に追加することが好ましい。

なお、本発明に係る撮像装置における各機能を実現するためのコンピュータプログラムを記憶する記録媒体に対しても適用可能である。

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１ 撮像レンズ群、２ 撮像素子、３ Ａ／Ｄ変換部、４ フレームメモリ、５ ＣＰＵ、６ ＴＧ、７ 画像処理部、８ カードメモリ、９ カードＩ／Ｆ、１０ 記憶部、１１ 操作部材、１２ 表示回路、１３ 表示部、１４ バス、１５ 人物データ表、１００ 電子カメラ

特開２００４−２９４４９８号公報

Claims (10)

1. 被写体を撮像素子の全画素読み出し又は間引き読み出しによって撮像し画像を生成する撮像部と、
   前記間引き読み出しして撮像された前記画像を用いて、前記被写体の顔を検出する顔検出部と、
   検出された前記被写体の顔とともに、歯、口角及び目尻それぞれの形状を認識する顔認識部と、
   認識された前記歯、口角及び目尻それぞれの形状が、歯、口角及び目尻におけるそれぞれの形状に基づいて決められる３つの条件からなる笑顔条件のうち、少なくとも１つと一致した場合、前記被写体が笑顔であると判定する表情判定部と、
   前記表情判定部によって前記被写体が笑顔であると判定した場合、前記撮像部に前記被写体を前記全画素読み出しによる撮像指令を出す制御部と
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記笑顔条件を任意に設定選択することが可能な操作部材をさらに備える
   ことを特徴とする撮像装置。
3. 請求項１又は請求項２に記載の撮像装置において、
   前記制御部は、前記表情判定部が前記笑顔条件を１つも満たしていないと判定した場合、前記撮像部に前記撮像指令を中止することを特徴とする撮像装置。
4. 請求項１ないし請求項３のいずれか１項に記載の撮像装置において、
   複数の被写体の顔の画像及び前記複数の被写体の各々の前記笑顔条件を記憶している記憶部をさらに備え、
   前記制御部は、
   前記顔認識部によって認識された前記被写体の顔が、前記記憶部に記憶されている前記複数の被写体のいずれかの顔と一致したと判定した場合、前記顔認識部によって顔認識された前記被写体の前記笑顔条件を前記表情判定部に設定することを特徴とする撮像装置。
5. 請求項４に記載の撮像装置において、
   前記制御部は、
   新たに撮像された画像の前記被写体における前記表情判定部の判定結果に基づいて、前記記憶部に記録されている前記被写体の前記笑顔条件を更新する条件更新部をさらに備え、
   前記制御部は、
   更新された前記笑顔条件を前記表情判定部に設定する
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記制御部は、
   前記顔認識部によって前記記憶部にない新しい被写体であると判定した場合、又は前記条件更新部による前記被写体の前記笑顔条件の更新回数が所定の回数よりも少ない場合、所定の時間間隔毎に前記笑顔条件の数を減らして前記表情判定部に設定する
   ことを特徴とする撮像装置。
7. 請求項５又は請求項６に記載の撮像装置において、
   前記制御部は、
   前記条件更新部による前記被写体の前記笑顔条件の更新回数が所定の回数よりも多いと判定した場合、前記被写体の前記笑顔条件を初期の設定に近づける変更を行い前記表情判定部に設定する
   ことを特徴とする撮像装置。
8. 請求項１ないし請求項７のいずれか１項に記載の撮像装置において、
   前記撮像部によって前記被写体が撮像された時の前記表情判定部による前記笑顔条件の判定結果を表示する表示部をさらに備えることを特徴とする撮像装置。
9. 請求項１ないし請求項８のいずれか１項に記載の撮像装置において、
   前記制御部は、
   前記撮像部に前記被写体を撮像させた前記画像に、前記表情判定部による撮像時の前記被写体の前記笑顔条件の判定結果を付加する
   ことを特徴とする撮像装置。
10. 被写体を撮像素子によって撮像された画像を読み込む入力ステップと、
    前記画像を用いて、前記被写体の顔を検出する顔検出ステップと、
    検出された前記被写体の顔とともに、歯、口角及び目尻それぞれの形状を認識する顔認識ステップと、
    認識された前記歯、口角及び目尻それぞれの形状が、歯、口角及び目尻におけるそれぞれの形状に基づいて決められる３つの条件からなる笑顔条件のうち、少なくとも１つと一致した場合、前記被写体が笑顔であると判定する表情判定ステップと、
    前記表情判定ステップによって前記被写体が笑顔であると判定した場合、前記被写体が笑顔であると判定した時の前記笑顔条件を前記被写体毎に記憶する記憶ステップと
    を備え、コンピュータに実行させることを特徴とするプログラム。
    

Images