JP5157704B2 - 電子スチルカメラ - Google Patents

Description

本発明は、被写体の顔の表情を認識して自動的に撮影を行う機能を有する電子スチルカメラに関する。

従来、被写体の顔を検出し、顔の表情が所定の状態（例えば、喜び、悲しみ、怒り、驚きの状態）となっているかを判定し、所定の表情になった場合に、自動的に撮影を行うカメラが知られている（例えば、特許文献１参照）。

特開２００１−５１３３８号公報

人間の表情には様々あるが、例えば笑いに着目すると、通常は微笑から始まり、次第に表情が緩んで大きな笑いとなり、徐々に笑いが収まるという経緯をたどる。したがって、顔の表情も笑いの経過に伴って連続的に変化する。特許文献１のカメラでは、顔の表情が所定の状態になった場合に自動撮影を行うので、一定レベルの表情しか撮影することができず、したがって、もっと表情の豊かな状態の顔を撮影するチャンスを失ってしまうという問題がある。

（１）請求項１の発明による表情撮影モードを有する電子スチルカメラは、被写体を撮像して被写体画像を生成する撮像手段と、顔の表情の度合いを段階的に表す複数の表情レベル毎に各表情レベルの顔の特徴を示す表情レベルデータを記憶した表情レベルデータ記憶手段と、顔の表情の度合いを示す第１の表情レベルと、該第１の表情レベルより表情の度合いの低い第２の表情レベルとを設定する表情レベル設定手段と、被写体画像から被写体の顔の表情を検出し、その表情を表わす表情データを出力する表情検出手段と、表情データと表情レベルデータとに基づき、表情検出手段が検出した被写体の顔の表情が第１の表情レベルおよび第２の表情レベルにそれぞれ対応したことを判定し、第１の表情レベルに対応したとの判定により第１の判定信号を発生し、第２の表情レベルに対応したとの判定により第２の判定信号を発生する表情レベル判定手段と、第１の判定信号に応じて連続撮影を開始し、第２の判定信号に応じて連続撮影を終了する自動連続撮影手段とを備えることを特徴とする。
（２）請求項２の発明は、請求項１に記載の電子スチルカメラにおいて、表情レベル判定手段が第１の判定信号を発生することなく予め定めた所定時間を経過したときは、表情撮影モードを自動解除することを特徴とする。
（３）請求項３の発明は、請求項１または２に記載の電子スチルカメラにおいて、連続撮影により撮像された画像は、それぞれ共通のフォルダに自動保存されることを特徴とする。
（４）請求項４の発明は、請求項１〜３のいずれか１項に記載の電子スチルカメラにおいて、連続撮影は、所定枚数の静止画像を連続的に撮像する連写撮影と動画撮影との少なくとも一方を含むことを特徴とする。
（５）請求項５の発明は、請求項４に記載の電子スチルカメラにおいて、連続撮影は、連写撮影を含み、連写撮影により撮像される静止画像の枚数を設定するための撮影枚数設定手段を更に備え、自動連続撮影手段は、設定された枚数の限度で連続撮影を行うことを特徴とする。
（６）請求項６の発明は、請求項５に記載の電子スチルカメラにおいて、連写撮影により撮像される静止画像は、表情レベルの高い順に自動再生されることを特徴とする。

本発明の電子スチルカメラによれば、第１の表情レベルで連続撮影を自動的に開始し、第２の設定レベルで連続撮影を自動終了するようにしたので、これら複数枚の撮影画像中に第１の表情レベルより高いレベルの表情の画像を含ませることができる。

以下、本発明の実施の形態による電子スチルカメラについて、図１〜４を参照しながら説明する。
図１は、本発明の実施の形態による電子スチルカメラの構成を示すブロック図である。

図１に示されるように、電子スチルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、メモリーカードなどの画像記録部１６および制御部２０を備える。また、電子スチルカメラは、顔検出部２１、笑顔検出部２２、笑顔レベル判定部２３、自動連続撮影部２４および液晶ディスプレイ２５を備える。さらに、電子スチルカメラは、顔データ記憶部３１、表情データ記憶部３２、笑顔レベルデータ記憶部３３、顔登録データ記憶部３４、笑顔撮影モード設定部４０、笑顔レベル設定部４１、撮影枚数設定部４２および笑顔撮影モード解除部４３を備える。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの入射光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ２５に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６にて記録される。

顔検出部２１は、撮像素子１３からバッファメモリ１４、画像処理部１５、制御部２０を介して送られたスルー画像データを入力し、このスルー画像データを顔データ記憶部３１に予め記憶されている顔データと比較することにより、スルー画像中の人間の顔を検出する。検出された顔領域の画像は、顔検出部２１から制御部２０へ送られる。顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

顔データ記憶部３１は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

笑顔検出部２２は、顔検出部２１により顔領域であることが検出された所定領域の部分画像を制御部２０から入力し、その部分画像の顔が笑顔であることを検出する。すなわち、笑顔検出部２２は、部分画像の顔の表情を表情データ記憶部３２に予め記憶されている様々な顔の表情データと照合することにより、部分画像の顔が笑顔であることを判断する。笑顔検出には、例えば、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば、笑顔と通常時の表情という２つの表情のいずれに近いかに基づいて表情の種類を判断するものである。

表情データ記憶部３２は、笑い顔、泣き顔、怒り顔、驚き顔などの顔の表情に関するデータが記憶されている。

笑顔レベル判定部２３は、笑顔検出部２２が検出した笑顔画像と、笑顔レベルデータ記憶部３３に予め記憶されている笑顔レベルデータとをそれぞれ制御部２０を介して入力し、笑顔であると判断された部分画像の笑顔の度合いを判定する。笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

図２は、本実施の形態による電子スチルカメラの笑顔レベルを模式的に示す図である。１００は、笑顔レベル、すなわち笑顔の度合いが２０％であり、１０１，１０２，１０３は、それぞれ笑顔の度合いが４０％、６０％、８０％の場合を示している。このように、笑顔レベルが２０％、４０％、６０％、８０％と高まるにつれて、笑顔表情は微笑程度から大笑いへとその笑顔の度合いが大きくなってゆく。

笑顔レベルデータ記憶部３３は、例えば、笑顔の度合い（笑顔レベル）が１０％、２０％、３０、４０％、５０％、６０％、７０％、８０％、９０％、１００％であるときの各笑顔の特徴を表す情報、笑顔レベルデータを笑顔レベル毎に記憶している。

笑顔レベル設定部４１は、自動連続撮影を開始するための第１の笑顔レベル値と、自動連続撮影を終了するための第２の笑顔レベル値とをそれぞれ外部操作により設定する。この設定の際には、第１の笑顔レベル値は、第２の笑顔レベル値よりも笑顔の度合いが高くなるように設定する。例えば、第１の笑顔レベル値を８０％に設定し、第２の笑顔レベル値を６０％に設定する。笑顔レベル設定部４１による設定は、パーセンテージの数値を用いて行ってもよいし、液晶ディスプレイ２５に表示させた図２のようなサンプル画像を参照して設定してもよい。

笑顔レベル設定部４１により第１の笑顔レベル値と第２の笑顔レベル値とを設定すると、制御部２０は、笑顔レベルデータ記憶部３３から第１および第２の笑顔レベル値にそれぞれ対応する笑顔レベルデータを読み出して、そのデータを笑顔レベル判定部２３へ送る。

笑顔レベル判定部２３は、笑顔検出部２２からの笑顔データと、第１の笑顔レベル値に対応する笑顔レベルデータとを比較し、笑顔データが第１の笑顔レベル値に対応する笑顔レベルデータに対応した時に第１の判定信号を制御部２０に対して出力する。同様に、笑顔レベル判定部２３は、笑顔検出部２２からの笑顔データと、第２の笑顔レベル値に対応する笑顔レベルデータとを比較し、笑顔データが第２の笑顔レベル値に対応する笑顔レベルデータに対応した時に第２の判定信号を制御部２０に対して出力する。

自動連続撮影部２４は、笑顔レベル判定部２３からの第１の判定信号に基づいて制御部２０から発せられる出力信号に応じて、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の連続撮影を開始させ、また、笑顔レベル判定部２３からの第２の判定信号に基づいて制御部２０から発せられる出力信号に応じて被写体の撮影を終了させる。

液晶ディスプレイ２５は、電子スチルカメラの背面に設けられ、スルー画像の表示や記録画像の再生などに使用される。液晶ディスプレイ２５は、画面の角度や方向が可変となっており、画面を被写体側へ向けることも可能である。液晶ディスプレイ２５には、画像だけではなく、上述した笑顔レベル値などを表示してもよい。

笑顔撮影モード設定部４０は、被写体人物の笑顔の度合いに応じて自動連続撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。

撮影枚数設定部４２は、１回の自動連続撮影で撮影する静止画の枚数を設定する操作部である。連続撮影の静止画の枚数は、笑いの持続時間内で撮影可能な枚数に選定されるべきである。そのために、笑顔撮影モードを設定した場合に、標準的な笑いの持続時間内の撮影枚数を例えば５枚、１０枚などと液晶ディスプレイ２５等に表示してその中からユーザーが撮影枚数設定部４２を操作して所望の枚数を選択する。

笑顔撮影モード解除部４３は、被写体人物の笑顔表情が第１の笑顔レベル値に達することなく所定時間を経過した場合に、笑顔撮影モードを自動的に解除する。解除信号は、笑顔撮影モード解除部４３から制御部２０へ送られ、制御部２０は、笑顔撮影モードをＯＦＦとする。この笑顔撮影モード解除部４３により、ユーザーは無駄に時間を消費することを回避できる。

顔登録データ記憶部３４は、特定の人物の顔画像にインデックスを付してデータとして登録する。登録データとしては、その人物の通常時の顔画像1枚でもよいし、笑顔レベルの異なる複数枚の笑顔画像でもよい。笑顔レベル判定部２３は、登録データを用いて登録人物の笑顔レベルを判定するが、顔や表情の特徴が分かっているので、早く確実な判定結果を出すことができる。

以上のように構成された電子スチルカメラの笑顔撮影モードについて、図３に示すフローチャートに沿って動作する。

図３を参照すると、ステップＳ１１では、ユーザーが笑顔撮影モード設定部４０の操作によって笑顔撮影モードのＯＮ設定を行う。ステップＳ１２では、笑顔レベル設定部４１の操作によって自動連続撮影を開始するための第１の笑顔レベル値、例えば８０％、および自動連続撮影を終了するための第２の笑顔レベル値、例えば６０％の設定を行う。ステップＳ１３では、撮影枚数設定部４２の操作によって１回の連写撮影で撮影する静止画の枚数を設定する。

ステップＳ１４では、顔検出部２１によって被写体の顔が検出される。ステップＳ１５では、笑顔検出部２２は、被写体の顔画像と表情データ記憶部３２からの表情データとを比較して、それが笑顔であることを検出すると、笑顔検出出力として、その笑顔の特徴を表す笑顔データを出力する。ステップＳ１６では、笑顔レベル判定部２３は、笑顔検出部２２からの笑顔データが笑顔レベル設定部４１によって設定された第１の笑顔レベル値８０％以上になったことを判定して第１の判定信号を発生する。なお、この判定は、笑顔検出部２２からの笑顔データを、第１の笑顔レベル値８０％に対応する笑顔レベルデータと比較することによって行われる。

ステップＳ１７では、制御部２０は、笑顔レベル判定部２３の第１の判定信号に基づき、自動連続撮影部２４を起動し、連続撮影を開始させる。ステップＳ１８では、笑顔レベル判定部２３は、ステップＳ１６と同様に、笑顔検出部２２からの笑顔データが笑顔レベル設定部４１によって設定された第２の笑顔レベル値６０％以下になったことを判定して第２の判定信号を発生する。ステップＳ１９では、制御部２０は、笑顔レベル判定部２３の第２の判定信号に基づき、自動連続撮影部２４に連続撮影の終了を指示する信号を送出する。連続撮影画像は、画像記録部１６へ自動保存される。

次に、ステップＳ１５からステップＳ１９までの動作を図４を参照しながら詳しく説明する。
図４は、図３のステップＳ１５からステップＳ１９までの笑顔レベルの推移である笑顔曲線を示すグラフであり、縦軸に笑顔レベル、横軸に時間をとっている。一般に人間の笑いはこの笑顔曲線のように表情が変化してゆく。

時刻ｔ＝０で、ステップＳ１５の笑顔検出が行われ、時間の経過とともに笑顔レベルが上昇してゆく。時刻ｔ１で、笑顔レベルが第１の笑顔レベル値８０％（図中、点Ａ）に達し、ステップＳ１７の連続撮影が開始する。さらに時間の経過とともに笑顔レベルが上昇し、時刻ｔ2で笑顔レベルが最高のレベル（図中、点Ｂ）に達する。これ以降は時間の経過とともに笑顔レベルは下降してゆく。時刻ｔ3で、笑顔レベルが第２の笑顔レベル値６０％（図中、点Ｃ）に達し、ステップＳ１９の連続撮影が終了する。すなわち、時刻ｔ1から時刻ｔ3までが連続撮影を行っている時間である。

人の最高レベルの笑顔は、時刻ｔ1から時刻ｔ3までに撮影した複数枚の画像の中に含まれている可能性が非常に高い。したがって、本実施の形態による電子スチルカメラを笑顔撮影モードで使用することにより、最高レベルの笑顔を撮影するチャンスを確実に捉えることができる。

本発明の電子スチルカメラにおいては変形例は以下の通りである。
（１）その他の顔表情
上記の実施の形態では、顔の表情の中で笑顔を検出して自動連続撮影を開始するものであったが、泣き顔、怒り顔、驚き顔、悲しみ顔などの他の顔表情を検出して自動連続撮影を開始するようにしてもよい。
（２）笑顔レベル値の設定
上記の実施の形態では、笑顔レベル設定部４１により第１および第２の笑顔レベル値の両方を手動設定した。しかし、笑顔レベル設定部４１が、ユーザーが第１の笑顔レベル値を手動設定した後に、第２の笑顔レベル値をその第１の笑顔レベル値よりも低い値に自動的に設定するようにしてもよい。さらには、笑顔レベル設定部４１が、笑顔撮影モードが設定された時に、第１および第２の笑顔レベル値を共に自動で設定するようにしてもよい。

（３）動画撮影
上記の実施の形態では、連続撮影は、連写による複数枚の静止画撮影の場合を説明したが、連写撮影の代わりに動画撮影としてもよい。この場合は、撮影枚数設定部４２は撮影コマ数の代わりに撮影時間を設定する。
（４）撮影枚数の設定
上記の実施の形態の電子スチルカメラでは、液晶ディスプレイ２５に表示された枚数、例えば５枚、１０枚などから希望の枚数を選択することによって撮影枚数を設定するものであった。その代りに、撮影枚数設定部４２を、任意の撮影枚数を手動設定できるように構成してもよい。この場合、メモリ残量が少ない場合には、それに応じて撮影枚数を少なく設定することができる。

（５）共通フォルダへの保存
上記の実施の形態では、連続撮影画像は画像記録部１６へ自動保存されるが、その際に１つの連続撮影画像は共通のフォルダに保存されるように設定する。これにより、画像検索時間の短縮を図ることができる。動画の場合も、一連の動画像は一つのフォルダに保存する。
（６）撮影画像の再生
上記の実施の形態の電子スチルカメラは、１つの共通フォルダに保存されている連続撮影画像の再生時に、笑顔レベルの高い画像から順次自動再生するようにしてもよい。この場合、画像と共に笑顔レベル値も表示することにより、画像のレベルを容易に認識することができる。なお、表示は、本実施の形態の電子スチルカメラに設けられた液晶ディスプレイ２５で行ってもよいし、他の再生機器で行ってもよい。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

本発明の実施の形態に係る電子スチルカメラの構成を示すブロック図である。 実施の形態に係る電子スチルカメラにおける笑顔レベルを模式的に示す図である。 実施の形態に係る電子スチルカメラの笑顔撮影モードによる連続撮影の動作を表すフローチャートである。 図３のステップＳ１５からステップＳ１９までの笑顔レベルの推移である笑顔曲線を示すグラフである。

符号の説明

２０：制御部 ２１：顔検出部
２２：笑顔検出部 ２３：笑顔レベル判定部
２４：自動連続撮影部 ３１：顔データ記憶部
３２：表情データ記憶部 ３３：笑顔レベルデータ記憶部
３４：顔登録データ記憶部 ４０：笑顔撮影モード設定部
４１：笑顔レベル設定部 ４２：撮影枚数設定部
４３：笑顔撮影モード解除部

Claims (6)

1. 被写体を撮像して被写体画像を生成する撮像手段と、
   顔の表情の度合いを段階的に表す複数の表情レベル毎に各表情レベルの顔の特徴を示す表情レベルデータを記憶した表情レベルデータ記憶手段と、
   前記顔の表情の度合いを示す第１の表情レベルと、該第１の表情レベルより表情の度合いの低い第２の表情レベルとを設定する表情レベル設定手段と、
   前記被写体画像から被写体の顔の表情を検出し、その表情を表わす表情データを出力する表情検出手段と、
   前記表情データと前記表情レベルデータとに基づき、前記表情検出手段が検出した前記被写体の顔の表情が前記第１の表情レベルおよび第２の表情レベルにそれぞれ対応したことを判定し、前記第１の表情レベルに対応したとの判定により第１の判定信号を発生し、前記第２の表情レベルに対応したとの判定により第２の判定信号を発生する表情レベル判定手段と、
   前記第１の判定信号に応じて連続撮影を開始し、前記第２の判定信号に応じて前記連続撮影を終了する自動連続撮影手段とを備えることを特徴とする表情撮影モードを有する電子スチルカメラ。
2. 請求項１に記載の電子スチルカメラにおいて、
   前記表情レベル判定手段が前記第１の判定信号を発生することなく予め定めた所定時間を経過したときは、前記表情撮影モードを自動解除することを特徴とする電子スチルカメラ。
3. 請求項１または２に記載の電子スチルカメラにおいて、
   前記連続撮影により撮像された画像は、それぞれ共通のフォルダに自動保存されることを特徴とする電子スチルカメラ。
4. 請求項１〜３のいずれか１項に記載の電子スチルカメラにおいて、
   前記連続撮影は、複数枚の静止画像を連続的に撮像する連写撮影と動画撮影との少なくとも一方を含むことを特徴とする電子スチルカメラ。
5. 請求項４に記載の電子スチルカメラにおいて、
   前記連写撮影により撮像される静止画像は、前記表情レベルの高い順に自動再生されることを特徴とする電子スチルカメラ。
6. 請求項５に記載の電子スチルカメラにおいて、
   前記静止画像は、自動再生時に顔の表情の度合いを示す表情レベル値も同時に表示されることを特徴とする電子スチルカメラ。

Images