JP5200959B2 - デジタルカメラ - Google Patents

Description

本発明は、被写体の顔の表情を認識して顔表情の評価値を判定する機能を有するデジタルカメラに関する。

従来、メモリに一時的に記憶されている撮影画像データから複数の人物の顔画像を検出し、各人物の顔表情の評価値を算出し、その評価値が所定値以上である人物画像を抽出し、こうして抽出された複数の人物画像を合成処理する技術が知られている（例えば、特許文献１参照）。

特開２００７−２９９２９７号公報

しかしながら、引用文献１の技術にあっては、顔表情が所定の顔表情評価値である人物の画像を再度利用したい場合には、多数の撮影画像の中からその人物画像を抽出しなければならず、検索作業に手間がかかるという問題がある。

（１）請求項１の発明によるデジタルカメラは、被写体像を撮像して、画像データを出力する撮像手段と、少なくとも第１のフォルダ及び第２のフォルダが設けられた記憶手段と、画像データ中の被写体人物の顔表情の度合いが少なくとも第１の顔表情レベル及び第２の顔表情レベルのいずれに該当するかを判定する判定手段と、判定手段が第１の顔表情レベルと判定した画像データを第１のフォルダに、第２の顔表情レベルと判定した画像データを第２のフォルダに、それぞれ自動的に格納する格納手段と、を備えることを特徴とする。
（２）請求項６の発明によるデジタルカメラは、被写体像を撮像して、画像データを出力する撮像手段と、画像データ中の被写体人物の顔表情の度合いが少なくとも第１の顔表情レベル及び第２の顔表情レベルのいずれに該当するかを判定する判定手段と、画像データと判定手段の判定した顔表情レベルに関するレベル情報とを互いに関連付けて記憶する第１の記憶手段と、少なくとも第１のフォルダ及び第２のフォルダが設けられた第２の記憶手段と、表示手段と、第1の記憶手段から画像データを読み出して表示手段に表示する再生手段と、再生手段によって読み出された画像データについて、そのレベル情報に基づき、判定手段が第１の顔表情レベルと判定した画像データを第１のフォルダに、第２の顔表情レベルと判定した画像データを第２のフォルダに、それぞれ自動的に格納する格納手段と、を備えることを特徴とする。

本発明のデジタルカメラによれば、被写体画像データを被写体人物の顔表情の度合い毎に所定のフォルダに自動的に格納するようにしたので、これらの画像データを検索して抽出する作業が容易となる。

本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。 第１の実施の形態に係るデジタルカメラのメモリ１６ａのフォルダ構成を模式的に示す図である。 画像ファイル５０の構成を模式的に示す図である。 第１の実施の形態に係るデジタルカメラのメモリ１６ａの他のフォルダ構成を模式的に示す図である。 第２の実施の形態に係るデジタルカメラのメモリ１６ａのフォルダ構成を模式的に示す図である。

以下、本発明の実施の形態によるデジタルカメラについて、図１〜５を参照しながら説明する。
−第１の実施の形態−
図１は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔検出部２１、顔データ記憶部２２、顔表情判定部２３、顔表情データ記憶部２４、顔表情レベルデータ記憶部２６、表示制御部２７および液晶ディスプレイ２８を備える。さらに、デジタルカメラは、ファイル格納指示部３０、画像再生部３１を備える。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ２８に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して画像記録部１６にて記録される。

画像記録部１６はメモリ（記憶媒体）１６ａを有し、メモリ１６ａには、後述するように、複数のフォルダが階層的に設けられている。撮影された被写体画像（以下、撮影画像という）の画像データは、これらのフォルダのいずれかに振り分けられて記録される。
このような被写体画像データの各フォルダへの振り分けは、後述のファイル格納指示部３０の出力に基づき、画像記録部１６内の図示なき制御回路によって行われる。また、撮影画像データを格納する際には、画像情報にテキストまたは記号などの付加情報（例えばタグ情報（ＥＸＩＦ））を付加して格納する。

顔検出部２１は、撮影画像データを入力し、これを顔データ記憶部２２に予め記憶されている顔データと比較することにより、撮影画像中の被写体人物の顔を検出する。検出された顔領域の画像は、顔検出部２１から制御部２０へ送られる。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

顔表情判定部２３は、顔検出部２１により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の顔表情を顔表情データ記憶部２４に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。顔表情には、笑顔、泣き顔、怒り顔、驚き顔、寝顔などの様々な種類があり、顔表情データ記憶部２４は、笑顔データを含む複数の顔表情のデータを記憶している。

顔表情判定部２３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。

また、顔表情判定部２３は、顔表情の検出だけではなく、顔表情の度合い（表情レベル）を検出する。すなわち、顔表情判定部２３は、顔検出部２１により検出された顔領域の画像を制御部２０から入力し、その顔領域の画像の表情の度合いを顔表情レベルデータ記憶部２６に予め記憶されている所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔の表情レベルが所定の顔表情レベルデータのいずれに対応するかを判定することができる。顔表情判定部２３は、被写体人物の顔表情レベルに対応する判定信号を制御部２０へ出力する。

笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

顔表情レベルデータ記憶部２６は、複数の顔表情のそれぞれについて、顔表情の度合い（顔表情レベル）として、例えば、レベル１からレベル５まで５段階で、各顔表情レベル毎に顔表情レベルデータを記憶している。具体的には、顔表情レベルデータ記憶部２６は、笑顔レベル１，笑顔レベル２，笑顔レベル３，笑顔レベル４，及び笑顔レベル５にそれぞれ相当する笑顔レベルデータや、泣き顔レベル１，泣き顔レベル２，泣き顔レベル３，泣き顔レベル４，及び泣き顔レベル５にそれぞれ相当する泣き顔レベルデータを記憶している。なお、笑顔レベルは、レベル値が大きくなるにつれて、顔表情は微笑表情から大笑い表情へとその笑顔の度合いが大きくなってゆく。

表示制御部２７は、液晶ディスプレイ２８による表示を制御する。すなわち、表示制御部２７は、バッファメモリ１４に一時的に記録されている撮影画像の表示、画像記録部１６のメモリ１６ａに保存された撮影画像の再生表示を行なう時の表示態様を制御する。

液晶ディスプレイ２８は、スルー画像の表示やバッファメモリ１４に一時的に記録されている撮影画像、メモリ１６ａに保存された撮影画像の表示を行い、また、表示制御部２７の指令により、撮影画像に関連する付加情報の表示などを行う。

ファイル格納指示部３０は、顔表情判定部２３からの顔表情レベルに対応する判定信号に基づき、その撮影画像データをメモリ１６ａのいずれのフォルダに格納するかを自動的に決定し、指示信号を出力する。
その指示信号がファイル格納指示部３０から制御部２０を介して画像記録部１６へ送出されると、画像記録部１６は、その撮影画像データを所定のフォルダに格納する。この自動格納の際には、例えば、撮影画像が笑顔レベル３の笑顔画像であれば、笑顔レベル３を表すレベル情報をその画像データに関連付けて格納する。

画像再生部３１は、画像記録部１６に記録されている撮影画像などの情報の検索や再生を行う操作部である。

以上のように構成されたデジタルカメラは、次のように動作する。
撮影が行われ、撮像素子１３が被写体人物の撮影画像データを出力すると、顔検出部２１がこの撮影画像データの被写体人物画像を顔データ記録部２２に記憶された顔データと比較して、被写体人物の顔画像を検出する。顔表情判定部２３は、この顔検出部２１が検出した顔画像を顔表情データ記憶部２４の顔表情データと比較して、被写体人物の顔表情が「笑顔」、「泣き顔」等を検出する。ここでは、顔表情判定部２３は、「笑顔」を検出したとする。

顔表情判定部２３は、更に、この被写体人物画像の笑顔を顔表情レベルデータ記憶部２６に記憶された笑顔レベルデータと比較して、この笑顔の度合いがどの笑顔レベルに相当するかを判定し、その判定した笑顔レベルを表す判定信号を出力する。ここでは、笑顔レベル１に相当すると判定したとする。

ファイル格納指示部３０は、この笑顔レベル１の判定信号に基づき、当該撮影画像データを図２のフォルダ構成における「笑顔レベル１」のフォルダに格納することを指示する指示信号を発生する。画像記録部１６は、この指示信号に基づき、当該撮影画像データと笑顔レベル１を表すレベル情報とを関連付け、画像ファイルとして「笑顔レベル１」のフォルダに格納する。

図３は、この画像ファイル５０の構成を模式的に示したもので、この画像ファイル５０のタグ領域５１には、笑顔レベル１を表すレベル情報が書き込まれると共に、撮影画像データとそれのサムネイル画像データが、画像領域５２とサムネイル画像領域５３にそれぞれ格納される。

新たな撮影画像が取得されると、以上の動作と同様に、それが笑顔レベル２の笑顔画像であれば、そのレベル情報と共に「笑顔レベル２」のフォルダに格納され、また、笑顔レベル３の画像であれば、そのレベル情報と共に「笑顔レベル３」のフォルダに格納され、笑顔レベル４の笑顔画像であれば、そのレベル情報と共に「笑顔レベル４」のフォルダに格納される。更に、その撮影画像が、泣き顔レベル１の泣き顔画像であれば、そのレベル情報と共に「泣き顔レベル１」の泣き顔フォルダに格納される。

次に、操作者が画像再生部３１を操作して、「笑顔レベル１」のフォルダを開くと、そこに格納されていた笑顔レベル１の笑顔画像が液晶ディスプレイ２８にサムネイル一覧表示される。同様に、画像再生部３１によって、「笑顔レベル２」のフォルダが開かれると、笑顔レベル２の笑顔画像がサムネイル一覧表示される。また、画像再生部３１によって、或る泣き顔レベルのフォルダが開かれると、その泣き顔レベルの泣き顔画像がサムネイル一覧表示される。

このサムネイル一覧表示画面から所望のサムネイル画像を選択すると、その画像が拡大表示される。このサムネイル一覧表示及び所望の画像の拡大表示において、液晶ディスプレイ２８には、画像の表示に加えて、画像ファイル５０のタグ領域５１に記録されていたレベル情報も表示される。
このレベル情報の表示は、例えば「笑顔レベル１」や「笑顔レベル２０％」等の文字情報でもよいし、その笑顔レベルを表す笑顔マークを用いることもできる。

また、画像再生部３１によって、笑顔レベル優先再生モードを選択すると、笑顔レベルの最高レベルのフォルダが開かれ、所定時間後に、順次、第２位、第３位、第４位、第５位の笑顔レベルのフォルダが次々に開かれて、それぞれサムネイル画像の一覧表示などが行われる。画像再生部３１によって、泣き顔レベル優先再生モードを選択した場合にも、同様に泣き顔レベルの第１位から順次、第５位までのフォルダが次々に開かれて、サムネイル画像の一覧表示等が行われる。

図４は、別のフォルダ構成を示したもので、笑顔レベル１、笑顔レベル２などの各笑顔レベルフォルダには、被写体別のサブフォルダが設けられている。そして、「笑顔レベル１」のフォルダの「被写体Ａ」のサブフォルダには、笑顔レベル１の被写体人物Ａの撮影画像が格納される。「被写体Ｂ」のサブフォルダには、笑顔レベル１の被写体人物Ｂの撮影画像が格納される。その他のサブフォルダも同様である。
このような被写体別サブフォルダへの撮影画像データの格納は、図３のタグ領域に被写体人物の情報を書き込んでおくことによって簡単に達成される。

本実施の形態によるデジタルカメラは以下の作用効果を奏する。
（１）撮影画像データを笑顔レベル情報とともに、その笑顔レベルに対応する所定のフォルダに自動格納するので、同一レベルの笑顔画像データを検索して抽出する作業が容易となる。
（２）撮影画像データを笑顔レベル情報とともに、その笑顔レベルのフォルダの中の被写体別のサブフォルダに自動格納するので、同一被写体人物の同一レベルの笑顔画像データを検索して抽出する作業が容易となる。

−第２の実施の形態−
次に、本発明の第２の実施の形態のデジタルカメラについて説明する。
以下の説明では、第１の実施の形態との相違点を主に説明する。第１の実施の形態では、撮影画像が取得されると、撮影画像データは、そのレベル情報とともに所定のフォルダに格納されるものであったが、第２の実施の形態では、撮影画像データはすべて、そのレベル情報とともに一つのフォルダに格納され、このフォルダを開いて画像を再生するときに所定のフォルダに振り分けられるというものである。以下、詳述する。

図１において、撮像素子１３からの複数の撮影画像データは、順次、顔表情判定部２３からの顔表情レベルのレベル情報と共に、メモリ１６ａに記録される。具体的には、撮影画像データとそのレベル情報とは、メモリ１６ａに設けられた図５のメインフォルダに格納される。その後に、画像再生部３１によって、メインフォルダが開かれると、メインフォルダ内の全画像データが読み出され、液晶ディスプレイ２８にサムネイル一覧表示される。この読み出された画像ファイルは、そのレベル情報に応じた笑顔レベル又は泣き顔レベルのフォルダ等に再格納される。

その後に、画像再生部３１によって、例えば図５の「笑顔レベル１」のフォルダを開くと、笑顔レベル１の笑顔画像がサムネイル一覧表示される。勿論、「泣き顔レベル１」のフォルダを開けば、泣き顔レベル１の泣き顔画像がサムネイル一覧表示される。

なお、メインフォルダに格納した画像データ及びレベル情報などは、メモリ１６ａ以外の記憶媒体に記録することもできる。この場合には、この記憶媒体から画像データとレベル情報とを読み出して、それらをメモリ１６ａの各笑顔レベルフォルダや泣き顔レベルフォルダに格納することになる。
第２の実施の形態でも、第１の実施の形態のデジタルカメラと同様の作用効果を奏する。

上記の実施の形態では、デジタルカメラについて説明したが、本発明は、アプリケーションソフトウエア（画像閲覧編集ソフト）にも適用可能である。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

１６：画像記録部 １６ａ：メモリ
２０：制御部 ２３：顔表情判定部
２４：顔表情データ記憶部 ２６：顔表情レベルデータ記憶部
３０：ファイル格納指示部 ３１：画像再生部
５０：画像ファイル

Claims (7)

1. 被写体像を撮像して、画像データを出力する撮像手段と、
   少なくとも第１のフォルダ及び第２のフォルダが設けられた記憶手段と、
   前記画像データ中の被写体人物の顔表情の度合いが少なくとも第１の顔表情レベル及び第２の顔表情レベルのいずれに該当するかを判定する判定手段と、
   前記判定手段が第１の顔表情レベルと判定した前記画像データを前記第１のフォルダに、第２の顔表情レベルと判定した前記画像データを前記第２のフォルダに、それぞれ自動的に格納する格納手段と、を備えることを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記格納手段は、前記画像データの自動格納の際に、前記判定手段の判定した前記顔表情レベルに関するレベル情報を前記画像データに関連付けて格納することを特徴とするデジタルカメラ。
3. 請求項２に記載のデジタルカメラにおいて、
   前記レベル情報は、文字とマークとの少なくとも一方であることを特徴とするデジタルカメラ。
4. 請求項１に記載のデジタルカメラにおいて、
   前記第１のフォルダ及び第２のフォルダは、それぞれ前記被写体人物毎のサブフォルダを備え、
   前記サブフォルダは、同一被写体人物の画像データを格納することを特徴とするデジタルカメラ。
5. 請求項１に記載のデジタルカメラにおいて、
   表示手段と、
   前記画像データを再生して前記表示手段に表示する再生手段と、を更に備え、
   前記再生手段は、前記第１のフォルダと前記第２のフォルダのうち、顔表情レベルの高い方のフォルダの画像データを優先して再生することを特徴とするデジタルカメラ。
6. 被写体像を撮像して、画像データを出力する撮像手段と、
   前記画像データ中の被写体人物の顔表情の度合いが少なくとも第１の顔表情レベル及び第２の顔表情レベルのいずれに該当するかを判定する判定手段と、
   前記画像データと前記判定手段の判定した前記顔表情レベルに関するレベル情報とを互いに関連付けて記憶する第１の記憶手段と、
   少なくとも第１のフォルダ及び第２のフォルダが設けられた第２の記憶手段と、
   表示手段と、
   前記第1の記憶手段から前記画像データを読み出して前記表示手段に表示する再生手段と、
   前記再生手段によって読み出された画像データについて、そのレベル情報に基づき、前記判定手段が第１の顔表情レベルと判定した前記画像データを前記第１のフォルダに、第２の顔表情レベルと判定した前記画像データを前記第２のフォルダに、それぞれ自動的に格納する格納手段と、を備えることを特徴とするデジタルカメラ。
7. 請求項６に記載のデジタルカメラにおいて、
   前記第１の記憶手段と前記第２の記憶手段は、同一の記憶媒体であることを特徴とするデジタルカメラ。

Images