JP5272797B2 - デジタルカメラ - Google Patents

Description

本発明は、被写体の顔の表情又はジェスチャーを認識して自動的に撮影を行う機能を有するデジタルカメラに関する。

従来、被写体の顔を検出し、その顔が所定の表情、例えば、喜び、悲しみ、怒り、驚きといった特徴的な表情となった時に自動的に撮影を行うカメラが知られている（例えば、特許文献１参照）。例えば、乳幼児の笑顔を撮影したい場合、いつ笑顔になるかは予測し難い。特許文献１のカメラでは、予め撮影したい所定の表情を決めておき、その表情を検出した時に自動的に撮影するので、シャッタチャンスを逃さないという利点がある。

特開２００１−５１３３８号公報

しかしながら、被写体人物に応じて撮影者が撮影したいと思う表情は様々であり、被写体人物に相応しい表情を撮影するためには、被写体人物毎に、その表情を設定または選択しなければならないという煩わしさがあった。

（１）請求項１の発明によるデジタルカメラは、被写体を撮像し、被写体画像を生成する撮像手段と、撮像手段によって撮像された所定の人物の顔画像に関係する顔情報を顔登録データとして記憶する顔登録データ記憶手段と、撮像手段によって撮像された所定の人物の顔画像に基づいてその人物の年代、性別の少なくとも一方を推論する推論手段と、推論の結果に基づいて所定の人物に対して顔表情又はジェスチャーを自動設定する自動設定手段と、被写体画像の中の人物画像が顔登録データ記憶手段に記憶された顔登録データに対応することを認識する顔認識手段と、顔認識手段で認識された人物画像について自動設定手段で自動設定された顔表情又はジェスチャーに対応するか否かを検出する検出手段と、検出手段が顔表情又はジェスチャーに対応することを検出すると、自動撮影を行う自動撮影手段と、を備えることを特徴とする。

本発明のデジタルカメラによれば、自動撮影を行う所定の被写体人物を登録する際に、その所定の被写体人物の年代／性別を推論し、その推論結果基づき顔表情又はジェスチャーを自動設定するので、ユーザーが被写体人物に応じて撮影したい顔表情又はジェスチャーを設定または選択する手間を省くことができる。

本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。

以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図１は、本発明の第１の実施の形態によるデジタルカメラの構成を示すブロック図である。

図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４、画像処理部１５、画像記録部１６および制御部２０を備える。また、デジタルカメラは、顔登録モード設定部２１、顔登録データ記憶部２２、年代／性別推論部２３、年代／性別データ記憶部２４、自動設定部２５、顔検出部３０、顔データ記憶部３１、顔認識部３２、顔表情検出部３３、顔表情データ記憶部３４、顔表情レベルデータ記憶部３５および自動撮影部３６を備える。さらに、デジタルカメラは、表示制御部３７、液晶ディスプレイ３８、顔表情撮影モード設定部４０、優先度設定部４１、画像検索部４２および自動修正部５０を備える。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５および制御部２０を介して液晶ディスプレイ２５に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を介して送られて画像記録部１６にて記録される。
画像記録部１６は、画像情報とその画像に関する属性情報とを関連付けてメモリ１６ａに記録する。

顔登録モード設定部２１は、人物登録を実行するモードをＯＮ／ＯＦＦ設定する操作部である。顔登録モードをＯＮとし、カメラに登録したい人物の顔をモニタ画面の所定のガイド枠に合わせて撮影することにより、その人物の登録が行われる。
顔登録データ記憶部２２は、その撮影された登録人物の顔画像に基づいた特徴的な顔情報を登録データとして登録する。なお、この特徴的な顔情報とは、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータである。

年代／性別推論部２３は、上記の撮影された顔画像に基づいて登録人物の年代および性別を推論する。すなわち、年代／性別推論部２３は、その顔領域の画像中の各特徴点と、年代／性別データ記憶部２４に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代／性別を推論する。そして、年代／性別推論部２３は、推論結果、例えば、被写体人物の年代は２０歳代、性別は女性という推論データを出力する。顔登録データ記憶部２２は、この推論データをその登録人物の登録データに関連付けて記憶する。

年代／性別データ記憶部２４は、男女それぞれの年代別に、例えば、眉、眼、鼻、唇などの特徴点が持つ特徴量のデータおよび色彩データなどを記憶している。
年代／性別を推論する方法としては、例えば、特開２００４−２２２１１８号公報に開示されている方法を用い、上記の特徴量をサポートベクタマシンというシステムに入力することによって行う。

自動設定部２５は、登録人物に関する年代／性別推論部２３の推論結果に基づき、顔表情の種類（例えば笑顔、泣き顔、怒り顔）や顔表情の度合い（例えば微笑、普通の笑い、大笑い）を、その登録人物について自動設定する。こうして、自動設定部２５は、複数の登録人物について推論結果が同一であれば、同一の顔表情の種類や顔表情レベルを自動設定する。

このような自動設定は、各年代毎に、男女別にそれに対応する顔表情の種類や顔表情レベルとの関係を表すテーブルを用意して、推論結果に基づきそのテーブルから顔表情の種類や顔表情レベルを読み出すことにより実行することができる。なお、自動設定部２５は、顔表情を１種類だけではなく、複数種類設定してもよい。

顔検出部３０は、撮像素子１３からバッファメモリ１４、画像処理部１５、制御部２０を介して送られた被写体人物のスルー画像データを入力し、このスルー画像データを顔データ記憶部３１に予め記憶されている顔データと比較することにより、スルー画像中の被写体人物の顔を検出する。検出された顔領域の画像は、顔検出部３０から制御部２０へ送られる。顔データ記憶部３１は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

顔認識部３２は、顔検出部３０により検出された被写体人物の顔領域の画像を制御部２０から入力し、その顔領域の画像を顔登録データ記憶部２２に記録されている顔画像の登録データと照合する。そして、顔認識部３２は、顔領域の画像中の被写体人物の顔が登録済みの特定の人物の顔であるか否かを判定し、その判定結果を制御部２０へ送出する。

顔表情検出部３３は、顔検出部３０により検出された顔領域の画像を制御部２０を介して入力し、その顔領域の画像の表情を顔表情データ記憶部３４に予め記憶されている所定の顔表情データと比較することにより、顔領域の画像中の被写体人物の顔表情が所定の顔表情データに対応することを検出する。この顔表情検出は、一定の時間間隔毎に行われる。
顔表情には、笑顔、泣き顔、怒り顔、驚き顔、くしゃみ顔、あくび顔、寝顔などの様々な種類があり、顔表情データ記憶部３４は、笑顔データを含む複数の顔表情データを記憶している。

顔表情検出部３３が顔領域の画像の顔表情を検出する場合には、特開２００８−４２３１９号公報に開示されている検出手法を用いることができる。この検出手法は、例えば笑顔であることを検出するには、検出された画像の顔が笑顔と通常時の顔という２つの顔表情のいずれに近いかに基づいて表情の種類を判断するものである。

また、顔表情検出部３３は、顔検出部３０により検出された顔領域の画像を制御部２０から入力し、その顔領域の画像の表情の度合い（表情レベル）を顔表情レベルデータ記憶部３５に予め記憶されている所定の顔表情レベルデータと比較することにより、顔領域の画像中の被写体人物の顔の表情レベルが所定の顔表情レベルデータに対応することを検出する。

顔表情レベルデータ記憶部３５は、顔表情の度合い（顔表情レベル）、例えば、笑顔の度合い（笑顔レベル）が１０％、２０％、３０％、・・・、１００％であるときの各笑顔の特徴を表す笑顔レベルデータ（例えば、特徴点同士の間隔）を笑顔レベル毎に記憶している。笑顔レベルの数値が高まるにつれて、笑顔表情は微笑程度から大笑いへとその笑顔の度合いが大きくなってゆく。

顔表情検出部３３は、例えば、顔画像の顔が笑顔であることを検出し、その笑顔の度合いを検出する。笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

顔表情検出部３３は、被写体人物の顔表情が自動設定部２５によって設定された顔表情あるいは顔表情レベルであることを検出すると、検出信号を制御部２０に対して出力する。
自動撮影部３６は、顔表情検出部３３からの検出信号に応じて撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して被写体の自動撮影を行う。この自動撮影は、顔表情検出部３３が所定の顔表情、例えば笑顔を検出したり、所定の笑顔レベル値を検出する毎に１枚の画像を撮像する。

表示制御部３７は、液晶ディスプレイ３８による表示を制御する。すなわち、表示制御部３７は、液晶ディスプレイ３８がスルー画像の表示、バッファメモリ１４に一時的に記録されている撮影画像の表示、画像記録部１６のメモリ１６ａに保存された撮影画像の再生表示を行なう時の表示態様を制御する。また、表示制御部３７は、液晶ディスプレイ３８に撮影画像のみを表示させたり、属性情報を付加した撮影画像を表示させる。

液晶ディスプレイ３８は、スルー画像の表示やバッファメモリ１４に一時的に記録されている撮影画像、メモリ１６ａに保存された撮影画像の表示を行い、また、表示制御部３７の指令により、撮影画像に関連する属性情報の表示、および自動設定部２５により設定された顔表情、顔表情レベルの表示を行う。

顔表情撮影モード設定部４０は、被写体人物の所定の顔表情、例えば笑顔を検出すると、自動撮影を実行するモードをＯＮ／ＯＦＦ設定する操作部である。

優先度設定部４１は、自動撮影を行うべき顔表情の種類が自動設定部２５によって複数設定されている場合に、外部操作によって顔表情の種類に優先順位付けを行う操作部である。優先度を設けることにより、優先順位の高い表情を優先順位の低い表情よりも高い頻度で撮影することができる。

画像検索部４２は、画像記録部１６のメモリ１６ａに保存されている撮影画像などの情報の検索や再生を行う操作部である。

以上のように構成されたデジタルカメラは、次のように動作する。
先ず、顔登録モード設定部２１をＯＮとし、人物登録を行う。すなわち、登録したい人物の顔をカメラのモニタ画面の所定のガイド枠に合わせて撮影する。所定のガイド枠は、例えば、人間の顔の大きな特徴を示す眼の部分と口の部分に設定されている。こうして撮影された登録人物の顔画像は、その顔の部位の特徴点が算出され、その特徴点データが顔登録データとして顔登録データ記憶部２２に記憶されるとともに、年代／性別推論部２３によって登録人物の年代および性別が推論される。

なお、年代／性別推論部２３は、その顔領域の画像中の各特徴点と、年代／性別データ記憶部２４に予め記憶されている顔の各特徴点とについて、各特徴点が持つ特徴量や色彩データなどを比較して被写体人物の年代／性別を推論する。そして、年代／性別推論部２３による推論結果、例えば、被写体人物の年代は２０歳代、性別は女性という推論データは、顔登録データ記憶部２２に、上記の顔登録データに関連付けて記録される。

続いて、自動設定部２５は、登録人物に関する年代／性別推論部２３の推論結果に基づいて、登録人物の顔表情の種類、例えば笑顔や泣き顔や怒り顔などの顔表情や顔表情レベルを自動設定する。例えば、２０歳代の女性について、顔表情レベルとして笑顔レベル値４０％が自動設定され、この自動設定された笑顔レベル値４０％は、その登録人物に関する顔登録データに関連付けられて顔登録データ記憶部２２に記憶される。
また、自動設定された笑顔レベル値４０％は、液晶ディスプレイ３８に表示され、ユーザーは、それを容易に確認できる。

このようにして、顔登録データ記憶部２２には、撮影された登録人物の顔の特徴を表す顔登録データと、年代／性別推論部２３の推論結果である推論データと、自動設定部２５の設定した顔表情あるいは顔表情レベルとが互いに関連付けられて記憶される。
以上に説明した顔登録が複数の人物に対して実行されることによって、顔登録データ記憶部２２には、複数の登録人物に関するデータが記録される。

人物登録が終了した後に、顔表情撮影モード設定部４０によって顔表情撮影モードがＯＮ設定されると、顔検出部２１が被写体画像中の被写体人物の顔を検出する。
顔認識部３２は、顔検出部２１が検出した顔領域の画像が顔登録データ記憶部２２に登録されている顔画像に対応するか否かを判定する。

顔認識部３２がその被写体人物は登録済みの人物であると認識すると、顔表情検出部３３は、登録済みと認識された人物の顔画像が、その登録人物について自動設定部２５によって自動設定された顔表情あるいは顔表情レベルに対応することを検出する。
なお、自動設定部２５によって自動設定された顔表情あるいは顔表情レベルは、上述のように、顔登録データ記憶部２２に記憶されているので、顔表情検出部３３は、この顔登録データ記憶部２２に記憶されている顔表情や顔表情レベルに対応する顔表情データ記憶部３４の顔表情データや顔表情レベルデータ記憶部３５の顔表情レベルデータを選択し、この選択された顔表情データや顔表情レベルデータを用いて、顔検出部３０により検出した顔領域の画像について顔表情や顔表情レベルを検出する。

今、笑顔レベル値４０％が設定されていた場合、顔表情検出部３３は、スルー画像中の登録済みと認識された人物の顔表情が笑顔レベル値４０％であることを検出すると、検出信号を制御部２０に対して出力する。
自動撮影部３６は、顔表情検出部３３からの検出信号に基づき、撮影レンズ１１、絞り１２および撮像素子１３に動作信号を出力して笑顔レベル値４０％の被写体人物の自動撮影を行う。

本実施の形態によるデジタルカメラは、以下の作用効果を奏する。
（１）人物登録の際に、登録人物の年代／性別を推論し、その推論結果により所定の顔表情や顔表情レベルを自動設定し、顔表情検出部３３がその顔表情や顔表情レベルを検出した時に自動撮影を行うので、被写体人物毎に顔表情や顔表情レベルを個々に設定する手間を省くことができる。
（２）液晶ディスプレイ３８が自動設定部２５により設定された顔表情の種類、顔表情レベルの表示を行うので、登録人物について撮影したい条件を容易に確認できる。

本実施の形態によるデジタルカメラは、更に以下の機能を有する。
（１）顔表情の優先度
自動設定部２５によって複数の顔表情が設定された場合には、優先度設定部４１によってそれらの複数の顔表情の中で優先順位を付与する。第１の顔表情（例えば、笑顔）と第２の顔表情（例えば、泣き顔）を設定した場合に、優先度設定部４１を操作して、例えば第１の顔表情を第１優先とし、第２の顔表情を第２優先とするように優先度を付与する。ここで、第１優先とは、顔表情検出部３３が第１の顔表情を１回検出すると直ちに自動撮影を行い、第２優先とは、顔表情検出部３３が第２の顔表情を例えば２回又は３回検出したときに自動撮影を行うように定められる。
（２）登録人物の優先度
１枚の被写体画像中に登録人物が複数人いることが認識された場合、いずれの登録人物の顔表情又は顔表情レベルを検出するかの優先順位として、例えば、画面中央に近い人物、年代の若い人物あるいは性別が女性と予め決めておく。これにより、最も優先順位の高い人物の顔表情を検出して自動撮影を行うことができる。

（３）顔表情レベルの修正
本実施の形態によるデジタルカメラは、年代・性別の推論結果に基づき自動設定された顔表情レベルを調整、即ち修正する機能を更に有する。以下にこの機能を詳述する。
自動修正部５０が操作されると、特定の登録人物が選択され、これによって、これまでに自動撮影されたその特定登録人物に関する全ての画像が、メモリ１６aから検索され、抽出される。

このような検索は、以下に述べる第1の方法又は第2の方法によって達成することができる。
即ち、第1の検索方法は、メモリ１６aからそこに記録されている全画像を読み出し、顔検出部３０がその読み出された画像を顔登録データ記憶部２２に記録されている上記の特定の登録人物の顔登録データと比較して、特定の登録人物の画像を抽出することによって、達成する。
第2の検索方法は、メモリ１６ａには特定の登録人物の画像がその人物を表す人物情報と関連付けられて記録されているので、この人物情報に基づき、特定の登録人物の画像を検索して、メモリ１６aから抽出する。

このように取得された特定の登録人物、即ち同一の登録人物の画像について、解析を行い、自動設定部２５がその登録人物に対して自動設定した顔表情レベル、例えば笑顔レベルを修正する。例えば、その取得した画像枚数が非常に少なかった場合には、特定の登録人物が同年代かつ同性の一般の人物よりも、笑いが少ない人であると分析し、笑顔レベルを下げ、微笑み程度でも自動撮影を行うように変更する。勿論、この修正された笑顔レベルは、顔登録データ記録部２２に上書き記録される。

以上の説明は、取得した特定の登録人物の画像分析に基づき自動修正部２５が自動的に顔表情レベルを修正するものであったが、これを撮影者が手動で修正することもできる。
この手動修正は、上述の自動修正の場合と同様に、特定の登録人物の全画像を検索して取得し、それらを液晶ディスプレイ３８に表示させる。撮影者は、その画像の枚数や、画像の笑顔の度合い等を調べて、笑顔レベルを手動修正する。

本実施の形態によるデジタルカメラは、以下のように変形することができる。
本実施の形態のデジタルカメラは、登録人物について顔表情や顔表情レベルが自動設定され、顔表情検出部３３がその顔表情や顔表情レベルを検出した時に自動撮影を行うものであった。変形例によるデジタルカメラは、顔表情や顔表情レベルの代わりに、ジェスチャー（ポーズ）を用い、年代／性別推論部２３の推論結果により所定のジェスチャーを自動設定し、その所定のジェスチャー検出した時に自動撮影を行う。ジェスチャーには多数の種類があるが、典型的なものとして、人指し指と中指でＶ字形を作ったり、両腕でＶ字形を作るＶサイン、拍手、万歳、両手を頭上に上げて輪を作る所作などがある。

ジェスチャーを検出して自動撮影を行う上記変形例のデジタルカメラも、上記の実施の形態のデジタルカメラと同様の作用効果を奏する。
また、上記変形例の機能を本実施の形態のデジタルカメラに付加してもよい。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

１３：撮像素子 １６：画像記録部
２０：制御部 ２１：顔登録モード設定部
２２：顔登録データ記憶部 ２３：年代／性別推論部
２４：年代／性別データ記憶部 ２５：自動設定部
３０：顔検出部 ３１：顔データ記憶部
３２：顔認識部 ３３：顔表情検出部
３４：顔表情データ記憶部 ３５：顔表情レベルデータ記憶部
３６：自動撮影部 ３８：液晶ディスプレイ
４０：顔表情撮影モード設定部 ４１：優先度設定部
４２：画像検索部 ５０：自動修正部

Claims (11)

1. 被写体を撮像し、被写体画像を生成する撮像手段と、
   前記撮像手段によって撮像された所定の人物の顔画像に関係する顔情報を顔登録データとして記憶する顔登録データ記憶手段と、
   前記撮像手段によって撮像された所定の人物の顔画像に基づいてその人物の年代、性別の少なくとも一方を推論する推論手段と、
   前記推論の結果に基づいて前記所定の人物に対して顔表情又はジェスチャーを自動設定する自動設定手段と、
   前記被写体画像の中の人物画像が前記顔登録データ記憶手段に記憶された前記顔登録データに対応することを認識する顔認識手段と、
   前記顔認識手段で認識された前記人物画像について前記自動設定手段で自動設定された前記顔表情又はジェスチャーに対応するか否かを検出する検出手段と、
   前記検出手段が前記顔表情又はジェスチャーに対応することを検出すると、自動撮影を行う自動撮影手段と、を備えることを特徴とするデジタルカメラ。
2. 請求項１に記載のデジタルカメラにおいて、
   前記自動設定手段は、前記顔表情として顔表情の度合いを示す顔表情レベルを自動設定することを特徴とするデジタルカメラ。
3. 請求項１に記載のデジタルカメラにおいて、
   前記自動設定手段は、前記顔表情として特定の顔表情の種類を自動設定することを特徴とするデジタルカメラ。
4. 請求項１に記載のデジタルカメラにおいて、
   前記自動設定手段は、前記ジェスチャーを自動設定することを特徴とするデジタルカメラ。
5. 請求項１に記載のデジタルカメラにおいて、
   前記自動設定手段により設定された前記顔表情又はジェスチャーを表示する表示手段を更に備えることを特徴とするデジタルカメラ。
6. 請求項２に記載のデジタルカメラにおいて、
   前記撮像手段によって撮像された前記被写体画像を記録媒体に記録する記録手段と、
   前記記録媒体から前記所定の人物の画像を複数枚、検索し取得する検索手段と、
   前記検索手段によって取得された前記複数枚の所定の人物の画像に基づき、前記所定の人物に関する前記顔表情レベルを自動的に修正する修正手段と、を更に備えることを特徴とするデジタルカメラ。
7. 請求項６に記載のデジタルカメラにおいて、
   前記検索手段は、前記記録媒体から読み出した複数枚の被写体画像から前記顔認識手段によって前記所定の人物の画像を抽出することを特徴とするデジタルカメラ。
8. 請求項６に記載のデジタルカメラにおいて、
   前記記録手段は、前記所定の人物の画像に関連付けてその所定の人物に関する人物情報を前記記録媒体に記録し、
   前記検索手段は、前記人物情報に基づき、前記記録媒体から所定の人物画像を読み出すことを特徴とするデジタルカメラ。
9. 請求項６に記載のデジタルカメラにおいて、
   前記修正手段は、前記複数枚の人物画像を解析して、その解析結果に基づき前記顔表情レベルを自動的に修正することを特徴とするデジタルカメラ。
10. 請求項９に記載のデジタルカメラにおいて、
    前記推論手段は、前記年代を推論し、
    前記記録手段は、前記推論手段が推論した前記年代を前記所定の人物の画像に関連付けて前記記録媒体に記録し、
    前記修正手段は、前記複数枚の所定の人物の画像を前記年代毎に解析して、その解析結果に基づき前記顔表情レベルを自動的に修正することを特徴とするデジタルカメラ。
11. 請求項２に記載のデジタルカメラにおいて、
    前記撮像手段によって撮像された前記被写体画像を記録媒体に記録する記録手段と、
    前記記録媒体から前記所定の人物の画像を複数枚、検索し取得する検索手段と、
    前記検索手段によって取得された前記複数枚の所定の人物の画像を表示する表示手段と、
    前記所定の人物に関する前記顔表情レベルを外部からの操作によって修正する修正手段と、を更に備えることを特徴とするデジタルカメラ。

Images