JP5408288B2 - 電子カメラ - Google Patents

Description

本発明は、電子カメラに関する。

従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている（特許文献１参照）。また、撮影画像から人種、年齢、性別を推定して顔画像を補正する画像処理装置も開示されている（特許文献２参照）。

特開平６−２５９５３４号公報 特開２００４−２４６４５６号公報

ところで、近年では電子カメラの多機能化は益々進展しており、それに伴って電子カメラの操作も煩雑になる傾向がある。そのため、人物撮影時においてユーザーの意図する機能を簡単に使用できる電子カメラが要望されている。

本発明は上記従来技術の課題を解決するためのものである。本発明の目的は、人物撮影時に被写体の顔を検出するとともに、被写体の顔の特徴に基づいてユーザーが要求する処理を簡単に行うことのできる電子カメラを提供することである。

本発明の一例に係る電子カメラは、被写体像を撮影する撮像素子と、メモリと、顔検出部と、認識部と、外部に音を出力するスピーカーと、制御部とを備える。メモリは、顔の特徴量を示す登録データと、出身地または使用言語に関する特性データとの対応関係が記録され、前記特性データと撮影の合図を示す音との対応関係が記録される。顔検出部は、撮像素子の出力に基づいて被写体像の顔領域を検出し、顔領域から被写体像の顔の特徴量を抽出する。認識部は、顔検出部によって抽出された被写体像の顔の特徴量とメモリに記録された登録データとに基づいて、被写体像を認識する。制御部は、認識部によって認識された被写体像の登録データに基づいて、メモリに記録された撮影の合図を示す音をスピーカーから撮影前に出力させる。

本発明によれば、人物撮影時に被写体の顔を検出するとともに、被写体の顔の特徴に基づいてユーザーが要求する処理を簡単に行うことができる。

第１実施形態の電子カメラの構成を示すブロック図 第１実施形態における電子カメラの撮影動作の一例を説明する流れ図 第２実施形態における電子カメラの撮影動作の一例を説明する流れ図

（第１実施形態の説明）
図１は第１実施形態の電子カメラの構成を示すブロック図である。

電子カメラは、撮影レンズ１１と、レンズ駆動部１２と、絞り１３と、絞り駆動部１４と、撮像素子１５と、アナログ処理部１６と、Ａ／Ｄ変換部１７と、タイミングジェネレータ（ＴＧ）１８と、第１メモリ１９と、画像処理部２０と、記録Ｉ／Ｆ２１と、表示Ｉ／Ｆ２２と、モニタ２３と、操作部２４と、通信部２５と、外部Ｉ／Ｆ２６と、マイク２７およびスピーカー２８と、閃光発光部２９と、外光ＡＦ部３０と、ＣＰＵ３１と、第２メモリ３２と、システムバス３３とを有している。なお、第１メモリ１９、画像処理部２０、記録Ｉ／Ｆ２１、表示Ｉ／Ｆ２２、通信部２５、外部Ｉ／Ｆ２６およびＣＰＵ３１はシステムバス３３を介して接続されている。

撮影レンズ１１は、ズームレンズと、合焦位置調節用のフォーカスレンズとを含む複数のレンズ群で構成されている。撮影レンズ１１を構成する各々のレンズは、レンズ駆動部１２によって光軸方向に移動する。なお、レンズ駆動部１２の入出力はＣＰＵ３１と接続されている。

絞り１３は、撮影レンズ１１からの入射光量を調節する。絞り１３の開口量は、絞り駆動部１４によって調整される。なお、絞り駆動部１４の入出力はＣＰＵ３１と接続されている。

撮像素子１５は、撮影レンズ１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。被写体の撮影を行う撮影モードでは、撮像素子１５は、撮影時に記録用の撮影画像を撮影するとともに、撮影待機時にも所定間隔毎に間引き読み出しでスルー画像を出力する。上記のスルー画像のデータは、ＣＰＵ３１による各種の演算処理やモニタ２３での表示などに使用される。

アナログ処理部１６は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ処理部１６はＣＤＳ回路やゲイン回路を内部に有している。アナログ処理部１６のＣＤＳ回路は、相関二重サンプリングによって撮像素子１５の出力のノイズ成分を低減する。アナログ処理部１６のゲイン回路は、ＣＰＵ３１の指示に基づいて入力信号の利得を増幅する。上記のゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。

Ａ／Ｄ変換部１７は、アナログ処理部１６から出力されたアナログの画像信号にＡ／Ｄ変換を行う。このＡ／Ｄ変換部１７の出力は第１メモリ１９に接続されている。

ＴＧ１８は、ＣＰＵ３１の指示に基づいて、撮像素子１５、アナログ処理部１６およびＡ／Ｄ変換部１７に対してタイミングパルスを供給する。撮像素子１５、アナログ処理部１６およびＡ／Ｄ変換部１７の駆動タイミングは、ＴＧ１８のタイミングパルスによって制御される。

第１メモリ１９は、後述の画像処理の前工程や後工程などで画像のデータを一時的に記録するためのバッファメモリである。

画像処理部２０は、上記の撮影モードにおいて撮影時のデジタル画像信号に各種の画像処理を施して撮影画像を生成する。また、画像処理部２０は撮影画像のデータをＪＰＥＧ形式で圧縮する。さらに、画像処理部２０は、上記の撮影モードにおいて、ＣＰＵ３１の指示によりスルー画像の画像信号から表示用画像（ビュー画像）を生成する。

一方、撮影画像の再生などを行う編集モードでは、画像処理部２０は、圧縮された撮影画像のデータを伸長復元する処理を実行する。また、画像処理部２０は、上記の編集モードにおいて、撮影画像のデータに画像処理を施すことも可能である。なお、画像処理部２０による画像処理の具体的な内容は後述する。

記録Ｉ／Ｆ２１には記録媒体３４を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ２１は、コネクタに接続された記録媒体３４に対して撮影画像データの書き込み／読み込みを実行する。上記の記録媒体３４は、ハードディスクや半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記録媒体３４の一例としてメモリカードを図示する。

表示Ｉ／Ｆ２２は、ＣＰＵ３１の指示に基づいてモニタ２３の表示を制御する。また、表示Ｉ／Ｆ２２は、外部に画像出力を行うための映像端子を有している。そのため、本実施形態の電子カメラでは、表示Ｉ／Ｆ２２の映像端子を介して、外部の表示装置（テレビなど）に再生画像を表示させることも可能である。

モニタ２３は、ＣＰＵ３１および表示Ｉ／Ｆ２２の指示に応じて各種画像を表示する。本実施形態でのモニタ２３は液晶モニタで構成されている。このモニタ２３には、撮影モードでの撮影待機時にビュー画像が動画表示される。また、モニタ２３は、オンスクリーン機能によって、撮影に必要となる各種情報の表示（例えば、撮影可能なフレーム数、焦点検出エリアの位置、後述の顔検出処理で検出された顔領域の枠表示など）をビュー画像に重畳表示させることもできる。

さらに、モニタ２３には、撮影画像のデータに基づく再生画像や、ＧＵＩ(Graphical User Interface)形式の入力が可能なメニュー画面なども表示できる（なお、モニタ２３におけるビュー画像およびメニュー画面の図示は省略する）。

操作部２４は、レリーズ釦や操作釦などを有している。操作部２４のレリーズ釦は露光動作開始の指示入力をユーザーから受け付ける。操作部２４の操作釦は、上記のメニュー画面等での入力や、電子カメラの撮影モードの切り換え入力などをユーザーから受け付ける。

通信部２５は、無線ＬＡＮの標準規格ＩＥＥＥ８０２．１１に規定された仕様に準拠して、外部装置との通信を制御する。例えば、撮影画像のデータを外部装置に送信する場合、通信部２５は撮影画像のデータを無線通信可能なデータに変換するとともに、変換後のデータを外部装置に送信する。

外部Ｉ／Ｆ２６は、ＵＳＢ（Universal Serial Bus）などのシリアル通信規格の接続端子を有している。そして、外部Ｉ／Ｆ２６は、接続端子を介して接続されたコンピュータなどとのデータ送受信を上記の通信規格に準拠して制御する。

マイク２７は、電子カメラの外部音声を録音するために設けられている。また、スピーカー２８は、撮影時などに電子カメラの外部に音声を出力するために設けられている。マイク２７およびスピーカー２８はＣＰＵ３１と接続されている。

閃光発光部２９は、例えば、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光制御回路などから構成されている。

外光ＡＦ部３０は、撮影レンズ１１とは独立した光学系により焦点検出を行う公知のパッシブ型焦点検出装置である。外光ＡＦ部３０は一対の測距レンズ３０ａと、ミラー３０ｂ，３０ｃおよびイメージセンサ３０ｄとを有する。一対の測距レンズ３０ａを通過した被写体光は、ミラー３０ｂ，３０ｃで反射された後にイメージセンサ３０ｄ上に２つの像として検出される。

ＣＰＵ３１は、不図示のＲＯＭに格納されたシーケンスプログラムに従って、電子カメラの各部動作を制御するとともに、撮影などに必要となる各種演算を実行する（これらの内容については後述する）。また、本実施形態のＣＰＵ３１は、ＡＦ制御部３１ａ、顔検出部３１ｂ、顔認識部３１ｃ、推論部３１ｄ、撮影日時を取得するためのタイマ３１ｅとして機能する。

ＡＦ制御部３１ａは、撮像素子１５から取得したスルー画像のデータに基づいて、コントラスト検出方式での公知のＡＦ演算を実行する。また、ＡＦ制御部３１ａは、外光ＡＦ部３０のイメージセンサから検出した２像間隔に基づいてデフォーカス量を演算するとともに、このデフォーカス量に基づいてＡＦを行う。なお、第１実施形態では、通常の撮影モードにおいて、ＡＦ制御部３１ａは、外光ＡＦ部３０のデフォーカス量でＡＦを行った後に、コントラスト検出方式のＡＦをさらに実行することでピント合わせの精度を向上させている。

顔検出部３１ｂは、スルー画像または撮影画像のデータから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３１ｂは、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

顔認識部３１ｃは、顔検出部３１ｂで検出した特徴点に基づいて顔認識データを生成する。例えば、顔認識部３１ｃは、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから認識対象となる登録人物の顔認識データを生成する。

また、顔認識部３１ｃは、撮影画面内の人物の顔が顔認識データの人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３１ｃは検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３１ｃは、上記の演算結果と顔認識データとを比較して、顔認識データの人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３１ｃは上記の相似度が閾値を上回る場合に撮影人物が顔認識データの人物に合致すると判定する。

推論部３１ｄは、顔の器官を構成する特徴点を用いた演算処理により人種、年齢、性別などを判別する。人種の推定では、たとえば、下記の文献１の手法を適用できるが、これに限らず、顔画像内の輝度分布を検出する方法を用いることができる。また、年齢や性別を推定するには、たとえば、下記の文献２に開示された方法を使用することができる。

＜文献１＞：グレゴリー シャナロビッチ（Ｇｒｅｇｏｒｙ Ｓｈａｋｈｎａｒｏｖｉｃｈ），ポール Ａ ヴィオラ（Ｐａｕｌ Ａ． Ｖｉｏｌａ），ババック モハダム（Ｂａｂａｃｋ Ｍｏｇｈａｄｄａｍ）；「ア ユニファイド ラーニング フレームワーク フォア リアルタイム フェイス ディテクション アンド クラシフィケーション（Ａ Ｕｎｉｆｉｅｄ Ｌｅａｒｎｉｎｇ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｒｅａｌ Ｔｉｍｅ Ｆａｃｅ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）」；プロシーディングス オブ ザ フィフス ＩＥＥＥ インターナショナル コンファレンス オン オートマティック フェイス アンド ジェスチャー レコグニッション（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｆｉｆｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）；（米国） インスティチュート オブ エレクトリカル アンド エレクトロニクス エンジニアズ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ，略称 ＩＥＥＥ）；２００２年５月
＜文献２＞：細井聖，瀧川えりな，川出雅人；「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」；第８回画像センシングシンポジウム講演論文集；画像センシング技術研究会；２００２年７月
上記の推論処理に使用される特徴量は、主として顔画像の検出領域から導き出されるが、これに限らず、顔画像の周辺領域や、画像全体または画像の一部の特徴量も含めてもよい。特徴量としては、顔画像の色彩や明度の平均や分散、強度分布、周囲画像との色彩差や明度差などを検出することができる。また、これらの特徴量を所定の演算式にあてはめて、推論に必要な二次的な特徴量を求めることもできる。

第２メモリ３２はＣＰＵ３１と接続されている。第２メモリ３２には、顔認識部３１ｃで生成された顔認識データが記録される。この第２メモリ３２には登録した人物（登録人物）ごとにグループフォルダを生成することができ、グループフォルダによって顔認識データを登録人物ごとにグループ化できる。例えば、グループフォルダには、同一の登録人物に関して、顔の向きや撮影条件などが異なる複数の顔認識データを記録することができる。

また、第２メモリ３２の各々のグループフォルダには、その登録人物の特徴や撮影時の設定を示す特性データを記録できる。

上記の特性データとしては、（１）登録人物の名称、（２）登録人物の生年月日、（３）登録人物の性別、（４）登録人物の人種、（５）登録人物の出身地／言語、（６）眼鏡の着用の有無、（７）撮影画像への付帯表示の設定、（８）文字の表示、が含まれる。また、特性データとして、登録人物の電話番号、住所、メールアドレス、ニックネームなどを記録できるようにしてもよい。

ここで、上記（７）の付帯表示の設定は、撮影画像に付帯表示を合成するか否かを示している。この付帯表示としては、漫画のキャラクタや、文字や絵などのスタンプや、撮影画像の周囲を飾るフレームなどのテンプレートや、撮影日のニュースなどの文字情報などが含まれる。また、付帯表示の設定には、画像中で付帯表示を合成する位置の設定も含まれる。なお、付帯表示のデータは第２メモリ３２に記録されている。なお、ＣＰＵ３１は、第２メモリ３２の付帯表示のデータを、例えば外部のサーバーから通信部２５を介してダウンロードすることで追加、更新できるようにしてもよい。

また、上記（８）の文字の表示は、撮影画像に文字を合成する場合（撮影日の表示や、上記の付帯表示の文字情報など）の文字に関する設定項目である。例えば、撮影画像に合成する文字のフォントの種類、文字のサイズ、文字の色や、画像中で文字を合成する位置の設定が含まれる。

さらに、第２メモリ３２には、撮影時の合図に使用されるかけ声の音声データが記録されている。この音声データは、複数の言語に対応するかけ声のデータがそれぞれ記録されている。また、１つの言語に対しても標準語と方言とで複数パターンのかけ声のデータを有している。

次に、図２の流れ図を参照しつつ、第１実施形態における電子カメラの撮影動作の一例を説明する。ここで、以下の説明では、人物の年齢および性別の推論機能をオンに設定するとともに、顔認識機能をオフに設定した場合を説明する。

ステップ１０１：ＣＰＵ３１は、撮像素子１５を駆動させてスルー画像の取得を開始する。撮像素子１５は所定間隔毎に間引き読み出しでスルー画像の画像信号を取得する。画像処理部２０はスルー画像のデータに基づいてビュー画像を逐次生成する。そして、撮影待機時のモニタ２３にはビュー画像が動画表示される。したがって、ユーザーはモニタ２３のビュー画像によって、撮影構図を決定するためのフレーミングを行うことができる。

ステップ１０２：ＣＰＵ３１の顔検出部３１ｂは、スルー画像のデータに顔検出処理を施して撮影画面内の顔領域を検出する。

ステップ１０３：ＣＰＵ３１は、Ｓ１０２の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合（ＹＥＳ側）にはＳ１０４に移行する。一方、顔領域を検出していない場合（ＮＯ側）にはＳ１０７に移行する。

ステップ１０４：ＣＰＵ３１の推論部３１ｄは、Ｓ１０２の顔領域に対して主要被写体の年齢および性別を推定する推論処理を実行する。一例として、ＣＰＵ３１は、被写体の性別、年齢のそれぞれのカテゴリについて複数のクラスを設定して、各クラス毎の尤度を求める。そして、ＣＰＵ３１は最も尤度の高いクラスに基づいて主要被写体の年齢および性別を推定する。

ここで、Ｓ１０２で複数の顔領域が検出されている場合、ＣＰＵ３１は顔のサイズが最も大きくて至近側にあると考えられる顔領域または最も中央に位置する顔領域のいずれかを主要被写体として推論処理を実行する。

ステップ１０５：ＣＰＵ３１は、Ｓ１０４の推論処理で推定された年齢から主要被写体が子供であるか否かを判定する。具体的には、ＣＰＵ３１は、主要被写体の推定年齢が閾値以下（例えば６〜１０歳以下）の場合には主要被写体が子供であると判定する。主要被写体が子供の場合（ＹＥＳ側）にはＳ１０８に移行する。一方、主要被写体が子供ではない場合（ＮＯ側）にはＳ１０６に移行する。

ステップ１０６：ＣＰＵ３１は、Ｓ１０４の推論処理で推定された性別から主要被写体が女性であるか否かを判定する。主要被写体が女性の場合（ＹＥＳ側）にはＳ１０９に移行する。一方、主要被写体が男性の場合（ＮＯ側）にはＳ１０７に移行する。

ステップ１０７：この場合には、ＣＰＵ３１は通常の撮影モードで被写体を撮影する。通常の撮影モードでは、レリーズ釦の半押しに応じてＣＰＵ３１はＡＦを行うとともに、ＡＥ（自動露出演算）を実行して撮影条件を設定する。その後、レリーズ釦の全押しに応じてＣＰＵ３１は被写体を撮影し、画像処理部２０が撮影画像のデータを生成する。そして、ＣＰＵ３１は撮影画像のデータを記録媒体３４に記録してＳ１１０に移行する。なお、Ｓ１０２で顔領域が検出されている場合には、ＣＰＵ３１のＡＦ制御部３１ａは検出した顔領域を焦点検出エリアとしてＡＦを実行するのが好ましい。

ステップ１０８：この場合には、ＣＰＵ３１は子供の撮影に適した第１撮影モードに移行して被写体を撮影する。この第１撮影モードでは、ＣＰＵ３１はＳ１０７の通常の撮影モードとほぼ同じ流れで撮影を行うが、ＣＰＵ３１が以下の（１）から（１１）のいずれかの制御を実行する点で相違する。

（１）ＣＰＵ３１は、撮影条件の設定時において、通常の撮影モードよりも露光時間を短くする補正を行う。上記のように露光時間を短くすることで、子供の動きに起因する被写体ブレを抑制できる。

例えば、第１撮影モードでは、ＣＰＵ３１は通常の撮影モードの場合よりも撮像感度を高くするとともに、絞り値を小さくして露光時間を短くする。勿論、ＣＰＵ３１は撮像感度の補正と絞り値の補正とのいずれかの一方のみを行って露光時間を短くしてもよい。

（２）ＣＰＵ３１は、撮影条件の設定時において、通常の撮影モードよりも絞り値を大きくして被写界深度を深くする。子供を撮影するシーンでは子供が動いてピントが合わせづらくなることがあるが、被写界深度を深くすることで撮影失敗の可能性を低くできる。なお、上記の（１）と（２）との設定は、ユーザーが操作部２４の操作で相互に切り替えることができる。

（３）ＣＰＵ３１は、撮影レンズ１１を近接撮影に適した位置に移動させる。特に乳児を撮影するシーンでは、カメラを人物に近づけて接写をする場合が多いからである。

（４）ＣＰＵ３１は、露光開始直前に閃光発光部２９を発光させるとともに、スピーカー２８から音声を出力する設定を行う。撮影時に子供の注意を電子カメラに向けて撮影失敗を防止するためである。

（５）ＣＰＵ３１は、撮影時に閃光発光部２９の発光を禁止するとともに、スピーカー２８の音声出力をオフにする設定を行う。例えば、就寝中の子供を撮影する場合に、撮影時のフラッシュや撮影音で子供を起こさないようにするためである。なお、上記の（４）と（５）との設定は、ユーザーが操作部２４の操作で相互に切り替えることができる。

（６）ＣＰＵ３１のＡＦ制御部３１ａは、外光ＡＦ部３０のみでＡＦを実行する。すなわち、第１撮影モードにおいて、ＣＰＵ３１は合焦までに時間のかかるコントラスト検出方式でのＡＦを行わないようにできる。これにより、ＡＦが迅速に行われるのでシャッターチャンスを逃すおそれが低下する。

（７）ＣＰＵ３１は、主要被写体の顔領域の表情を推定する。そして、ＣＰＵ３１は主要被写体の表情が所定の状態（例えば、目つぶりしていない状態または笑顔の状態）である場合のみ撮影できるようにする。これにより、ユーザーは主要被写体の表情が所望の状態の撮影画像を得ることができ、撮影失敗の可能性が低減する。

ここで、上記の顔の表情の検出は以下の手段によって行われる。例えば、特開２００４−２７２９３３号公報のように、普通の表情、目をつぶった顔、口を開いた顔、笑顔などのクラスに分類された学習用顔画像を予め用意し、ＣＰＵ３１が正準判別分析による識別を行なった上で各クラスごとに設定された評価値で顔の表情を判別してもよい。あるいは、開いた目、閉じた目、開いた口、閉じた口などの標準パターンを予め用意し、ＣＰＵ３１が各パターンと顔領域とのマッチングをとり、パターンの組合せから表情を推定してもよい。

（８）ＣＰＵ３１は、１回のレリーズ釦の全押しで複数フレームの連写撮影を実行する。これにより、ユーザーは複数の撮影画像から最良の画像を選択できるので撮影失敗の可能性が低下する。

（９）ＣＰＵ３１は、撮影時にマイク２７で録音を実行する。例えば、ＣＰＵ３１は撮影画像の撮影に前後して録音を行い、撮影画像のデータに録音のデータを関連付けして記録する。これにより、撮影したシーンの状況を音声によっても把握することが可能となる。

（１０）ＣＰＵ３１は、画像処理部２０に対して撮影画像にソフトフォーカス処理を施す指示を行う。これにより、主要被写体の子供が強調されるとともに柔らかみのある好ましい撮影画像を得ることができる。

ここで、画像処理部２０のソフトフォーカス処理は以下の手段で行われる。例えば、画像処理部２０は、所定のソフトフォーカス効果を示すフィルタやローパスフィルタなどによるフィルタ処理を撮影画像に施してソフトフォーカス画像を生成する。また、画像処理部２０は、撮影画像からマスク画像を生成するとともに、マスク画像に基づいてフィルタ処理後の画像と原画像とを合成してソフトフォーカス画像を生成してもよい。

（１１）ＣＰＵ３１は、画像処理部２０に対して付帯表示の合成処理を指示する。そして、画像処理部２０は、撮影画像に漫画などのキャラクタや撮影日のニュースなどを合成する。これにより、エンタテイメント性の高い撮影画像をユーザーに提供することができる。

ステップ１０９：この場合には、ＣＰＵ３１は女性の撮影に適した第２撮影モードに移行して被写体を撮影する。この第２撮影モードでは、ＣＰＵ３１はＳ１０７の通常の撮影モードとほぼ同じ流れで撮影を行うが、ＣＰＵ３１が以下の（１）から（４）のいずれかの制御を実行する点で相違する。

（１）ＣＰＵ３１は、画像処理部２０に対して撮影画像の露出をオーバー側に補正する露出補正処理の指示を行う。これにより、主要被写体の女性の肌が白く表現された好ましい撮影画像を得ることができる。

（２）ＣＰＵ３１は、画像処理部２０に対して撮影画像にソフトフォーカス処理を施す指示を行う。これにより、主要被写体の女性が強調されるとともに柔らかみのある好ましい撮影画像を得ることができる。また、主要被写体の女性のしわや肌荒れなどが目立ちにくい好ましい撮影画像を得ることができる。なお、ソフトフォーカス処理の説明は、上記のＳ１０７と同様であるので重複説明は省略する。

（３）ＣＰＵ３１は、画像処理部２０に対して撮影画像の彩度のパラメータを補正する指示を行う。例えば、画像処理部２０は、肌色の領域の彩度を下げる補正を行って肌を白く表現する。あるいは、画像処理部２０は、肌色の領域の彩度を上げる補正を行って肌色のくすみなどを軽減するようにしてもよい。

（４）ＣＰＵ３１は、画像処理部２０に対して撮影画像の人物を痩身にみせる補正を実行する指示を行う。これにより、主要被写体の女性が痩せてみえる好ましい撮影画像を得ることができる。

ここで、上記の撮影人物を痩身にみせる処理は以下の手段で行われる。例えば、画像処理部２０は、撮影画像の縦横比を若干縦長に変更した後、画像をトリミングして画像サイズを調整する。あるいは、画像処理部２０は、特開２００４−２６４８９３号公報のように、画像処理で顔の輪郭を補正して頬を細くみせるようにしてもよい。

ステップ１１０：ＣＰＵ３１は、ＤＰＯＦ（Digital Print Order Format）規格による印刷設定データの生成がオンに設定されているか否かを判定する。上記設定がオンとなっている場合（ＹＥＳ側）にはＳ１１１に移行する。一方、上記設定がオフとなっている場合（ＮＯ側）には、ＣＰＵ３１は印刷設定データを生成することなく撮影動作を終了する。

ステップ１１１：ＣＰＵ３１は、Ｓ１０４の推論処理で推定された年齢から主要被写体が高齢者であるか否かを判定する。具体的には、ＣＰＵ３１は、主要被写体の推定年齢が閾値以上（例えば６０歳以上）の場合には主要被写体が高齢者であると判定する。主要被写体が高齢者の場合（ＹＥＳ側）にはＳ１１２に移行する。一方、顔領域が検出されていない場合や主要被写体が高齢者ではない場合（ＮＯ側）にはＳ１１３に移行する。

ステップ１１２：ＣＰＵ３１は、印刷のサイズを通常の場合よりも大きなサイズに変更して印刷設定データを生成する。例えば、標準の印刷のサイズがＬ判である場合、ＣＰＵ３１は印刷のサイズを２Ｌ判にして印刷設定データを生成する。これにより、印刷設定データによって高齢者に見やすい撮影画像をプリントアウトすることができる。

ステップ１１３：ＣＰＵ３１は、通常の印刷のサイズで印刷設定データを生成する。例えば、標準の印刷のサイズがＬ判である場合、ＣＰＵ３１は印刷のサイズをＬ判にして印刷設定データを生成する。以上で第１実施形態の電子カメラの撮影動作の説明を終了する。

（第２実施形態の説明）
図３は第２実施形態における電子カメラの撮影動作の一例を説明する流れ図である。第２実施形態では、人物の年齢および性別の推論機能と顔認識機能とをオンに設定して登録人物の認識を行う場合である。

ここで、第２実施形態の電子カメラの基本構成は第１実施形態と共通であるので重複説明は省略する。また、図３のＳ２０１、Ｓ２０２は第１実施形態のＳ１０１、Ｓ１０２にそれぞれ対応するので重複説明を省略する。

ステップ２０３：ＣＰＵ３１は、Ｓ２０２の顔検出処理で顔領域を検出したか否かを判定する。顔領域を検出した場合（ＹＥＳ側）にはＳ２０４に移行する。一方、顔領域を検出していない場合（ＮＯ側）にはＳ２０８に移行する。

ステップ２０４：ＣＰＵ３１の顔認識部３１ｃは、Ｓ２０２の顔検出処理で取得した特徴点のデータと、第２メモリ３２の顔認識データとに基づいて、上記の顔領域のうちから認識対象となる登録人物の顔を検出する顔認識処理を実行する。

ここで、Ｓ２０４の顔認識処理では、ＣＰＵ３１は第２メモリ３２の特性データに基づいて顔認識処理の判定基準の閾値を登録人物ごとに補正する。例えば、特性データの性別が女性である登録人物については、ＣＰＵ３１は判定基準の閾値を低く補正して顔領域の人物を登録人物として判断する可能性を高くする。女性の場合には、化粧やヘアスタイルの変化などで顔認識の正解率が低くなる可能性があるからである。また、特性データが眼鏡の着用を示す登録人物については、ＣＰＵ３１は判定基準の閾値を低く補正して顔領域の人物を登録人物として判断する可能性を高くする。眼鏡を着用する人物の場合には、眼鏡の有無や眼鏡の変更などで顔認識の正解率が低くなる可能性があるからである。

ステップ２０５：ＣＰＵ３１は、Ｓ２０４の顔認識処理で登録人物の顔を検出したか否かを判定する。登録人物の顔を検出した場合（ＹＥＳ側）にはＳ２０６に移行する。一方、登録人物の顔を検出していない場合（ＮＯ側）にはＳ２０８に移行する。

ステップ２０６：ＣＰＵ３１の推論部３１ｄは、Ｓ２０４で登録人物と認められた顔領域に対して被写体の性別、人種、年齢を推定する推論処理を実行する。一例として、ＣＰＵ３１は、被写体の性別、人種、年齢のそれぞれのカテゴリについて複数のクラスを設定して、各クラス毎の尤度を求める。そして、ＣＰＵ３１は最も尤度の高いクラスに基づいて被写体の性別、人種、年齢を推定する。

ステップ２０７：ＣＰＵ３１は、第２メモリ３２の特性データと、Ｓ２０６で推定された性別、人種、年齢とが一致するか否かを判定する。例えば、ＣＰＵ３１は、被写体の性別、人種、年齢について、Ｓ２０６の推定結果と特性データとの一致度を示す評価値を演算する。そして、この評価値が閾値以上の場合にはＳ２０４の顔領域が登録人物に一致するものと判定する。両者が一致する場合（ＹＥＳ側）にはＳ２０９に移行する。一方、両者が一致しない場合（ＮＯ側）にはＳ２０８に移行する。

ステップ２０８：この場合には、ＣＰＵ３１は通常の撮影モードで被写体を撮影する。通常の撮影モードでは、レリーズ釦の半押しに応じてＣＰＵ３１はＡＦを行うとともに、ＡＥを実行して撮影条件を設定する。その後、レリーズ釦の全押しに応じてＣＰＵ３１は被写体を撮影し、画像処理部２０が撮影画像のデータを生成する。そして、ＣＰＵ３１は撮影画像のデータを記録媒体３４に記録する。なお、Ｓ２０２で顔領域が検出されている場合には、ＣＰＵ３１のＡＦ制御部３１ａは検出した顔領域を焦点検出エリアとしてＡＦを実行するのが好ましい。

ステップ２０９：この場合には、ＣＰＵ３１は登録人物の撮影モードに移行して被写体を撮影する。この登録人物の撮影モードでは、ＣＰＵ３１はＳ２０８の通常の撮影モードとほぼ同じ流れで撮影を行うが、ＣＰＵ３１はＳ２０４で検出した登録人物の特性データを第２メモリ３２から読み出して、その特性データに基づいて以下の（１）から（４）のいずれかの制御を実行する点で相違する。

（１）ＣＰＵ３１は撮影の合図を示すかけ声を撮影時にスピーカー２８から出力する。ここで、ＣＰＵ３１は上記のかけ声を登録人物の特性データに基づいて変化させる。具体的には、ＣＰＵ３１は、特性データの登録人物の出身地／言語に基づいて第２メモリ３２の音声データから再生する音声データを選択する。例えば、特性データにおける言語が英語を示す場合には、ＣＰＵ３１は英語のかけ声の音声データを再生する。また、１つの言語に複数の方言が設定されている場合には、ＣＰＵ３１は特性データの登録人物の出身地に基づいて出身地に対応する方言の音声データを再生するようにしてもよい。これにより、主要被写体である登録人物に対して撮影の合図を分かり易く伝達することができる。

（２）ＣＰＵ３１は、画像処理部２０に対して撮影日を表示する指示を行う。画像処理部２０は、タイマ３１ｅから取得した年月日を撮影画像の所定の位置に合成する。ここで、ＣＰＵ３１は、登録人物の特性データに基づいて年月日の表示順を変化させる。例えば、特性データの登録人物の言語が日本語の場合には、ＣＰＵ３１は撮影日を年月日の順に表記する。また、特性データの登録人物の言語が英語の場合には、ＣＰＵ３１は撮影日を日月年または月日年の順に表記する。これにより、主要被写体である登録人物にとって日時が分かり易く表示された撮影画像を提供できる。

（３）ＣＰＵ３１は、登録人物の生年月日に基づいて、誕生日から起算した日時を撮影画像に付加する。例えば、ＣＰＵ３１は、画像処理部２０に対して、年齢を示す文字（例えば、○×歳、生後×ヶ月など）を撮影画像に合成する画像処理を指示する。あるいは、ＣＰＵ３１は撮影画像のデータに、誕生日から起算した日時のデータを記録するようにしてもよい。これにより、主要被写体である登録人物の成長が容易に把握でき、アルバム編集などに適した撮影画像を提供することができる。

（４）ＣＰＵ３１は、画像処理部２０に対して付帯表示の合成処理を指示する。そして、画像処理部２０は、特性データで登録人物ごとに指定されているキャラクタなどを撮影画像に合成する。なお、画像処理部２０は、特性データに基づいて、付帯表示の合成位置を登録人物ごとに変更することもできる。これにより、エンタテイメント性の高い撮影画像をユーザーに提供することができる。

なお、Ｓ２０９で撮影画像に撮影日などの文字を合成する場合、画像処理部２０は特性データの文字の表示の項目に基づいて、登録人物ごとに文字のフォント、色、サイズ、合成位置を変更する。以上で、第２実施形態の電子カメラの撮影動作の説明を終了する。

上記第２実施形態の電子カメラでは、顔領域から検出された特徴量に基づいて顔認識処理を実行するとともに、顔領域から推定される人種、年齢、性別と特性データとを照合して顔認識結果の妥当性をチェックする。そのため、顔認識処理の精度を一層向上させることができる。

また、上記第２実施形態では、特性データの性別や眼鏡の有無などの情報に基づいて、顔認識処理の判定基準の閾値を登録人物ごとに補正する。そのため、顔認識処理において登録人物が検出されない可能性を低下させることができる。

（実施形態の補足事項）
（１）第２実施形態では、被写体の人種、年齢、性別などを推定する処理を顔認識処理とともに実行する例を説明したが、本発明では被写体の人種などを推定する処理を省略するようにしてもよい。

（２）第２実施形態における登録人物の撮影モードでの処理はあくまで一例にすぎない。例えば、登録人物毎の特性データとして撮影時の撮影条件、画像処理の設定、電子メールによる自動の画像送信の設定などを第２メモリ３２に記録してもよい。そして、ＣＰＵ３１は、顔認識時には特性データに基づいて撮影条件や画像処理を自動的に設定してもよく、また、撮影後に所定のアドレスに撮影画像のデータを自動送信するようにしてもよい。

１１…撮影レンズ、１２…レンズ駆動部、１３…絞り、１４…絞り駆動部、１５…撮像素子、１６…アナログ処理部、２０…画像処理部、２７…マイク、２８…スピーカー、２９…閃光発光部、３０…外光ＡＦ部、３１…ＣＰＵ、３１ａ…ＡＦ制御部、３１ｂ…顔検出部、３１ｃ…顔認識部、３１ｄ…推論部、３１ｅ…タイマ、３２…第２メモリ

Claims (6)

1. 被写体像を撮影する撮像素子と、
   顔の特徴量を示す登録データと、出身地または使用言語に関する特性データとの対応関係が記録され、前記特性データと撮影の合図を示す音との対応関係が記録されたメモリと、
   前記撮像素子の出力に基づいて前記被写体像の顔領域を検出し、前記顔領域から前記被写体像の顔の特徴量を抽出する顔検出部と、
   前記顔検出部によって抽出された前記被写体像の顔の特徴量と前記メモリに記録された前記登録データとに基づいて、前記被写体像を認識する認識部と、
   外部に音を出力するスピーカーと、
   前記認識部によって認識された前記被写体像の前記登録データに基づいて、前記メモリに記録された前記撮影の合図を示す音を前記スピーカーから撮影前に出力させる制御部と、
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラであって、
   前記制御部は、前記認識部によって認識された前記被写体像の前記登録データに対応する前記特性データに基づき、対応する前記撮影の合図を示す音を前記スピーカーから撮影前に出力させる
   ことを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラであって、
   前記制御部は、前記特性データのうち、前記認識部によって認識された前記被写体像の出身地に基づいた前記撮影の合図を示す音を前記スピーカーから撮影前に出力させる
   ことを特徴とする電子カメラ。
4. 請求項３に記載の電子カメラであって、
   前記制御部は、前記認識部によって認識された前記被写体像の出身地に対応する方言で前記撮影の合図を示す音を前記スピーカーから撮影前に出力させる
   ことを特徴とする電子カメラ。
5. 請求項１から請求項４のいずれか一項に記載の電子カメラであって、
   撮影日時を取得するタイマと、
   前記認識部の認識結果に基づいて、前記撮像素子で撮影された記録用画像に対して、
   撮影日の表示を合成する画像処理を実行する画像処理部と、をさらに備え、
   前記制御部は、前記認識部によって認識された前記被写体像の前記登録データに対応する前記特性データに基づいて、前記撮影日の表示順を変更するよう前記画像処理部を制御する
   ことを特徴とする電子カメラ。
6. 請求項１から請求項４のいずれか一項に記載の電子カメラであって、
   前記顔検出部によって抽出された前記被写体像の顔の特徴量に基づいて前記被写体像の年齢、性別のいずれかに関する推論処理を実行する推論部をさらに備え、
   前記メモリには、人物の性別、人種、年齢のいずれかに関する第２の特性データと、前記登録データとの対応関係がさらに記録され、
   前記制御部は、前記推論部による前記被写体像の性別、人種、年齢のいずれかの推論結果と前記メモリに記録された前記第２の特性データとに基づいて、前記被写体像と前記登録データとが対応するか判定する
   ことを特徴とする電子カメラ。
   

Images