JP2007150604A - 電子カメラ - Google Patents

Abstract

【課題】 顔認識データの概要や顔認識データと登録人物との対応関係をユーザーが簡易かつ迅速に認識できる電子カメラを提供する。
【解決手段】 撮像素子と、顔検出部と、記録部と、顔認識部と、制御部と、を備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する。記録部は、人物の顔の特徴点に基づいて予め生成された顔認識データと該顔認識データに対応する登録人物を示すためのインデックス画像データとを対応付けして記録する。顔認識部は、顔検出部の抽出した特徴点および顔認識データに基づいて撮影人物が登録人物であるか否かを判定する。制御部は、顔認識データの指定に使用される表示項目とインデックス画像データの画像とを関連付けて提示する編集画面を生成する。
【選択図】 図１

Description

本発明は、人物の顔認識機能を備えた電子カメラに関する。

従来から、人物の顔を撮影した撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔認識データと上記の特徴点との一致度に基づいて顔認識を行う技術が開示されている（特許文献１参照）。かかる顔認識の技術では、予め電子カメラなどに顔認識データを登録する必要がある。特に顔認識の精度を向上させるためにはより多くの顔認識データが必要となるので、複数フレームの撮影画像から顔認識データを生成する必要がある。
特開平６−２５９５３４号公報

ところで、上記の電子カメラでは複数の顔認識データがメモリに登録されるため、登録された顔認識データの管理・編集がユーザーにとって煩雑になる可能性が高い。例えば、撮影時に顔認識データを選択して特定の登録人物を電子カメラに識別させる場合や、編集時に特定の登録人物の顔認識データを削除する場合には、顔認識データの概要や顔認識データと登録人物との対応関係をユーザーが簡易かつ迅速に認識できることが要望される。

本発明は上記従来技術の課題を解決するためのものであって、その目的は顔認識データの概要や顔認識データと登録人物との対応関係をユーザーが簡易かつ迅速に認識できる電子カメラを提供することである。

第１の発明に係る電子カメラは、撮像素子と、顔検出部と、記録部と、顔認識部と、制御部と、を備える。撮像素子は、撮影光学系による被写体像を光電変換して画像信号を生成する。顔検出部は、画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する。記録部は、人物の顔の特徴点に基づいて予め生成された顔認識データと該顔認識データに対応する登録人物を示すためのインデックス画像データとを対応付けして記録する。顔認識部は、顔検出部の抽出した特徴点および顔認識データに基づいて撮影人物が登録人物であるか否かを判定する。制御部は、顔認識データの指定に使用される表示項目とインデックス画像データの画像とを関連付けて提示する編集画面を生成する。

第２の発明は、第１の発明において、インデックス画像データは登録人物の撮影画像データであることを特徴とする。
第３の発明は、第２の発明において、インデックス画像データは、顔認識データの生成に使用された撮影画像データであることを特徴とする。
第４の発明は、第１から第３のいずれかの発明において、記録部には、顔認識データの生成に使用された画像データの撮影条件が、顔認識データに対応付けされた状態で記録されていることを特徴とする。

第５の発明は、第１から第４のいずれかの発明において、記録部には、顔認識データの生成に使用された画像データの撮影時期が、顔認識データに対応付けされた状態で記録されていることを特徴とする。
第６の発明は、第１から第５のいずれかの発明において、記録部には、登録人物の撮影時に適用される処理の設定が、顔認識データに対応付けされた状態で記録されていることを特徴とする。

第７の発明は、第１から第６のいずれかの発明において、撮影画像の画像データを外部に送信する通信部をさらに備え、記録部には、登録人物の撮影時における画像データの送信の可否と、画像データの送信先のアドレス情報とが、顔認識データに対応付けされた状態で記録されていることを特徴とする。
第８の発明は、第１から第７のいずれかの発明において、制御部は、編集画面の表示出力の可否を管理する個人認証手段を備えることを特徴とする。

第９の発明は、第８の発明において、個人認証手段が顔認識部による顔認証を含むことを特徴とする。
第１０の発明は、第２から第９のいずれかの発明において、記録部には同一の登録人物に関する複数のインデックス画像データを記録可能であって、制御部は、インデックス画像データのうちから任意の撮影画像データの画像を選択するとともに、該選択画像を表示項目に関連付けて編集画面で提示することを特徴とする。

第１１の発明は、第１０の発明において、制御部は、インデックス画像データのうちで最新の撮影画像データの画像を選択することを特徴とする。
第１２の発明は、第１０の発明において、制御部は、インデックス画像データのうちで登録人物の顔正面を撮影した撮影画像データの画像を選択することを特徴とする。
第１３の発明は、第１０の発明において、制御部は、インデックス画像データの画像を所定間隔ごとに順次切り替えて編集画面で提示することを特徴とする。

ここで、上記発明に関する構成を方法、記録媒体、コンピュータプログラムなどに変換して表現したものも本発明の具体的態様として有効である。

本発明の電子カメラでは、顔認識データの概要や顔認識データと登録人物との対応関係をユーザーが簡易かつ迅速に認識することができる。

図１は本実施形態の電子カメラの構成を示すブロック図である。
電子カメラは、撮影光学系１１と、第１レンズ駆動部１２と、揺動センサ部１３と、像ぶれ補正レンズ１４と、第２レンズ駆動部１５と、撮像素子１６と、アナログ信号処理部１７と、Ａ／Ｄ変換部１８と、内蔵メモリ１９と、画像処理部２０と、カードＩ／Ｆ２１と、入出力Ｉ／Ｆ２２と、操作部材２３および液晶モニタ２４と、閃光発光部２５と、ＣＰＵ２６と、顔登録メモリ２７およびデータバス２８とを有している。なお、内蔵メモリ１９、画像処理部２０、カードＩ／Ｆ２１、入出力Ｉ／Ｆ２２およびＣＰＵ２６は、データバス２８を介して接続されている。

撮影光学系１１は、ズームレンズ１１ａと、合焦位置調節用のフォーカシングレンズ１１ｂとを含む複数のレンズ群で構成されている。撮影光学系１１を構成する各レンズは、第１レンズ駆動部１２によって光軸方向に駆動調整される。
揺動センサ部１３は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。揺動センサ部１３は電子カメラの揺れを示すカメラ揺動データをＣＰＵ２６に出力する。このカメラ揺動データは、像ぶれ補正レンズ１４の移動量の演算に使用される。

像ぶれ補正レンズ１４は光軸直角方向に揺動可能に構成されている。第２レンズ駆動部１５は、像ぶれ補正レンズ１４を縦方向に揺動させる縦揺動手段と、像ぶれ補正レンズ１４を横方向に揺動させる横揺動手段とで構成される。この第２レンズ駆動部１５は、ＣＰＵ２６が演算した像ぶれ補正レンズ１４の移動量に基づいて、像ぶれ補正レンズ１４を揺動させてぶれ補正を実行する。

撮像素子１６は、撮影光学系１１を通過した光束を光電変換して被写体像のアナログ画像信号を生成する。この撮像素子１６は、非レリーズ時（撮影待機時）にも所定間隔毎に被写体を露光し、間引き読み出しによるアナログ画像信号（スルー画像信号）を出力する。スルー画像信号は、後述のＡＦ演算、ＡＥ演算および顔検出動作や、ファインダ用画像の生成などに使用される。

アナログ信号処理部１７は、相関二重サンプリングを行うＣＤＳ回路、アナログ画像信号の出力を増幅するゲイン回路、入力信号の波形を一定の電圧レベルにクランプするクランプ回路等で構成されている。Ａ／Ｄ変換部１８は撮像素子１６のアナログ画像信号をデジタル画像信号に変換する。内蔵メモリ１９は、画像処理部２０での画像処理の前工程および後工程でデータを一時的に保存する。なお、内蔵メモリ１９には後述の撮影画像データを記録可能な記録領域を設けることもできる。

画像処理部２０はデジタル画像信号に所定の画像処理を施す。この画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。また、画像処理部２０はスルー画像信号に基づいてスルー画像データを順次生成する。このスルー画像データの解像度は、撮影画像データの解像度よりも低く設定される。スルー画像データは、ＣＰＵ２６による顔認識処理に使用されるとともに、液晶モニタ２４の表示画像（プレビュー画像）としても使用される。さらに、画像処理部２０は撮影画像データの圧縮処理なども実行する。さらにまた、画像処理部２０は、撮影画像の一部を切り出して解像度を変換する電子ズーム処理を行うことも可能である。

また、画像処理部２０は、ＣＰＵ２６の指示により各種表示（顔認識時の枠表示など）のビデオデータを生成し、上記のビデオデータをスルー画像データに重畳させて液晶モニタ２４に出力する。これによって、プレビュー画像には上記の各種表示が合成される。
カードＩ／Ｆ２１には、記録媒体２９を接続するためのコネクタが形成されている。記録媒体２９は公知の半導体メモリなどで構成される。そして、カードＩ／Ｆ２１は、記録媒体２９に対する撮影画像データの書き込み／読み込みを制御する。

入出力Ｉ／Ｆ２２には、操作部材２３および液晶モニタ２４が接続されている。操作部材２３は入力釦やレリーズ釦などを備えている。操作部材２３の入力釦は、例えば、電子カメラの撮影モード（通常撮影モード、再生モード、顔登録モード、顔認識撮影モード等）の切り換え入力などを受け付ける。また、操作部材２３のレリーズ釦は、半押しによるＡＦ動作の指示入力と、全押しによるレリーズ入力とを受け付ける。

一方、液晶モニタ２４は主として電子カメラの背面部分に配置される。この液晶モニタ２４には、撮影画像データの再生画像や電子カメラの各種設定を変更するための設定画面などが表示される。上記の設定画面には後述の顔認識データを編集するための編集画面が含まれる。また、撮影モードでの液晶モニタ２４には上記のプレビュー画像を動画表示することが可能である。したがって、ユーザーは、液晶モニタ２４のプレビュー画像を確認しつつ被写体のフレーミングを行うことができる。

さらに、入出力Ｉ／Ｆ２２には外部接続端子が形成されている。そして、入出力Ｉ／Ｆ２２は、外部接続端子を介して接続されたコンピュータなどとのデータ送受信をＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などのシリアル通信規格に準拠して制御する。また、入出力Ｉ／Ｆ２２の外部接続端子には、外部との無線通信を行うための拡張機器である通信ユニット３０を接続することも可能である。

閃光発光部２５は、キセノン発光管、発光のエネルギを蓄えるメインコンデンサ、閃光を被写体に効率良く照射するための反射傘やレンズ部材、発光タイミングや光量を調整する発光制御回路などから構成されている。
ＣＰＵ２６は、不図示のＲＯＭに格納されたシーケンスプログラムに従って電子カメラの各部動作を制御する。例えば、ＣＰＵ２６はスルー画像信号に基づいて公知のコントラスト方式のＡＦ（オートフォーカス）演算や、公知のＡＥ（自動露出）演算などを実行する。また、ＣＰＵ２６は、上記のカメラ揺動データに基づいて像ぶれ補正レンズ１４の移動量を演算する。

さらに、ＣＰＵ２６は顔検出部３１、顔認識部３２として機能する。顔検出部３１は、スルー画像データまたは撮影画像データから特徴点を抽出して被写体の顔領域、顔の大きさ等を検出する。例えば、顔検出部３１は、特開２００１−１６５７３号公報などに記載された特徴点抽出処理によって顔領域を抽出する。また、上記の特徴点としては、例えば、眉、目、鼻、唇の各端点、顔の輪郭点、頭頂点や顎の下端点などが挙げられる。

顔認識部３２は、「顔登録モード」では、検出した顔の特徴点に基づいて顔認識データを生成する。例えば、顔認識部３２は、検出した顔の特徴点の位置、特徴点から求まる顔パーツの大きさ、各特徴点の相対距離などから登録人物の顔認識データを生成する。
また、顔認識部３２は、「顔認識撮影モード」では、撮影画面内の人物の顔が顔認識データの登録人物の顔か否かを判定する顔認識処理を行う。具体的には、まず顔認識部３２は検出された顔の特徴点に基づいて、撮影人物の顔の特徴点の位置、各顔パーツの大きさ、各特徴点の相対距離などを演算する。次に顔認識部３２は、上記の演算結果と顔認識データとを比較して所定の登録人物の顔と撮影人物の顔との相似度を求める。そして、顔認識部３２は上記の相似度が閾値を上回る場合に撮影人物が所定の登録人物に合致すると判定する。

なお、ＣＰＵ２６は、顔認識処理の結果に基づいて、撮影条件または画像処理の設定変更や、撮像素子１６へのレリーズ指示などを実行することが可能である。
顔登録メモリ２７には、ＣＰＵ２６の顔認識部３２が生成した顔認識データが記録される。この顔登録メモリ２７には登録人物ごとにグループフォルダが生成されている。グループフォルダには、各登録人物の顔認識データがそれぞれ記録されている。すなわち、顔登録メモリ２７の顔認識データは、グループフォルダによって登録人物ごとにグループ化されている。例えば、グループフォルダには、同一の登録人物に関して顔の向き、眼鏡の有無および撮影条件などが異なる複数の顔認識データを記録することが可能である。そして、登録人物を指定することで、ＣＰＵ２６はグループフォルダ内の顔認識データを顔登録メモリ２７から一括して読み出すことが可能となっている。

また、顔登録メモリ２７には、「登録人物の名称」および「顔認識時の処理設定」のデータが記録されている。上記の「登録人物の名称」および「顔認識時の処理設定」は、各登録人物のグループフォルダにそれぞれ対応付けされている。
ここで、「顔認識時の処理設定」には、登録人物が認識された場合に適用される電子カメラの各種制御の設定が記録されている。例えば、「顔認識時の処理設定」には、（１）撮影時の撮影条件の設定、（２）撮影画像データの画像処理の設定、（３）撮影画像データの記録先の設定、（４）撮影画像データの印刷指定の設定、（５）撮影画像データの送信設定、などが含まれる。

上記（１）の撮影条件の設定には、各登録人物を撮影するときの露出補正値や、被写界深度の設定（浅め、標準の選択）などが含まれる。また、登録人物の検出の際にＣＰＵ２６が自動的に撮影を行う設定も可能である。上記（２）の画像処理の設定には、撮影画像データのソフトフォーカス処理の有無の設定、エッジ強調の抑制の設定などが含まれる。
上記（３）の記録先の設定では、撮影画像データの記録先となる記録媒体２９内の記録フォルダのディレクトリパスを各登録人物ごとに指定できる。すなわち、ＣＰＵ２６は顔登録メモリ２７のデータを参照し、各登録人物ごとに異なる記録フォルダに撮影画像データを記録することが可能となる。

上記（４）の印刷指定の設定では、例えば、ＤＰＯＦ（Digital Print Order Format）などの規格による撮影画像データの印刷指定の有無を各登録人物ごとに指定できる。なお、上記（５）の送信設定では、登録人物の撮影時における撮影画像データの送信の要否と、送信先のアドレス情報（電子メールアドレス）とを指定できる。
また、顔登録メモリ２７には、「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータが記録されている。上記の「顔登録画像」、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、グループフォルダ内の個々の顔認識データにそれぞれ対応付けされている。

上記の「顔登録画像」は顔認識データ取得時の撮影画像データであって、所定の画素サイズにリサイズされている。そして、「顔登録画像」は上記の編集画面で液晶モニタ２４に表示される。すなわち、「顔登録画像」は、登録人物または顔認識データの識別性、検索性を高めるインデックス画像として機能する。例えば、「顔登録画像」によって、ユーザーは誰のどのような画像（顔正面、横向きなど）から顔認識データが生成されたかを編集画面で確認することも可能となる。

「顔認識データの登録時期」は、その顔認識データの元となる顔登録画像データの撮影日時のデータである。また、「顔認識データの取得時の撮影条件」は、顔登録画像データの撮影条件のデータである。上記の撮影条件には、例えば、撮影光学系１１の焦点距離のデータや、撮影時のホワイトバランスおよび露出条件や、撮影時のフラッシュ発光の有無などが含まれる。なお、「顔認識データの登録時期」および「顔認識データの取得時の撮影条件」のデータは、ＣＰＵ２６が顔認識処理で使用する顔認識データを絞り込む場合の判定にも使用される。

（編集画面の立ち上げ操作の説明）
次に、本実施形態の電子カメラの編集画面について説明する。顔登録メモリ２７の各種データを編集または確認する場合、ユーザー（操作者）は操作部材２３によって編集画面を立ち上げる。
ここで、顔登録メモリ２７に登録された人物の情報は、電子カメラの所有者にとってプライバシーに属する情報である。そのため、電子カメラのＣＰＵ２６は、ユーザー（操作者）に個人認証を実行し、所有者に予め許可されたユーザーの場合のみ編集画面を表示するように設定できる。ここで、個人認証の手段としては、例えば、パスワードの入力による認証や、顔認証が挙げられる。また、指紋認証や虹彩認証等の公知のバイオメトリクス認証装置を電子カメラに搭載するようにしてもよい。なお、顔認証の場合は電子カメラの顔認識処理の構成をそのまま利用できることに加えて、不正なアクセスを試行するユーザーに対しては顔の撮影による心理的な抑止効果も働くので特に好ましい。

図２は、編集画面の立ち上げ操作で顔認証を行う場合の流れ図である。なお、顔登録メモリ２７には、編集画面へのアクセスが許可されたユーザーの顔認識データが予め記録されているものとする。
ステップ１０１：まず、ユーザーは操作部材２３により編集画面を立ち上げるための操作を行う。これにより、ＣＰＵ２６は、液晶モニタ２４に「顔を撮影して下さい」等の顔撮影を促すメッセージを表示する。また、ＣＰＵ２６は、電子カメラの各種設定を顔認証の撮影に適した設定に変更する。具体的にはＣＰＵ２６は以下の設定を行う。

まず、ＣＰＵ２６はＡＦ方式を顔検出モードに設定する。この場合には、ＣＰＵ２６はレリーズ釦の操作に関係なく、スルー画像データによって検出した顔領域に合わせてピント合わせを自動的に繰り返す。また、ＣＰＵ２６は、ＡＥ方式を顔検出領域を基準とするスポットＡＥモードに設定する。この場合には、ＣＰＵ２６はスルー画像データによって検出した顔領域に合わせてＡＥ演算を実行する。この場合には、ピント合わせおよびレリーズが自動化されるので、撮影光学系を操作者自身に向けて１人で撮影することが可能となる。

なお、Ｓ１０１において、ＣＰＵ２６は必要に応じてさらに以下の（１）〜（５）の設定を行う。
（１）ＣＰＵ２６は、画像処理部２０の電子ズーム処理を不能化する。電子ズームを行った場合には撮影した撮影画像の情報量が少なくなって、顔の特徴点の抽出精度が低下するからである。

（２）ＣＰＵ２６は、ズームレンズ１１ａの位置を広角端に固定する。顔検出時には、ズームレンズを広角側に設定して被写界深度を深くする方が顔検出できる可能性が増加するからである。また、ズームレンズを広角側に設定すれば、撮影画像が手ぶれする可能性も低下するからである。
（３）ＣＰＵ２６は、揺動センサ部１３の出力に基づいて像ぶれ補正レンズ１４を移動させて光学的なぶれ補正を行う。手ぶれによる撮影失敗を回避するためである。

（４）ＣＰＵ２６は、アナログ信号処理部１７における画像信号のゲイン設定（撮像感度の設定）を通常撮影時の設定よりも高くする。撮像感度が高くなるとシャッタ秒時に相当する撮影時間は短くなるので、撮影画像が手ぶれする可能性も低下するからである。
（５）ＣＰＵ２６は、閃光発光部２５の閃光発光を不能化する。撮影時に閃光発光を行うと撮影人物の顔に影ができて顔検出の精度が低下するからである。なお、被写界が暗く十分な露出が確保できない状態で強制的に撮影する場合には、ＣＰＵ２６は閃光発光部２５を例外的に発光させるようにしてもよい。

ステップ１０２：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を行う。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。
ステップ１０３：一方、ＣＰＵ２６の顔検出部３１は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。そして、ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算およびＡＥ演算を実行する。

ステップ１０４：ＣＰＵ２６はＡＦ終了後に自動的にレリーズを行って、撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。
ステップ１０５：ＣＰＵ２６の顔認識部３２は、Ｓ１０３での顔検出の結果に基づいて、撮影画像データ（Ｓ１０４）の顔領域から顔の特徴点を抽出する。そして、顔認識部３２は、撮影人物の顔認識処理を実行する。

ステップ１０６：顔認識部３２は、検出した顔が「編集画面へのアクセスが許可されたユーザー」の顔か否かを判定する。「編集画面へのアクセスが許可されたユーザー」の場合（ＹＥＳ側）にはＳ１０７に移行する。一方、「編集画面へのアクセスが許可されたユーザー」ではない場合（ＮＯ側）には、ＣＰＵ２６は液晶モニタ２４に編集画面を表示することなく処理を終了する。

なお、Ｓ１０６の判定では、顔認識部３２は顔認識処理で相似度を判定する閾値を通常の撮影時よりも高く設定することが好ましい。この場合は、「編集画面へのアクセスが許可されたユーザー」をより確実に識別することが望まれるからである。
ステップ１０７：ＣＰＵ２６は液晶モニタ２４に編集画面を表示させる。これにより、編集画面へのアクセスが許可されたユーザーは、編集画面で顔認識データの管理・編集を行うことが可能となる。

（編集画面の表示および操作の説明）
図３および図４は編集画面の表示の一例を示す図である。編集画面は、ＧＵＩ(Graphical User Interface)形式の「登録人物の選択画面（図３参照）」および「登録人物の詳細情報画面（図４参照）」で構成されている。なお、以下に示す編集画面での表示処理・動作は、いずれもＣＰＵ２６が所定のシーケンスプログラムに基づいて実行する。

図３の「登録人物の選択画面」は編集画面の初期表示画面である。「登録人物の選択画面」では、顔登録メモリ２７の登録人物に対応する人物選択用表示項目が表示される。この人物選択用表示項目の数は顔登録メモリ２７の登録人物の数（グループフォルダの数）に一致する。そして、「登録人物の選択画面」では人物選択用表示項目が一覧可能に表示される。なお、「登録人物の選択画面」には人物選択用表示項目の一部のみを表示し、スクロール形式または頁形式の画面切り替えで一覧可能としてもよい。

上記の人物選択用表示項目にはそれぞれ「登録人物の名称」が表示される。この「登録人物の名称」には、顔登録メモリ２７で登録人物のグループフォルダに対応付けされている「登録人物の名称」のデータが使用される。また、人物選択用表示項目での識別性、検索性を高めるために、人物選択用表示項目には、対応する登録人物を示すインデックス画像が表示される。例えば、ＣＰＵ２６は以下の手法で人物選択用表示項目のインデックス画像を設定する。

第１に、ＣＰＵ２６は、所定のイラスト画像群からユーザーが選択したイラスト画像をインデックス画像に設定する。かかるイラスト画像もユーザーの意図によって登録人物の特定や分類に役立てることができる。上記のイラスト画像は、不図示のＲＯＭ等に予め記録されたものであって、例えばＧＩＦ形式、ＢＭＰ形式等のデータ形式で構成される。なお、上記のイラスト画像には、例えばハートマークや星などの図記号や「家族」、「友達」などの文字なども含まれる。

第２に、ＣＰＵ２６は、顔登録メモリ２７の各グループフォルダに記録されている登録人物の「顔登録画像」をインデックス画像に設定する。この場合には顔登録画像によって、人物選択用表示項目と登録人物との関係性が視覚的に明確になるので特に好ましい。
また、グループフォルダ内に複数の「顔登録画像」が記録されている場合には、ＣＰＵ２６は以下の（１）〜（４）のいずれかの手法でインデックス画像を選択する。

（１）ＣＰＵ２６は、複数の顔登録画像からユーザーが選択した顔登録画像をインデックス画像に設定する。この場合には、ユーザーが最適であると判断した顔登録画像がインデックス画像となるので、ユーザーの意図を反映させた表示画面にすることができる。
（２）ＣＰＵ２６は、顔登録メモリ２７の「顔認識データの登録時期」を参照し、複数の顔登録画像から最も撮影日時が新しい画像をインデックス画像に設定する。この場合には、登録人物に関する最新の顔登録画像が自動的にインデックス画像となるので、現在の登録人物に一番近い状態と考えられる顔を表示させることができる。

（３）ＣＰＵ２６は、複数の顔登録画像のうちで、顔正面を撮影した顔登録画像を選択してインデックス画像に設定する。この場合には、正面を向いた顔画像が自動的にインデックス画像となるので、人物選択用表示項目での識別性、検索性をより向上させることができる。なお、顔正面を撮影した顔登録画像が複数存在する場合には、ＣＰＵ２６は上記（２）に示すように撮影日時の新しい画像をインデックス画像に設定する。

ここで、顔登録画像の顔向きの検出は以下のようにして行われる。例えば、顔認識データに予め顔の向きに関する識別情報を記録し、ＣＰＵ２６が上記識別情報を参照して顔登録画像の顔の向きを判断してもよい。また、顔登録画像に対応する顔認識データに着目し、ＣＰＵ２６は顔認識データでの目、鼻、口等の特徴点の抽出状態から顔の向きを類推するようにしてもよい。

（４）ＣＰＵ２６は、複数の顔登録画像を所定間隔ごとに順次切り替えて、スライドショー形式でインデックス画像の表示設定を行う。この場合には、ユーザーは「登録人物の選択画面」で登録人物の顔登録画像の登録数（すなわち、顔認識データの登録数）を把握することが可能となる。また、インデックス画像の切り替えにより、視覚的変化に富んでエンタテイメント性の高い「登録人物の選択画面」の表示を実現できる。

次に、「登録人物の選択画面」での操作を説明する。「登録人物の選択画面」では、ユーザーは図３において太線で示す選択枠（あるいはカーソル等）を操作部材２３で操作し、ＣＰＵ２６に人物選択用表示項目の指定入力を行うことができる。なお、ユーザーが表示項目を指定した上でさらに決定入力を行うと、液晶モニタ２４の表示画面が指定した登録人物に対応する「登録人物の詳細情報画面」に切り替わるようになっている。また、「登録人物の選択画面」では、表示項目に対応する登録人物のデータの一括削除を行うこともできる。

また、「登録人物の選択画面」では、上記した表示項目の指定操作によって、ユーザーは顔認識対象の登録人物（撮影時に顔認識を行う登録人物）をＣＰＵ２６に指定入力できる。このとき、ＣＰＵ２６は１または２以上の登録人物の指定を受け付けることができる。例えば、ＣＰＵ２６は顔登録メモリ２７の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ（例えば、家族、サークルなど）で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、ＣＰＵ２６にリンクされた登録人物の一括指定を入力することもできる。

さらに、「登録人物の選択画面」では、ユーザーは登録人物の優先順位（「顔認識時の処理設定」が競合する場合の優先順位）をＣＰＵ２６に設定入力できる。この優先順位は、表示項目の指定操作によって個別的に入れ替えることが可能である。また、ＣＰＵ２６は、所定条件で登録人物の優先順位を変更することも可能である。例えば、ＣＰＵ２６は、（１）登録人物の登録順、（２）登録人物の名称の文字列、（３）グループフォルダ内の顔認識データの数、（４）顔認識の指定回数、などを基準として登録人物を昇順・降順にソートし、ソート後の順番に従って優先順位を自動設定できる。なお、「登録人物の選択画面」では、人物選択用表示項目の表示位置または表示順は優先順位と対応しており、優先順位の高い順に人物選択用表示項目が表示されるようになっている。

一方、図４に示す「登録人物の詳細情報画面」は、上下に二分された画面構成となっている。「登録人物の詳細情報画面」の上部領域には、指定された登録人物に関する「登録人物の名称」および「顔認識時の処理設定」のデータが顔登録メモリ２７から読み出されてそれぞれ表示される。そして、「登録人物の詳細情報画面」では、「登録人物の名称」および「顔認識時の処理設定」の任意の項目を指定し、上記の各データの内容をそれぞれ変更できるように設定されている。なお、「登録人物の詳細情報画面」での変更内容は、顔登録メモリ２７の「登録人物の名称」および「顔認識時の処理設定」にそれぞれ上書きされて反映されることとなる。

また、「登録人物の詳細情報画面」の下部領域には、顔認識データに対応する顔認識データ用表示項目が表示される。顔認識データ用表示項目の総数は登録人物のグループフォルダ内にある顔認識データの数と一致する。そして、「登録人物の詳細情報画面」の下部領域には、顔認識データ用表示項目が一覧可能に表示される。なお、「登録人物の詳細情報画面」の下部領域には顔認識データ用表示項目の一部のみを表示し、スクロール形式または頁形式の画面切り替えで一覧可能としてもよい。

ここで、顔認識データ用表示項目には、個々の顔認識データに対応付けされているデータが表示される。具体的には、顔認識データ用表示項目には、インデックス画像としての「顔登録画像」と、「顔認識データの登録時期」と、「顔認識データの取得時の撮影条件」とがそれぞれ表示される。これらの情報により、各顔認識データの詳細をユーザーが把握することができ、顔認識データの取捨選択を容易に行うことが可能となる。なお、「顔認識データの取得時の撮影条件」については、顔認識データ用表示項目に直接表示することなく、プルダウン表示や別画面表示などで別途詳細に表示してもよい。

そして、「登録人物の詳細情報画面」では、図４において太線で示される選択枠（あるいはカーソル等）を操作部材２３で操作して、顔認識データ用表示項目をユーザーが指定できるようになっている。そして、「登録人物の詳細情報画面」では、指定した表示項目の表示順の入れ替えや、指定した表示項目に対応する顔認識データの削除、などを行うことが可能である。

以上のように、「登録人物の選択画面」では人物選択用表示項目にインデックス画像が表示されるので、ユーザーは所定の登録人物の表示項目を容易に識別することできる。また、「登録人物の詳細情報画面」では顔認識データ用表示項目に顔登録画像が表示されるので、ユーザーは表示項目に対応する顔認識データの概要を視覚的に把握することができる。

（顔認識撮影モードでの動作）
以下、本実施形態の電子カメラの「顔認識撮影モード」での動作を説明する。
図５は本実施形態の「顔認識撮影モード」の動作を示す流れ図である。この「顔認識撮影モード」は、指定した登録人物が撮影画面に存在する場合に、電子カメラが所定の制御を行って撮影画像データを取得する撮影モードである。

ステップ２０１：まず、ユーザーは操作部材２３により電子カメラの撮影モードを「顔認識撮影モード」に設定する。
例えば、電子カメラが「通常撮影モード」や「ポートレート撮影モード」に設定された状態において、ユーザーはモード選択画面を呼び出す操作を行う。これにより、ＣＰＵ２６はモード選択画面（図６参照）を液晶モニタ２４に表示する。そして、ユーザーは操作部材２３でモード選択画面上の選択枠を操作し、ＣＰＵ２６に「顔認識撮影モード」の起動を指示する。これにより、ＣＰＵ２６は「顔認識撮影モード」の一連の動作を開始する。

ステップ２０２：ＣＰＵ２６は、登録人物の選択画面（図３参照）を液晶モニタ２４に表示する。そして、ＣＰＵ２６は、顔認識対象の登録人物（撮影時に顔認識を行う登録人物）の指定入力を受け付ける。なお、顔認識対象の登録人物を撮影前に予めユーザーがＣＰＵ２６に指定入力しておくことも可能である。
ここで、「登録人物の選択画面」では、ＣＰＵ２６は１または２以上の登録人物の指定を受け付けることができる。例えば、ＣＰＵ２６は顔登録メモリ２７の登録人物の全指定を受け付けることもできる。また、グループフォルダを所定のカテゴリ（例えば、家族、サークルなど）で予めリンクするとともに、ユーザーが選択画面でカテゴリを指定入力することで、ＣＰＵ２６にリンクされた登録人物の一括指定を入力することもできる。

ステップ２０３：ＣＰＵ２６は、撮像素子１６を駆動させてスルー画像信号の取得を行う。撮像素子１６は所定間隔毎に間引き読み出しでスルー画像信号を出力する。画像処理部２０はスルー画像信号に基づいてスルー画像データを生成する。そして、液晶モニタ２４にはスルー画像データに基づいてプレビュー画像が動画表示される。
ステップ２０４：一方、ＣＰＵ２６の顔検出部３１は、スルー画像データに公知の顔検出処理を施して撮影画面内の顔領域を検出する。

ステップ２０５：ＣＰＵ２６はＳ２０４で撮影画面から顔検出されたか否かを判定する。顔検出された場合（ＹＥＳ側）にはＳ２０６に移行する。一方、顔検出されていない場合（ＮＯ側）にはＳ２０９に移行する。
ステップ２０６：ＣＰＵ２６は、検出した顔領域の位置を基準としてＡＦ演算を実行する。なお、顔領域を複数検出した場合には、ＣＰＵ２６は、撮影画面の中央に位置する顔領域または最も至近側に位置する顔領域を優先してＡＦ演算を実行する。

ステップ２０７：ＣＰＵ２６の顔認識部３２は、検出した顔領域（Ｓ２０４）に対して顔認識処理を実行する。そして、顔認識部３２は、認識対象の顔（Ｓ２０２）が含まれているか否かを判定する。認識対象の顔が含まれている場合（ＹＥＳ側）にはＳ２０８に移行する。一方、認識対象の顔が含まれない場合（ＮＯ側）にはＳ２１０に移行する。
ステップ２０８：ＣＰＵ２６は、検出された登録人物に対応する「顔認識時の処理設定」のデータに基づいて、電子カメラの撮影条件の設定や画像処理の設定などを変更する。その後、Ｓ２１０に移行する。

ここで、認識対象の顔が撮影画面内に複数検出されている場合には、ＣＰＵ２６は所定のアルゴリズムで登録人物の優先順位を決定する。そして、ＣＰＵ２６は、優先順位が最も高い登録人物に対応する「顔認識時の処理設定」に基づいて電子カメラの各種設定を変更する。なお、「顔認識時の処理設定」で登録人物の自動撮影が設定されている場合には、ＣＰＵ２６はＳ２１１に移行して登録人物を自動的に撮影する。

ステップ２０９：一方、この場合には、ＣＰＵ２６はユーザーによるレリーズ釦の半押し操作に応じて、通常撮影時のアルゴリズムでＡＦエリアを選択してＡＦ演算を実行する。
ステップ２１０：ＣＰＵ２６はレリーズ釦が全押しされたか否かを判定する。レリーズ釦が全押しされた場合（ＹＥＳ側）にはＳ２１１に移行する。一方、レリーズ釦に入力がない場合（ＮＯ側）にはＣＰＵ２６はレリーズ釦の全押し操作を待機する。

ステップ２１１：ＣＰＵ２６は撮像素子１６を駆動させて被写体像を撮影する。その後、画像処理部２０はレリーズ時の画像信号に基づいて撮影画像データを生成する。なお、認識対象の顔が撮影されている場合には、画像処理部２０はＳ２０８で設定された画像処理を撮影画像データに施す。
ステップ２１２：ＣＰＵ２６は撮影画像データを記録媒体２９に記録する。なお、認識対象の顔が撮影されている場合、ＣＰＵ２６は顔登録メモリ２７で指定されているディレクトリパスに基づいて、所定の記録フォルダに撮影画像データを分類して記録することもできる。以上で、「顔認識撮影モード」での一連の動作が終了する。

以下、本実施形態の「顔認識撮影モード」の効果を説明する。上記の顔認識撮影モードでは、顔認識データに基づいて撮影人物の顔認識が行われる（Ｓ２０７）。そして、認識対象の顔が検出された場合には、その登録人物に対応する設定で撮影時の各種処理などが行われる（Ｓ２０８、Ｓ２１１、Ｓ２１２）。そのため、登録人物の撮影時にユーザーの意図を反映させた処理を自動的に行うことができ、電子カメラを操作するユーザーの利便性が著しく向上する。

（実施形態の補足事項）
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではなく、例えば以下のような形態であってもよい。
（１）上記実施形態での編集画面の立ち上げ操作時において、ＣＰＵ２６は顔認証による個人認証とともにパスワード入力による個人認証を行うようにしてもよい。この場合には、ＣＰＵ２６は、顔認証またはパスワードによる認証の一方の認証成功で編集画面にアクセスできるようにしてもよい。また、ＣＰＵ２６は、顔認証およびパスワードによる認証の両方の認証成功の場合のみ編集画面にアクセスできるようにしてもよい。

（２）上記実施形態の編集画面の構成はあくまで一例にすぎない。例えば、「登録人物の選択画面」を設けることなく、編集画面の初期表示画面で顔認識データ用表示項目が顔登録画像とともに一覧表示される構成であってもよい。
（３）上記実施形態において、「登録人物の選択画面」で表示されるインデックス画像には登録人物の任意の撮影画像を用いることもできる。例えば、ＣＰＵ２６はインデックス画像用に特別に撮影した画像を「登録人物の選択画面」で表示してもよい。また、ＣＰＵ２６は、既に削除した顔認識データに対応する顔登録画像を「登録人物の選択画面」で表示できるようにしてもよい。

（４）顔登録メモリの「顔認識データの登録時期」のデータは、元となる顔登録画像データが概ねいつ頃撮影されたかを示すものでも足りる。したがって、「顔認識データの登録時期」については撮影年、撮影月、撮影日のいずれかで記録を打ち切って、詳細な時刻などの記録を省略するようにしてもよい。
（５）本発明の電子カメラは実施形態の電子カメラの構成と必ずしも一致する必要はない。例えば、内蔵メモリ１９と顔登録メモリ２７とが共通のメモリで構成されていてもよい。顔登録メモリ２７がデータバス２８を介してＣＰＵ２６に接続されていてもよい。また、揺動センサ部１３、像ぶれ補正レンズ１４および第２レンズ駆動部１５からなる光学的なぶれ補正機構が省略されていてもよい。さらに、電子カメラ内に通信ユニット３０が内蔵されていてもよい。

（６）ＣＰＵ２６は顔登録メモリ２７内のデータを記録媒体２９に記録して、顔登録メモリ２７のバックアップを可能としてもよい。また、ＣＰＵ２６は、予め他の電子カメラで生成された顔認識データ等を記録媒体２９から取得し、電子カメラ間で顔登録メモリ２７のデータを共用できるようにしてもよい。

本実施形態の電子カメラの構成を示すブロック図 編集画面の立ち上げ操作で顔認証を行う場合の流れ図 登録人物の選択画面の一例を示す図 登録人物の詳細情報画面の一例を示す図 本実施形態の「顔認識撮影モード」の動作を示す流れ図 モード選択画面の一例を示す図

符号の説明

１１…撮影光学系、１６…撮像素子、２０…画像処理部、２３…操作部材、２４…液晶モニタ、２６…ＣＰＵ、２７…顔登録メモリ、３０…通信ユニット、３１…顔検出部、３２…顔認識部

Claims (13)

1. 撮影光学系による被写体像を光電変換して画像信号を生成する撮像素子と、
   前記画像信号に基づいて撮影画面の顔領域を検出し、該顔領域の部分から撮影人物の顔の特徴点を抽出する顔検出部と、
   人物の顔の特徴点に基づいて予め生成された顔認識データと該顔認識データに対応する登録人物を示すためのインデックス画像データとを対応付けして記録する記録部と、
   前記顔検出部の抽出した特徴点および前記顔認識データに基づいて前記撮影人物が前記登録人物であるか否かを判定する顔認識部と、
   前記顔認識データの指定に使用される表示項目と前記インデックス画像データの画像とを関連付けて提示する編集画面を生成する制御部と、
   を備えることを特徴とする電子カメラ。
2. 前記インデックス画像データは前記登録人物の撮影画像データであることを特徴とする請求項１に記載の電子カメラ。
3. 前記インデックス画像データは、前記顔認識データの生成に使用された撮影画像データであることを特徴とする請求項２に記載の電子カメラ。
4. 前記記録部には、前記顔認識データの生成に使用された画像データの撮影条件が、前記顔認識データに対応付けされた状態で記録されていることを特徴とする請求項１から請求項３のいずれか１項に記載の電子カメラ。
5. 前記記録部には、前記顔認識データの生成に使用された画像データの撮影時期が、前記顔認識データに対応付けされた状態で記録されていることを特徴とする請求項１から請求項４のいずれか１項に記載の電子カメラ。
6. 前記記録部には、前記登録人物の撮影時に適用される処理の設定が、前記顔認識データに対応付けされた状態で記録されていることを特徴とする請求項１から請求項５のいずれか１項に記載の電子カメラ。
7. 撮影画像の画像データを外部に送信する通信部をさらに備え、
   前記記録部には、前記登録人物の撮影時における前記画像データの送信の可否と、前記画像データの送信先のアドレス情報とが、前記顔認識データに対応付けされた状態で記録されていることを特徴とする請求項１から請求項６のいずれか１項に記載の電子カメラ。
8. 前記制御部は、前記編集画面の表示出力の可否を管理する個人認証手段を備えることを特徴とする請求項１から請求項７のいずれか１項に記載の電子カメラ。
9. 前記個人認証手段が前記顔認識部による顔認証を含むことを特徴とする請求項８に記載の電子カメラ。
10. 前記記録部には同一の登録人物に関する複数の前記インデックス画像データを記録可能であって、
    前記制御部は、前記インデックス画像データのうちから任意の撮影画像データの画像を選択するとともに、該選択画像を前記表示項目に関連付けて前記編集画面で提示することを特徴とする請求項２から請求項９のいずれか１項に記載の電子カメラ。
11. 前記制御部は、前記インデックス画像データのうちで最新の撮影画像データの画像を選択することを特徴とする請求項１０に記載の電子カメラ。
12. 前記制御部は、前記インデックス画像データのうちで前記登録人物の顔正面を撮影した撮影画像データの画像を選択することを特徴とする請求項１０に記載の電子カメラ。
13. 前記制御部は、前記インデックス画像データの画像を所定間隔ごとに順次切り替えて前記編集画面で提示することを特徴とする請求項１０に記載の電子カメラ。
    
    
    
    
    

Images