JP2013242719A - 画像処理装置及び電子カメラ - Google Patents

Abstract

【課題】 本発明は、顔の経年変化を考慮しつつ、顔認証の精度を高める手段を提供する。
【解決手段】 画像処理装置は、顔検出部、識別部、年齢判定部、登録処理部及び照合部を備える。顔検出部は、入力画像から顔を検出する。識別部は、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。年齢判定部は、顔の人物の年齢を判定する。登録処理部は、識別部により識別された顔の人物と年齢とを少なくとも関連付けた認証情報を作成して人物毎に登録する。照合部は、認証用の入力画像を認証情報に基づいて照合することにより、同一人物を特定する。年齢判定部は、認証用の入力画像を解析することにより、その入力画像内の人物の年齢を推定する。登録処理部は、認証用の入力画像内の人物の年齢と登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。
【選択図】 図１

Description

本発明は、画像処理装置及びその画像処理装置を搭載した電子カメラに関する。

従来、顔認証の技術が公知であり、この顔認証の技術では、顔認証の対象となる人物の顔画像から特徴部位を抽出し、予め登録されている人物の顔画像と照合することで個人を特定することが一般的に行なわれている。

ところで、上記の顔認証の技術では、登録時からの年齢の変化に伴う顔の経年変化等により、顔認証の精度が落ちてしまうという懸念があった。

そこで、顔の経年変化の影響を軽減して顔認証を行なう人物認識装置が提案されている（例えば、特許文献１参照）。この人物認識装置は、一定の時間経過を考慮して登録データを更新する手段を有している。

特開平１１−１７５７１８号公報

しかしながら、顔の経年変化は年代や個人差によって異なるため、上記の人物認識装置のように、一定の時間経過毎に登録データが更新されると、更新のタイミングが必ずしも適切でない場合には、顔認証の精度が落ちてしまうおそれが生じる。

そこで、本発明は、上記事情に鑑み、顔の経年変化を考慮しつつ、顔認証の精度を高める手段を提供することを目的とする。

第１の発明に係る画像処理装置は、顔検出部と、識別部と、年齢判定部と、登録処理部と、照合部とを備える。顔検出部は、入力画像から顔を検出する。識別部は、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。年齢判定部は、顔の人物の年齢を判定する。登録処理部は、識別部により識別された顔の人物と年齢とを少なくとも関連付けた認証情報を作成して人物毎に登録する。照合部は、認証用の入力画像を認証情報に基づいて照合することにより、同一人物を特定する。年齢判定部は、認証用の入力画像を解析することにより、その入力画像内の人物の年齢を推定する。登録処理部は、認証用の入力画像内の人物の年齢と登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。

第２の発明に係る画像処理装置は、顔検出部と、識別部と、年齢判定部と、登録処理部と、照合部とを備える。顔検出部は、撮影日を含む撮影情報が関連付けられた入力画像から顔を検出する。識別部は、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。年齢判定部は、顔の人物の年齢を判定する。登録処理部は、識別部により識別された顔の人物と、年齢と、撮影情報とを少なくとも関連付けた認証情報を作成して人物毎に登録する。照合部は、認証用の入力画像を認証情報に基づいて照合する。

年齢判定部は、認証用の入力画像の撮影情報と、登録処理部により登録された同一人物の撮影情報とに基づいて、認証用の人物の年齢を特定する。登録処理部は、認証用の入力画像の人物の年齢と、登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。

第３の発明は、第１又は第２の発明において、年齢判定部は、人物の顔画像に基づいて、人物の年齢を推定する推定部と、人物の年齢をユーザ入力により受け付けるユーザ入力受付部とを有する。少なくとも最初に登録する認証情報における人物の年齢を、推定部が推定するか、又は、ユーザ入力受付部がユーザ入力により受け付ける。

第４の発明は、第１から第３の何れか１の発明において、照合部は、認証情報に基づいて同一人物を照合できなかった場合、認証情報が関連付けされていない他の画像を用いて同一人物を照合する。年齢判定部は、他の画像の同一人物の年齢を判定する。登録処理部は、認証情報における年齢と異なる年齢の同一人物の認証情報を作成して追加的に登録する。

第５の発明は、第１から第４の何れか１の発明において、基準として、未成年や所定の年齢に達した高齢者の年代では、年齢差を他の年代と比較して狭めることにより、登録処理部は、認証情報を追加的に登録する頻度を高める。

第６の発明に係る電子カメラは、撮像素子と、請求項１から請求項５の何れか１項に記載の画像処理装置とを備える。

本発明によれば、顔の経年変化を考慮しつつ、顔認証の精度を高める手段を提供できる。

電子カメラ１の内部構成を説明するブロック図 顔認証モードの概念図 認証情報管理テーブル１５ａの一例を示す図 認証情報の登録処理の一例を示すフローチャート 撮影の際における顔認証モードの動作の一例を示すフローチャート 顔認証及び登録処理のサブルーチンを示すフローチャート Ｅｘｉｆ形式の画像ファイルの一例を示す図 撮影画像用管理リスト１５ｃの一例を示す図 第２実施形態における認証情報管理テーブル１５ｄの一例を示す図 第３実施形態の一例を説明する概念図 第３実施形態の一例を説明する概念図 第３実施形態における電子カメラ１の動作の一例を示すフローチャート

（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。第１実施形態では、本発明の一実施形態の電子カメラ１について説明する。この電子カメラ１は、本発明の一実施形態の画像処理装置を備える。

図１は、電子カメラ１の構成例を示すブロック図である。ここで、電子カメラ１は、顔認証の精度を高めるための顔認証モードを有している。この顔認証モードでは、顔の経年変化（以下「風貌変化」ということがある。）を考慮しつつ、例えば、顔の人物（名前や顔画像）と年齢とを関連付けた認証情報（顔認証用の登録データ）を人物毎に登録できる。

図２は、顔認証モードの概念図である。図２（ａ）は、同一の登録人物の年代別の顔画像（写真）の一例を仮想的に示している。風貌変化の度合いは、個人差があるものの、一般的な事例として、図２（ａ）を用いて説明すると、例えば、乳幼児〜２０歳程度（未成年）までが大きく、２０〜３０歳まで中程度、３０〜４０歳まで小程度、４０〜６０歳に向けて中程度である。一方、風貌変化の度合いは、６０歳代以降、一般的に老化現象に伴い大きくなる。

そこで、顔認証モードでは、年代に応じて登録処理の頻度を変更することにより、顔認証の精度を高める。図２（ｂ）では、同一人物に対して年代に応じて登録される画像（例えば顔画像）の枚数が異なることを示している。顔認証モードでは、登録処理（追加登録）の目安となる基準として、前回の登録時からの経過期間（年齢差に相当）が、一例として、乳幼児〜１０歳未満については半年〜１年の範囲、１０歳以上２０歳未満については１年〜２年の範囲とする。

また、顔認証モードでは、登録処理の目安となる基準として、前回の登録時からの経過期間が、一例として、２０歳以上３０歳未満については２年〜３年の範囲とし、３０歳以上４０歳未満については５年〜６年の範囲とし、４０歳以上６０歳未満については２年〜３年の範囲とし、６０歳以上の高齢者については、１年〜２年の範囲とする。顔認証モードでは、後述する認証情報管理テーブル１５ａを用いて、年齢と人物とを簡単に関連付けて管理することができる。

ここで、電子カメラ１は、撮影光学系１０と、撮像素子１１と、信号処理部１２と、ＲＡＭ（Random Access Memory）１３と、画像処理部１４と、フラッシュメモリ１５と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という。）１６と、表示モニタ１７と、操作部１８と、レリーズ釦１９と、ＣＰＵ（Central Processing Unit）２０と、バス２１とを備える。

このうち、信号処理部１２、ＲＡＭ１３、画像処理部１４、フラッシュメモリ１５、記録Ｉ／Ｆ部１６、表示モニタ１７及びＣＰＵ２０は、バス２１を介して互いに接続されている。

撮影光学系１０は、一例として、焦点距離を調整するズームレンズと、撮像素子１１の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部（不図示）は、撮影光学系１０内でズームレンズやフォーカスレンズのレンズ位置をＣＰＵ２０の指示に応じて光軸方向に調整する。なお、簡単のため、図１では、撮影光学系１０を１枚のレンズとして図示する。

撮像素子１１は、被写体の像を撮像して、画像（アナログの画像信号）を生成する。そして、撮像素子１１が出力するアナログの画像信号は、信号処理部１２に入力される。なお、撮像素子１１の撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子１１の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ（不図示）によって制御される。撮像素子１１は、ＣＣＤ（Charge Coupled Device）型又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のカラーイメージセンサである。

信号処理部１２は、撮像素子１１が出力するアナログの画像信号をデジタル信号（画像データ）に変換しバス２１に出力する。

ＲＡＭ１３は、揮発性のメモリであり、信号処理部１２が出力する画像データは、バス２１を介して画像データとしてＲＡＭ１３に一時記録される。画像処理部１４は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理等）を施す。

フラッシュメモリ１５は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ１５には、電子カメラ１の制御を行なうプログラム等が予め記録されている。ＣＰＵ２０は、このプログラムに従い、一例として後述の図４〜６及び図１２に示すフローチャートの処理（以下「フローの処理」という。）を実行する。

また、フラッシュメモリ１５は、認証情報管理テーブル１５ａと、年齢推定用データベース１５ｂと、撮影画像用管理リスト１５ｃとを有する。

認証情報管理テーブル１５ａは、名前や顔画像で識別される顔の人物と年齢とが関連付けられたテーブルである。詳細は、図３を用いて後述する。

年齢推定用データベース１５ｂは、年齢を推定するのに用いるパラメータ等を予め記憶している。ここで、パラメータとは、例えば、年齢に応じた顔の特徴量に基づく統計データである。撮影画像用管理リスト１５ｃは、人物毎に撮影画像を管理する。詳細は、図８を用いて後述する。

記録Ｉ／Ｆ部１６には、着脱自在の記録媒体Ｍ１を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１６は、そのコネクタに接続された記録媒体Ｍ１にアクセスして本画像の記録処理等を行なう。この記録媒体Ｍ１は、例えば、カード型の不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体Ｍ１を示している。

表示モニタ１７は、例えば液晶表示媒体により構成される。そして、表示モニタ１７は、例えば構図確認用のスルー画像、本画像、又は電子カメラ１の操作メニュー等を表示する。操作部１８は、撮影者の操作（ユーザ入力）を受け付ける複数の釦を有しており、電子カメラ１を操作するための指示入力を受け付ける。レリーズ釦１９は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の撮影準備の動作開始）と全押し操作（本画像を取得するための撮影の動作開始）との指示入力とを受け付ける。

ＣＰＵ２０は、ＡＳＩＣ（画像エンジン：Application Specific Integrated Circuit）の機能を有し、各種演算及び電子カメラ１の統括的な制御を行なうマイクロプロセッサである。ＣＰＵ２０は、上記のプログラムを実行することにより、電子カメラ１の各部の制御等を行なう。また、ＣＰＵ２０は、計時機能を有し、本画像の撮影時に撮影日時を出力する。

また、ＣＰＵ２０は、本発明の画像処理装置の一種として、顔検出部２０ａと、識別部２０ｂと、年齢判定部２０ｃと、登録処理部２０ｆと、照合部２０ｇとしても機能する。

顔検出部２０ａは、例えばスルー画像又は記録済みの撮影画像（本画像）等を入力画像とし、その入力画像から顔を検出する。具体的には、顔検出部２０ａは、一例として、入力画像の画像データ（画像信号）の輝度分布に基づいて、肌色領域を顔の領域として抽出する。

識別部２０ｂは、画像データを解析し、顔の特徴を示す特徴量情報を抽出することにより、顔の人物を識別する。具体的には、識別部２０ｂは、例えば、特開２００１−１６５７３号公報等に記載された特徴点抽出処理によって特徴量情報を抽出する。特徴量情報としては、例えば、眉、目、鼻、唇の各端点等が挙げられる。識別部２０ｂは、特徴量情報に基づいて、被写体となる顔の人物を識別する。

年齢判定部２０ｃは、顔の人物の年齢を判定する。ここで、年齢判定部２０ｃは、認証情報管理テーブル１５ａに登録するための入力画像や本画像の撮影時に新たに取得された認証用の入力画像を解析することにより、その顔の人物の年齢を推定する。

また、年齢判定部２０ｃは、推定部２０ｄと、ユーザ入力受付部２０ｅとを有する。推定部２０ｄは、特徴量情報等に基づいて、公知の年齢推定技術（アプリケーションソフト）を用いて年齢を推定する。一例として、推定部２０ｄは、先ず、目や口等の配置を示す骨格情報、皺や弛みを示す皮膚情報を抽出する。続いて、推定部２０ｄは、年齢推定用データベース１５ｂを参照して、年齢に応じた顔の特徴量に基づく統計データと、骨格情報や皮膚情報とを比較する等して、年齢を推定する。

ユーザ入力受付部２０ｅは、操作部１８を介して、人物の年齢をユーザ入力により受け付ける。この場合、年齢判定部２０ｃは、年齢推定技術を用いずに顔の人物の年齢を判定することが可能となる。

登録処理部２０ｆは、識別部２０ｂにより識別された顔の人物と年齢とを関連付けた認証情報を作成して人物毎に認証情報管理テーブル１５ａに登録する。

図３は、認証情報管理テーブル１５ａの一例を示す図である。認証情報管理テーブル１５ａには、認証情報として、人物毎に顔画像の画像ファイルと、年齢とが関連付けられている。登録処理部２０ｆは、入力画像から顔の領域を含む顔画像を抽出して、顔画像と年齢とを人物毎に関連付けて、時系列に認証情報管理テーブル１５ａに登録する。

図３に示す認証情報管理テーブル１５ａでは、名前と、顔画像（例えば、jpeg（Joint Photographic Experts Group）形式の画像（拡張子：jpg））と、年齢（推定年齢）とが人物毎に対応付けられている。ここで、認証情報管理テーブル１５ａでは、同一人物が登録される毎にテーブルの行方向（紙面左から右方向）に認証情報が追加されていく構成になっている。

すなわち、登録処理部２０ｆは、認証用の入力画像内の人物の年齢と登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の入力画像に基づいて認証情報を作成して追加的に登録する。ここで、登録済みの同一人物の年齢としては、前回登録された人物の年齢であることが好ましい。なお、テーブルの空欄部分（例えば、花子、次郎の欄に相当）は、まだ、追加登録されていないことを示している（・・・の部分も同様とする）。また、太郎の欄では、説明の便宜上、２０歳〜２８歳の範囲（・・・の部分）の認証情報の図示を省略している。

また、認証情報管理テーブル１５ａでは、人物の登録が新たに追加される毎に、テーブルの列方向（紙面上から下方向）に、照合対象の人物が追加されていく構成になっている。したがって、第１列目の認証情報については、新規登録として後述する図４に示す認証情報の登録処理により登録を行なう。

照合部２０ｇは、認証用の入力画像を認証情報に基づいて照合することにより、同一人物を特定する。具体的には、照合部２０ｇは、認証用の入力画像の顔画像と認証情報管理テーブル１５ａの顔画像とを比較して類似度が閾値を超えた場合に、同一人物と特定する。より具体的には、照合部２０ｇは、認証用の入力画像における顔画像をテンプレート画像として、認証情報管理テーブル１５ａの顔画像に対してテンプレートマッチングを順次行なうことにより、類似度が閾値を超えた場合に、同一人物と特定する。

次に、電子カメラ１の撮影動作の一例について説明する。先ず、本実施形態では、予め認証情報の登録処理を行なう。認証情報の登録処理では、認証情報を認証情報管理テーブル１５ａに登録する。そこで、先ず、認証情報の登録処理について、説明する。

図４は、電子カメラ１の認証情報の登録処理の一例を示すフローチャートである。以下の動作例では、操作部１８が認証モードの下位の登録モードの指示入力を受け付けると、図４に示すフローの処理を開始する。

ステップＳ１０１：ＣＰＵ２０は、入力画像の読み出し処理を行なう。具体的には、ＣＰＵ２０は、撮影画像の記録先であるフラッシュメモリ１５又は記録媒体Ｍ１からその撮影画像を入力画像として読み出す。この際、ＣＰＵ２０は、例えば、表示モニタ１７上にサムネイル形式で撮影画像を表示させて、操作部１８を介してユーザが選択した撮影画像を入力画像としても良い。或いは、ＣＰＵ２０は、撮影画像（本画像）の撮影後に、登録用の入力画像として、その撮影画像を表示モニタ１７に表示させても良い。なお、撮影画像は、例えば、Ｅｘｉｆ（Exchangeable Image File Format）形式の画像ファイルである。入力画像の読み出し処理が完了すると、ＣＰＵ２０は、ステップＳ１０２の処理に移行する。

ステップＳ１０２：ＣＰＵ２０の顔検出部２０ａは、入力画像に対して顔検出処理を行なう。具体的には、顔検出部２０ａは、入力画像の画像信号の輝度分布に基づいて、肌色領域を顔の領域として抽出する。そして、ＣＰＵ２０は、ステップＳ１０３の処理に移行する。

ステップＳ１０３：ＣＰＵ２０の識別部２０ｂは、入力画像の識別処理を行なう。具体的には、識別部２０ｂは、入力画像から特徴量情報を抽出して被写体となる顔の人物を識別する。そして、ＣＰＵ２０は、ステップＳ１０４の処理に移行する。

ステップＳ１０４：ＣＰＵ２０の年齢判定部２０ｃは、年齢判定を行なう。具体的には、年齢判定部２０ｃに属する推定部２０ｄは、入力画像内の顔画像に基づいて、上述した年齢推定技術を用いて年齢を推定する。或いは、年齢判定部２０ｃに属するユーザ入力受付部２０ｅは、操作部１８を介して、人物の年齢をユーザ入力により受け付けても良い。そして、ＣＰＵ２０は、ステップＳ１０５の処理に移行する。

ステップＳ１０５：ＣＰＵ２０の登録処理部２０ｆは、認証情報の登録処理を行なう。具体的には、登録処理部２０ｆは、識別部２０ｂにより識別された顔の人物と年齢とを関連付けた認証情報を作成して人物毎に認証情報管理テーブル１５ａに登録する。

ここで、登録処理部２０ｆは、人物毎にユーザ入力により、名前（例えば、氏又は名、或いは、氏名）の入力を受け付けても良い。なお、図３に示す認証情報管理テーブル１５ａでは、説明を分かりやすくするため、顔画像が描かれているが、実際には、顔画像を含む撮影画像の記録先のアドレス情報であっても良い。

また、認証情報の登録処理では、認証情報管理テーブル１５ａにおいて、太郎、花子、次郎というように第１列目に新規登録の認証情報を記録して行く。

ステップＳ１０６：ＣＰＵ２０は、次の画像の認証情報の登録処理の有無を判定する。例えば、ユーザ入力により、次の画像の認証情報の登録処理を行なう場合には（ステップＳ１０６：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ１０１の処理に戻る。

一方、次の画像の認証情報の登録処理を行なわない場合には（ステップＳ１０６：Ｎｏ）、ＣＰＵ２０は、図４に示すフローの処理を終了させる。以上の認証情報の登録処理により、登録処理部２０ｆは、新規登録の認証情報を認証情報管理テーブル１５ａに登録することができる。

次に、撮影の際における顔認証モードでの動作の一例について説明する。

図５は、撮影の際における顔認証モードの動作の一例を示すフローチャートである。ＣＰＵ２０は、撮影者によるレリーズ釦１９の全押し操作を受け付けることにより、本画像の撮影処理を行なう。そして、ＣＰＵ２０は、図５に示すフローの処理を開始する。

ステップＳ２０１：ＣＰＵ２０は、入力画像の読み出し処理を行なう。具体的には、ＣＰＵ２０は、撮影処理によりフラッシュメモリ１５又は記録媒体Ｍ１に記録した撮影画像を顔認証モードにおける入力画像として読み出す。そして、ＣＰＵ２０は、ステップＳ２０２の処理に移行する。

ステップＳ２０２：ＣＰＵ２０は、図６に示す顔認証及び登録処理のサブルーチンを行なう。

図６は、顔認証及び登録処理のサブルーチンを示すフローチャートである。

ステップＳ３０１：顔検出部２０ａは、図４に示すステップＳ１０２の処理と同様、顔検出処理を行なう。そして、ＣＰＵ２０は、ステップＳ３０２の処理に移行する。

ステップＳ３０２：識別部２０ｂは、図４に示すステップＳ１０３の処理と同様、入力画像の識別処理を行なう。そして、ＣＰＵ２０は、ステップＳ３０３の処理に移行する。

ステップＳ３０３：ＣＰＵ２０の照合部２０ｇは、同一人物を特定するため、照合処理を行なう。具体的には、照合部２０ｇは、認証用の入力画像における顔画像をテンプレート画像として、認証情報管理テーブル１５ａの顔画像に対してテンプレートマッチングを順次行なうことにより、類似度が閾値を超えた場合に、同一人物と特定する。そして、ＣＰＵ２０は、ステップＳ３０４の処理に移行する。

ステップＳ３０４：照合部２０ｇの照合処理により、入力画像の人物が登録されていた場合（ステップＳ３０４：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ３０５の処理に移行する。

一方、入力画像の人物が登録されていなかった場合（ステップＳ３０４：Ｎｏ）、ＣＰＵ２０は、図６に示すサブルーチンの処理を終了し、図５に示すフローの処理に戻る。そして、ＣＰＵ２０は、図５に示すフローの処理を終了させる。なお、ＣＰＵ２０は、入力画像の人物が登録されていなかった場合、引き続き、図４に示すステップＳ１０４、Ｓ１０５の処理と同様の処理を行なって、入力画像の人物の新規登録をする構成としても良い。

ステップＳ３０５：年齢判定部２０ｃは、図３に示すステップＳ１０３の処理と同様、年齢判定処理を行なう。この際、推定部２０ｄは、認証用の入力画像内の顔の人物に対して、年齢推定技術を用いて年齢を推定する。

ステップＳ３０６：登録処理部２０ｆは、特徴情報の記録処理を行なう。具体的には、登録処理部２０ｆは、撮影画像に、画像データの属性を示すタグデータを付加する。ここでは、登録処理部２０ｆは、識別部２０ｂが識別した特徴情報をタグデータの一種として付加する。

図７は、Ｅｘｉｆ形式の画像ファイルの一例を示す図である。図７では、Ｅｘｉｆ形式の画像ファイルに特徴情報等を記録した例を示す。Ｅｘｉｆ形式の画像ファイルは、ヘッダ部と、データ部とからなる領域を構成する。ヘッダ部には、例えば、画素数、圧縮モードの種類、撮影日時、機種名、・・・、メーカーノート等の領域が構成される。データ部には、サムネイル、撮影画像とからなる。サムネイルは、主画像よりもデータ量の少ない縮小画像（一例として160×120画素）である。撮影画像は、撮像素子１１が生成した記録用の画像である。登録処理部２０ｆは、メーカーノートに特徴情報等を記録する。また、登録処理部２０ｆは、特徴情報等を撮影画像用管理リスト１５ｃに登録しても良い。なお、特徴情報には、人物の年齢を追加しても良い。

図８は、撮影画像用管理リスト１５ｃの一例を示す図である。図８（ａ）は、撮影画像用管理リスト１５ｃの構成を示し、一例として、撮影順に人物と特徴情報と撮影画像の記録先（アドレス情報）とを管理する。ここで、図８（ａ）では、説明の便宜上、特徴情報に、Ａ１、Ｂ１等の符号を付して区別している。なお、図８（ｂ）については、実施形態の補足事項で後述する。登録処理部２０ｆによる特徴情報の記録処理が終了すると、ＣＰＵ２０は、ステップＳ３０７の処理に移行する。

ステップＳ３０７：年齢判定部２０ｃにより、登録処理の目安となる基準を満たす年齢差が有る旨の判定結果がなされた場合（ステップＳ３０７：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ３０８の処理に移行する。

一方、年齢判定部２０ｃにより、その基準を満たす年齢差ではない旨の判定結果がなされた場合（ステップＳ３０７：Ｎｏ）、ＣＰＵ２０は、図６に示すサブルーチンの処理を終了し、図５に示すフローの処理に戻る。そして、ＣＰＵ２０は、図５に示すフローの処理を終了させる。

ステップＳ３０８：登録処理部２０ｆは、認証情報の登録処理を行なう。具体的には、登録処理部２０ｆは、認証用の入力画像に基づいて認証情報を作成して追加的に認証情報管理テーブル１５ａに登録する。

以上より、本実施形態の電子カメラ１では、顔の経年変化（風貌変化）がしやすい年代（例えば、未成年、高齢者）では、判定の基準となる年齢差を他の年代と比較して狭めることにより、年齢に応じて細かく認証情報を追加取得する。一方、電子カメラ１では、風貌変化の小さい年代（例えば３０〜４０代）では、認証情報を追加取得する年齢差を風貌変化がしやすい年代よりも大きくする。つまり、風貌変化がしやすい程、認証情報を登録する頻度を高めるので、その分、顔認証の精度が向上する。

したがって、電子カメラ１では、顔の経年変化を考慮しつつ、顔認証の精度を高めることができる。

（第２実施形態）
次に、第２実施形態について説明する。なお、第１実施形態と第２実施形態とにおいて、図１に示す電子カメラ１の構成要素は同様である。第２実施形態では、第１実施形態との相違点について主に説明する。すなわち、第２実施形態では、認証情報管理テーブル１５ａに新たに撮影日等の撮影情報を追加する点を特徴とする。

図９は、第２実施形態における認証情報管理テーブル１５ｄの一例を示す図である。第２実施形態では、上述したＥｘｉｆ形式の画像ファイルに記録される撮影日時の情報を利用する。すなわち、登録処理部２０ｆは、認証情報の登録処理の際、撮影画像の画像ファイルから撮影日時を読み出して、例えば、撮影日を認証情報管理テーブル１５ｄに登録する。

つまり、第２実施形態では、図４に示すフローチャートのステップＳ１０５の認証情報の登録処理の際、さらに、撮影日を登録人物に関連付けて認証情報管理テーブル１５ｄに登録する。

また、第２実施形態では、図６に示すフローチャートのステップＳ３０５の年齢の判定処理において、以下の点が第１実施形態と相違する。すなわち、年齢判定部２０ｃは、認証用の撮影画像の撮影日と、認証情報管理テーブル１５ｄに登録されている同一人物の撮影画像の撮影日との差分から、年齢差を算出する。そして、年齢判定部２０ｃは、その年齢差の算出に用いた同一人物の推定年齢に、その年齢差の値を加算することにより、現在の年齢を特定する。

そして、登録処理部２０ｆは、認証用の撮影画像の人物の現在の年齢と、登録済みの同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の撮影画像に基づいて認証情報を作成して追加的に認証情報管理テーブル１５ｄに登録する。

したがって、第２実施形態では、年齢推定技術（アプリケーションソフト等）を用いて、年齢差を判定する処理を省くことができる。また、第２実施形態では、年齢差を算出することにより、年齢判定の精度をより高めることができる。

さらに、第２実施形態では、電子カメラ１の認証情報の登録処理（ステップＳ１０４）において、ユーザ入力受付部２０ｅが、ユーザ入力により誕生日の情報を受け付ける構成としても良い。この構成により、年齢判定部２０ｃは、誕生日の情報（生年月日）と、撮影年月日とから、正確な年齢を特定することが可能となる。

（第３実施形態）
次に、第３実施形態について説明する。なお、上記の実施形態と第３実施形態とにおいて、図１に示す電子カメラ１の構成要素は同様である。第３実施形態では、上記の実施形態との相違点について主に説明する。すなわち、第３実施形態では、認証情報管理テーブル１５ａ又は認証情報管理テーブル１５ｄを利用した登録人物の照合処理において、本来ならば同一人物と照合すべきところ、未登録と判定された場合の対応策を講じる点を特徴とする。

図１０、図１１は、第３実施形態の一例を説明する概念図である。図１０は、問題点を説明する図である。図１１は、対応策を説明する図である。横軸は、時間軸を示し、撮影日を基準として時間の経過を示している。

図１０において、例えば認証情報管理テーブル１５ａへの最終登録日が撮影日から５年前であったとする。この場合、登録人物の推定年齢が３０歳以上４０歳未満であると、その間に同一人物を撮影しても、登録処理部２０ｆは、登録の基準となる５年未満という判定結果に基づいて、認証情報管理テーブル１５ａへ登録を行なわない。但し、登録処理部２０ｆは、撮影画像に写っている同一人物の特徴情報等を撮影画像用管理リスト１５ｃに登録していることとする。

ここで、照合部２０ｇは、撮影日の撮影画像における顔画像をテンプレート画像として、最終登録日の撮影画像における顔画像に対してテンプレートマッチングを行なう。すると、撮影間隔が５年程度経過しているため、照合部２０ｇは、場合によっては、類似度が閾値に達せず非類似と判定することが起こり得る。風貌変化は、個人差があるからである。

そこで、第３実施形態では、図１１に示す通り、以下の対応策を講じる。すなわち、第３実施形態では、撮影画像用管理リスト１５ｃ等を参照し、最終登録日の撮影画像の特徴情報に基づいて、同一人物の撮影画像を抽出する処理を行なう。そして、登録処理部２０ｆは、抽出した撮影画像に対して、認証情報を作成して、認証情報管理テーブル１５ａに追加して登録する。続いて、照合部２０ｇは、追加した認証情報に基づいて、照合処理を行なう。例えば、図１１では、照合部２０ｇは、１年前の認証情報に基づいて顔認証を行なうので、顔認証の精度が向上して同一人物と同定することが５年前と比較して容易となる。以下、第３実施形態の動作についてフローチャートを用いて説明する。

図１２は、第３実施形態における電子カメラ１の動作の一例を示すフローチャートである。第３実施形態では、図５に示すフローの処理を行なった結果、図６に示すサブルーチンのステップＳ３０４の処理にて、照合部２０ｇの照合処理で同一人物を特定できずに登録されていない旨（未登録）の判定がなされ（ステップＳ３０４：Ｎｏ）、処理が終了した場合、ＣＰＵ２０は、図１２に示すフローの処理を開始する。例えば、認証情報管理テーブル１５ａに登録されているものの、未登録と判定された場合に該当する。

ステップＳ４０１：ＣＰＵ２０は、入力画像の読み出し処理を行なう。具体的には、ＣＰＵ２０は、撮影画像用管理リスト１５ｃに登録されている入力画像を１枚読み出す。そして、ＣＰＵ２０は、ステップＳ４０２の処理に移行する。

ステップＳ４０２：ＣＰＵ２０は、図６に示す顔認証及び登録処理のサブルーチンを行なう。但し、撮影画像用管理リスト１５ｃに登録されているデータについては、顔認証及び登録処理のサブルーチンを既に１回行なっており、特徴情報が登録されているため、ステップＳ３０６の処理はスキップする。また、特徴情報に年齢の情報を含めている場合には、ステップＳ３０５の処理もスキップする。さらに、ステップＳ３０７の処理で年齢差の判定基準を変更して、登録人物と同一人物については、登録処理部２０ｆは、認証情報を認証情報管理テーブル１５ａに登録する。つまり、照合部２０ｇの照合処理で同一人物を特定できずに処理が終了したということは、個人差等に起因して風貌変化が大きい時期を表わしているので、このような場合には、登録処理部２０ｆは、追加的に認証情報を認証情報管理テーブル１５ａに登録することが好ましい。

そして、ＣＰＵ２０は、顔認証及び登録処理のサブルーチンを行なった後、ステップＳ４０３の処理に移行する。

ステップＳ４０３：ＣＰＵ２０は、指定した全画像について顔認証及び登録処理のサブルーチンを行なったか否かを判定する。ここで、指定した全画像とは、例えば、撮影画像用管理リスト１５ｃに登録されている撮影画像である。指定した全画像について顔認証及び登録処理のサブルーチンを行なっていない場合（ステップＳ４０３：Ｎｏ）、ＣＰＵ２０は、ステップＳ４０２の処理に戻る。一方、指定した全画像について顔認証及び登録処理のサブルーチンを行なった場合（ステップＳ４０３：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ４０４の処理に移行する。

ステップＳ４０４：ＣＰＵ２０は、認証情報の追加があるか否かを判定する。認証情報の追加がない場合（ステップＳ４０４：Ｎｏ）、ＣＰＵ２０は、図１２に示すフローの処理を終了させる。一方、ＣＰＵ２０は、認証情報の追加があった場合（ステップＳ４０４：Ｙｅｓ）、ステップＳ４０５の処理に移行する。

ステップＳ４０５：ＣＰＵ２０は、未検出の認証用の撮影画像に対して、顔認証及び認証情報の登録処理を再度行なう。ここで、未検出の認証用の撮影画像とは、図６に示す顔認証及び登録処理のサブルーチンのステップＳ３０４において、未登録と判定された撮影画像をいう。すなわち、ＣＰＵ２０は、追加した認証情報に基づいて、図６に示す顔認証及び登録処理のサブルーチンを再度行なう。

具体的には、照合部２０ｇは、顔認証及び登録処理のサブルーチンのステップＳ３０３の処理において、未検出の認証用の撮影画像の顔画像をテンプレート画像として、追加した認証情報に基づく登録画像の顔画像に対してテンプレートマッチング等の照合処理を行なう。ここで、顔認証及び登録処理のサブルーチンのステップＳ３０３の処理で、同一人物を特定できた場合には（ステップＳ３０４：Ｙｅｓ）、ＣＰＵ２０は、ステップＳ３０５以降の処理に移行し、登録処理部２０ｆは、今回撮影した撮影画像に基づく認証情報を例えば認証情報管理テーブル１５ａ又は認証情報管理テーブル１５ｄに登録する。なお、その後のフローの処理で、再度同一人物と特定された場合には、登録処理部２０ｆは、既に認証情報を登録済みなのでステップＳ３０８の登録処理を省略する。

ステップＳ４０６：ＣＰＵ２０は、追加した認証情報を全てチェックしたか否かを判定する。追加した認証情報を全てチェックしていない場合（ステップＳ４０６：Ｎｏ）、ＣＰＵ２０は、ステップＳ４０５の処理に戻る。一方、追加した認証情報を全てチェックした場合（ステップＳ４０６：Ｙｅｓ）、ＣＰＵ２０は、図１２に示すフローの処理を終了させる。なお、図１２に示すフローの処理では、追加した認証情報に対して、全てチェックする構成になっているが、照合部２０ｇは、追加した登録データのうちで撮影日に直近の認証情報を用いて、照合処理を行なうようにしても良い。

以上より、第３実施形態では、照合部２０ｇが認証情報管理テーブル１５ａ又は認証情報管理テーブル１５ｄを参照して、照合処理を行なう。その結果、照合部２０ｇが同一人物を特定できなかった場合であっても、第３実施形態では、撮影画像用管理リスト１５ｃに登録されているデータを参照することにより、同一人物を特定し、年齢を判定することができる。

なお、第３実施形態では、撮影画像用管理リスト１５ｃに登録されている撮影画像に限られず、顔認証モードで撮影を行なわなかった他の画像を例えば記録媒体Ｍ１から読み出して、図１２に示すフローの処理を行なっても良い。

（実施形態の補足事項）
（１）上記の実施形態では、本発明の一実施形態である画像処理装置を電子カメラ１に搭載したが、本発明は、これに限定されるものではない。例えば、他の実施形態としては、電子カメラ機能付きのパーソナルコンピュータ（携帯用の情報処理端末等）に搭載して、電子カメラ１と同様の処理を行なっても良い。又は、他の実施形態としては、本発明の一実施形態である画像処理装置を、電子カメラ機能付きの携帯電話等の電子機器に搭載して、電子カメラ１と同様の処理を行なっても良い。

（２）上記の実施形態では、複数の年齢別の認証情報を登録することで、本人認証の精度を保つことができる。また、上記の実施形態では、年齢によって顔の特徴の変化が少ない年齢において、認証情報の追加取得の頻度を少なくすることで、認証情報のデータ量の増大化を防ぐことができる。また、上記の実施形態では、登録処理部２０ｆはが認証情報を例えば認証情報管理テーブル１５ａに追加的に登録したが、上書きにより更新するようにしても良い。

さらに、撮影画像用管理リスト１５ｃでは、特徴情報に年齢の情報も追加することにより、登録人物と撮影時の年齢とを管理できる。これにより、ＣＰＵ２０は、撮影画像用管理リスト１５ｃにおいて、例えば、画像群の登録人物の年齢順や年齢別のデータに従って並べるソートを行なっても良い。具体的には、図８（ｂ）では、登録人物の一人である太郎を年齢順にソートをした状態を示す。なお、図８（ｂ）では、花子や次郎に対しても、個別に年齢順にソートをしているが、図示を省略している。ここで、ＣＰＵ２０は、一例として、太郎の年齢順の撮影画像に対して、ソート後の順序をスライドショーの再生の順序として決定し、順次、表示モニタ１７に表示するようにしても良い。

（３）上記の実施形態において、ＣＰＵ２０は、加齢による顔の変化を予測する公知のアルゴリズムを利用して、その加齢による顔の変化に伴う予測画像を生成して、人物を照合したり、人物の年齢を判定したりしても良い。これにより、より多面的に人物を照合したり、年齢を判定したりすることができる。

また、上記の実施形態において、照合部２０ｇは、類似に近いが、類似度が閾値に達せず非類似と判断する場合、ユーザ入力によって、同一人物の有無を選択させる構成にしても良い。これにより、顔認証の精度をより高めることができる。

１・・・電子カメラ、２０ａ・・・顔検出部、２０ｂ・・・識別部、２０ｃ・・・年齢判定部、２０ｄ・・・登録処理部、２０ｇ・・・照合部

Claims (6)

1. 入力画像から顔を検出する顔検出部と、
   前記顔の特徴を示す特徴量情報を抽出することにより、前記顔の人物を識別する識別部と、
   前記顔の人物の年齢を判定する年齢判定部と、
   前記識別部により識別された前記顔の人物と前記年齢とを少なくとも関連付けた認証情報を作成して人物毎に登録する登録処理部と、
   認証用の入力画像を前記認証情報に基づいて照合することにより、同一人物を特定する照合部と、を備え、
   前記年齢判定部は、認証用の前記入力画像を解析することにより、該入力画像内の人物の年齢を推定し、
   前記登録処理部は、認証用の前記入力画像内の前記人物の年齢と登録済みの前記同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の前記入力画像に基づいて前記認証情報を作成して追加的に登録する
   ことを特徴とする画像処理装置。
2. 撮影日を含む撮影情報が関連付けられた入力画像から顔を検出する顔検出部と、
   前記顔の特徴を示す特徴量情報を抽出することにより、前記顔の人物を識別する識別部と、
   前記顔の人物の年齢を判定する年齢判定部と、
   前記識別部により識別された前記顔の人物と、前記年齢と、前記撮影情報とを少なくとも関連付けた認証情報を作成して人物毎に登録する登録処理部と、
   認証用の入力画像を前記認証情報に基づいて照合することにより、同一人物を特定する照合部と、を備え、
   前記年齢判定部は、認証用の前記入力画像の前記撮影情報と、前記登録処理部により登録された前記同一人物の前記撮影情報とに基づいて、認証用の前記人物の年齢を特定し、
   前記登録処理部は、認証用の前記入力画像の前記人物の年齢と、登録済みの前記同一人物の年齢との年齢差が年代に応じて予め設定した基準を満たした場合、認証用の前記入力画像に基づいて前記認証情報を作成して追加的に登録する
   ことを特徴とする画像処理装置。
3. 請求項１又は請求項２に記載の画像処理装置において、
   前記年齢判定部は、前記人物の顔画像に基づいて、前記人物の年齢を推定する推定部と、前記人物の年齢をユーザ入力により受け付けるユーザ入力受付部とを有し、
   少なくとも最初に登録する前記認証情報における前記人物の年齢を、前記推定部が推定するか、又は、前記ユーザ入力受付部が前記ユーザ入力により受け付けることを特徴とする画像処理装置。
4. 請求項１から請求項３の何れか１項に記載の画像処理装置において、
   前記照合部は、前記認証情報に基づいて前記同一人物を照合できなかった場合、前記認証情報が関連付けされていない他の画像を用いて前記同一人物を照合し、
   前記年齢判定部は、前記他の画像の前記同一人物の年齢を判定し、
   前記登録処理部は、前記認証情報における年齢と異なる年齢の前記同一人物の認証情報を作成して追加的に登録することを特徴とする画像処理装置。
5. 請求項１から請求項４の何れか１項に記載の画像処理装置において、
   前記基準として、未成年や所定の年齢に達した高齢者の年代では、前記年齢差を他の年代と比較して狭めることにより、前記登録処理部は、前記認証情報を追加的に登録する頻度を高めることを特徴とする画像処理装置。
6. 被写体の像を撮像して入力画像を生成する撮像素子と、
   請求項１から請求項５の何れか１項に記載の画像処理装置と、
   を備えることを特徴とする電子カメラ。

Images