JP2013055540A - 画像処理装置、撮像装置およびシステム - Google Patents

Abstract

【課題】 人物の被写体情報や画像処理の設定などの登録や変更を容易に行うことができる技術を提供することを目的とする。
【解決手段】 認証対象の特徴点を示す認証データおよび認証対象が撮像された画像に所定の画像効果を与える画像効果処理の設定情報を記憶する記憶部と、処理対象の対象画像に対し特徴点を抽出して対象画像の被写界から主要被写体を検出し、認証データに基づいて、検出された主要被写体が認証対象に一致するか否かを判定する被写体認証部と、対象画像に画像処理とともに、被写体認証部による判定結果が真の場合、設定情報に基づいた画像効果処理を施す画像処理部と、判定結果が偽の場合、検出された主要被写体を新たな認証対象として、主要被写体の特徴点の認証データを記憶部に記録して登録する制御部と、を備える。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置およびシステムに関する。

従来、デジタルカメラなどは、個々の人物についての顔などの被写体情報および適用する画像処理の設定などが予め登録され、登録された人物を撮像し検出した場合、その人物を優先して画像処理することにより見栄えをよくする技術が開発されている。

また、上記デジタルカメラが、登録した人物の被写体情報および画像処理の設定を、例えば、他のデジタルカメラなどに転送することにより、他のデジタルカメラでも、登録された人物を撮像した場合、その人物を見栄えよく画像処理する技術がある（特許文献１など参照）。

特開２０１０−２１３０９０号公報

しかしながら、従来技術では、個々の人物の被写体情報や画像処理の設定などの登録や変更をする場合、ユーザなどによる操作指示に基づいて行う必要がある。

上記従来技術が有する問題を鑑み、本発明の目的は、人物の被写体情報や画像処理の設定などの登録や変更を容易に行うことができる技術を提供することにある。

上記課題を解決するために、本発明を例示する画像処理装置の一の態様は、認証対象の特徴点を示す認証データおよび認証対象が撮像された画像に所定の画像効果を与える画像効果処理の設定情報を記憶する記憶部と、処理対象の対象画像に対し特徴点を抽出して対象画像の被写界から主要被写体を検出し、認証データに基づいて、検出された主要被写体が認証対象に一致するか否かを判定する被写体認証部と、対象画像に画像処理とともに、被写体認証部による判定結果が真の場合、設定情報に基づいた画像効果処理を施す画像処理部と、判定結果が偽の場合、検出された主要被写体を新たな認証対象として、主要被写体の特徴点の認証データを記憶部に記録して登録する制御部と、を備える。

また、制御部は、画像処理部により対象画像に施された画像効果処理の処理情報を対象画像に付加してもよい。

また、外部装置とデータの入出力を行うインタフェース部を備え、制御部は、インタフェース部を介して、外部装置に対象画像を出力してもよい。

また、対象画像は、予め画像効果処理が施され、施された画像効果処理の処理情報が付加され、制御部は、判定結果が偽の場合、処理情報を主要被写体の設定情報とし、主要被写体の認証データとともに記憶部に記憶して登録してもよい。

また、制御部は、被写体認証部により認証対象と異なる複数の主要被写体が認識された場合、対象画像に付加された撮像情報に基づいて、複数の主要被写体のうち合焦領域に位置する主要被写体を特定し、処理情報を合焦領域に位置する主要被写体の設定情報としてもよい。

また、画像処理部は、判定結果が真の場合、対象画像に付加された処理情報と主要被写体の設定情報とを比較し、未処理の画像効果処理を対象画像に施してもよい。

また、画像処理部は、対象画像に付加された撮像情報または認証対象と判定された主要被写体の状態に応じて、画像効果処理の設定を設定情報と異なる設定に変更し、画像効果処理を対象画像に施してもよい。

また、制御部は、画像処理部が画像効果処理の設定を設定情報から変更した回数を数え、回数が所定数以上の場合、設定情報を変更後の設定に更新してもよい。

本発明を例示する撮像装置の一の態様は、被写界を撮像して画像を生成する撮像部と、本発明の画像処理装置と、を備える。

本発明を例示するシステムの一の態様は、複数の本発明の画像処理装置を備える。

本発明によれば、人物の被写体情報や画像処理の設定などの登録や変更を容易に行うことができる。

本発明の一の実施形態に係るシステムの構成の一例を示すブロック図 認証ファイルの一例を示す図 デジタルカメラの撮像動作処理のフローチャート デジタルカメラの画像再生処理のフローチャート システムの動作処理のフローチャート 認証ファイルの別例を示す図

図１は、一の実施形態に係るシステムの構成の一例を示すブロック図である。

本実施形態のシステムは、２つのデジタルカメラ１ａと１ｂとから構成される。なお、本実施形態における２つのデジタルカメラ１ａ、１ｂは、同じ構成を有するものとし、各構成要素に対し同じ２ケタの数字にａまたはｂの英字を付加した符号を付す。そして、以下において、デジタルカメラ１ａの構成について説明するが、デジタルカメラ１ｂについても同様である。

本実施形態のデジタルカメラ１ａは、撮像光学系１１ａ、撮像素子１２ａ、ＤＦＥ１３ａ、ＣＰＵ１４ａ、メモリ１５ａ、メディアＩ／Ｆ１６ａ、通信Ｉ／Ｆ１８ａ、モニタ１９ａおよびユーザの操作を受け付ける操作部２０ａを有する。ＤＦＥ１３ａ、メモリ１５ａ、メディアＩ／Ｆ１６ａ、通信Ｉ／Ｆ１８ａ、モニタ１９ａおよび操作部２０ａは、それぞれＣＰＵ１４ａに接続される。

撮像光学系１１ａは、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成される。撮像光学系１１ａのレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１ａを１枚のレンズとして図示する。

撮像素子１２ａは、撮像光学系１１ａを通過した光束によって結像される被写界を撮像するデバイスである。この撮像素子１２ａの出力はＤＦＥ１３ａに入力される。なお、本実施形態の撮像素子１２ａは、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。

また、撮像素子１２ａの受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２ａの各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２ａの各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２ａは、カラーの画像を取得できる。

ここで、デジタルカメラ１ａの撮影モードにおいて、撮像素子１２ａは操作部２０ａを構成するレリーズ釦の全押し操作に応答して、静止画像や動画の記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔で構図確認用画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２ａから間引き読み出しで出力される。なお、スルー画像のデータは、モニタ１９ａでの画像表示や、ＣＰＵ１４ａによる各種の演算処理等に使用される。

ＤＦＥ１３ａは、撮像素子１２ａから入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３ａは、本実施形態において撮像素子１２ａとともに撮像部を構成する。

ＣＰＵ１４ａは、デジタルカメラ１ａの各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４ａは、撮像素子１２ａの出力に基づいて、公知の位相差方式やコントラスト方式によるオートフォーカス（ＡＦ）制御、公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４ａは、制御プログラムの実行により、被写体認証部２１ａ、画像処理部２２ａとして動作する。

被写体認証部２１ａは、撮像素子１２ａにより撮像された、またはデジタルカメラ１ｂなどの外部装置から読み込んだ本画像（対象画像）の画像データに公知の顔検出処理を施して、被写界における主要被写体である人物の顔を検出する。例えば、被写体認証部２１ａは、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点等の特徴点を画像から抽出し、これらの特徴点に基づいて人物の顔の画像領域（以下、顔領域）を検出する。被写体認証部２１ａは、検出した人物の顔の特徴点を抽出し、後述するメモリ１５ａに予め登録・記憶された認証対象の人物の顔の特徴点である認証データと相関処理などに基づいて比較し、検出した人物がメモリ１５ａに登録された認証対象の人物に一致するか否かを判定する。

画像処理部２２ａは、ＤＦＥ１３ａから出力される１フレーム分のデジタル画像信号に対して、各種画像処理（例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。さらに、本実施形態の画像処理部２２ａは、被写体認証部２１ａにより本画像に撮像された人物が認証対象と判定された場合、メモリ１５ａにその人物の顔の特徴点である認証データとともに予め登録・記憶された、美肌処理、目強調処理、小顔処理などの所定の画像効果を与える画像効果処理の設定情報に基づいて、本画像に対し画像効果処理を施す。なお、被写体認証部２１ａにより本画像に撮像された人物が認証対象でない場合、画像処理部２２ａは、予め初期設置された画像効果処理を行うようにしてもよいし、画像効果処理を行わないようにしてもよい。

メモリ１５ａは、デジタルカメラ１ａにより撮像された画像データや、ＣＰＵ１４ａによって実行される制御プログラムなどを記憶する。また、本実施形態のメモリ１５ａは、被写体認証部２１ａおよび画像処理部２２ａで参照される、認証対象として登録された人物の認証データと適用される画像効果処理の設定情報とからなる認証ファイルを、人物ごとに記憶する。図２は、認証対象として登録された人物の認証ファイルの一例を示す。また、メモリ１５ａは、例えば、画像処理部２２ａによる画像処理の前工程や後工程での画像データなどを一時的に記憶する。

なお、本実施形態では、人物ごとに認証ファイルを生成するとしたが、人物ごとに認証データと設定情報とを対応付けて一覧にした認証テーブルであってもよい。また、メモリ１５ａには、不揮発性の半導体メモリなどを用いることができる。

記録Ｉ／Ｆ１６ａには、記憶媒体１７ａを接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１６ａは、コネクタに接続された記憶媒体１７ａに対してデータの書き込み／読み込みを実行する。上記記憶媒体１７ａは、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１７ａの一例としてメモリカードを示す。

通信Ｉ／Ｆ１８ａは、有線または無線の公知の通信回線を介して接続されたデジタルカメラ１ｂなどの外部装置とのデータ送受信を、所定の通信規格に準拠して制御する。

モニタ１９ａは、液晶モニタなどであり、ＣＰＵ１４ａの指示に応じて各種画像を表示する。

操作部２０ａは、例えば、レリーズ釦、電源釦、コマンドダイヤル、十字状のカーソルキー、決定釦などで構成される。そして、操作部２０ａはデジタルカメラ１ａの各種入力をユーザから受け付ける。例えば、操作部２０ａは、デジタルカメラ１ａの動作モードの切替操作や、設定画面での入力操作などに用いられる。なお、本実施形態のデジタルカメラ１ａは、動作モードとして、被写体認証部２１ａに認証対象として登録させたい人物を、ユーザによる手動操作で登録する人物登録モードを有するものとする。

次に、図１に示す本実施形態に係るデジタルカメラ１ａ、１ｂ、それらから構成されるシステムの動作について、（Ａ）デジタルカメラ１ａ、１ｂ単体の場合の撮像動作処理および（Ｂ）画像再生処理と、（Ｃ）システムの動作処理とについてそれぞれ説明する。なお、（Ａ）および（Ｂ）の動作については、デジタルカメラ１ａで説明するが、デジタルカメラ１ｂについても同様であり省略する。また、デジタルカメラ１ａのメモリ１５ａには、人物登録モードで、ユーザによる操作部２０ａの登録操作により、複数の人物の認証データと設定情報とからなる図２に示す認証ファイルが、予め登録・記録されているものとする。さらに、デジタルカメラ１ｂのメモリ１５ｂにも複数の人物の認証ファイルが記憶されるが、登録される人物はデジタルカメラ１ａと同一でなくてもよい。
（Ａ）デジタルカメラの撮像動作処理
図３に示すフローチャートを参照しつつ、デジタルカメラ１ａによる撮像動作処理について説明する。なお、被写体認証部２１ａにより検出された人物が認証対象でない場合、画像処理部２２ａは、初期設定の画像効果処理を行う。また、デジタルカメラ１ａは、撮影モードとして、単写モードと連写モードとを有する静止画モードおよび動画モードなどを有する。そして、デジタルカメラ１ａは、撮影モードとして、単写モードの静止画モードに予め設定されているものとし、静止画像（本画像）の画像ファイルを生成する。

ＣＰＵ１４ａは、ユーザによる操作部２０ａの電源釦操作により、電源投入指示を受け付け、デジタルカメラ１ａの電源を投入する。ＣＰＵ１４ａは、デジタルカメラ１ａを初期化する。ＣＰＵ１４ａは、撮像素子１２ａに３０ｆｐｓなどのフレームレートでスルー画像を撮像させ、モニタ１９ａにそのスルー画像を表示させる。ＣＰＵ１４ａは、ステップＳ１０１からの処理を開始する。

ステップＳ１０１：ＣＰＵ１４ａの被写体認証部２１ａは、スルー画像に公知の顔検出処理を施して、撮像された被写界から人物の顔を検出する。なお、被写体認証部２１ａが人物の顔を検出できなかった場合、ＣＰＵ１４ａは、次のスルー画像を取得することが好ましい。

ステップＳ１０２：ＣＰＵ１４ａは、ユーザによる操作部２０ａを構成するレリーズ釦の半押し操作に基づく制御信号を受け付けたか否かを判定する。ＣＰＵ１４ａは、その制御信号を受け付けた場合、スルー画像を用いて被写界の測光値を算出し、公知のＡＥ演算により露出条件を求める。ＣＰＵ１４ａは、ステップＳ１０３（ＹＥＳ側）へ移行する。一方、ＣＰＵ１４ａは、制御信号を受け付けなかった場合、ステップＳ１０１（ＮＯ側）へ移行し、次のスルー画像を取得する。

ステップＳ１０３：被写体認証部２１ａは、ステップＳ１０１において検出された人物の顔の特徴点と、メモリ１５ａに予め登録された認証対象の人物の認証ファイルにおける特徴点とを相関処理などに基づいて比較する。被写体認証部２１ａは、検出された人物が認証対象の人物に一致するか否かを判定する。被写体認証部２１ａは、検出された人物が認証対象の場合、ステップＳ１０４（ＹＥＳ側）へ移行し、検出された人物が認証対象でない場合、ステップＳ１０５（ＮＯ側）へ移行する。

ステップＳ１０４：画像処理部２２ａは、検出された人物の認証ファイルにおける画像効果処理の設定情報に基づいて、検出された人物に対する画像効果処理を設定する。例えば、画像処理部２２ａは、まず図２に示す認証ファイルの設定情報のうち画像効果処理を行うか否かの設定がＯＮか否かを判定する。画像処理部２２ａは、その設定がＯＮの場合、個々の画像効果処理、図２に示すように、目強調処理および小顔処理をＯＮに、美肌処理をＯＦＦに設定する。一方、画像処理部２２ａは、画像効果処理を行うか否かの設定がＯＦＦの場合、初期設定を維持する。

ここで、本実施形態の画像処理部２２ａは、検出された人物に対する画像効果処理の設定を、被写体認証部２１ａによる判定結果および認証ファイルの設定情報に基づいて行ったが、これに限定されない。画像処理部２２ａは、露光条件、撮像日時、検出された人物の顔領域の大きさなどに応じて、初期設定や認証ファイルの設定情報を一時的に変更して設定してもよい。

例えば、画像処理部２２ａは、露出条件の露出値が大きい場合、被写界は晴天野外などの明るい環境であり、十分な明るさが確保されていると判断し、たとえ初期設定や認証ファイルの設定情報では美肌処理がＯＮに設定されている場合でも、一時的に美肌処理をＯＦＦに変更して設定するのが好ましい。逆に、露出値が小さい場合、画像処理部２２ａは、被写界は室内や夜などの暗い環境であり、十分な明るさが確保できないと判断し、たとえ初期設定や認証ファイルの設定情報では美肌処理がＯＦＦに設定されている場合でも、一時的に美肌処理をＯＮに変更して設定することが好ましい。

一方、画像処理部２２ａは、撮像日時に基づいて、例えば、昼間や夜間、または季節などを判断し、初期設定や認証ファイルにおける設定情報と異なる、撮像日時に適した設定に一時的に変更し設定することが好ましい。

また、画像処理部２２ａは、検出された人物の顔領域がスルー画像に占める割合を求め、その割合に応じて、初期設定や認証ファイルにおける設定情報と異なる設定に一時的に変更し設定してもよい。例えば、画像処理部２２ａは、人物の顔領域の占める割合が大きく美肌処理の設定がＯＦＦに設定されている場合、美肌処理を一時的にＯＮに変更し設定するのが好ましい。一方、画像処理部２２ａは、人物の顔領域の占める割合が小さく小顔処理の設定がＯＦＦに設定されている場合、小顔処理をＯＮに変更して設定することが好ましい。

最後に、画像処理部２２ａは、検出された人物の顔の表情を、公知の表情検出処理に基づいて検出し、その検出結果に応じて、初期設定や認証ファイルにおける設定情報と異なる設定に一時的に変更してもよい。例えば、画像処理部２２ａは、上記表情検出処理により人物の表情が笑顔と検出され、目強調処理の設定がＯＮに設定されている場合、目強調処理をＯＦＦに変更して設定することが好ましい。これにより、その人物の笑いじわなどの強調を回避することができ、より自然な表情にすることができる。

なお、ＣＰＵ１４ａは、画像処理部２２ａによるこのような一時的な変更の回数を、画像効果処理および人物ごとに数えることが好ましい。画像処理部２２ａが、その回数を数えることにより、人物に対するよりきめ細かな画像効果処理を行うことが可能となる。

ステップＳ１０５：ＣＰＵ１４ａは、ユーザによる操作部２０ａを構成するレリーズ釦の全押し操作の撮像指示を受け付けたか否かを判定する。ＣＰＵ１４ａは、撮像指示を受け付けた場合、撮像素子１２ａに被写界を撮像させ、ステップＳ１０６（ＹＥＳ側）へ移行する。一方、ＣＰＵ１４ａは、撮像指示を受け付けなかった場合、ステップＳ１０１（ＮＯ側）へ移行する。ＣＰＵ１４ａは、次のスルー画像を取得し、ステップＳ１０１〜ステップＳ１０５の処理を行う。

ステップＳ１０６：ＣＰＵ１４ａは、撮像素子１２ａに、単写モードの静止画モードで被写界を撮像させる。画像処理部２２ａは、ＤＦＥ１３ａから出力されるデジタル画像信号に対して各種画像処理を施す。画像処理部２２ａは、ステップＳ１０３において被写体認証部２１ａにより検出された人物が認証対象と認証された場合、ステップＳ１０４において設定された画像効果処理を静止画像に施す。一方、画像処理部２２ａは、ステップＳ１０３において検出された人物が認証対象でないと認証された場合、初期設定の画像効果処理を静止画像に施す。

ステップＳ１０７：ＣＰＵ１４ａは、処理された画像データを静止画像の画像ファイルとして生成し、記憶媒体１７ａなどに記録する。なお、本実施形態のＣＰＵ１４ａは、静止画像の画像ファイルを、例えば、Ｅｘｉｆ(Exchangeable image file format for digital still cameras)規格やＴＩＦＦ／ＥＰ規格などに準拠した形式で生成し、露出条件、撮像日時などとともに、画像処理部２２ａで施された各種画像処理および画像効果処理の情報を付加するものとする。

また、ＣＰＵ１４ａは、ステップＳ１０４において数えられる、露出条件などに応じて画像処理部２２ａが画像効果処理の設定を一時的に変更した回数も画像ファイルに付加されることが好ましい。

ステップＳ１０８：ＣＰＵ１４ａは、ステップＳ１０４において画像処理部２２ａに設定された画像効果処理の設定を初期設定に戻し、一連の処理を終了する。

なお、ＣＰＵ１４ａは、画像処理部２２ａによる画像効果処理の設定が露光条件などによって変更された場合、ある人物に対する一の画像効果処理の一時的な変更の回数が所定数（例えば３回）以上となった場合、その人物の認証ファイルにおける一の画像効果処理の設定を、一時的に変更した設定に更新することが好ましい。ＣＰＵ１４ａは、設定情報が更新されたその人物の認証ファイルをメモリ１５ａに上書き保存する。
（Ｂ）デジタルカメラの画像再生処理
図４に示すフローチャートを参照しつつ、デジタルカメラ１ａによる画像再生処理について説明する。なお、本実施形態のデジタルカメラ１ａは、動作モードとして、撮像された静止画像または動画を、モニタ１９ａに再生表示する再生モードを有する。また、静止画像を本画像とし、その静止画像の画像ファイルには、上記（Ａ）の撮像動作処理により、露出条件、撮像日時などとともに、画像処理部２２ａにより施された各種画像処理および画像効果処理の情報が付加されているものとする。

ＣＰＵ１４ａは、ユーザによる操作部２０ａの電源釦操作により、電源投入指示を受け付け、デジタルカメラ１ａの電源を投入する。ＣＰＵ１４ａは、デジタルカメラ１ａを初期化する。ＣＰＵ１４ａは、ユーザによる操作部２０ａの操作指示により動作モードを再生モードに設定し、ステップＳ２０１からの処理を開始する。

ステップＳ２０１：ＣＰＵ１４ａは、ユーザによる操作部２０ａの操作に応じて、ユーザにより指定された静止画像の画像ファイルを読み込む。ＣＰＵ１４ａは、読み込んだ画像ファイルの静止画像をモニタ１９ａに再生表示する。同時に、ＣＰＵ１４ａは、画像ファイルに付加された、露出条件や撮像日時、画像処理部２２ａにより施された各種画像処理および画像効果処理などの情報を取得する。

ステップＳ２０２：被写体認証部２１ａは、表示された静止画像に公知の顔検出処理を施して、静止画像の被写界から人物の顔を検出する。被写体認証部２１ａは、人物の顔を検出できなかった場合（ＮＯ側）、一連の処理を終了する。一方、被写体認証部２１ａは、人物の顔を検出した場合、ステップＳ２０３（ＹＥＳ側）へ移行する。

ステップＳ２０３：被写体認証部２１ａは、ステップＳ２０２において検出された人物の顔の特徴点と、メモリ１５ａに予め登録された認証対象の人物の認証ファイルにおける特徴点とを相関処理などに基づいて比較する。被写体認証部２１ａは、検出された人物が認証対象の人物に一致するか否かを判定する。被写体認証部２１ａは、検出された人物が認証対象の場合、ステップＳ２０４（ＹＥＳ側）へ移行し、検出された人物が認証対象でない場合、ステップＳ２０６（ＮＯ側）へ移行する。

ステップＳ２０４：ＣＰＵ１４ａは、例えば、モニタ１９ａに「画像効果処理を行いますか？」などのダイアログを表示し、ユーザに対し画像効果処理を行うか否かを問い合わせる。ＣＰＵ１４ａは、操作部２０ａを介して、ユーザの応答を受け付け、画像効果処理を行わないという応答の場合（ＮＯ側）、一連の処理を終了する。一方、ＣＰＵ１４ａは、画像効果処理を行うという応答を受け付けた場合、ステップＳ２０５（ＹＥＳ側）へ移行する。

ステップＳ２０５：ＣＰＵ１４ａは、画像処理部２２ａによる画像効果処理の設定のために、モニタ１９ａに「認証ファイルの設定に基づいた画像効果処理を行いますか？」などのダイアログを表示し、ユーザに対し認証ファイルの設定情報に基づいた画像効果処理を行うか否かを問い合わせる。ＣＰＵ１４ａは、操作部２０ａを介して、ユーザの応答を受け付ける。ＣＰＵ１４ａは、認証ファイルの設定に基づいた画像効果処理を行うという応答を受け付けた場合、例えば、検出された人物の認証ファイルにおいてＯＮに設定された画像効果処理の一覧をモニタ１９ａに表示する。画像処理部２２ａは、モニタ１９ａに一覧表示された画像効果処理を設定し、静止画像に対して設定された画像効果処理を行う。一方、ＣＰＵ１４ａは、認証ファイルの設定に基づいた画像効果処理を行わないとする応答を受け付けた場合、初期設定の画像効果処理の一覧をモニタ１９ａに表示し、画像処理部２２ａは、初期設定の画像効果処理を静止画像に対して行う。ＣＰＵ１４ａは、ステップＳ２１２へ移行する。

なお、ＣＰＵ１４ａは、静止画像の画像ファイルに付加された画像効果処理の情報を参照して、検出された人物の認証ファイルで設定された画像効果処理が既に行われているか否かを判定し、認証ファイルの設定情報に基づいた画像効果処理を行うか否かを判定してもよい。また、画像処理部２２ａは、認証ファイルで設定された画像効果処理のうち、未処理の画像効果処理のみを静止画像に対し施してもよい。

ステップＳ２０６：ＣＰＵ１４ａは、例えば、モニタ１９ａに「画像効果処理を行いますか？」などのダイアログを表示し、ユーザに対して、登録されていない人物が撮像された静止画像に画像効果処理を行うか否かを問い合わせる。ＣＰＵ１４ａは、操作部２０ａを介して、ユーザの応答を受け付け、画像効果処理を行わないという応答の場合、ステップＳ２１０（ＮＯ側）へ移行する。一方、ＣＰＵ１４ａは、画像効果処理を行うという応答を受け付けた場合、ステップＳ２０７（ＹＥＳ側）へ移行する。

なお、ＣＰＵ１４ａは、静止画像の画像ファイルに付加された画像効果処理の情報を参照して、少なくとも初期設定の画像効果処理が行われているか否かを判定し、登録されていない人物が撮像された静止画像に画像効果処理を行うか否かを判定してもよい。

ステップＳ２０７：ＣＰＵ１４ａは、例えば、初期設定の画像効果処理の一覧をモニタ１９ａに表示する。画像処理部２２ａは、モニタ１９ａに一覧表示された画像効果処理を静止画像に対して行う。

ステップＳ２０８：ＣＰＵ１４ａは、例えば、モニタ１９ａに「検出された人物の認証登録を行いますか？」などのダイアログを表示し、ユーザに対して登録を行うか否かを問い合わせる。ＣＰＵ１４ａは、操作部２０ａを介して、ユーザの応答を受け付け、登録するという応答の場合、ステップＳ２０９（ＹＥＳ側）へ移行し、登録しないという応答の場合、ステップＳ２１２（ＮＯ側）へ移行する。

ステップＳ２０９：ＣＰＵ１４ａは、ステップＳ２０２において検出された人物の認証ファイルを生成して、メモリ１５ａに記録して登録する。すなわち、ＣＰＵ１４ａは、静止画像に撮像され検出された人物が１人の場合、ステップＳ２０２で被写体認証部２１ａによって検出された人物の特徴点を認証データとする。また、ＣＰＵ１４ａは、ステップＳ２０７において施された画像効果処理をＯＮに設定した設定情報を作成する。ＣＰＵ１４ａは、上記認証データおよび設定情報を用いて、検出された人物の認証ファイルを新たに生成し、メモリ１５ａに記録して登録する。

なお、ＣＰＵ１４ａは、静止画像に撮像され検出された人物が複数の場合、ステップＳ２０２で被写体認証部２１ａによって検出された各人物の特徴点をそれぞれの認証データとする。同時に、ＣＰＵ１４ａは、画像ファイルに付加された合焦領域と各人物の顔領域との位置を比較し、合焦領域に位置する人物を特定する。ＣＰＵ１４ａは、ステップＳ２０７において行われた画像効果処理は、合焦領域に位置する人物に対して行われたと判断し、実行された画像効果処理をＯＮに設定したその人物の設定情報を作成する。一方、ＣＰＵ１４ａは、合焦領域以外に位置する人物に対し、画像効果処理をＯＦＦに設定した設定情報を作成する。ＣＰＵ１４ａは、上記認証データおよび設定情報を用いて各人物の認証ファイルを生成して、メモリ１５ａに記録して登録する。

ステップＳ２１０：ＣＰＵ１４ａは、ステップＳ２０８と同様に、例えば、モニタ１９ａに「検出された人物の認証登録を行いますか？」などのダイアログを表示し、ユーザに対して登録を行うか否かを問い合わせる。ＣＰＵ１４ａは、操作部２０ａを介して、ユーザの応答を受け付け、登録するという応答の場合、ステップＳ２１１（ＹＥＳ側）へ移行し、登録しないという応答の場合（ＮＯ側）、一連の処理を終了する。

ステップＳ２１１：ＣＰＵ１４ａは、ステップＳ２０９と同様に、ステップＳ２０２において検出された人物の認証ファイルを生成して、メモリ１５ａに記録して登録する。ＣＰＵ１４ａは、一連の処理を終了する。

ステップＳ２１２：ＣＰＵ１４ａは、ステップＳ２０５またはステップＳ２０７において処理された静止画像をモニタ１９ａに表示し、一連の処理を終了する。
（Ｃ）システムの動作処理
図５に示すフローチャートを参照しつつ、システムの動作として、デジタルカメラ１ｂが撮像した本画像をデジタルカメラ１ａに転送し、デジタルカメラ１ａが、受信した本画像に基づいて動作処理する場合について説明する。すなわち、本実施形態のデジタルカメラ１ａ、１ｂは、動作モードとして、撮像した静止画像または動画などのデータを外部装置に転送するデータ転送モードを有する。また、静止画像を本画像とし、その静止画像の画像ファイルには、上記（Ａ）の撮像動作処理により、露出条件、撮像日時などとともに、デジタルカメラ１ｂの画像処理部２２ｂにより施された各種画像処理および画像効果処理の情報が付加されているものとする。

ここで、図５に示すように、システムの動作は、図４に示す上記（Ｂ）の画像再生処理と類似しており、同じ処理には、同一のステップ番号を付し詳細な説明は省略する。

図５に示すシステムの動作処理と図４に示す（Ｂ）の画像再生処理との相違点は、ステップＳ２０１がステップＳ３０１のデジタルカメラ１ａ−１ｂ間のデータ転送に変更される点にある。

すなわち、ステップＳ３０１において、ＣＰＵ１４ａおよび１４ｂは、デジタルカメラ１ａおよび１ｂの各ユーザによる操作部２０ａおよび２０ｂの操作指示により、動作モードをデータ転送モードに設定する。デジタルカメラ１ｂのＣＰＵ１４ｂは、ユーザによる操作部２０ｂの操作に応じて、指定された静止画像の画像ファイルを読み込む。ＣＰＵ１４ｂは、読み込んだ画像ファイルを、例えば、通信Ｉ／Ｆ１８ｂを介して、デジタルカメラ１ａへ送信する。デジタルカメラ１ａのＣＰＵ１４ａは、通信Ｉ／Ｆ１８ａを介して、デジタルカメラ１ｂから送信された画像ファイルを受信して、メモリ１５ａや記憶媒体１７ａに記録する。ただし、デジタルカメラ１ａ−１ｂ間のデータ転送は、記憶媒体１７ａまたは１７ｂの授受により行われてもよいし、インターネット上のサーバを介して行われてもよい。

デジタルカメラ１ａは、ステップＳ２０２〜ステップＳ２１２の処理を行うことにより、デジタルカメラ１ｂより受信した静止画像を再生するとともに、静止画像に撮像された人物が登録されていない場合、その人物を新たに撮像することなく認証ファイルを生成して、メモリ１５ａに記録して登録することができる。

なお、デジタルカメラ１ａのＣＰＵ１４ａは、静止画像に撮像された人物が登録されている場合であっても、画像ファイルに付加された画像効果処理の情報と、その人物の認証ファイルの設定情報とが異なる場合があるので、ユーザに対して、設定情報の上書きを行うか否かを問い合わせるようにするのが好ましい。

このように、本実施形態では、画像処理部２２が、被写体認証部２１による判定結果およびＣＰＵ１４による露出条件などに応じて、画像効果処理の設定を適宜変更し、その変更の頻度に基づいて、ユーザなどの指示制御がなくても、認証対象の人物の認証ファイルの設定を変更することができる。

また、ＣＰＵ１４は、被写体認証部２１により検出された人物が認証対象として登録されていない場合でも、画像ファイルに付加された露出条件などの撮像情報や施された各種画像処理および画像効果処理の情報に基づいて、検出された人物の認証ファイルを生成し、メモリ１５に記録して登録することができる。これにより、例えば、運動会などで撮像した家族や友人などの本画像を再生表示するだけで、人物の認証データおよび画像効果処理の設定が複雑な操作なしに一括して設定して登録されることから、ユーザにとって使い勝手がよい。また、デジタルカメラなどの買い換え時においても、デジタルカメラ間で本画像を転送するだけで、人物の登録および人物ごとの画像効果処理の設定が複雑な操作なしに容易に行える。
《実施形態の補足事項》
（１）上記実施形態では、デジタルカメラ１ａの被写体認証部２１ａ、画像処理部２２ａ、およびデジタルカメラ１ｂの被写体認証部２１ｂ、画像処理部２２ｂの各処理を、ＣＰＵ１４ａおよび１４ｂがソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現しても勿論かまわない。

（２）本発明の画像処理装置は、上記実施形態のデジタルカメラ１ａや１ｂの例に限定されない。例えば、デジタルフォトフレームや、画像処理プログラムをコンピュータに実行させることによりコンピュータを本発明の画像処理装置として機能させてもよい。

（３）上記実施形態では、本画像を静止画像としたが、本発明はこれに限定されず、動画などに対しても適用可能である。

（４）上記実施形態では、デジタルカメラ１ａの撮像動作処理において、ＣＰＵ１４ａは、被写体認証部２１ａにより検出された人物が認証対象でないと判定された場合、検出された人物の認証ファイルを新たに生成して、メモリ１５ａに記録して登録しなかったが、本発明はこれに限定されない。例えば、図４に示すデジタルカメラ１ａの画像再生処理のステップＳ２１１のように、ＣＰＵ１４ａは、検出された人物の認証ファイルを生成して、メモリ１５ａに記録して登録してもよい。

（５）上記実施形態では、図２に示す認証ファイルにおいて、設定情報は、画像効果処理を行うか否かの設定および画像効果処理ごとの設定とから構成されたが、本発明はこれに限定されず、認証ファイルは、図６に示すように、画像処理部２２ａにより各画像効果処理の設定が一時的に変更された回数の情報を保持してもよい。

（６）上記実施形態では、デジタルカメラ１ａの撮像動作処理のステップＳ１０４において、画像処理部２２ａは、被写体認証部２１ａにより検出された人物が認証された場合、その人物の認証ファイルの設定情報に基づいて画像効果処理を設定したが、本発明はこれに限定されない。例えば、画像処理部２２ａは、撮像時に、ある人物に対する一の画像効果処理の設定を一時的に変更して実行した場合、その人物の認証ファイルにおける一の画像効果処理の設定を上記一時的に変更した設定に変更し、メモリ１５ａに記録してもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１ａ、１１ｂ…撮像光学系、１２ａ、１２ｂ…撮像素子、１３…ＤＦＥ、１４…ＣＰＵ、１５…メモリ、１６…記録Ｉ／Ｆ、１７…記憶媒体、１８…通信Ｉ／Ｆ、１９…モニタ、２０…操作部、２１…被写体認証部、２２…画像処理部

Claims (10)

1. 認証対象の特徴点を示す認証データおよび前記認証対象が撮像された画像に所定の画像効果を与える画像効果処理の設定情報を記憶する記憶部と、
   処理対象の対象画像に対し特徴点を抽出して前記対象画像の被写界から主要被写体を検出し、前記認証データに基づいて、検出された前記主要被写体が前記認証対象に一致するか否かを判定する被写体認証部と、
   前記対象画像に画像処理とともに、前記被写体認証部による判定結果が真の場合、前記設定情報に基づいた前記画像効果処理を施す画像処理部と、
   前記判定結果が偽の場合、検出された前記主要被写体を新たな認証対象として、前記主要被写体の特徴点の認証データを前記記憶部に記録して登録する制御部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記制御部は、前記画像処理部により前記対象画像に施された前記画像効果処理の処理情報を前記対象画像に付加することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   外部装置とデータの入出力を行うインタフェース部を備え、
   前記制御部は、前記インタフェース部を介して、前記外部装置に前記対象画像を出力する
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
   前記対象画像は、予め画像効果処理が施され、施された前記画像効果処理の処理情報が付加され、
   前記制御部は、前記判定結果が偽の場合、前記処理情報を前記主要被写体の設定情報とし、前記主要被写体の認証データとともに前記記憶部に記憶して登録する
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記制御部は、前記被写体認証部により前記認証対象と異なる複数の主要被写体が認識された場合、前記対象画像に付加された撮像情報に基づいて、前記複数の主要被写体のうち合焦領域に位置する主要被写体を特定し、前記処理情報を前記合焦領域に位置する主要被写体の設定情報とする
   ことを特徴とする画像処理装置。
6. 請求項４または請求項５に記載の画像処理装置において、
   前記画像処理部は、前記判定結果が真の場合、前記対象画像に付加された前記処理情報と前記主要被写体の前記設定情報とを比較し、未処理の画像効果処理を前記対象画像に施すことを特徴とする画像処理装置
7. 請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
   前記画像処理部は、前記対象画像に付加された撮像情報または前記認証対象と判定された前記主要被写体の状態に応じて、前記画像効果処理の設定を前記設定情報と異なる設定に変更し、前記画像効果処理を前記対象画像に施すことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記制御部は、前記画像処理部が前記画像効果処理の設定を前記設定情報から変更した回数を数え、前記回数が所定数以上の場合、前記設定情報を変更後の設定に更新することを特徴とする画像処理装置。
9. 被写界を撮像して画像を生成する撮像部と、
   請求項１ないし請求項８のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
10. 複数の請求項１ないし請求項８のいずれか１項に記載の画像処理装置を備えることを特徴とするシステム。

Images