JP5299912B2 - 撮像装置及び画像ファイルのデータ構造 - Google Patents

Description

本発明は、デジタルカメラ等の撮像装置に関する。また、本発明は、画像ファイルのデータ構造に関する。

近年、記録媒体の大容量化に伴って大量の画像を記録媒体に記録することが可能となっている。このため、大量の画像の中から所望の画像を効率的に見つけ出すための検索方法又は分類方法が求められている。

これに鑑み、下記特許文献１では、対象画像の撮影時における情報を用いて、画像分類に適した分類情報を対象画像に付加している。画像再生時に該分類情報を用いることで、所望の画像を見つけ出しやすくなる。

特開２００８−７２４９７号公報

しかしながら、特許文献１の方法では、対象画像の検索又は分類の際、対象画像そのものの撮影時情報のみを用いているため、検索又は分類の高効率化が限られる。

そこで本発明は、所望画像の探索効率化に寄与する撮像装置及び画像ファイルのデータ構造を提供することを目的とする。

本発明に係る撮像装置は、撮影によって画像の画像データを生成する撮像部と、前記撮像部によって生成された主画像の画像データを前記主画像から得られる主付加情報と共に記録媒体に記録する記録制御部と、を備えた撮像装置において、前記記録制御部は、前記主画像と異なるタイミングで撮影された副画像から得られる副付加情報を、前記主画像の画像データ及び前記主付加情報に関連付けて前記記録媒体に記録することを特徴とする。

副画像には、主画像の撮影環境等に関する、主画像からは得ることのできない重要な情報が含まれていることもある。これに鑑み、上記の如く、副画像から得られる副付加情報を、主画像の画像データ及び主付加情報に関連付けて記録媒体に記録する。副付加情報を利用して画像検索等を行うようにすれば、所望の画像を効率的に見つけ出すことが可能となる。

具体的には例えば、対象画像の画像データに基づいて、前記対象画像に含まれる特定種類の被写体を検出する又は前記対象画像の画像特徴を検出する画像解析部を当該撮像装置は更に備え、前記記録制御部は、前記主画像を前記対象画像としたときの前記画像解析部の検出結果を前記主付加情報に含めるとともに、前記副画像を前記対象画像としたときの前記画像解析部の検出結果を前記副付加情報に含める。

また例えば、前記記録制御部は、前記主画像の撮影に先立って撮影画角の変更がなされた場合、その変更前に前記撮像部にて撮影された画像を、前記副画像として用いる。

また例えば、当該撮像装置に対して所定の第１操作がなされたときにオートフォーカス制御を実行し、前記オートフォーカス制御の実行後に当該撮像装置に対して所定の第２操作がなされたときに前記主画像の撮影を前記撮像部に行わせる撮影制御部を当該撮像装置は更に備え、前記記録制御部は、前記第１操作及び前記第２操作間に前記撮像部にて撮影された画像を、前記副画像として用いる。

また例えば、前記画像解析部は、前記特定種類の被写体として人物の顔を検出又は認識する。

また例えば、前記記録制御部は、被写体をフラッシュ光にて照らした状態で前記主画像の撮影が行われた場合、そのフラッシュ光の照射前に前記撮像部にて撮影された画像を、前記副画像として用いる。

本発明に係る画像ファイルのデータ構造では、撮影によって得た主画像の画像データと、前記主画像から得られる主付加情報と、前記主画像よりも前に撮影された副画像から得られる副付加情報と、が互いに関連付けて格納されている。

本発明によれば、所望画像の探索効率化に寄与する撮像装置及び画像ファイルのデータ構造を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の構成を表すブロック図である。 図１の撮像部の内部構成図である。 記録媒体に記録されるべき画像ファイルの構造を示す図である。 本発明の実施形態の具体例にて想定される主入力画像、主タグ情報及び画像ファイルを示す図である。 本発明の実施形態の具体例にて想定される副入力画像、主入力画像、主タグ情報及び副タグ情報を示す図である。 第１の副入力画像及び主入力画像の撮影タイミング関係を表す図である。 プレビュー画像内にＡＦ評価領域が設定される様子を示す図である。 第２の副入力画像及び主入力画像の撮影タイミング関係を表す図である。 第３の副入力画像及び主入力画像の撮影タイミング関係を表す図である。 第４の副入力画像及び主入力画像の撮影タイミング関係を表す図である。 画像ファイルの作成動作に関する、図１の撮像装置の動作フローチャートである。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の構成を表すブロック図である。撮像装置１は、符号１１〜２１によって参照される各部位を備える。撮像装置１は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影可能なデジタルスチルカメラであっても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行うことで被写体の画像の画像データを取得する。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。

撮像素子３３は、光学系３５及び絞り３２を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られたアナログの電気信号を出力する。図示されないＡＦＥ（Analog Front End）は、撮像素子３３から出力されたアナログ信号を増幅してデジタル信号に変換する。得られたデジタル信号は、被写体の画像の画像データとして、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成される画像メモリ１２に記録される。

画像メモリ１２に記録された１フレーム周期分の画像データによって表される１枚分の画像を、以下、フレーム画像と呼ぶ。尚、本明細書では、画像データを単に画像ということがある。

フレーム画像の画像データは、入力画像の画像データとして、撮像装置１内の必要部位（例えば画像解析部１４）に送られる。この際、フレーム画像の画像データに対して必要な画像処理（ノイズ低減処理、エッジ強調処理など）を施し、その画像処理後の画像データを入力画像の画像データとして画像解析部１４等に送るようにしてもよい。

撮影制御部１３は、ズームレンズ３０及びフォーカスレンズ３１の各位置並びに絞り３２の開度を適切に調節するための制御信号を、ドライバ３４に出力する（図２参照）。この制御信号に基づいてドライバ３４が、それらの位置及び開度を駆動制御することにより、撮像部１１の画角（焦点距離）及び焦点位置並びに撮像素子３３への入射光量が調節される。

画像解析部１４は、入力画像の画像データに基づいて、入力画像に含まれる特定種類の被写体の検出を行う。

特定種類の被写体には、人物の顔又は人物そのものが含まれる。画像解析部１４は、顔検出処理によって、入力画像中の顔及び人物を検出する。顔検出処理では、入力画像の画像データに基づいて、入力画像の画像領域から人物の顔部分を含む領域である顔領域を検出して抽出する。或る入力画像からｐ個の顔領域が抽出されたとき、画像解析部１４は、その入力画像中にｐ個の顔が存在している又はｐ人の人物が存在している、と判断する（ｐは自然数）。画像解析部１４は、公知の方法を含む任意の方法によって顔検出処理を実行可能である。尚、以下、顔検出処理によって抽出された顔領域内の画像を、抽出顔画像とも呼ぶ。

また、顔認識処理を実行可能なように画像解析部１４を形成しても良い。顔認識処理では、顔検出処理によって入力画像から抽出された顔を有する人物が、予め設定された１又は複数の登録人物の内の、何れの人物であるかを認識する。顔認識処理の方法として様々な手法が知られており、画像解析部１４は、公知の方法を含む任意の方法によって顔認識処理を実行可能である。

例えば、顔認識処理を、抽出顔画像の画像データと、照合用の顔画像データベースと、に基づいて行うことができる。顔画像データベースには、互いに異なる複数の登録人物についての顔画像の画像データが格納されている。顔画像データベースを、画像解析部１４内に予め設けておくことができる。顔画像データベースに格納されている登録人物の顔画像を登録顔画像と呼ぶ。抽出顔画像の画像データ及び登録顔画像の画像データに基づく抽出顔画像及び登録顔画像間の類似度評価を登録顔画像ごとに行うことで、顔認識処理を実現することができる。

尚、抽出顔画像の画像データに基づいて、その抽出顔画像に対応する人物の性別、人種及び年齢層などを推定するようにしてもよい。この推定方法として、公知の方法（例えば、特開２００４−２４６４５６号公報、特開２００５−２６６９８１号公報または特開２００３−２４２４８６号公報に記載の方法）を含む任意の方法を利用することができる。

更に、画像解析部１４は、入力画像の画像データに基づいて、入力画像上に存在する、顔又は人物以外の特定種類の被写体を検出することもできる。この検出を行うための処理を、便宜上、物体検出処理という。検出されるべき物体が顔又は人物であると考えたならば、物体検出処理は顔検出処理である。

物体検出処理にて検出されるべき被写体の種類は任意である。例えば、物体検出処理にて、画像上における、車、木、高層建築物であるビルなどを検出することができる。画像上における車、木、ビルなどの検出に、エッジ検出、輪郭検出、画像マッチング、パターン認識など、各種の画像処理を利用可能であり、公知の方法を含む任意の方法を利用可能である。例えば、特定種類の被写体が車である場合、入力画像の画像データに基づいて入力画像上のタイヤを検出することにより、或いは、入力画像の画像データと予め用意された車の画像の画像データとを用いた画像マッチングにより、入力画像上の車を検出することができる。

更に、画像解析部１４は、入力画像の画像データに基づいて、入力画像の画像特徴を検出することもできる。この検出を行うための処理を、画像特徴検出処理という。画像特徴検出処理では、例えば、入力画像の輝度レベルに基づいて、入力画像が暗い所にて撮影された画像であるのか、明るい所で撮影された画像であるのか、或いは、逆光下で撮影された画像であるのか等を、検出することができる。

以下、上述の顔検出処理、顔認識処理、人物の性別、人種及び年齢層を推定する処理、物体検出処理、並びに、画像特徴検出処理を含む処理を総称して、画像解析と言う。

記録媒体１５は、磁気ディスクや半導体メモリ等から成る不揮発性メモリである。入力画像の画像データを、画像ファイルに格納した上で記録媒体１５に記録することができる。

図３に、１つの画像ファイルの構造を示す。１つの静止画像又は動画像に対して１つの画像ファイルが作成される。画像ファイルの構造を任意の規格に準拠させることができる。画像ファイルは、静止画像又は動画像の画像データが格納されるべき本体領域と、付加情報が格納されるべきヘッダ領域からなる。本例では、入力画像の画像データそのもの又は該画像データの圧縮データが本体領域に格納される。尚、本明細書において、“データ”と“情報”は、同義である。

１つの画像ファイルにおける本体領域とヘッダ領域は、当然の如く、互いに関連付けられた記録領域であるため、同一の画像ファイルの本体領域及びヘッダ領域内に格納されたデータ同士は必然的に互いに関連付けられる。ヘッダ領域に格納されるべき付加情報については後に詳説する。

記録制御部１６は、記録媒体１５にデータを記録させるために必要な各種の記録制御を行う。表示部１７は、液晶ディスプレイ等から成り、撮像部１１の撮影によって得られた入力画像や、記録媒体１５に記録されている画像などを表示する。操作部１８は、ユーザが撮像装置１に対して各種操作を行うための部位である。操作部１８には、静止画像の撮影指示を行うためのシャッタボタン１８ａ、動画像の撮影開始及び終了を指示するための録画ボタン（不図示）が含まれる。主制御部１９は、操作部１８に対して成された操作内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。発光部２０は、キセノン管や発光ダイオードを光源とする発光装置であり、シャッタボタン１８ａの押下タイミングに従う、撮影制御部１３にて指示されたタイミングにおいて、必要に応じ、その光源にて生成されたフラッシュ光を被写体に照射する。

画像検索部２１は、記録媒体１５に記録された多数の画像ファイルの中から、特定の条件を満たす画像ファイルを検索する。検索結果は、表示部１７の表示内容に反映される。画像検索部２１の検索モードには、通常検索モードを含む複数の検索モードが存在する。操作部１８に対する操作内容に従って、実際に実行される検索モードが指定される。

図４を参照して、通常検索モードについて説明する。今、シャッタボタン１８ａの押下操作に従い、４枚の静止画像としての４枚の入力画像Ｉ_M［１］〜Ｉ_M［４］が撮像部１１の撮影によって取得されたとする。この場合、記録制御部１６は、４つの画像ファイルＦＬ［１］〜ＦＬ［４］を記録媒体１５内に作成し、画像ファイルＦＬ［１］〜ＦＬ［４］の本体領域に、夫々、入力画像Ｉ_M［１］〜Ｉ_M［４］の画像データを記録する。尚、画像ファイルの本体領域に画像データが記録されるべき入力画像を、特に主入力画像とも呼ぶ。シャッタボタン１８ａの押下操作は、主入力画像としての静止画像の撮影を指示する操作である。

一方において、画像解析部１４は、入力画像Ｉ_M［１］〜Ｉ_M［４］の夫々に対して画像解析を行う。記録制御部１６は、入力画像Ｉ_M［ｉ］に対する画像解析によって得られた情報を、主タグ情報として画像ファイルＦＬ［ｉ］のヘッダ領域に記録する。ここで、ｉは自然数である。従って、入力画像Ｉ_M［１］の画像解析によって得られた主タグ情報は画像ファイルＦＬ［１］のヘッダ領域に記録され、入力画像Ｉ_M［２］の画像解析によって得られた主タグ情報は画像ファイルＦＬ［２］のヘッダ領域に記録される（入力画像Ｉ_M［３］及びＩ_M［４］についても同様）。尚、画像ファイルＦＬ［ｉ］のヘッダ領域には、入力画像Ｉ_M［ｉ］についての主タグ情報の他、入力画像Ｉ_M［ｉ］の撮影時刻を表す情報や、入力画像Ｉ_M［ｉ］のサムネイル画像の画像データなど、入力画像Ｉ_M［ｉ］に関連する様々な情報が記録される。

以下の説明では、説明の簡略化上、撮像装置１の被写体には、人物、ビル、木及び車しか含まれていないものとする（即ち、人物、ビル、木及び車以外の被写体の存在を無視する）。また、記録媒体１５に記録されている画像ファイルは、画像ファイルＦＬ［１］〜ＦＬ［４］のみであることを想定する。

入力画像Ｉ_M［１］の被写体には人物のみが含まれ、入力画像Ｉ_M［２］の被写体には人物と車のみが含まれ、入力画像Ｉ_M［３］の被写体には人物、ビル及び車のみが含まれ、入力画像Ｉ_M［４］の被写体には人物のみが含まれているものとする。

記録制御部１６は、入力画像Ｉ_M［ｉ］に対する画像解析によって検出された被写体の種類を、入力画像Ｉ_M［ｉ］の主タグ情報に書き込む。このため、入力画像Ｉ_M［１］の主タグ情報には“人物”のみが書き込まれ、入力画像Ｉ_M［２］の主タグ情報には“人物”及び“車”のみが書き込まれ、入力画像Ｉ_M［３］の主タグ情報には“人物”、“ビル”及び“車”のみが書き込まれ、入力画像Ｉ_M［４］の主タグ情報には“人物”が書き込まれると共に“ポートレート”が書き込まれる。

画像解析部１４は、注目入力画像の全画像領域中に占める抽出顔領域の大きさの割合が所定の基準割合以上の場合に、注目入力画像がポートレート画像であると判断する。入力画像Ｉ_M［４］がポートレート画像であると判断されたため、記録制御部１６は、その判断結果に従って入力画像Ｉ_M［４］の主タグ情報に“ポートレート”を書き込む。

また更に、顔認識処理によって、入力画像Ｉ_M［４］に含まれている人物が登録人物Ｈ_Aであることが検出されているものとする。この場合、記録制御部１６は、入力画像Ｉ_M［４］の主タグ情報に“人物Ｈ_A”を書き込む。

各入力画像の画像データ及び主タグ情報を格納した画像ファイルＦＬ［１］〜ＦＬ［４］が記録媒体１５に記録されている状態における、通常検索モードの動作を説明する。ユーザが検索条件を撮像装置１に設定することで、検索条件に従って画像ファイルの検索が行われる。検索条件は検索文言を指定することにより設定される。検索文言の指定は、例えば、操作部１８に対する操作によって実現される。表示部１７に所謂タッチパネル機能が備えられている場合は、その機能を利用して検索文言の指定を行っても良い。ユーザは、一文字ずつの文字入力によって検索文言の指定を行うことも可能であるし、用意された複数の候補文言の中から検索文言を選択指定することも可能である。

通常検索モードにおいて、画像検索部２１は、画像ファイルＦＬ［１］〜ＦＬ［４］の夫々を個別に注目する。そして、検索条件にて指定されている検索文言と一致（又は略一致）している文言が、注目した画像ファイルの主タグ情報の中に含まれている場合に、その注目した画像ファイルを、検索ファイルとして選択する。検索ファイルの選択後、画像検索部２１は、検索ファイルについての情報を表示部１７に表示させる。この情報の表示のさせ方は任意である。例えば、検索ファイルとして選択された画像ファイルの名称、及び／又は、検索ファイルとして選択された画像ファイル内の画像データに基づく画像（例えばサムネイル画像）を、表示部１７に表示することができる。

通常検索モードにおいて、
“人物”が検索文言として指定された場合は、画像ファイルＦＬ［１］〜ＦＬ［４］が検索ファイルとして選択され、
“車”が検索文言として指定された場合は、画像ファイルＦＬ［２］及びＦＬ［３］のみが検索ファイルとして選択され、
“ビル”が検索文言として指定された場合は、画像ファイルＦＬ［３］のみが検索ファイルとして選択され、
“ポートレート”が検索文言として指定された場合は、画像ファイルＦＬ［４］のみが検索ファイルとして選択され、
“人物Ｈ_A”が検索文言として指定された場合は、画像ファイルＦＬ［４］のみが検索ファイルとして選択される。

また、検索条件において複数の検索文言を指定することもできる。例えば、第１検索文言“車”及び第２検索文言“ビル”が共に主タグ情報に含まれているという条件が検索条件として設定された場合は、画像ファイルＦＬ［３］のみが検索ファイルとして選択される。また例えば、第１検索文言“車”又は第２検索文言“ビル”が主タグ情報に含まれているという条件が検索条件として設定された場合は、画像ファイルＦＬ［２］及びＦＬ［３］が検索ファイルとして選択される。

次に、図５を参照しつつ、画像検索部２１の検索モードの１つである拡張検索モードにて利用される副タグ情報の生成方法を説明する。拡張検索モードでは、主入力画像としての入力画像Ｉ_M［１］〜Ｉ_M［４］から得られる主タグ情報の他に、主入力画像よりも前に撮影された入力画像から得られる副タグ情報を利用する。副タグ情報を得るための、主入力画像よりも前に撮影された入力画像を、副入力画像とも呼ぶ。主入力画像と副入力画像は密接に関連した画像であると考えられ、主入力画像から得られる主タグ情報と副入力画像から得られる副タグ情報を併用することで、所望の画像ファイルを検索しやすくなる。拡張検索モードにおける検索動作は通常検索モードのそれと類似している。拡張検索モードにおける検索動作の説明は後に設けることとし、先に、副入力画像の取得方法及び副タグ情報の生成方法を説明する。

主入力画像Ｉ_M［１］〜Ｉ_M［４］に対する副入力画像を、夫々、記号Ｉ_S［１］〜Ｉ_S［４］によって表す。画像解析部１４は、副入力画像Ｉ_S［１］〜Ｉ_S［４］の夫々に対して画像解析を行う。記録制御部１６は、副入力画像Ｉ_S［ｉ］に対する画像解析によって得られた情報を、副タグ情報として画像ファイルＦＬ［ｉ］のヘッダ領域に記録する。ここで、ｉは自然数である。従って、副入力画像Ｉ_S［１］の画像解析によって得られた副タグ情報は画像ファイルＦＬ［１］のヘッダ領域に記録され、副入力画像Ｉ_S［２］の画像解析によって得られた副タグ情報は画像ファイルＦＬ［２］のヘッダ領域に記録される（副入力画像Ｉ_S［３］及びＩ_S［４］についても同様）。このような記録を行うことにより、主入力画像Ｉ_M［１］の画像データと主入力画像Ｉ_M［１］及び副入力画像Ｉ_S［１］から得られる主タグ情報及び副タグ情報は、記録媒体１５内で互いに関連付けられる。

撮像部１１は、所定のフレーム周期（例えば、１／３０秒）にて周期的に入力画像（フレーム画像）の撮影を行っており、順次得られる入力画像は表示部１７に更新表示される（即ち、順次得られる入力画像の集まりは動画像として表示部１７に表示される）。ユーザは、この表示内容を見ることによって撮像部１１の撮影範囲を確認し、所望のタイミングにて、シャッタボタン１８ａの押下操作による静止画像の撮影指示を行う。この撮影指示がなされた直後において撮像部１１から得られる画像データに基づき、主入力画像が生成される。主入力画像以外の各入力画像は、撮影範囲確認用の画像として機能し、主入力画像以外の入力画像を、プレビュー画像とも呼ぶ。副入力画像は、主入力画像の撮影前に撮影された何れかのプレビュー画像である。尚、主入力画像とプレビュー画像との間で、画像の解像度が異なりうる。

以下、第１〜第４の具体例として、副入力画像Ｉ_S［１］〜Ｉ_S［４］の撮影タイミング等を副入力画像ごとに説明する。

［第１の具体例］
まず、図６を参照して、Ｉ_S［１］及びＩ_M［１］に対応する第１の具体例を説明する。第１の具体例では、副入力画像の撮影タイミングと主入力画像の撮影タイミングとの間において、撮像部１１の画角の変更がなされたことを想定する。操作部１８に対する所定のズーム倍率変更操作に従って撮影制御部１３がズームレンズ３０を光学系３５内で移動させることにより、撮像部１１の画角が変更される（図２参照）。

入力画像Ｉ_S［１］及びＩ_M［１］の撮影タイミングを、それぞれ記号Ｔ_S［１］及びＴ_M［１］によって表す。撮影タイミングＴ_S［１］は、撮影タイミングＴ_M［１］よりも前のタイミングである。注目入力画像の撮影タイミングとは、例えば、注目入力画像の画像データを得るための、撮像素子３３の露光期間の開始時点を指す。

主入力画像Ｉ_M［１］の撮影に先立って撮像部１１の画角の変更がなされた場合、その変更前に撮像部１１から得られる画像データに基づく入力画像（プレビュー画像）が、副入力画像Ｉ_S［１］として取り扱われる。

具体的には以下のように処理することができる。撮像部１１の画角の変更を指示するズーム倍率変更操作がなされた際、実際に画角を変更する直前のタイミングを撮影タイミングＴ_S［１］として取り扱うと共に撮影タイミングＴ_S［１］に撮影された入力画像を副入力画像Ｉ_S［１］として取り扱い、副入力画像Ｉ_S［１］に対する画像解析の結果を表す情報Ｑ_S［１］を一時的に記録制御部１６等に設けられたメモリ（不図示）に記録しておく。

その後、画角の変更が終了して画角が固定された後、所定期間Ｐ_TH内に、シャッタボタン１８ａの押下操作がなされた場合に、その押下操作直後のタイミングを撮影タイミングＴ_M［１］として取り扱って主入力画像Ｉ_M［１］の撮影を行う。この撮影後、記録制御部１６は、主入力画像Ｉ_M［１］の画像データ及び主タグ情報と上記の情報Ｑ_S［１］に基づく副タグ情報を画像ファイルＦＬ［１］に記録する。

尚、画角の固定後、期間Ｐ_TH以上の長さを有する期間の経過後に、シャッタボタン１８ａの押下操作がなされた場合においては、入力画像Ｉ_M［１］及びＩ_S［１］間の関連性が低いことが予想されるため、画像ファイルＦＬ［１］に、副入力画像Ｉ_S［１］から得られる副タグ情報を記録しないようにしても良い（但し、その記録を行うことも可能である）。

副入力画像Ｉ_S［１］は比較的広い画角にて撮影された画像であり、主入力画像Ｉ_M［１］は比較的狭い画角にて撮影された画像である。この場合、副入力画像Ｉ_S［１］には、主入力画像Ｉ_M［１］には含まれない、注目被写体（本例において人物）の周辺被写体が含まれることも多い。この周辺被写体に関する情報を、副タグ情報として含めておけば、検索の利便性が向上する。

図５及び図６は、注目被写体としての人物を拡大して撮影すべく、ユーザがタイミングＴ_S［１］−Ｔ_M［１］間で画角を減少させる操作を行ったことを想定している。また、その人物の周囲に木が存在していたことを想定している。従って、比較的狭い画角にて撮影された主入力画像Ｉ_M［１］の被写体には人物のみが含まれているが、比較的広い画角にて撮影された副入力画像Ｉ_S［１］の被写体には人物だけでなく木が含まれている。このため、情報Ｑ_S［１］に基づき、記録制御部１６は、画像ファイルＦＬ［１］内の副タグ情報に“人物”と“木”を書き込む。

［第２の具体例］
次に、図７及び図８を参照して、Ｉ_S［２］及びＩ_M［２］に対応する第２の具体例を説明する。第２の具体例では、主入力画像の撮影に先立ってオートフォーカス制御（以下、ＡＦ制御という）がなされることを想定する。尚、第２の具体例に限らず、ＡＦ制御を主入力画像の撮影前に行うことができる。

ＡＦ制御は、シャッタボタン１８ａに対する操作内容に従って実行される。シャッタボタン１８ａは、２段階の押下操作が可能となっており、ユーザがシャッタボタン１８ａを軽く押し込むと、シャッタボタン１８ａは半押しの状態となり、その状態から更にシャッタボタン１８ａを押し込むとシャッタボタン１８ａは全押しの状態となる。以下、シャッタボタン１８ａを半押しの状態にさせる押下操作を半押し操作といい、シャッタボタン１８ａを全押しの状態にさせる押下操作を全押し操作という。撮影制御部１３は、半押し操作がなされたことを受けてＡＦ制御を開始し、ＡＦ制御の完了後になされた全押し操作を受けて主入力画像の画像データを撮像部１１に取得させる。尚、本明細書において、単に押下操作といった場合、それは全押し操作を意味する。

ＡＦ制御では、撮像装置１の全撮影範囲の内の、一部の撮影範囲に存在する被写体にピントが合うようにフォーカスレンズ３１の位置を調整する。この調整が完了してフォーカスレンズ３１の位置が固定された時点でＡＦ制御は完了する。ＡＦ制御の方法として、公知の方法を含む任意の方法を利用することができる。

今、説明の具体化のため、ＴＴＬ（Through The Lends）方式のコントラスト検出法を用いたＡＦ制御が採用されたことを想定する。図７に示す如く、撮影制御部１３又は図示されないＡＦ評価値算出部は、プレビュー画像内にＡＦ評価領域を設定し、ハイパスフィルタ等を用いてＡＦ評価領域内のコントラストに応じた値を有するＡＦ評価値を算出する。撮像装置１の全撮影範囲の撮影画像はプレビュー画像そのもの（即ち、プレビュー画像の全画像領域内の画像）であり、上記一部の撮影範囲の撮影画像はＡＦ評価領域内の画像である。ＡＦ評価領域は、プレビュー画像の全画像領域の一部とされる。例えば、ＡＦ評価領域は、プレビュー画像の中央付近に位置する所定の一部領域とされる。プレビュー画像の中央付近に位置する顔領域が含まれるようにＡＦ評価領域を設定しても良い。

ＡＦ評価値は、ＡＦ評価領域内のコントラストが増大するに従って増大する。このようなＡＦ評価値の算出を、フォーカスレンズ３１の位置を所定量ずつずらしながら順次行い、得られた複数のＡＦ評価値の内、最大のＡＦ評価値を特定する。そして、最大のＡＦ評価値に対応するフォーカスレンズ３１の位置に、実際のフォーカスレンズ３１の位置を固定することでＡＦ制御は完了する。ＡＦ制御の完了時において、撮像装置１は、その旨を知らせる報知（電子音の出力など）を行う。

ユーザは、このようなＡＦ制御の特性を考慮して、以下のようなカメラ操作を行うことが多い。まず、ピントを合わせたい注目被写体を撮影範囲の中央付近に配置した状態で半押し操作を行う。これにより、注目被写体にピントが合うような位置にフォーカスレンズ３１が固定された状態でＡＦ制御が完了する。その後、注目被写体を撮影範囲に含めつつ真に撮影したい構図が得られるように撮像装置１を動かし（パン、チルト等を行い）、構図の確定後に全押し操作を行う。

このようなカメラ操作がなされた場合、半押し操作後であって且つ全押し操作前に得られるプレビュー画像には、主入力画像には含まれない、注目被写体の周辺被写体が含まれることも多い。この周辺被写体に関する情報を、副タグ情報として含めておけば、検索の利便性が向上する。

これを考慮し、具体的には以下のように処理する。図８を参照する。入力画像Ｉ_S［２］及びＩ_M［２］の撮影タイミングを、それぞれ記号Ｔ_S［２］及びＴ_M［２］によって表す。撮影タイミングＴ_S［２］は、撮影タイミングＴ_M［２］よりも前のタイミングである。半押し操作後、ＡＦ制御の実行中におけるタイミング又はＡＦ制御の完了直後のタイミングを撮影タイミングＴ_S［２］として取り扱うと共に撮影タイミングＴ_S［２］に撮影された入力画像を副入力画像Ｉ_S［２］として取り扱い、副入力画像Ｉ_S［２］に対する画像解析の結果を表す情報Ｑ_S［２］を一時的に記録制御部１６等に設けられたメモリ（不図示）に記録しておく。

その後、全押し操作がなされた場合に、その全押し操作直後のタイミングを撮影タイミングＴ_M［２］として取り扱って主入力画像Ｉ_M［２］の撮影を行う。この撮影後、記録制御部１６は、主入力画像Ｉ_M［２］の画像データ及び主タグ情報と上記の情報Ｑ_S［２］に基づく副タグ情報を画像ファイルＦＬ［２］に記録する。

図５及び図８は、人物にピントが合い且つ人物及び車を被写体として含む画像を主入力画像として撮影すべく、ユーザがタイミングＴ_S［２］−Ｔ_M［２］間で構図を変化させたことを想定している。また、タイミングＴ_S［２］において、人物と木が撮影範囲に含まれていたことを想定している。従って、副入力画像Ｉ_S［１］の被写体には人物だけでなく木が含まれている（但し、車は含まれていない）。このため、情報Ｑ_S［２］に基づき、記録制御部１６は、画像ファイルＦＬ［２］内の副タグ情報に“人物”と“木”を書き込む。

［第３の具体例］
次に、図９を参照して、Ｉ_S［３］及びＩ_M［３］に対応する第３の具体例を説明する。第３の具体例では、主入力画像の撮影時に、フラッシュ光の照射がなされたことを想定する。

第３の具体例において、シャッタボタン１８ａの押下操作がなされた場合、その押下操作直後のタイミングが主入力画像Ｉ_M［３］の撮影タイミングとして取り扱われて主入力画像Ｉ_M［３］の撮影が行われる。上述したように、主入力画像Ｉ_M［３］の撮影時には（換言すれば、主入力画像Ｉ_M［３］の画像データを得るための、撮像素子３３の露光期間中においては）、発光部２０を用いて被写体にフラッシュ光が照射されるものとする。

この場合、主入力画像Ｉ_M［３］のｐフレーム周期前に得られるプレビュー画像が副入力画像Ｉ_S［３］として取り扱われる。ここで、ｐは整数であり、例えば１又は２である。副入力画像Ｉ_S［３］の撮影時においては、被写体にフラッシュ光が照射されていない。

順次得られる各プレビュー画像に対する画像解析の結果を表す情報は、一時的に記録制御部１６等に設けられたメモリ（不図示）に記録されている。記録制御部１６は、主入力画像Ｉ_M［３］の撮影後において、副入力画像Ｉ_S［３］の画像データに基づいて既に導出されていた情報、即ち、副入力画像Ｉ_S［３］に対する画像解析の結果を表す情報Ｑ_S［３］を読み出すことで副タグ情報を生成する。

画像解析部１４は、副入力画像Ｉ_S［３］の画像データに基づいて、副入力画像が暗い所にて撮影された画像であるのか、或いは、逆光下で撮影された画像であるのかを検出し、その検出結果を情報Ｑ_S［３］に含める。

注目被写体が位置すべき副入力画像の中央付近のみが暗く、周囲が明るい場合、その副入力画像は逆光下で撮影された画像であると判断することができる。より具体的には例えば、副入力画像Ｉ_S［３］の中央付近の所定画像領域内における平均輝度が所定の基準輝度Ｙ_TH1以下であって、且つ、副入力画像Ｉ_S［３］の全画像領域から該所定画像領域を除いて得た画像領域内における平均輝度が所定の基準輝度Ｙ_TH2以上である場合、副入力画像は逆光下で撮影された画像であると判断する。この場合、副入力画像Ｉ_S［３］から得られる副タグ情報に“逆光” という文言情報が含められる。ここで、基準輝度Ｙ_TH2は、基準輝度Ｙ_TH1よりも大きい。尚、上記の所定画像領域の位置及び大きさを、顔検出処理によって抽出された顔領域の位置及び大きさに基づいて設定するようにしても良い。

副入力画像が全体的に暗い場合、その副入力画像は暗い所にて撮影された画像であると判断することができる。より具体的には例えば、副入力画像Ｉ_S［３］の全画像領域における平均輝度が所定の基準輝度Ｙ_TH3以下である場合に、副入力画像は暗い所にて撮影された画像であると判断することができる。この場合、副入力画像Ｉ_S［３］から得られる副タグ情報に“暗所” という文言情報が含められる。

記録制御部１６は、主入力画像Ｉ_M［３］の画像データ及び主タグ情報と、副入力画像Ｉ_S［３］に対する画像解析結果に従って“逆光”又は“暗所”が書き込まれた副タグ情報を、画像ファイルＦＬ［３］に記録する。図５の例では、画像ファイルＦＬ［３］の副タグ情報に“逆光”という文言情報が含められている。また、副入力画像Ｉ_S［３］に対して、“暗所”と“逆光”を分類する画像解析以外の画像解析（上述の顔検出処理や物体検出処理等）も成されており、その画像解析の結果も画像ファイルＦＬ［３］の副タグ情報に含められる。本例では、人物、ビル及び車が副入力画像Ｉ_S［３］の撮影範囲に含まれていたことを想定している。このため、画像ファイルＦＬ［３］の副タグ情報に、“人物”、“ビル”及び“車”も書き込まれる。

［第４の具体例］
次に、図１０を参照して、Ｉ_S［４］及びＩ_M［４］に対応する第４の具体例を説明する。第４の具体例は、図１０に示す如く、主入力画像Ｉ_M［４］の撮影前の、所定の一定期間内に撮影された１又は複数のプレビュー画像の夫々が副入力画像Ｉ_S［４］として取り扱われる。今、ｎ枚のプレビュー画像の夫々が副入力画像Ｉ_S［４］として取り扱われる場合を想定し、副入力画像としてのｎ枚のプレビュー画像を記号Ｉ_S1［４］〜Ｉ_Sn［４］によって表す。ｎは２以上の整数である。副入力画像Ｉ_S1［４］、Ｉ_S2［４］、Ｉ_S3［４］、・・・、Ｉ_Sn［４］の順番で撮影が行われ、副入力画像Ｉ_Sn［４］の撮影直後に、主入力画像Ｉ_M［４］が撮影されるものとする。

画像解析部１４は、順次得られる各プレビュー画像に対して顔検出処理及び顔認識処理を行い、顔認識処理の結果をｎ枚以上分だけ一時的に記憶している。従って、主入力画像Ｉ_M［４］を撮影するためのシャッタボタン１８ａの押下操作があった時点においては、副入力画像Ｉ_S1［４］〜Ｉ_Sn［４］に対する顔検出処理及び顔認識処理の結果が記憶されている。記録制御部１６は、その記憶内容から画像ファイルＦＬ［４］に対する副タグ情報を生成する。主入力画像Ｉ_M［４］の撮影後、記録制御部１６は、主入力画像Ｉ_M［４］の画像データ及び主タグ情報と、副入力画像Ｉ_S1［４］〜Ｉ_Sn［４］から得られる副タグ情報を、画像ファイルＦＬ［４］に記録する。

副入力画像Ｉ_Sj［４］に対する顔検出処理及び顔認識処理の結果には、副入力画像Ｉ_Sj［４］に人物が含まれているかを表す情報と、含まれているとしたならば、その人物が何れの登録人物であるか表す情報と、が含まれる（ｊは自然数）。今、顔認識処理によって認識されるべき登録人物に、互いに異なる人物である登録人物Ｈ_A、Ｈ_B、Ｈ_C及びＨ_Dが含まれていることを想定する。

副入力画像Ｉ_S1［４］〜Ｉ_Sn［４］の何れかに登録人物Ｈ_Aが被写体として含まれていると認識された場合、画像ファイルＦＬ［４］の副タグ情報には“人物Ｈ_A”が書き込まれる。同様に、副入力画像Ｉ_S1［４］〜Ｉ_Sn［４］の何れかに登録人物Ｈ_Bが被写体として含まれていると認識された場合、画像ファイルＦＬ［４］の副タグ情報には“人物Ｈ_B”が書き込まれる。登録人物Ｈ_C及びＨ_Dについても同様である。

今、副入力画像Ｉ_S1［４］、Ｉ_S2［４］及びＩ_S3［４］に登録人物Ｈ_A、Ｈ_B及びＨ_Cが被写体として含まれていると認識され、且つ、副入力画像Ｉ_S1［１］〜Ｉ_Sn［４］の何れにも登録人物Ｈ_Dが被写体として含まれていないと認識された場合を想定する。そうすると、図５に示す如く、画像ファイルＦＬ［４］の副タグ情報に“人物Ｈ_A”、“人物Ｈ_B”及び“人物Ｈ_C”が書き込まれるが、“人物Ｈ_D”は書き込まれない。また、単に“人物”という文言情報も画像ファイルＦＬ［４］の副タグ情報に書き込まれる。尚、図５に示される副入力画像Ｉ_S［４］は、副入力画像Ｉ_S1［１］〜Ｉ_Sn［４］の何れかを表しており、図５の副入力画像Ｉ_S［４］と主入力画像Ｉ_M［４］の撮影間で画角の減少がなされたことを想定している。

また、画像ファイルＦＬ［４］の副タグ情報に、一定人数以上の人物が書き込まれる場合、或いは、顔検出処理によって副入力画像Ｉ_S1［４］〜Ｉ_Sn［４］の何れかに所定人数以上の人物が被写体として含まれていると判断された場合、画像ファイルＦＬ［４］の副タグ情報に“集合写真”を書き込んでも良い。

尚、第１〜第４の具体例にて述べた任意の画像ファイルにおいて、主タグ情報に含まれる文言情報と重複する文言情報を副タグ情報から除外するようにしてもよい。例えば、画像ファイルＦＬ［１］においては、主タグ情報に書き込まれた“人物”を、副タグ情報に書き込まないようにしてもよい。この場合、画像ファイルＦＬ［１］の副タグ情報には、“木”のみが書き込まれることになる。

［画像ファイルの作成フロー］
次に、図１１を参照して、上述したような画像ファイルの作成を実現する、撮像装置１の動作の流れを説明する。図１１は、この動作の流れを表すフローチャートである。

まず、ステップＳ１１において、撮像部１１を用いてプレビュー画像を取得し、ステップＳ１２において、該プレビュー画像に対して画像解析を行い、ステップＳ１３において、該画像解析の結果に基づくタグ情報を生成する。このタグ情報は、一時的に撮像装置１内で記憶される。仮に、或るタイミングにて取得されたプレビュー画像が副入力画像となるならば、そのプレビュー画像について生成されたタグ情報が画像ファイルに記録されるべき副タグ情報となる。

ステップＳ１３に続くステップＳ１４において、シャッタボタン１８ａの押下操作の有無を検出し、シャッタボタン１８ａの押下操作がなされた場合は、ステップＳ１５にて主入力画像の撮影を行って主入力画像の画像データを取得する。一方、シャッタボタン１８ａの押下操作がなされていない場合は、ステップＳ１１に戻ってステップＳ１１〜Ｓ１３の処理が繰り返される。

主入力画像の撮影後、ステップＳ１６において、主入力画像の画像データに基づく主タグ情報の生成を行い、更にステップＳ１７において、ステップＳ１３にて生成されたタグ情報から副タグ情報を生成する。何れのタイミングにて撮影されたプレビュー画像が副入力画像として機能し、何れのタイミングにて撮影されたプレビュー画像のタグ情報が副タグ情報として機能するかは、上述した各具体例に従う。副タグ情報の生成後、主タグ情報と副タグ情報を画像ファイルに書き込み可能なように合成し、それらを主入力画像の画像データと共に記録媒体１５内の画像ファイルに記録する（ステップＳ１８）。

［拡張検索モードにおける検索動作］
次に、拡張検索モードにおける検索動作を説明する。上述したように、拡張検索モードにおける検索動作は、通常検索モードのそれと類似している。通常検索モードにおいては検索文言を主タグ情報のみから探索するのに対して、拡張検索モードにおいては検索文言を主タグ情報及び副タグ情報の双方から又は副タグ情報のみから探索する。

検索文言を主タグ情報及び副タグ情報の双方から探索する場合の動作を説明する。この場合において、“人物”のみ、“車”のみ、“ビル”のみ、“ポートレート”のみが検索文言として指定された時に検索ファイルとして選択される画像ファイルは、通常検索モードにおけるそれと同じである。しかしながら、“木”が検索文言として指定された場合、通常検索モードにおいては何れの画像ファイルも検索ファイルとして選択されないが、拡張検索モードにおいては画像ファイルＦＬ［１］及びＦＬ［２］が検索ファイルとして選択される。

また、拡張検索モードにおいて、通常検索モードと同様、複数の検索文言を指定することもできる。単に“人物”のみを検索文言に含めたならば画像ファイルＦＬ［１］〜ＦＬ［４］の全てが検索ファイルとして選択されるが、主タグ情報及び副タグ情報の中に第１検索文言“人物”及び第２検索文言“木”が含まれているという条件を検索条件として設定すれば、検索ファイルが画像ファイルＦＬ［１］及びＦＬ［２］に絞り込まれる。これは、被写体としてのユーザが森に行った時に撮影した画像を検索しようとする場合などにおいて有益である。また例えば、逆光下で人物を撮影したことをユーザが記憶しているならば、検索文言に“人物”と“逆光”を含めればよい。これにより、検索ファイルが画像ファイルＦＬ［３］に絞り込まれる。

主タグ情報のみに頼る通常検索モードでは、このような絞り込みは実現できない。本例では、説明の簡略化上、４つの画像ファイルのみに注目しているが、実際には非常に多くの画像ファイルが記録媒体１５に記録されているため、副タグ情報を利用することで所望の画像ファイルを見つけやすくなる。

主タグ情報及び副タグ情報に含められるべき文言の種類は上述したものに限定されず、画像解析の結果に基づく様々な種類の文言を主タグ情報及び副タグ情報に含めることができる。例えば、画像解析において、人物の性別、人種及び年齢層を推定する処理がなされるならば、主入力画像に対して推定された性別、人種及び年齢層を主タグ情報に含めることもできるし、副入力画像に対して推定された性別、人種及び年齢層を副タグ情報に含めることもできる。

記録媒体１５の記録データに基づく上述の検索処理を、撮像装置と異なる電子機器（例えば、画像再生装置；不図示）にて実現することも可能である（撮像装置も電子機器の一種である）。この場合、上記電子機器に表示部１７及び画像検索部２１を設けておき、複数の画像ファイルを記録した記録媒体１５の記録データを電子機器内の画像検索部２１に与えればよい。これにより、上述の通常検索モード及び拡張検索モードと同様の動作が電子機器内で実現される。

尚、上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

また、副入力画像が主入力画像よりも前に撮影された入力画像であることを前提として、本発明の実施形態を説明したが、副入力画像は主入力画像よりも後に撮影された入力画像であっても良い。主入力画像の撮影後に撮影された何れかのプレビュー画像（当該主入力画像の次に取得されるべき主入力画像にとってのプレビュー画像）を副入力画像として取り扱うことができ、単純には例えば、主入力画像の撮影タイミングから所定の時間が経過したタイミングを撮影タイミングとするプレビュー画像を副入力画像として取り扱うことができる。

図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。特に、画像解析部１４、記録制御部１６及び画像検索部２１の機能は、ハードウェアのみ、ソフトウェアのみ、または、ハードウェアとソフトウェアの組み合わせによって実現可能である。それらの機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

１ 撮像装置
１１ 撮像部
１３ 撮影制御部
１４ 画像解析部
１５ 記録媒体
１６ 記録制御部
２１ 画像検索部
３０ ズームレンズ
３１ フォーカスレンズ
３２ 絞り
３３ 撮像素子
３４ ドライバ
３５ 光学系

Claims (6)

1. 撮影によって画像の画像データを生成する撮像部と、
   前記撮像部によって生成された主画像の画像データを前記主画像から得られる主付加情報と共に記録媒体に記録する記録制御部と、を備えた撮像装置において、
   前記記録制御部は、前記主画像と異なるタイミングで撮影された副画像から得られる副付加情報を、前記主画像の画像データ及び前記主付加情報に関連付けて前記記録媒体に記録する
   ことを特徴とする撮像装置。
2. 対象画像の画像データに基づいて、前記対象画像に含まれる特定種類の被写体を検出する又は前記対象画像の画像特徴を検出する画像解析部を更に備え、
   前記記録制御部は、前記主画像を前記対象画像としたときの前記画像解析部の検出結果を前記主付加情報に含めるとともに、前記副画像を前記対象画像としたときの前記画像解析部の検出結果を前記副付加情報に含める
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記記録制御部は、前記主画像の撮影に先立って撮影画角の変更がなされた場合、その変更前に前記撮像部にて撮影された画像を、前記副画像として用いる
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 当該撮像装置に対して所定の第１操作がなされたときにオートフォーカス制御を実行し、前記オートフォーカス制御の実行後に当該撮像装置に対して所定の第２操作がなされたときに前記主画像の撮影を前記撮像部に行わせる撮影制御部を更に備え、
   前記記録制御部は、前記第１操作及び前記第２操作間に前記撮像部にて撮影された画像を、前記副画像として用いる
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
5. 前記画像解析部は、前記特定種類の被写体として人物の顔を検出又は認識する
   ことを特徴とする請求項２に記載の撮像装置。
6. 撮影によって得た主画像の画像データと、
   前記主画像から得られる主付加情報と、
   前記主画像よりも前に撮影された副画像から得られる副付加情報と、を互いに関連付けて格納した
   ことを特徴とする画像ファイルのデータ構造。

Images