JP2011160044A - 撮像装置 - Google Patents

Abstract

【課題】ユーザの好みに沿った撮影制御を自動的に再現する。
【解決手段】対象画像上の各被写体を複数のカテゴリ（人物、犬、山など）の何れかに分類して検出する被写体検出部を用いて、対象画像の撮影の度に、対象画像上の複数の被写体の検出カテゴリの組み合わせ（例えば人物と山）に関連付けて合焦被写体のカテゴリ、合焦被写体の大きさ、合焦被写体の位置を学習する。一定量の学習の完了後、シャッタボタンの半押し操作が成されると、その時点の入力画像に対して被写体分類を行って、その入力画像についての検出カテゴリの組み合わせに対応する学習内容を学習メモリから読み出し、読み出した内容に沿った画角自動調整及びフォーカス自動調整を行う。
【選択図】図９

Description

本発明は、デジタルカメラ等の撮像装置に関する。

近年のデジタルカメラには、撮影モードを自動的に選択して対象画像の撮影を行う機能が備えられていることが多い（例えば特許文献１参照）。この機能では、被写体や撮影シーンをカメラ側で自動的に認識して複数の撮影モードの中から最適な撮影モードを選択し、選択撮影モードに規定された撮影条件（フォーカス、ＩＳＯ感度、信号処理等の条件）にて対象画像の撮影を行う。しかしながら、最適な撮影モードとしての選択撮影モードに規定される撮影条件は、カメラメーカ側が予め設定したものである。このため、ユーザによっては、選択撮影モードによるカメラ制御が行われた後、真に希望する撮影条件が設定されるように、手動操作を成す必要があった。

このような問題に対応する方法として、ユーザに質問形式で最適な処理を選択させる方法が提案されている（例えば特許文献２参照）。しかしながら、この方法は、返答操作の負担をユーザに課すことになる。

また、被写体をきめ細かく分類し、分類結果に応じて撮影条件の制御を行う方法も提案されている（例えば特許文献３参照）。しかしながら、この方法では、固有の被写体に撮影モードが個別に設定されるのみであり、注目被写体がどの被写体と共に写っているのか、どういう撮影シーンの中で写っているのか等を考慮した制御ができない。即ち例えば、人物が犬と共に写っているときに適用されるべき最適な撮影条件と人物が山と共に写ってときに適用されるべき最適な撮影条件は異なる場合があり、また、最適な撮影条件の具体的内容はユーザによってまちまちであるが、上記方法では、個々のユーザの好みに対応することはできない。

特開２００３−３４４８９１号公報 特開２００７−１１０６１９号公報 特開２００７−７４１４１号公報

ユーザに格別の負担を強いることなく、ユーザの好み（嗜好性）に沿った撮影制御を成すことは重要である。

同様に、音響信号を伴った画像を取得する際、ユーザに格別の負担を強いることなく、ユーザの好み（嗜好性）に沿った音声制御を成すことができれば有益である。

そこで本発明は、ユーザに格別の負担を強いることなくユーザの好みに沿った撮影制御又は音声制御を成しうる撮像装置を提供することを目的とする。

本発明に係る撮像装置は、被写体の光学像を光電変換して得た信号を出力する撮像素子を有し、所定操作が成された際に得られる前記撮像素子の出力信号から対象画像を生成する撮像装置において、前記所定操作の繰り返しにより第１及び第２対象画像を含む複数の対象画像が生成され、前記第２対象画像は前記第１対象画像よりも後に生成され、当該撮像装置は、前記撮像素子の出力信号に基づく画像上に存在する各被写体を複数のカテゴリの何れかに分類して検出する被写体検出部と、前記第１対象画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせを特定組み合わせとし、前記第１対象画像の特徴又は前記第１対象画像の生成条件に応じた学習情報を前記特定組み合わせに関連付けて保存するメモリ部と、前記第１対象画像の生成後且つ前記第２対象画像の生成前における前記撮像素子の出力信号に基づく画像を評価用画像とし、前記評価用画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせが前記特定組み合わせと一致する場合、前記学習情報を用いて前記第２対象画像の生成を行う撮影制御部と、を備えたことを特徴とする。

これにより、ユーザの好みを反映した学習情報を用いて対象画像の生成を行うことが可能となる。つまり、ユーザに格別の負担を強いることなくユーザの好みに沿った撮影制御を学習情報から再現することが可能となる。

具体的には例えば、前記学習情報は、前記第１対象画像の特徴に応じた情報であって、前記第１対象画像上の複数の被写体の内、何れのカテゴリの被写体にピントがあっているかを表すフォーカス情報を含む。

これにより、フォーカスに関するユーザの好みを、学習情報から再現することが可能となる。

また例えば、前記学習情報は、更に、前記第１対象画像上のピントの合っている被写体の大きさを表すサイズ情報を含む。

また例えば、前記学習情報は、更に、前記第１対象画像上のピントの合っている被写体の位置を表す位置情報を含む。

これらにより、被写体の大きさや構図に関するユーザの好みを、学習情報から再現することが可能となる。

また例えば、当該撮像装置は、前記第１対象画像の生成条件の指定を受け付ける操作部を更に備えて、前記操作部を介して指定された前記第１対象画像の生成条件に従って前記第１対象画像を生成し、前記学習情報は、前記第１対象画像の生成条件に応じた情報である。

これにより、操作部を介したユーザの指定内容を学習情報に保存することができ、以後、ユーザの好みに沿った撮影制御を学習情報から再現することが可能となる。

具体的には例えば、前記撮影制御部は、前記評価用画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせが前記特定組み合わせと一致する場合、前記第１対象画像の特徴に応じた前記学習情報に基づき、前記第２対象画像が前記第１対象画像の特徴に応じた特徴を有するように、前記第２対象画像に対するフォーカス制御及びズーム制御を行う、或いは、前記第１対象画像の生成条件に応じた前記学習情報に基づき、前記第１対象画像の生成条件に応じた生成条件にて前記第２対象画像を生成する。

本発明に係る他の撮像装置は、被写体の光学像を光電変換して得た信号を出力する撮像素子を有し、所定操作が成された際に得られる前記撮像素子の出力信号から対象画像を生成する撮像装置において、前記所定操作の繰り返しにより第１及び第２対象画像を含む複数の対象画像が生成され、前記第２対象画像は前記第１対象画像よりも後に生成され、当該撮像装置は、前記撮像素子の出力信号に基づく画像上に存在する被写体を複数のカテゴリの何れかに分類して検出する被写体検出部と、前記撮像素子の出力信号に基づく画像の撮影シーンを複数の登録シーンの中から選択することで判定するシーン判定部と、前記第１対象画像上の被写体に対する前記被写体検出部の検出カテゴリと前記第１対象画像に対する前記シーン判定部の判定シーンとの組み合わせを特定組み合わせとし、前記第１対象画像の特徴又は前記第１対象画像の生成条件に応じた学習情報を前記特定組み合わせに関連付けて保存するメモリ部と、前記第１対象画像の生成後且つ前記第２対象画像の生成前における前記撮像素子の出力信号に基づく画像を評価用画像とし、前記評価用画像上の被写体に対する前記被写体検出部の検出カテゴリと前記評価用画像に対する前記シーン判定部の判定シーンとの組み合わせが前記特定組み合わせと一致する場合、前記学習情報を用いて前記第２対象画像の生成を行う撮影制御部と、を備えたことを特徴とする。

これにより、ユーザの好みを反映した学習情報を用いて対象画像の生成を行うことが可能となる。つまり、ユーザに格別の負担を強いることなくユーザの好みに沿った撮影制御を学習情報から再現することが可能となる。

本発明に係る更に他の撮像装置は、被写体の光学像を光電変換して得た信号を出力する撮像素子及び複数のマイクロホンから成るマイク部を有し、所定操作が成された際、前記撮像素子の出力信号から対象画像を生成する一方で前記複数のマイクロホンの出力音響信号に基づき対象音響信号を生成して該対象音響信号を前記対象画像に対応付ける撮像装置において、前記所定操作の繰り返しにより第１及び第２対象画像を含む複数の対象画像が生成され、前記第２対象画像は前記第１対象画像よりも後に生成され、当該撮像装置は、前記撮像素子の出力信号に基づく画像上に存在する各被写体を複数のカテゴリの何れかに分類して検出する被写体検出部と、前記第１対象画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせを特定組み合わせとし、前記第１対象画像に対応付けられた対象音響信号の特徴に応じた学習情報を前記特定組み合わせに関連付けて保存するメモリ部と、前記第１対象画像の生成後且つ前記第２対象画像の生成前における前記撮像素子の出力信号に基づく画像又は前記第２対象画像を評価用画像とし、前記評価用画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせが前記特定組み合わせと一致する場合、前記学習情報を用いて前記第２対象画像に対応付けられるべき対象音響信号の生成を行う対象音響信号生成部と、を備えたことを特徴とする。

これにより、ユーザの好みを反映した学習情報を用いて対象音響信号の生成を行うことが可能となる。つまり、ユーザに格別の負担を強いることなくユーザの好みに沿った音声制御を学習情報から再現することが可能となる。

本発明によれば、ユーザに格別の負担を強いることなくユーザの好みに沿った撮影制御又は音声制御を成しうる撮像装置を提供することが可能である。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 本発明の実施形態に係る特殊撮影モードの動作が学習段階動作と制御段階動作に大別される様子を示した図である。 本発明の第１実施例に係り、特殊撮影モードの動作に特に関与する部位のブロック図である。 本発明の第１実施例に係る学習段階動作のフローチャートである。 学習段階動作中に撮影される対象入力画像の例を示す図（ａ）と、その対象入力画像上の被写体領域を示す図（ｂ）である。 本発明の第１実施例に係る特徴情報の構成を示す図である。 入力画像の全体画像領域内に９つのブロックが設定される様子を示す図である。 本発明の第１実施例に係り、制御段階動作の実行時における学習メモリの記録内容を示す図である。 本発明の第１実施例に係る制御段階動作のフローチャートである。 本発明の第１実施例に係り、制御段階動作の実行時に取得される評価用画像を示す図である。 本発明の第１実施例に係り、画角自動調整後に得られる入力画像の例を示す図である。 本発明の第４実施例において想定される入力画像を示す図である。 本発明の第４実施例に係る特徴情報の構成を示す図である。 本発明の第８実施例に係り、特殊撮影モードの動作に特に関与する部位のブロック図である。 本発明の第８実施例に係る学習段階動作のフローチャートである。 本発明の第８実施例に係る生成条件情報の構成を示す図である。 本発明の第８実施例に係り、制御段階動作の実行時における学習メモリの記録内容を示す図である。 本発明の第８実施例に係る制御段階動作のフローチャートである。 本発明の第９実施例に係るシーン判定部を示す図である。 図１のマイク部の内部ブロック図である。 図１の撮像装置の外観斜視図である。 本発明の第１０実施例に係り、学習段階動作において取得される対象入力画像を示す図である。 本発明の第１０実施例に係る音制御情報の構成を示す図である。 本発明の第１０実施例に係り、制御段階動作の実行時における学習メモリの記録内容を示す図である。 本発明の第１０実施例に係る制御段階動作のフローチャートである。 本発明の第１０実施例に係り、制御段階動作の実行時に取得される評価用画像を示す図である。 本発明の第１１実施例に係る表示画面の様子を示す図である。 本発明の第１２実施例に係る表示画面の様子を示す図である。 本発明の第１３実施例に係り、実際の撮影に基づく特徴情報を示す図である。 本発明の第１３実施例に係り、擬似的に生成された特徴情報を示す図である。

以下、本発明の一実施形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈することも可能である。

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの撮影制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御される。

撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから画像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。画像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像を表す画像信号を生成する。画像信号は、例えば、輝度信号及び色差信号を含む。マイク部１４は、撮像装置１の周辺音をアナログの音響信号に変換し、音響信号処理部１５は、このアナログの音響信号をデジタルの音響信号に変換する。

圧縮処理部１６は、画像信号処理部１３からの画像信号及び音響信号処理部１５からの音響信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の画像信号及び音響信号などの各種信号を記録することができる。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された画像信号及び音響信号を伸張する。伸張処理部１９による伸張後の画像信号又は画像信号処理部１３からの画像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音響信号は、音響信号出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

撮像装置１の動作モードには、画像（静止画像又は動画像）の撮影及び記録が可能な撮影モードと、外部メモリ１８に記録された画像（静止画像又は動画像）を表示部２７に再生表示する再生モードと、が含まれる。操作部２６に対する操作に応じて、各モード間の遷移は実施される。撮影モードにおいて、撮像装置１は、所定のフレーム周期にて周期的に被写体の撮影を行って被写体の撮影画像を順次取得することができる。

尚、本明細書では、或る画像の画像信号のことを単に画像と言うこともある。また、画像信号及び音響信号の圧縮及び伸張は、本発明の本質とは関係ないため、以下の説明では、特に必要のない限り、画像信号及び音響信号の圧縮及び伸張の存在を無視する。従って例えば、或る画像についての圧縮された画像信号を記録することを、単に、画像信号を記録する又は画像を記録すると表現することがある（音響信号についても同様）。また、或る画像の大きさ又は画像領域の大きさを、画像サイズとも呼ぶ。注目画像又は注目画像領域の画像サイズを、注目画像を形成する画素の数又は注目画像領域に属する画素の数にて表現することができる。また、本明細書において、信号又は情報のメモリへの記録を保存と表現することもある。また、本明細書では、記号又は符号を示すことによって、その記号又は符号に対応する用語の名称を略記することがある。従って例えば、外部メモリ１８とメモリ１８は同じものを指す。

撮像装置１には、過去の撮影結果及びマニュアル操作等から撮影者としてのユーザの嗜好性に関する情報を抽出し、その情報に基づき、現時点において該嗜好性に合致した撮影結果が再現されるように撮影制御を行う特殊機能が備えられている。撮影モードの一種である、上記特殊機能が働く撮像装置１の動作モードを特殊撮影モードと呼ぶ。

図３に示す如く、特殊撮影モードにおける動作は、ユーザの嗜好性を学習する学習段階動作と、その学習結果を用いて撮影制御を行う制御段階動作とに大別される。制御段階動作は、学習段階動作を経て実行される。学習段階動作が一旦完了して制御段階動作の実行が可能になってからも、ユーザの嗜好性の学習を継続し、学習結果を更新していくことができる。

以下、特殊撮影モードに関連する、撮像装置１の動作及び構成例を第１〜第１３実施例として説明する。矛盾なき限り、或る実施例について記載した事項を他の実施例に適用することが可能であると共に、第１〜第１３実施例の内の複数の実施例を組み合わせて実施することも可能である。以下の説明は、特に記述なき限り、特殊撮影モードにおける撮像装置１の動作の説明である。

＜＜第１実施例＞＞
第１実施例を説明する。図４は、特殊撮影モードの動作に特に関与する部位のブロック図である。被写体検出部５１、特徴情報生成部５２、メモリ制御部５３及び撮影制御部５５を、画像信号処理部１３によって、或いは、画像信号処理部１３とＣＰＵ２３の組み合わせによって実現することができる。学習メモリ５４は、内部メモリ１７に設けられたフラッシュメモリ等の不揮発性メモリから形成される。

１フレーム分のＡＦＥ１２の出力信号によって表される画像そのもの、或いは、その画像に対して所定の画像処理（デモザイキング処理やノイズ低減処理など）を施して得られる静止画像を入力画像と呼ぶ。更に、所定のシャッタ操作に従って得られた入力画像を特に対象入力画像と呼ぶ。シャッタ操作とは、シャッタボタン２６ｂを押下する操作である。但し、シャッタ操作は、シャッタボタン２６ｂを押下する操作以外の操作（例えば所定のタッチパネル操作）であっても良い。

［学習段階動作］
図５は、第１実施例に係る学習段階動作の手順を表すフローチャートであり、学習段階動作ではステップＳ１１〜Ｓ１４の各処理が実行される。ステップＳ１１では、ユーザがシャッタ操作を成すことにより対象入力画像が取得される。ステップＳ１２では、被写体検出部５１により、対象入力画像の被写体検出及び被写体のカテゴリ分類が行われる。ステップＳ１３では、特徴情報生成部５２により対象入力画像からユーザの嗜好性に関する情報とも言える特徴情報が抽出及び生成される。ステップＳ１４では、ステップＳ１２及びＳ１３の処理結果が学習メモリ５４の記録内容に反映される（単純には例えば、ステップＳ１３にて生成された特徴情報が学習メモリ５４にそのまま保存される）。学習メモリ５４に対する情報の記録制御はメモリ制御部５３によって行われる。図４に示される各部位の内、撮影制御部５５のみに関しては、制御段階動作に有益に機能する。以下、対象入力画像の具体例を挙げつつ、図４の各部位の動作を詳細に説明する。

図６（ａ）において、符号３００は、ステップＳ１１にて取得された対象入力画像の例を表している。人物及び山を被写体として撮影範囲内に含めた状態でシャッタ操作を成すことにより、対象入力画像３００が得られたものとする。図６（ａ）において、符号３０１及び３０２は対象入力画像３００の被写体を表している。被写体３０１及び３０２は、夫々、人物及び山である。

被写体検出部５１及び特徴情報生成部５２には、対象入力画像を含む各入力画像の画像信号が入力される。被写体検出部５１は、入力画像の画像信号に基づき、入力画像上に存在する各被写体を複数のカテゴリの何れかに分類して検出する。即ち、入力画像上に存在する被写体ごとに、被写体が何れのカテゴリに属する被写体であるのかを検出する。カテゴリを種類とも読み替えることができる。上記複数のカテゴリは、被写体検出部５１に予め登録されたカテゴリであり、人物、犬、猫、鳥、自動車、山、海、空、花などを含む。入力画像の画像信号に基づいて入力画像上の各被写体のカテゴリを検出する処理（顔検出処理等）は公知であるため、ここでは詳細な説明を割愛する。

対象入力画像３００の画像信号が被写体検出部５１に入力されると、被写体検出部５１は、対象入力画像３００の画像信号に基づき、対象入力画像３００から被写体３０１及び３０２を検出して被写体３０１及び３０２が存在する画像領域を夫々被写体領域３１１及び３１２として抽出すると共に、被写体３０１及び３０２が何れのカテゴリに分類される被写体であるのかを検出する（図６（ｂ）参照）。上述したように、被写体３０１及び３０２は夫々人物及び山であるため、被写体検出部５１は、被写体３０１及び３０２のカテゴリが夫々人物及び山であると検出する。

尚、被写体領域３１１は、被写体３０１としての人物の全体像が表れている画像領域であっても良いが、本例では、人物の顔の部分だけを含む画像領域が被写体領域３１１として抽出されるものとする（後述の他の実施例においても同様）。また、図６（ｂ）では、抽出される各被写体領域が矩形領域となっているが、各被写体領域は矩形領域以外であっても構わない（後述の他の実施例においても同様）。

特徴情報生成部５２は、１枚の入力画像に対して、フォーカス情報、合焦被写体サイズ情報、合焦被写***置情報を生成することができる。フォーカス情報は、入力画像上における合焦被写体のカテゴリを表す。合焦被写体とは、ピントが合っている被写体を指す。或る入力画像に関し、その入力画像の撮影時に撮像装置１の被写界深度内に位置している被写体は、ピントが合っている被写体に含まれる。合焦被写体サイズ情報（以下、サイズ情報と略記することがある）は、入力画像上における合焦被写体の大きさを表す。或る被写体の大きさとは、例えば、その被写体の被写体領域の画像サイズを指す。合焦被写***置情報（以下、位置情報と略記することがある）は、入力画像上における合焦被写体の位置を表す。或る被写体の位置とは、厳密には例えば、その被写体の被写体領域の中心位置を指す。

或る入力画像に対する特徴情報は、その入力画像に対するフォーカス情報、合焦被写体サイズ情報及び合焦被写***置情報から成り、該特徴情報に必要に応じて付加情報が付加される（図７参照）。付加情報も特徴情報の一部であると考えることも可能であるが、本例においては、付加情報は特徴情報の構成要素ではないと考える。付加情報に、入力画像の撮影時における時刻、天候の情報など、任意の情報を内包させることができる。メモリ制御部５３は、対象入力画像に対して被写体検出部５１により検出された複数の被写体のカテゴリの組み合わせに注目し、注目した組み合わせに対して対象入力画像に対する特徴情報を関連付けた上でそれらを学習メモリ５４に保存する。

図７に、対象入力画像３００に対する、学習メモリ５４の保存内容を示す。今、対象入力画像３００上においてピントの合っている被写体が被写体３０１であって（被写体３０２にはピントが合っていない）、且つ、対象入力画像３００上における被写体領域３１１の画像サイズがＳＩＺＥ_A1であって、且つ、対象入力画像３００上における被写体領域３１１の中心位置がブロックＢＬ₅に属しているものとする。そうすると、対象入力画像３００に対するフォーカス情報は被写体３０１のカテゴリである人物であり、且つ、対象入力画像３００に対するサイズ情報及び位置情報は夫々ＳＩＺＥ_A1及びＢＬ₅とされる。フォーカス情報が人物であるとは、フォーカス情報によって指し示される、ピントの合っている被写体のカテゴリが人物である、ことを意味する。

ブロックＢＬ₅の意義について説明する。図８に、注目した１枚の入力画像を示す。注目した入力画像を水平及び垂直方向の夫々に沿って３等分することにより注目した入力画像の全体画像領域を９等分し、得られた９つの画像領域をブロックＢＬ₁〜ＢＬ₉と定義する。上述のブロックＢＬ₅は、ブロックＢＬ₁〜ＢＬ₉の１つである。尚、入力画像の分割数（即ち、上記ブロックの個数）としての９は勿論例示であり、それを９以外とすることもできるが、以下の説明では、それが９であるものとする。

特徴情報生成部５２は、対象入力画像３００のフォーカス情報、サイズ情報及び位置情報を含む特徴情報３０５を生成し、メモリ制御部５３は、この特徴情報３０５を、対象入力画像３００上の被写体のカテゴリの組み合わせに関連付けて学習メモリ５４に保存する。対象入力画像３００上の被写体のカテゴリの組み合わせとは、被写体３０１及び３０２のカテゴリの組み合わせ、即ち、「人物」と「山」の組み合わせである。以下、被写体のカテゴリの組み合わせを、カテゴリ組み合わせとも表記する。従って、「人物」と「山」の組み合わせは、カテゴリ組み合わせ「人物及び山」と表記される。

特徴情報生成部５２は、被写体領域３１１に対するＡＦ評価値と被写体領域３１２に対するＡＦ評価値とを比較し、前者が後者よりも大きければ被写体３０１を合焦被写体と判断する一方、後者が前者よりも大きければ被写体３０２を合焦被写体と判断して、その判断結果から対象入力画像３００のフォーカス情報を生成する。本例では、前者が後者よりも大きいために、被写体３０１が合焦被写体であると判断される。尚、被写体検出部５１により検出される、対象入力画像３００上の複数の被写体の中に、ピントが合っている被写体が必ず含まれているものとする（他の対象入力画像及び合焦被写体が議論される任意の入力画像についても同様）。

ＡＦ評価値は、画像信号処理部１３内のＡＦ評価部（不図示）によって算出される。該ＡＦ評価部が特徴情報生成部５２に内在していると考えても構わない。ＡＦ評価部は、ＡＦ評価値算出の対象となる入力画像の全体画像領域を複数のＡＦ評価ブロックに分割し、ＡＦ評価ブロックごとに、ＡＦ評価ブロック内の画像のコントラスト量に応じたＡＦ評価値を算出する。撮像装置１は、このＡＦ評価値に基づき、コントラスト検出法によるオートフォーカス制御を実施することができる。或るＡＦ評価ブロックのＡＦ評価値は、そのＡＦ評価ブロック内の画像のコントラスト（換言すれば、エッジの強度）が大きいほど大きくなる。

対象入力画像３００に関しては、被写体領域３１１に属するＡＦ評価ブロックのＡＦ評価値の平均値を被写体領域３１１のＡＦ評価値として取り扱い、且つ、被写体領域３１２に属するＡＦ評価ブロックのＡＦ評価値の平均値を被写体領域３１２のＡＦ評価値として取り扱えば良い（各被写体領域に複数のＡＦ評価ブロックが属していると仮定）。或いは、被写体領域３１１及び３１２を第１及び第２のＡＦ評価ブロックとして取り扱って、夫々のＡＦ評価値を算出するようにしても良い。尚、或る入力画像に対して算出された複数のＡＦ評価値の内、最大のＡＦ評価値に対応するＡＦ評価ブロック、又は、所定の閾値以上のＡＦ評価値に対応するＡＦ評価ブロックが、合焦被写体の存在する画像領域であると判断することもできる。

上述のようにして対象入力画像３００の合焦被写体が被写体３０１であると検出した後、特徴情報生成部５２は、被写体３０１の画像信号が存在する画像領域である被写体領域３１１の大きさ及び中心位置を検出することで、対象入力画像３００に対するサイズ情報（ＳＩＺＥ_A1）及び位置情報（ＢＬ₅）を生成する。尚、被写体領域３１１の大きさ及び中心位置の検出自体は被写体検出部５１にて行われる、と考えても良い。

学習段階動作では、ステップＳ１１〜Ｓ１４から成る一連の処理を繰り返し実行することで、ユーザの嗜好性を繰り返し学習する。１つのカテゴリ組み合わせについて、学習段階動作から制御段階動作へ移行するために必要な学習回数をＬ_NUMにて表す。Ｌ_NUMは１以上の整数に設定されるが、説明の具体化のため、Ｌ_NUM＝３である場合を考える。図９は、対象入力画像３００の取得後、対象入力画像３００ａ、３００ｂ、３３０、３３０ａ、３３０ｂ、３３１及び３３１ａ（全て不図示）が更に取得された後の、学習メモリ５４の記録内容を示している。対象入力画像３００ａ及び３００ｂの夫々のカテゴリ組み合わせは「人物及び山」であり、且つ、対象入力画像３３０、３３０ａ、３３０ｂの夫々のカテゴリ組み合わせは「犬及び海」であり、且つ、対象入力画像３３１及び３３１ａの夫々のカテゴリ組み合わせは「人及び海」であるとする。

特徴情報生成部５２は、対象入力画像３００の特徴情報３０５を生成する方法と同様の方法にて、対象入力画像３００ａの特徴情報３０５ａ及び対象入力画像３００ｂの特徴情報３０５ｂを生成する。メモリ制御部５３は、特徴情報３０５、３０５ａ及び３０５ｂが生成されると、それらをカテゴリ組み合わせ「人物及び山」に関連付けつつ学習メモリ５４に保存する。一方で、特徴情報生成部５２又はメモリ制御部５３は、特徴情報３０５、３０５ａ及び３０５ｂに一致又は類似する特徴情報Ｗ１_Aを統計学に基づいて作成し、特徴情報Ｗ１_Aもカテゴリ組み合わせ「人物及び山」に関連付けて学習メモリ５４に保存する。１枚１枚の対象入力画像の特徴情報を特に要素特徴情報とも呼び、複数枚の対象入力画像の特徴情報から統計学に基づき生成された特徴情報を特に総合特徴情報とも呼ぶ。本例において、特徴情報３０５、３０５ａ及び３０５ｂの夫々は要素特徴情報であり、特徴情報Ｗ１_Aは総合特徴情報である。

図９の要素特徴情報３０５は、図７に示すそれと同じである。更に、図９に示す如く、要素特徴情報３０５ａにおけるフォーカス情報、サイズ情報及び位置情報が、夫々、人物、ＳＩＺＥ_A2及びＢＬ₅であって、要素特徴情報３０５ｂにおけるフォーカス情報、サイズ情報及び位置情報が、夫々、人物、ＳＩＺＥ_A3及びＢＬ₄である場合を考える。この場合、総合特徴情報Ｗ１_Aにおけるフォーカス情報、サイズ情報及び位置情報は、夫々、人物、ＳＩＺＥ_A及びＢＬ₅とされる。情報Ｗ１_Aに付随する付加情報には、カテゴリ組み合わせ「人物及び山」に対する学習回数が記録される。情報Ｗ１_Aは、３回分の学習結果に基づき、即ち特徴情報３０５、３０５ａ及び３０５ｂを元に生成される。従って、情報Ｗ１_Aの付加情報には、学習回数を表す数値として３が記録される。

総合特徴情報Ｗ１_Aの元となる要素特徴情報のフォーカス情報の内、最も頻度の多いフォーカス情報を、総合特徴情報Ｗ１_Aのフォーカス情報とすることができる。図９の例では、要素特徴情報３０５、３０５ａ及び３０５ｂのフォーカス情報が全て「人物」であるため、総合特徴情報Ｗ１_Aのフォーカス情報も「人物」とされる。仮に、要素特徴情報３０５、３０５ａ及び３０５ｂのフォーカス情報の内、２つのみが「人物」であっても、総合特徴情報Ｗ１_Aのフォーカス情報は「人物」とされる。
総合特徴情報Ｗ１_Aにおけるサイズ情報ＳＩＺＥ_Aは、例えば、総合特徴情報Ｗ１_Aの元となる要素特徴情報のサイズ情報の平均（即ち、ＳＩＺＥ_A1〜ＳＩＺＥ_A3の平均）とされる。但し、フォーカス情報において総合特徴情報Ｗ１_Aと一致しない要素特徴情報のサイズ情報は、サイズ情報ＳＩＺＥ_Aに反映されないものとする。従って仮に、要素特徴情報３０５、３０５ａ及び３０５ｂのフォーカス情報が夫々「人物」、「人物」及び「山」であるならば、要素特徴情報３０５、３０５ａのサイズ情報の平均（即ち、ＳＩＺＥ_A1及びＳＩＺＥ_A2の平均）がサイズ情報ＳＩＺＥ_Aとなる。
総合特徴情報Ｗ１_Aの元となる要素特徴情報の位置情報の内、最も頻度の多い位置情報を、総合特徴情報Ｗ１_Aの位置情報とすることができる。但し、フォーカス情報において総合特徴情報Ｗ１_Aと一致しない要素特徴情報の位置情報は、総合特徴情報Ｗ１_Aの位置情報に反映されないものとする。図９の例では、要素特徴情報３０５、３０５ａ及び３０５ｂのフォーカス情報が全て「人物」であるため、要素特徴情報３０５、３０５ａ及び３０５ｂの位置情報の内、最も頻度が多い位置情報ＢＬ₅が総合特徴情報Ｗ１_Aの位置情報とされる。仮に、要素特徴情報３０５、３０５ａ及び３０５ｂのフォーカス情報が夫々「人物」、「山」及び「人物」であるならば、要素特徴情報３０５の位置情報ＢＬ₅又は要素特徴情報３０５ｂの位置情報ＢＬ₄が総合特徴情報Ｗ１_Aの位置情報とされる。この場合において、対象入力画像３００の撮影後に対象入力画像３００ｂが撮影されていたのならば、新しく撮影された方の対象入力画像３００ｂを優先し、要素特徴情報３０５ｂの位置情報ＢＬ₄を総合特徴情報Ｗ１_Aの位置情報にするようにしてもよい。

図９において、中央部分に示された特徴情報群は、上記の対象入力画像３３０、３３０ａ及び３３０ｂ（不図示）に基づく、カテゴリ組み合わせ「犬及び海」についての特徴情報群である。Ｗ１_Bは、上記の対象入力画像３３０、３３０ａ及び３３０ｂの要素特徴情報に基づく、カテゴリ組み合わせ「犬及び海」についての総合特徴情報である。総合特徴情報Ｗ１_Bも、総合特徴情報Ｗ１_Aと同様にして作成される。図９において、下方部分に示された特徴情報群は、上記の対象入力画像３３１及び３３１ａ（不図示）に基づく、カテゴリ組み合わせ「人及び海」についての特徴情報群である。図９に示す状態において、カテゴリ組み合わせ「人及び海」についての要素特徴情報は２つしかないため、カテゴリ組み合わせ「人及び海」については学習段階動作から制御段階動作へ移行することができないが、カテゴリ組み合わせ「人及び山」と「犬及び海」については学習回数が必要学習回数Ｌ_NUM（＝３）に達しているため制御段階動作を実行することができる。

対象入力画像３００、３００ａ及び３００ｂの撮影後、更に、カテゴリ組み合わせが「人及び山」となる対象入力画像３００ｃ（不図示）が撮影された場合には、その最新の対象入力画像３００ｃの特徴情報を用いて総合特徴情報Ｗ１_Aを更新すると良い。例えば、画像３００、３００ａ、３００ｂ及び３００ｃの要素特徴情報を元にして、或いは、画像３００ａ、３００ｂ及び３００ｃの要素特徴情報を元にして、総合特徴情報Ｗ１_Aを再作成することができる。更に或いは、対象入力画像３００ｃが撮影された時点では総合特徴情報Ｗ１_Aを更新せず、カテゴリ組み合わせが「人及び山」となる対象入力画像３００ｄ及び３００ｅが更に撮影された時点で、対象入力画像３００ｃ、３００ｄ及び３００ｅの要素特徴情報を元に総合特徴情報Ｗ１_Aを再作成するようにしてもよい。

［制御段階動作］
カテゴリ組み合わせ「人及び山」について、要素特徴情報３０５、３０５ａ及び３０５ｂに基づく図９の総合特徴情報Ｗ１_Aが学習メモリ５４に保存され、且つ、総合特徴情報Ｗ１_A以外の幾つかの総合特徴情報（情報Ｗ１_Bを含む）が学習メモリ５４に保存されている状態を、便宜上、図９の学習状態と呼ぶ。第１実施例では、以下、図９の学習状態の下における制御段階動作の説明を行う。図１０は、第１実施例に係る制御段階動作の手順を表すフローチャートであり、制御段階動作ではステップＳ２１〜Ｓ２８の各処理が実行される。

まず、ステップＳ２１において、図１のＣＰＵ２３又は図４の撮影制御部５５によりシャッタボタン２６ｂが半押し状態となっているかが確認され、それが半押し状態になっている場合には、ステップＳ２１からステップＳ２２へ移行してステップＳ２２〜Ｓ２７の処理が順次実行される一方、それが半押し状態となっていない場合には、ステップＳ２１の確認動作が繰り返し実行される。シャッタボタン２６ｂは２段階の押下操作が可能となっており、ユーザがシャッタボタン２６ｂを軽く押すとシャッタボタン２６ｂの状態は半押し状態となり、その状態から更にシャッタボタン２６ｂを押し込むとシャッタボタン２６ｂの状態は全押し状態となる。シャッタボタン２６ｂの状態を全押し状態にする操作がシャッタ操作である。シャッタボタン２６ｂの状態を半押し状態にする操作を半押し操作と呼ぶ。

尚、半押し操作が成されたか否かではなく、撮像装置１の筐体の静止状態（換言すれば動き状態）に基づいて、ステップＳ２１からステップＳ２２への移行可否を決定しても良い。即ち例えば、ステップＳ２１において、撮像装置１の筐体が一定時間継続して静止していると判断される場合に、ステップＳ２１からステップＳ２２への移行を実行するようにしても良い。撮像装置１の筐体の動きの大きさを表す動き量が一定時間継続して所定値以下であるとき、撮像装置１の筐体が一定時間継続して静止していると判断することができる。撮像装置１の筐体の動きを検出する動きセンサ（不図示）を撮像装置１に設けておけば、動きセンサの検出結果を用いて上記動き量を検出することができる。或いは、時間的に隣接して取得された入力画像間のオプティカルフローに基づいて上記動き量を検出することもできる。動きセンサは、例えば、撮像装置１の筐体の角速度を検出する角速度センサ、又は、撮像装置１の筐体の加速度を検出する加速度センサである。

特殊撮影モードを含む撮影モードでは、所定のフレーム周期（例えば、１／６０秒）にて周期的に被写体の撮影が行われて入力画像を順次取得され、順次取得された入力画像は次々と表示部２７上に更新表示される（学習段階動作においても同様、且つ、後述の他の実施例においても同様）。ステップＳ２２において、図４の被写体検出部５１は、最新の入力画像を評価用画像として取り扱い、その評価用画像に対して、上述の被写体検出及び被写体のカテゴリ分類を行う。即ち、評価用画像の画像信号に基づき、評価用画像上に存在する各被写体を複数のカテゴリの何れかに分類して検出する。これにより、上述と同様の方法にて、評価用画像についてのカテゴリ組み合わせが決定する。

ステップＳ２２に続くステップＳ２３において、図４の撮影制御部５５は、評価用画像のカテゴリ組み合わせに一致するカテゴリ組み合わせの総合特徴情報を、学習メモリ５４から読み出す。例えば、評価用画像の組み合わせカテゴリが「人物及び山」であったならば総合特徴情報Ｗ１_Aが読み出され、評価用画像の組み合わせカテゴリが「犬及び海」であったならば総合特徴情報Ｗ１_Bが読み出される（図９参照）。以下では、評価用画像が図１１の画像３５０である場合を考える。画像上３５０には人物である被写体３５１及び山である被写体３５２の画像信号が存在している。その結果、評価用画像３５０の組み合わせカテゴリは「人物及び山」であると判断されたものとする。そうすると、ステップＳ２３において総合特徴情報Ｗ１_Aが読み出される。以下、ステップＳ２３にて読み出される総合特徴情報を、読み出し特徴情報とも呼ぶ。

ステップＳ２３に続くステップＳ２４において、撮影制御部５５は、読み出し特徴情報のフォーカス情報に示された被写体（読み出し特徴情報のフォーカス情報に示されたカテゴリの被写体）を主要被写体として設定する。読み出し特徴情報である総合特徴情報Ｗ１_Aのフォーカス情報に示された被写体のカテゴリは「人物」であるため、人物が主要被写体として設定される。

図１１の画像領域３６１は、被写体３５１の画像信号が存在する被写体領域である。図６（ｂ）の被写体領域３１１の検出方法と同様の方法にて、評価用画像３５０の画像信号に基づき被写体領域３６１が検出される。評価用画像３５０上における被写体領域３６１の画像サイズがＳＩＺＥ_A’であるものとする。ステップＳ２４に続くステップＳ２５において、撮影制御部５５は、読み出し特徴情報のサイズ情報であるＳＩＺＥ_Aと、上記のＳＩＺＥ_A’とに基づき、ズーム自動制御とも言うべき画角自動調整を実行する。

画角自動調整では、主要被写体の大きさを示す画像サイズをＳＩＺＥ_A’からＳＩＺＥ_Aへと変更するために必要な光学ズーム倍率を目標ズーム倍率として算出し、実際の光学ズーム倍率を目標ズーム倍率に向かって変更する。実際の光学ズーム倍率が目標ズーム倍率と一致するように光学ズーム倍率が変更されたならば、その変更後に得られる入力画像上の主要被写体の大きさ（主要被写体の被写体領域の画像サイズ）は、理想的にはＳＩＺＥ_Aとなる。光学ズーム倍率の変更は図２のズームレンズ３０の位置変更によって実現され、光学ズーム倍率の変更によって、入力画像の画角とも言うべき撮像部１１の撮影画角が変更される。具体的には例えば、主要被写体の被写体領域の面積として表されるＳＩＺＥ_A’がＳＩＺＥ_Aの１／４であるなら、画角自動調整によって光学ズーム倍率を２倍にする（光学ズーム倍率が２倍になれば、主要被写体の被写体領域の面積は４倍になるからである）。図１２の画像３７０は、画角自動調整前のそれとの対比において、光学ズーム倍率を１．５倍にする画角自動調整を経て得られる入力画像を表している。

但し、画角自動調整は、主要被写体の位置が、読み出し特徴情報の位置情報に示されたブロックからはみ出さないという前提の下で行われ、そのようなはみ出しが生じる場合には、そのようなはみ出しが生じる直前にて画角自動調整は強制的に終了される。主要被写体の位置とは、厳密には例えば、主要被写体の被写体領域の中心位置である。例えば、評価用画像３５０上における主要被写体の位置（被写体領域３６１の中心位置）がブロックＢＬ₅に属しており、且つ、評価用画像３５０の撮影時における光学ズーム倍率がＺＦ₁であって、且つ、ＳＩＺＥ_A＞ＳＩＺＥ_A’であるとき、ＺＦ₁よりも大きな目標ズーム倍率ＺＦ₂が設定され、目標ズーム倍率ＺＦ₂に向かって光学ズーム倍率の増大が成されるが、その増大の過程において、最新の入力画像上における主要被写体の位置がブロックＢＬ₅からはみ出しそうになったとき、そのはみ出しが生じる直前において光学ズーム倍率の増大を中止して光学ズーム倍率を固定する。この場合、ステップＳ２５の画角自動調整後の光学ズーム倍率は、ＺＦ₁よりも大きいがＺＦ₂よりも小さくなる。

ステップＳ２５の画角自動調整の終了後、ステップＳ２６において、撮影制御部５５は、主要被写体にピントが合うようにフォーカス自動調整を実行する。フォーカス自動調整を、上述のＡＦ評価値を用いたコントラスト検出法によるオートフォーカス制御により実現できる。つまり、主要被写体の被写体領域のＡＦ評価値が最大化されるように図２のフォーカスレンズ３１の位置を調整することにより、主要被写体にピントを合わせることができる。

フォーカス自動調整中に取得される各入力画像に対して被写体検出を継続的に行うことで、それらの入力画像の夫々からＡＦ評価値が最大化されるべき主要被写体の被写体領域を逐次検出し、その逐次検出の結果を用いてフォーカス自動調整を行うようにしても良い。或いは、評価用画像の撮影時における光学ズーム倍率及び現時点の光学ズーム倍率と、評価用画像上における主要被写体の位置から、現時点の入力画像上における主要被写体の位置を推定し、その推定の結果を用いてフォーカス自動調整を行うようにしても良い。

ステップＳ２６のフォーカス自動調整後、ステップＳ２７において、シャッタボタン２６ｂが全押し状態になるのを待機し、それが全押し状態になったことが確認されるとステップＳ２７からステップＳ２８へ移行して、新たな対象入力画像の撮影を行う。ステップＳ２８で得られた対象入力画像は外部メモリ１８に記録される。

尚、上述の説明では、入力画像の画角を決定するズーム倍率が光学ズームによる光学ズーム倍率であることを想定している。しかしながら、入力画像の画角を決定するズーム倍率を電子ズームによる電子ズーム倍率とし、電子ズームによって画角自動調整を実現するようにしても良い。同様に考えて、光学ズームと電子ズームとの組み合わせによって画角自動調整を実現するようにしても良い。

学習メモリ５４に記録された特徴情報は、過去に撮影された対象入力画像の特徴を表している。ここで、対象入力画像の特徴には、対象入力画像上の複数の被写体の内、何れのカテゴリの被写体が合焦被写体（ピントが合っている被写体）であるのかを表す第１特徴、対象入力画像上の合焦被写体の大きさ及び位置を表す第２及び第３特徴が含まれる。第１〜第３特徴は、夫々、フォーカス情報、サイズ情報及び位置情報によって示される。

フォーカス情報を学習メモリ５４に記録することで、フォーカスに関するユーザの好みを再現することが可能となり、サイズ情報及び位置情報を学習メモリ５４に記録することで、合焦被写体の大きさ及び構図に関するユーザの好みを再現することが可能となる。つまり、制御段階動作では、現時点の被写体のカテゴリに応じた特徴情報を学習メモリ５４から読み出してズーム制御（画角自動調整）及びフォーカス制御（フォーカス自動調整）を行うことで、ユーザの嗜好性に適合した画角設定、構図設定及びフォーカス設定を自動的に再現する。これにより、ユーザの嗜好性に適合した画角設定、構図設定及びフォーカス設定が支援され、ユーザの利便性向上が図られる。

以下の第２〜第７実施例には、第１実施例に適用可能な、第１実施例に対する変形技術が示される。但し、矛盾無き限り、第２〜第７実施例に示された技術を、第１実施例以外の他の実施例に適用することも可能である。

＜＜第２実施例＞＞
第２実施例を説明する。第１実施例では、必要学習回数Ｌ_NUMが３であることを想定しているが、必要学習回数Ｌ_NUMは１であってもよく、Ｌ_NUM＝１のときは、学習段階動作において図６（ａ）の対象入力画像３００が取得されて要素特徴情報３０５（図７及び図９参照）が生成された時点で、その要素特徴情報３０５が総合特徴情報Ｗ１_Aとして機能することとなる。但し、制御段階動作においてユーザの嗜好性を適切に再現するためには、Ｌ_NUMを２以上に設定することが望ましい。

＜＜第３実施例＞＞
第３実施例を説明する。入力画像において人物が存在する場合、その人物の個人認識処理を行って個人認識処理の結果に応じたカテゴリ分類を行うようにしても良い。個人認識処理では、例えば、複数の登録人物の顔画像の画像信号に応じた顔辞書データベースを予め被写体検出部５１内に用意しておき、顔辞書データベースと入力画像の画像信号に基づいて、入力画像上に存在する人物が何れかの登録人物であるかを認識する。そして、入力画像上に存在する人物が第ｉ登録人物であると認識したならば、その人物のカテゴリは第ｉ登録人物であると検出するようにしてもよい（ｉは整数）。

第１入力画像上の人物が第１登録人物であって且つ第２入力画像上の人物が第２登録人物である場合、第１入力画像上の人物のカテゴリと第２入力画像上の人物のカテゴリは、互いに異なると判断され、結果、第１及び２入力画像間においてカテゴリ組み合わせは異なると判断される。ｉ及びｊが互いに異なる整数である場合、第ｉ登録人物と第ｊ登録人物は互いに異なる人物であるとする。

＜＜第４実施例＞＞
第４実施例を説明する。第１実施例で想定されている入力画像では、人物が一人しか存在していないが、人物が複数存在する場合には、複数の人物をまとめて１つのカテゴリに分類するようにしてもよい。

例えば、図１３に示す画像４００が入力画像として被写体検出部５１に入力された場合を考える。入力画像４００には、二人の人物である被写体４０１及び４０２と山である被写体４０３の画像信号が存在しており、被写体検出部５１によって、被写体４０１〜４０３の被写体領域４１１〜４１３が入力画像４００から抽出される。被写体検出部５１は、被写体４０１及び４０２をまとめて１つのカテゴリ「人物二人」に分類し、特徴情報生成部５２は、入力画像４００に対するカテゴリ組み合わせを「人物二人と山」とみなすことができる。

図１４の特徴情報４０５は、入力画像４００に対して生成される特徴情報の例を示している。入力画像４００における合焦被写体が被写体４０１及び４０２であるものとする。そうすると、要素特徴情報４０５におけるフォーカス情報は人物二人とされ、要素特徴情報４０５におけるサイズ情報は、入力画像４００上における被写体４０１及び４０２の大きさの平均（厳密には例えば、被写体領域４１１の画像サイズと被写体領域４１２の画像サイズの平均）ＳＩＺＥ_Dとされ、要素特徴情報４０５における位置情報は、入力画像４００上における被写体４０１及び４０２の位置とされる。入力画像４００上における被写体領域４１１及び４１２の中心位置が、夫々、入力画像４００上のブロックＢＬ₄及びＢＬ₅内に位置していたものとする。そうすると、図１４に示す如く、要素特徴情報４０５における位置情報はＢＬ₄及びＢＬ₅となる。

今、説明の簡略化上、特徴情報４０５そのものが、カテゴリ組み合わせ「人物二人と山」についての総合特徴情報として機能していた場合を考える。この場合において、制御段階動作中に、カテゴリ組み合わせが「人物二人と山」である評価用画像が取得されたとき、特徴情報４０５が読み出し特徴情報として学習メモリ５４から読み出され（図１０のステップＳ２３）、特徴情報４０５のフォーカス情報に基づき人物二人が主要被写体として設定され（ステップＳ２４）、画角自動調整後の入力画像上における人物二人の大きさの平均（人物二人の被写体領域の画像サイズ平均）がＳＩＺＥ_Dとなるように画角自動調整が成され（ステップＳ２５）、人物二人にピントが合うようにフォーカス自動調整が成される（ステップＳ２６）。その後、シャッタボタン２６ｂの全押しが成されると（ステップＳ２７のＹ）、新たな対象入力画像の撮影及び記録が成される（ステップＳ２８）。

但し、画角自動調整の過程において、入力画像上の一方の人物の位置がブロックＢＬ₄内に位置し且つ他方の人物の位置がブロックＢＬ₅内に位置するという条件の成否が確認され、その条件が成り立たなくなると判断されると、その時点で、第１実施例で述べたように画角自動調整による光学ズーム倍率（又は電子ズーム倍率）の変更は終了される。

＜＜第５実施例＞＞
第５実施例を説明する。第１実施例（及び上述の他の実施例）では、カテゴリ組み合わせを形成するカテゴリの個数が２であることを想定しているが、その個数は３以上でも良い。例えば、その個数が３である場合において、学習段階動作中に、人、犬及び山を被写体として含む対象入力画像が取得された場合、その対象入力画像のカテゴリ組み合わせは「人、犬及び山」となり、その対象入力画像の特徴情報がカテゴリ組み合わせ「人、犬及び山」に関連付けて学習メモリ５４に保存される。

カテゴリ組み合わせ「人、犬及び山」についての総合特徴情報が生成された後、制御段階動作中に、人、犬及び山を被写体として含む入力画像が評価用画像として取得されると、カテゴリ組み合わせ「人、犬及び山」についての総合特徴情報が読み出し特徴情報として読み出されて、図１０のステップＳ２４以降の各処理が実行される。

＜＜第６実施例＞＞
第６実施例を説明する。カテゴリ組み合わせを形成するカテゴリの個数が２である場合において、学習段階動作中に、カテゴリ組み合わせ「人及び犬」の総合特徴情報４２０、カテゴリ組み合わせ「犬及び山」の総合特徴情報４２１、カテゴリ組み合わせ「人及び山」の総合特徴情報４２２が生成されて学習メモリ５４に保存された場合を考える（総合特徴情報４２０〜４２２は図示せず）。

この場合において、制御段階動作中に、人と犬と山を被写体として含む評価用画像（不図示）が取得された場合、総合特徴情報４２０〜４２２の何れかが、図１０のステップＳ２３にて読み出される。この際、総合特徴情報４２０〜４２２の付加情報に格納されている学習回数を参照し、学習回数が最も多い総合特徴情報を、ステップＳ２３にて読み出すようにすると良い。

総合特徴情報４２０〜４２２の中に、学習回数が同数の総合特徴情報が複数存在していた場合、最も新しい学習時刻に学習された総合特徴情報をステップＳ２３にて読み出すようにすると良い。これを実現すべく、学習メモリ５４の各付加情報に学習時刻を付与しておくと良い。或る特徴情報の学習時刻とは、その特徴情報の元となる対象入力画像の撮影時刻を表す。例えば、総合特徴情報４２０〜４２２の学習回数が夫々「３」、「４」及び「４」である場合、総合特徴情報４２１の元となる４つの要素特徴情報の学習時刻の内、最新の学習時刻を第１学習時刻として抽出する一方で、総合特徴情報４２２の元となる４つの要素特徴情報の学習時刻の内、最新の学習時刻を第２学習時刻として抽出する。そして、第１学習時刻が第２学習時刻よりも遅ければ総合特徴情報４２１をステップＳ２３にて読み出し、逆に第２学習時刻が第１学習時刻よりも遅ければ総合特徴情報４２２をステップＳ２３にて読み出せばよい。

＜＜第７実施例＞＞
第７実施例を説明する。第１実施例では、フォーカス情報、サイズ情報及び位置情報を特徴情報に含めることで、制御段階動作において画角自動調整及びフォーカス自動調整を実現している。

しかしながら、特徴情報からサイズ情報及び位置情報を削除することで、制御段階動作において画角自動調整の実行を割愛するようにしてもよい（図１０参照）。特徴情報からサイズ情報及び位置情報を削除した場合、制御段階動作においてステップ２５の画角自動調整が実行されず、フォーカス情報に基づくフォーカス自動調整を経てから（ステップＳ２６）、ステップＳ２８の対象入力画像の撮影が成される。

或いは、特徴情報から位置情報のみを削除するようにしても良い。第１実施例では、主要被写体の位置が、読み出し特徴情報の位置情報に示されたブロックからはみ出さないという前提の下で画角自動調整が行われ、そのようなはみ出しが生じる場合には、そのようなはみ出しが生じる直前にて画角自動調整が強制的に終了されるが、特徴情報から位置情報を削除した場合には、そのような強制的な終了は発生しなくなる。つまり、特徴情報から位置情報を削除した場合には、入力画像上の主要被写体の位置に関係なく、ステップＳ２８の対象入力画像上の主要被写体の大きさが読み出し特徴情報のサイズ情報に従った大きさとなるように画角自動調整が成される。

＜＜第８実施例＞＞
第８実施例を説明する。第８実施例では、学習段階動作中に生成される対象入力画像の生成条件が、ユーザのマニュアル操作によって指定されていることを想定する。マニュアル操作は、ユーザによる操作部２６への操作である。表示部２７にタッチパネル機能が備えられている場合においては、タッチパネル操作によってマニュアル操作が実現されても良い。この場合、表示部２７は、対象入力画像の生成条件の指定を受け付ける第２操作部としても機能する。

対象入力画像の生成条件には、対象入力画像の画質を変化させる（より広くいえば、対象入力画像の画像信号を変化させる）任意の条件が含まれる。指定された生成条件に依存して、手ぶれ補正のＯＮ／ＯＦＦ、ＡＦＥ１２の増幅率、対象入力画像の生成過程においてＡＦＥ１２の出力信号に成される画像処理（鮮鋭化処理やホワイトバランス調整用処理）の内容などが規定される。より具体的には、対象入力画像の生成条件には、対象入力画像の生成時に手ぶれ補正を成すか否かを既定する手ぶれ補正ＯＮ／ＯＦＦ条件、対象入力画像の感度を既定する感度条件、対象入力画像の鮮鋭度合いを既定する鮮鋭化条件、対象入力画像のホワイトバランスの状態を規定するホワイトバランス条件などが含まれる。

手ぶれ補正がＯＦＦとなっている場合、対象入力画像の画像信号を得るために撮像素子３３にて実施された露光の期間中に撮像装置１の筐体が動けば、撮像素子３３上の像がぶれて、そのぶれが対象入力画像に混入する。手ぶれ補正がＯＮとなっている場合には、対象入力画像に混入するおそれのあるぶれが、公知の方法を用いて光学的又は電子的に除去される。
感度条件にて規定される感度は、ＩＳＯ感度である。ＩＳＯ感度は、ＩＳＯ（International Organization for Standardization）によって規定された感度を意味し、ＩＳＯ感度を調節することで対象入力画像の明るさ（輝度レベル）を調節することができる。実際には、ＩＳＯ感度に応じてＡＦＥ１２における信号増幅の増幅度を決定する。
ＡＦＥ１２の出力信号そのものによって表される画像に対して鮮鋭化処理を施すことで対象入力画像を生成することができる。鮮鋭化条件によって、鮮鋭化処理そのものを実行するのか否かを含め、鮮鋭化処理の内容が規定される。
ホワイトバランス条件によって、オートホワイトバランス制御を用いて対象入力画像を生成するのか否か等が規定される。

第８実施例における以下の説明では、説明の簡略化上、手ぶれ補正ＯＮ／ＯＦＦ条件及び感度条件のみがマニュアル操作によって指定されることを想定する。

図１５は、第８実施例に係る特殊撮影モードの動作に特に関与する部位のブロック図である。生成条件情報生成部５６は、後述の生成条件情報を生成する。生成条件情報生成部５６を、画像信号処理部１３によって、或いは、画像信号処理部１３とＣＰＵ２３の組み合わせによって実現することができる。

［学習段階動作］
図１６は、第８実施例に係る学習段階動作の手順を表すフローチャートであり、学習段階動作ではステップＳ５１〜Ｓ５４の各処理が実行される。ステップＳ５１では、シャッタ操作に先立ち、撮像装置１は、上記マニュアル操作による対象入力画像の生成条件の指定を受け付け、その後、ステップＳ５２においてユーザによりシャッタ操作が成されると、指定された生成条件にて対象入力画像を生成する。対象入力画像の生成後、ステップＳ５３において、被写体検出部５１により、対象入力画像の被写体検出及び被写体のカテゴリ分類が行われる。最後に、ステップＳ５４では、対象入力画像のカテゴリ組み合わせに関連付けた状態で、対象入力画像の生成条件を表す生成条件情報が学習メモリ５４の記録内容に反映される。

例えば、ステップＳ５１において、ユーザのマニュアル操作によりＩＳＯ感度を「ＩＳＯ１００」にすべきこと及び手ぶれ補正をＯＮとすべきことが指定され、その指定内容に従って、図６（ａ）の対象入力画像３００が生成された場合を考える。この場合、対象入力画像３００に対するマニュアル操作の内容に基づいて図１７に示す生成条件情報５０５が生成され、生成条件情報５０５が対象入力画像３００の組み合わせカテゴリ「人物及び山」と関連付けた状態で学習メモリ５４に保存される。組み合わせカテゴリの検出方法は、第１実施例で述べた通りである。

或る入力画像に対する生成条件情報は、感度条件を表す感度情報及び手ぶれ補正ＯＮ／ＯＦＦ条件を表す手ぶれ補正情報から成り、該生成条件情報に必要に応じて、上述したような付加情報が付加される（図１７参照）。付加情報も生成条件情報の一部であると考えることも可能であるが、本例においては、付加情報は生成条件情報の構成要素ではないと考える。生成条件情報５０５において、感度情報は「ＩＳＯ１００」であり、手ぶれ補正情報は「ＯＮ」である。

学習段階動作では、ステップＳ５１〜Ｓ５４から成る一連の処理を繰り返し実行することで、ユーザの嗜好性を繰り返し学習する。Ｌ_NUMを１以上の任意の整数とすることができるが、今、Ｌ_NUMが３であるとする。Ｌ_NUMの意義は上述した通りである。図１８は、対象入力画像３００の取得後、図９の情報の生成元となった上述の対象入力画像３００ａ、３００ｂ、３３０、３３０ａ、３３０ｂ、３３１及び３３１ａ（全て不図示）が更に取得された後の、学習メモリ５４の記録内容を示している。

生成条件情報生成部５６は、対象入力画像３００の生成条件情報５０５を生成する方法と同様の方法にて、対象入力画像３００ａ及び３００ｂに対するマニュアル操作の内容に基づき、対象入力画像３００ａの生成条件情報５０５ａ及び対象入力画像３００ｂの生成条件情報５０５ｂを生成する。メモリ制御部５３は、生成条件情報５０５、５０５ａ及び５０５ｂが生成されると、それらをカテゴリ組み合わせ「人物及び山」に関連付けつつ学習メモリ５４に保存する。一方で、生成条件情報生成部５６又はメモリ制御部５３は、生成条件情報５０５、５０５ａ及び５０５ｂに一致又は類似する生成条件情報Ｗ２_Aを統計学に基づいて作成し、生成条件情報Ｗ２_Aもカテゴリ組み合わせ「人物及び山」に関連付けて学習メモリ５４に保存する。１枚１枚の対象入力画像の生成条件情報を特に要素生成条件情報とも呼び、複数枚の対象入力画像の生成条件情報から統計学に基づき生成された生成条件情報を特に総合生成条件情報とも呼ぶ。本例において、生成条件情報５０５、５０５ａ及び５０５ｂの夫々は要素生成条件情報であり、生成条件情報Ｗ２_Aは総合生成条件情報である。

要素生成条件情報５０５、５０５ａ及び５０５ｂにおいて、感度情報は、夫々、「ＩＳＯ１００」、「ＩＳＯ１００」及び「ＩＳＯ２００」であり、手ぶれ補正情報は、夫々、「ＯＮ」、「ＯＦＦ」及び「ＯＮ」である。複数の要素特徴情報のフォーカス情報から総合特徴情報のフォーカス情報を生成する方法（第１実施例で述べた方法）と同様の方法にて（図９参照）、情報５０５、５０５ａ及び５０５ｂの感度情報から情報Ｗ２_Aの感度情報を生成することができると共に、情報５０５、５０５ａ及び５０５ｂの手ぶれ補正情報から情報Ｗ２_Aの手ぶれ補正情報を生成することができる。即ち例えば、情報Ｗ２_Aの元となる要素生成条件情報の感度情報の内、最も頻度の多い感度情報を、情報Ｗ２_Aの感度情報とすることができる（手ぶれ補正情報も同様）。従って、情報Ｗ２_Aにおける感度情報及び手ぶれ補正情報は、夫々、「ＩＳＯ１００」及び「ＯＮ」となる。情報Ｗ２_Aに付随する付加情報には、カテゴリ組み合わせ「人物及び山」に対する学習回数が記録される。情報Ｗ２_Aは、３回分の学習結果に基づき、即ち情報５０５、５０５ａ及び５０５ｂを元に生成される。従って、情報Ｗ２_Aの付加情報には、学習回数を表す数値として３が記録される。

図１８において、中央部分に示された生成条件情報群はカテゴリ組み合わせ「犬及び海」についての生成条件情報群であり、Ｗ２_Bは、カテゴリ組み合わせ「犬及び海」についての総合生成条件情報である。総合生成条件情報Ｗ２_Bも、総合生成条件情報Ｗ２_Aと同様にして作成される。図１８において、下方部分に示された生成条件情報群はカテゴリ組み合わせ「人及び海」についての生成条件情報群である。図１８に示す状態において、カテゴリ組み合わせ「人物及び山」と「犬及び海」については学習回数が必要学習回数Ｌ_NUM（＝３）に達しているため制御段階動作を実行することができる。

尚、第１実施例で述べたように、対象入力画像３００、３００ａ及び３００ｂの撮影後、更に、カテゴリ組み合わせが「人物及び山」となる対象入力画像３００ｃ（不図示）が撮影された場合には、その最新の対象入力画像３００ｃの生成条件情報を用いて総合生成条件情報Ｗ２_Aを更新すると良い。

［制御段階動作］
カテゴリ組み合わせ「人物及び山」について、要素生成条件情報５０５、５０５ａ及び５０５ｂに基づく図１８の総合生成条件情報Ｗ２_Aが学習メモリ５４に保存され、且つ、総合生成条件情報Ｗ２_A以外の幾つかの総合生成条件情報（情報Ｗ２_Bを含む）が学習メモリ５４に保存されている状態を、便宜上、図１８の学習状態と呼ぶ。第８実施例では、以下、図１８の学習状態の下における制御段階動作の説明を行う。図１９は、第８実施例に係る制御段階動作の手順を表すフローチャートであり、制御段階動作ではステップＳ６１〜Ｓ６５の各処理が実行される。

ステップＳ６１及びＳ６２の処理内容は、図１０のステップＳ２１及びＳ２２のそれと同じである。従って、シャッタボタン２６ｂが半押し状態になっている場合、或いは、撮像装置１の筐体が一定時間継続して静止していると判断される場合、ステップＳ６１からステップＳ６２への移行が成され、被写体検出部５１は、最新の入力画像を評価用画像として取り扱って、評価用画像の画像信号に基づき、評価用画像上に存在する各被写体を複数のカテゴリの何れかに分類して検出する。これにより、上述と同様の方法にて、評価用画像についてのカテゴリ組み合わせが決定する。

ステップＳ６２に続くステップＳ６３において、図４の撮影制御部５５は、評価用画像のカテゴリ組み合わせに一致するカテゴリ組み合わせの総合生成条件情報を、学習メモリ５４から読み出す。例えば、評価用画像の組み合わせカテゴリが「人物及び山」であったならば情報Ｗ２_Aが読み出され、評価用画像の組み合わせカテゴリが「犬及び海」であったならば情報Ｗ２_Bが読み出される（図１８参照）。以下では、評価用画像が図１１の画像３５０である場合を考える。評価用画像３５０の組み合わせカテゴリは「人物及び山」であるため、ステップＳ６３において総合生成条件情報Ｗ２_Aが読み出される。以下、ステップＳ６３にて読み出される総合生成条件情報を、読み出し生成条件情報とも呼ぶ。

ステップＳ６３の読み出し処理の後、ステップＳ６４において、シャッタボタン２６ｂが全押し状態になるのを待機し、それが全押し状態になったことが確認されるとステップＳ６４からステップＳ６５へ移行して、新たな対象入力画像の撮影を行い、その対象入力画像の画像信号を外部メモリ１８に記録する。ステップＳ６５にて取得される対象入力画像の生成条件は、読み出し生成条件情報に従ったものとされる。即ち、読み出し生成条件情報が情報Ｗ２_Aであるならば、ステップＳ６５にて取得される対象入力画像のＩＳＯ感度は「ＩＳＯ１００」とされ、且つ、手ぶれ補正をＯＮにした状態でステップＳ６５の対象入力画像の撮影が成される。

学習メモリ５４に記録された生成条件情報には、ユーザの嗜好性が反映されている。制御段階動作では、現時点の被写体のカテゴリに応じた生成条件情報を学習メモリ５４から読み出すことで、ユーザの嗜好性に適合した生成条件（ＩＳＯ感度等）を自動的に再現する。これにより、ユーザの嗜好性に適合した生成条件（ＩＳＯ感度等）の設定が支援され、ユーザの利便性向上が図られる。

＜＜第９実施例＞＞
第９実施例を説明する。上述の各実施例では、複数の被写体を関係付けることでカテゴリ組み合わせを形成しているが、シーン判定を利用し、入力画像上の被写体と入力画像に対して判定されたシーンとを関係付けることでカテゴリ組み合わせを形成しても良い。この方法を具体的に説明する。

第９実施例では、図２０に示すシーン判定部５８が利用される。シーン判定部５８を、図１の画像信号処理部１３に設けておくことができる。シーン判定部５８は、入力画像の画像信号に基づいて入力画像の撮影シーンを判定する。この判定を、入力画像ごとに行うことができる。入力画像の撮影シーンの判定は、入力画像の被写体の検出、入力画像の被写体のカテゴリ分類、入力画像の色相の分析、入力画像の撮影時における被写体の光源状態の推定等を用いて実行され、その判定に公知の任意の方法（例えば、特開２００９−７１６６６号公報に記載の方法）を用いることができる。

複数の登録シーンが予めシーン判定部５８に設定されている。複数の登録シーンには、例えば、人物が注目された撮影シーンであるポートレートシーン、山が注目された撮影シーンである山シーン、海が注目された撮影シーンである海シーン、日中の撮影状態を表す日中シーン、夜景の撮影状態を表す夜景シーンなどが含まれうる。シーン判定部５８は、注目した入力画像の画像信号からシーン判定に有効な特徴データを抽出することで、その注目した入力画像の撮影シーンを上記複数の登録シーンの中から選択し、これによって、注目した入力画像の撮影シーンを判定する。シーン判定部５８によって判定された撮影シーンを、判定シーンと呼ぶ。

シーン判定部５８を第１又は第８実施例に適用する方法を説明する。判定シーンを表す判定シーン情報は、図４の特徴情報生成部５２又は図１５の生成条件情報生成部５６に伝達される。特徴情報生成部５２又は生成条件情報生成部５６は、任意の入力画像に対する被写体検出部５１の検出結果と判定シーン情報に基づき、その入力画像に対するカテゴリ組み合わせを設定する。例えば、図６（ａ）の対象入力画像３００に関し、対象入力画像３００上の被写体３０１が被写体検出部５１により検出され且つ対象入力画像３００の撮影シーンがシーン判定部５８により山シーンと判定されると、被写体３０１のカテゴリである人物と山シーンとを関係付け、「人物」及び「山シーン」の組み合わせを、対象入力画像３００のカテゴリ組み合わせとして設定する。「人物」及び「山シーン」の組み合わせは、カテゴリ組み合わせ「人物及び山シーン」と表記される。同様に例えば、或る対象入力画像から犬のカテゴリの被写体が検出されると共に該対象入力画像の判定シーンが海シーンであると判断されると、その対象入力画像のカテゴリ組み合わせは、カテゴリ組み合わせ「犬及び海シーン」となる。

カテゴリ組み合わせの設定方法が第１又は第８実施例と異なるだけで、シーン判定部５８を第１又は第８実施例に適用した場合における学習段階動作及び制御段階動作は、第１又は第８実施例のそれと同様である。即ち例えば、第１又は第８実施例の記述中の文言「山」及び「海」をそれぞれ文言「山シーン」及び「海シーン」に適宜読みかえた上で、第１又は第８実施例にて述べた事項を第９実施例に適用することができる（第２〜第７実施例についても同様）。

第１実施例が適用される場合、学習段階動作において、対象入力画像を繰り返し撮影することで各対象入力画像の特徴情報を生成し、被写体のカテゴリと判定シーンとの組み合わせであるカテゴリ組み合わせに各特徴情報を関連付けて学習メモリ５４に保存してゆく。学習メモリ５４に総合特徴情報が生成されると、制御段階動作に移行する。制御段階動作では（図１０参照）、評価用画像に対して被写体のカテゴリ分類を行うと共にシーン判定部５８による判定を行うことで評価用画像のカテゴリ組み合わせ（評価用画像の被写体のカテゴリと評価用画像の判定シーンとの組み合わせ）を決定し、決定したカテゴリ組み合わせに対応する総合特徴情報を学習メモリ５４から読み出す。そして、読み出した総合特徴情報に基づき、第１実施例で述べた方法に従って主要被写体に注目した画角自動調整及びフォーカス自動調整を行い、その後、新たな対象入力画像を撮影すればよい。

第８実施例が適用される場合、学習段階動作において、対象入力画像をマニュアル操作を介して繰り返し撮影することで各対象入力画像の生成条件情報を生成し、被写体のカテゴリと判定シーンとの組み合わせであるカテゴリ組み合わせに各生成条件情報を関連付けて学習メモリ５４に保存してゆく。学習メモリ５４に総合生成条件情報が生成されると、制御段階動作に移行する。制御段階動作では（図１９参照）、評価用画像に対して被写体のカテゴリ分類を行うと共にシーン判定部５８による判定を行うことで評価用画像のカテゴリ組み合わせ（評価用画像の被写体のカテゴリと評価用画像の判定シーンとの組み合わせ）を決定し、決定したカテゴリ組み合わせに対応する総合生成条件情報を学習メモリ５４から読み出す。そして、第８実施例で述べた方法に従い、読み出した総合生成条件情報に規定された生成条件にて、新たな対象入力画像を撮影すればよい。

＜＜第１０実施例＞＞
第１０実施例を説明する。第１０実施例では、音響信号に対して特徴的な制御を行う。図１のマイク部１４は、複数のマイクロホンから形成される。今、図２１に示す如く、マイク部１４は、２つのマイクロホン１４Ｌ及び１４Ｒから成るものとする。マイクロホン１４Ｌ及び１４Ｒとして指向性を有する有指向性マイクロホンを採用することも可能であるが、マイクロホン１４Ｌ及び１４Ｒは、指向性を有さない無指向性マイクロホンであるとする。

図２２は、撮像装置１の外観斜視図である。マイクロホン１４Ｌ及び１４Ｒは、撮像装置１の筐体上の互いに異なる位置に設置される。図２２に示す如く、マイクロホン１４Ｌは撮像装置１の筐体上の左側に設置され、マイクロホン１４Ｒは撮像装置１の筐体上の右側に設置される。図２２に示す如く、撮像部１１にて撮影可能な被写体が存在する方向を前方と定義し、その逆の方向を後方と定義する。前方及び後方は、撮像部１１の光軸に沿った方向である。また、右及び左とは、後方側から前方側を見たときの右及び左を意味するものとする。

マイクロホン１４Ｌ及び１４Ｒの夫々は、自身が収音した音をアナログの音響信号に変換して出力する。図１の音響信号処理部１５は、マイクロホン１４Ｌ及び１４Ｒから出力されるアナログの音響信号をデジタルの音響信号に変換する。この変換によって得られた、マイクロホン１４Ｌ及び１４Ｒの出力信号に基づくデジタルの音響信号を夫々左原信号及び右原信号と呼ぶ。音響信号処理部１５は、左原信号及び右原信号に対して公知の指向性制御を施すことにより指向性を持った音響信号を生成することができる。

また、撮像装置１は、音声付静止画像を生成する機能が備えられている。即ち、シャッタ操作に従って対象入力画像を撮影した際、その対象入力画像の撮影時刻を基準とした一定期間中の音響信号を対象音響信号として生成し、対象音響信号を対象入力画像の画像信号に対応付けて該画像信号と共に外部メモリ１８に記録することができる。対象音響信号の生成は、図１の音響信号処理部１５に内在する対象音響信号生成部（不図示）によって成される。再生モードにおいて、対象入力画像の再生が指示されると、対象入力画像が表示部２７にて表示再生されると共に対象音響信号が音としてスピーカ２８により再生される。

更に、撮像装置１は、音声付静止画像を生成する際、指向性制御によって、対象入力画像上の強調対象被写体の方向に指向性を持った音響信号を対象音響信号として生成することができ、ユーザは、何れの被写体を強調対象被写体とすべきかを操作部２６等を用いて指定することができる。対象入力画像上の強調対象被写体の方向に指向性を持った音響信号を対象音響信号として生成するための指向性制御を、特に、特定方向強調制御と呼ぶ。撮像装置１は、ユーザの指定内容を音に関するユーザの嗜好性情報と捉えて学習し、以降の撮影に役立てることができる。以下、このような方法の詳細な実現法を説明する。尚、第１０実施例においても、図４又は図１５に示される各部位が利用される。

［学習段階動作］
まず、学習段階動作について説明する。学習段階動作では、シャッタ操作に従って対象入力画像が撮影される。図２３に示す対象入力画像６００が得られた場合を考える。対象入力画像６００は、第３実施例で述べた第１及び第２登録人物を被写体に含んだ状態で撮影された入力画像であり、被写体６０１及び６０２は、夫々、対象入力画像６００上における第１及び第２登録人物である。被写体検出部５１は、対象入力画像６００から被写体６０１及び６０２を検出して被写体６０１及び６０２が人物であると検出すると共に、互いに異なる被写体領域６１１及び６１２を設定する。被写体領域６１１及び６１２は、夫々、被写体６０１及び６０２の画像信号が存在する画像領域である。更に、対象入力画像６００の画像信号に基づく上記の個人認識処理によって（第３実施例参照）、被写体検出部５１は、被写体６０１及び６０２が夫々第１及び第２登録人物であると認識する。

被写体検出部５１において、第１及び第２登録人物は互いに異なるカテゴリの被写体であるとみなされる。今、ユーザが、第１登録人物を強調対象被写体とすべきことを操作部２６等を用いて指定したとする。この指定は、対象入力画像６００の撮影前に行うこともできるし、対象入力画像６００の撮影後に行うこともできる。この指定によって、被写体６００が強調対象被写体として設定される。音響信号処理部１５は、対象入力画像６００の撮影時刻を基準とする抽出期間Ｐ₆₀₀を設定し、抽出期間Ｐ₆₀₀中の左原信号及び右原信号から特定方向強調制御によって被写体６０１から到来する音の成分を強調した音響信号を対象音響信号ＳＤ₆₀₀として生成する。この対象音響信号ＳＤ₆₀₀は、対象入力画像６００に対応付けられて対象入力画像６００の画像信号と共に外部メモリ１８に記録される。

或る入力画像の撮影時刻とは、厳密には例えば、その入力画像の画像信号を取得するために撮像素子３３で実施される露光の開始時刻、中間時刻又は終了時刻を指す。或る撮影時刻を基準とする抽出期間とは、該撮影時刻からΔｔ_A秒だけ前の時刻を始期とし且つ該撮影時刻からΔｔ_B秒だけ後の時刻を終期とする期間をさす（Δｔ_A及びΔｔ_Bは所定の正の値）。一定時間分の左原信号及び右原信号を内部メモリ１７に記録しておくようにすれば、対象入力画像６００の撮影後に強調対象被写体の指定が行われたとしても、内部メモリ１７の記録信号から対象音響信号ＳＤ₆₀₀を作り出すことができる（他の対象音響信号についても同様）。

音響信号処理部１５は、対象入力画像６００上における被写体領域６１１の位置と、対象入力画像６００の撮影時刻における焦点距離（撮像部１１の焦点距離）から、撮像装置１から見た被写体６０１の方向を推定し、推定方向から到来する音の信号成分（即ち、音源としての被写体６０１から到来する音の信号成分）が強調されるように対象音響信号ＳＤ₆₀₀を生成する。推定方向から到来する音の信号成分を抽出期間Ｐ₆₀₀中の左原信号及び右原信号から必要成分として抽出し、抽出した必要成分そのものを対象音響信号ＳＤ₆₀₀とすることができる。或いは、その必要成分を抽出期間Ｐ₆₀₀中の左原信号及び右原信号から抽出する一方で、必要成分以外の信号成分を抽出期間Ｐ₆₀₀中の左原信号及び右原信号から不必要成分として抽出した後、必要成分の混合比率が比較的大きくなるように必要成分と不必要成分を加重加算することで対象音響信号ＳＤ₆₀₀を生成しても良い。つまり、０＜ｋ_B＜ｋ_Aを満たす係数ｋ_A及びｋ_Bを設定し、上記必要成分に係数ｋ_Aを乗じた信号と上記不必要成分に係数ｋ_Bを乗じた信号とを足し合わせた信号を対象音響信号ＳＤ₆₀₀として生成しても良い。

音響信号処理部１５は、対象音響信号ＳＤ₆₀₀’の代わりに、指向性制御の一種であるスレテオ化制御によって抽出期間Ｐ₆₀₀中の左原信号及び右原信号から対象音響信号ＳＤ₆₀₀’を作り出すこともできる。スレテオ化制御による対象音響信号は、強調対象被写体の位置に関係なく生成されたＬ信号とＲ信号から成るステレオ信号である。Ｌ信号及びＲ信号は、互いに異なる方向に指向軸を有する、指向性を持った音響信号である。信号ＳＤ₆₀₀’が生成された場合には、信号ＳＤ₆₀₀の代わりに信号ＳＤ₆₀₀’が、対象入力画像６００に対応付けられて対象入力画像６００の画像信号と共に外部メモリ１８に記録される。

被写体検出部５１によって対象入力画像６００のカテゴリ組み合わせとしてカテゴリ組み合わせ「第１及び第２登録人物」が設定され、メモリ制御部５３によって、対象入力画像６００の対象音響信号の指向性に関する音制御情報がカテゴリ組み合わせ「第１及び第２登録人物」に関連付けた状態で学習メモリ５４に記録される。例えば、図２４に示す音制御情報６０５が対象入力画像６００のカテゴリ組み合わせ「第１及び第２登録人物」に関連付けた状態で学習メモリ５４に記録される。音制御情報は、例えば、図１のＣＰＵ２３に内在する音制御情報生成部（不図示）によって生成される。

或る入力画像に対する音制御情報は、特定方向強調制御のＯＮ／ＯＦＦを表す制御ＯＮ／ＯＦＦ情報及び強調対象被写体を表す強調対象情報から成り、その音制御情報に必要に応じて、上述したような付加情報が付加される（図２４参照）。付加情報も音制御情報の一部であると考えることも可能であるが、本例においては、付加情報は音制御情報の構成要素ではないと考える。

制御ＯＮ／ＯＦＦ情報はＯＮ又はＯＦＦとされる。制御ＯＮ／ＯＦＦ情報がＯＮであることは、対応する対象入力画像に対して特定方向強調制御を用いて対象音響信号が生成されていることを意味し、制御ＯＮ／ＯＦＦ情報がＯＦＦであることは、対応する対象入力画像に対してステレオ化制御を用いて対象音響信号が生成されていることを意味する。
強調対象情報は、対象入力画像上の何れのカテゴリの被写体が強調対象被写体であるかを示しており、制御ＯＮ／ＯＦＦ情報がＯＮのときにのみ、意義のあるデータを持つ。
対象入力画像６００に対して対象音響信号ＳＤ₆₀₀が生成されたものとする。そうすると、音制御情報６０５において、制御ＯＮ／ＯＦＦ情報は「ＯＮ」であり、強調対象情報は「第１登録人物」である。

学習段階動作では、対象入力画像の撮影を繰り返し実行することで、ユーザの嗜好性を繰り返し学習する。Ｌ_NUMを１以上の任意の整数とすることができるが、今、Ｌ_NUMが３であるとする。Ｌ_NUMの意義は上述した通りである。図２５は、対象入力画像６００の取得後、対象入力画像６００ａ及び６００ｂ（全て不図示）が更に取得された後の、学習メモリ５４の記録内容を示している。対象入力画像６００ａ及び６００ｂの夫々には、第１及び第２登録人物が被写体として含まれていて、対象入力画像６００ａ及び６００ｂの夫々の組み合わせカテゴリは「第１及び第２登録人物」であるとする。更に、対象入力画像６００の場合と同様にして、対象入力画像６００ａ及び６００ｂの夫々に対しても対象音響信号が生成されているものとする。

ＣＰＵ２３は、対象入力画像６００の音制御情報６０５を生成する方法と同様の方法にて、対象入力画像６００ａの音制御情報６０５ａ及び対象入力画像６００ｂの音制御情報６０５ｂを生成する。メモリ制御部５３は、音制御情報６０５、６０５ａ及び６０５ｂが生成されると、それらをカテゴリ組み合わせ「第１及び第２登録人物」に関連付けつつ学習メモリ５４に保存する。一方で、ＣＰＵ２３又はメモリ制御部５３は、音制御情報６０５、６０５ａ及び６０５ｂに一致又は類似する音制御情報Ｗ３_Aを統計学に基づいて作成し、音制御情報Ｗ３_Aもカテゴリ組み合わせ「第１及び第２登録人物」に関連付けて学習メモリ５４に保存する。１枚１枚の対象入力画像の音制御情報を特に要素音制御情報とも呼び、複数枚の対象入力画像の音制御情報から統計学に基づき生成された音制御情報を特に総合音制御情報とも呼ぶ。本例において、音制御情報６０５、６０５ａ及び６０５ｂの夫々は要素音制御情報であり、音制御情報Ｗ３_Aは総合音制御情報である。

要素音制御情報６０５、６０５ａ及び６０５ｂにおいて、制御ＯＮ／ＯＦＦ情報は、夫々、「ＯＮ」、「ＯＮ」及び「ＯＦＦ」であり、要素音制御情報６０５及び６０５ａにおける強調対象情報は共に「第１登録人物」である。複数の要素特徴情報のフォーカス情報から総合特徴情報のフォーカス情報を生成する方法（第１実施例で述べた方法）と同様の方法にて（図９参照）、情報６０５、６０５ａ及び６０５ｂの制御ＯＮ／ＯＦＦ情報から情報Ｗ３_Aの制御ＯＮ／ＯＦＦ情報を生成することができると共に、情報６０５、６０５ａ及び６０５ｂの強調対象情報から情報Ｗ３_Aの強調対象情報を生成することができる。即ち例えば、情報Ｗ３_Aの元となる要素音制御情報の強調対象情報の内、最も頻度の多い強調対象情報を、情報Ｗ３_Aの強調対象情報とすることができる（制御ＯＮ／ＯＦＦ情報も同様）。従って、情報Ｗ３_Aにおける制御ＯＮ／ＯＦＦ情報及び強調対象情報は、夫々、「ＯＮ」及び「第１登録人物」とされる。情報Ｗ３_Aに付随する付加情報には、カテゴリ組み合わせ「第１及び第２登録人物」に対する学習回数が記録される。情報Ｗ３_Aは、３回分の学習結果に基づき、即ち情報６０５、６０５ａ及び６０５ｂを元に生成される。従って、情報Ｗ３_Aの付加情報には、学習回数を表す数値として３が記録される。

尚、第１実施例で述べたように、対象入力画像６００、６００ａ及び６００ｂの撮影後、更に、カテゴリ組み合わせが「第１及び第２登録人物」となる対象入力画像６００ｃ（不図示）が対象音響信号と共に生成された場合には、その最新の対象入力画像６００ｃの音制御情報を用いて総合音制御情報Ｗ３_Aを更新すると良い。

［制御段階動作］
カテゴリ組み合わせ「第１及び第２登録人物」について、要素音制御情報６０５、６０５ａ及び６０５ｂに基づく図２５の総合音制御情報Ｗ３_Aが学習メモリ５４に保存され、且つ、総合音制御情報Ｗ３_A以外の幾つかの総合音制御情報が学習メモリ５４に保存されている状態を想定し、この想定状態の下における制御段階動作の説明を行う。図２６は、第１０実施例に係る制御段階動作の手順を表すフローチャートであり、制御段階動作ではステップＳ８１〜Ｓ８４の各処理が実行される。

制御段階動作においてシャッタ操作が成されると、ステップＳ８１において、新たな対象入力画像が撮影される一方で評価用画像に対して被写体検出部５１による検出処理が成される。ここにおける評価用画像は、通常、ステップＳ８１にて撮影される対象入力画像である。但し、制御段階動作中に得られた入力画像であって且つステップＳ８１の対象入力画像の撮影前に撮影された入力画像（例えば、ステップＳ８１の対象入力画像の撮影直前に撮影された入力画像）を、評価用画像としても良い。被写体検出部５１は、評価用画像の画像信号に基づき、評価用画像上に存在する各被写体を複数のカテゴリの何れかに分類して検出する。これにより、上述と同様の方法にて、評価用画像についてのカテゴリ組み合わせが決定する。

ステップＳ８１に続くステップＳ８２において、音響信号処理部１５は、評価用画像のカテゴリ組み合わせに一致するカテゴリ組み合わせの総合音制御情報を、学習メモリ５４から読み出す。例えば、評価用画像の組み合わせカテゴリが「第１及び第２登録人物」であったならば情報Ｗ３_Aが読み出され、評価用画像の組み合わせカテゴリが「第３及び第４登録人物」であったならば組み合わせカテゴリ「第３及び第４登録人物」に対応する総合音制御情報が読み出される。以下では、評価用画像が図２７の画像６５０である場合を考える。更に、評価用画像６５０は、ステップＳ８１にて撮影される対象入力画像であるとする。画像上６５０には第１登録人物である被写体６５１及び第２登録人物である被写体６５２の画像信号が存在している。そうすると、評価用画像６５０の組み合わせカテゴリは「第１及び第２登録人物」となるため、ステップＳ８２において総合音制御情報Ｗ３_Aが読み出される。以下、ステップＳ８２にて読み出される総合音制御情報を、読み出し音制御情報とも呼ぶ。図２７の画像６５０上の被写体領域６６１及び６６２は、夫々、被写体６５１及び６５２の画像信号が存在する画像領域である。

ステップＳ８２の読み出し処理の後、ステップＳ８３において、音響信号処理部１５は、ステップＳ８１にて撮影される対象入力画像の撮影時刻を基準とした抽出期間Ｐ₆₅₀を設定し、ステップＳ８１の対象入力画像に対応付けられるべき対象音響信号ＳＤ₆₅₀を生成する。対象音響信号ＳＤ₆₅₀の生成方法は上述した通りであるが、対象音響信号ＳＤ₆₅₀は、読み出し音制御情報に規定された条件に従って生成される。

今、読み出し音制御情報が情報Ｗ３_Aであることが想定されているため（図２５参照）、強調対象被写体が第１登録人物であるとみなした上で抽出期間Ｐ₆₅₀中の左原信号及び右原信号に上述の特定方向強調制御を施すことで対象音響信号ＳＤ₆₅₀を生成する。対象入力画像と評価用画像６５０が同じである場合、評価用画像６５０と一致する対象入力画像上における被写体領域６６１の位置と、ステップＳ８１の対象入力画像の撮影時刻における焦点距離（撮像部１１の焦点距離）から、撮像装置１から見た被写体６５１の方向を推定し、推定方向から到来する音の信号成分（即ち、音源としての被写体６５１から到来する音の信号成分）が強調されるように対象音響信号ＳＤ₆₅₀を生成する。尚、上記の想定とは異なるが、仮に読み出し音制御情報における制御ＯＮ／ＯＦＦ情報が「ＯＦＦ」であるならば、スレテオ化制御によって抽出期間Ｐ₆₅₀中の左原信号及び右原信号から対象音響信号ＳＤ₆₅₀が生成される。

その後、ステップＳ８４では、ステップＳ８１にて撮影された対象入力画像の画像信号とステップＳ８３にて生成された対象音響信号が互いに対応付けられて外部メモリ１８に記録される。

学習メモリ５４に記録された音制御情報には、ユーザの音に関する嗜好性が反映されている。制御段階動作では、現時点の被写体のカテゴリに応じた音制御情報を学習メモリ５４から読み出すことで、ユーザの嗜好性に適合した音の特徴を自動的に再現する。これにより、ユーザの利便性向上が図られる。

尚、上述の具体的動作例では個人認識処理の利用が想定されているが、個人認識処理の利用がない状態でも同様の処理が可能である。例えば、学習段階動作中に得られた対象入力画像のカテゴリ組み合わせが「人物及び犬」であるときに人物が強調対象被写体として指定されると、「ＯＮ」の制御ＯＮ／ＯＦＦ情報と「人物」の強調対象情報を内包する音制御情報が作成され、その音制御情報がカテゴリ組み合わせ「人物及び犬」に関連付けられた状態で学習メモリ５４に保存される。対象入力画像の撮影の繰り返しによって、カテゴリ組み合わせ「人物及び犬」についての総合音制御情報が学習メモリ５４上に生成された後、制御段階動作のステップＳ８１においてカテゴリ組み合わせが「人物及び犬」となる対象入力画像（又は評価用画像）が撮影されると、カテゴリ組み合わせ「人物及び犬」に対応する総合音制御情報が読み出し音制御情報として読み出される。そして、その読み出し音制御情報における制御ＯＮ／ＯＦＦ情報及び強調対象情報が夫々「ＯＮ」及び「人物」であるならば、ステップＳ８１の対象入力画像上の人物を強調対象被写体とみなした上で特定方向強調制御を用いてステップＳ８３の対象音響信号を生成すればよい。

また、上述の方法を動画像に対しても適用することができる。対象動画像の画像信号に基づき対象動画像上の被写体の検出及びカテゴリ分類を行うことで、静止画像としての対象入力画像と同様、対象動画像のカテゴリ組み合わせも設定することができる。対象動画像の撮影の繰り返しによって、カテゴリ組み合わせ「人物及び犬」についての総合音制御情報が学習メモリ５４上に生成された後、制御段階動作においてカテゴリ組み合わせが「人物及び犬」となる対象動画像が撮影されると、カテゴリ組み合わせ「人物及び犬」に対応する総合音制御情報が読み出し音制御情報として読み出される。そして、その読み出し音制御情報における制御ＯＮ／ＯＦＦ情報及び強調対象情報が夫々「ＯＮ」及び「人物」であるならば、制御段階動作中に撮影される対象動画像上の人物を強調対象被写体とみなした上で特定方向強調制御を用いて対象音響信号を生成すればよい。この場合、強調対象被写体からの音を追尾したような対象音響信号が生成されて対象動画像に対応付けられる。

尚、第１０実施例で述べた方法は、他の実施例で述べた方法と組み合わせて実施することができる。

＜＜第１１実施例＞＞
第１１実施例を説明する。学習段階動作において、学習段階動作から制御段階動作へ移行するために必要な残りの学習回数をユーザに提示するようにしても良い。

例えば、第１実施例においてカテゴリ組み合わせが「人物及び山」である対象入力画像をあとｍ₁回撮影すれば学習段階動作から制御段階動作へ移行することができる場合、ｍ₁回を示す第１指標を、表示部２７に表示すると良い（ｍ₁は自然数）。Ｌ_NUM＝３であって且つ図９の特徴情報３０５及び３０５ａのみが学習メモリ５４に記録されている場合には、ｍ₁＝１である。
同様に例えば、第８実施例においてカテゴリ組み合わせが「人物及び山」である対象入力画像をあとｍ₂回撮影すれば学習段階動作から制御段階動作へ移行することができる場合、ｍ₂回を示す第２指標を、表示部２７に表示すると良い（ｍ₂は自然数）。Ｌ_NUM＝３であって且つ図１８の生成条件情報５０５及び５０５ａのみが学習メモリ５４に記録されている場合には、ｍ₂＝１である。
同様に例えば、第１０実施例においてカテゴリ組み合わせが「第１及び第２登録人物」である対象入力画像をあとｍ₃回撮影すれば学習段階動作から制御段階動作へ移行することができる場合、ｍ₃回を示す第３指標を、表示部２７に表示すると良い（ｍ₃は自然数）。Ｌ_NUM＝３であって且つ図２５の音制御情報６０５及び６０５ａのみが学習メモリ５４に記録されている場合には、ｍ₃＝１である。
ｍ₁〜ｍ₃の値は、学習メモリ５４の記録内容を参照すれば容易に判明する。

上記の第１指標を、図２８（ａ）に示すように文字で構成しても良いし、或いは、図２８（ｂ）に示すように図形で構成しても良いし、或いは、文字と図形の組み合わせで構成しても良い。第２及び第３指標についても同様である。図２８（ａ）及び（ｂ）は、第１指標が表示されている状態の表示画面例を示す図である。特に記述なき限り、表示画面とは、表示部２７の表示画面を指す。また、上述の複数の実施例（例えば、第１、第８及び第１０実施例）の動作を実現可能なように撮像装置１が形成されている場合には、第１〜第３指標の内の２以上の指標を同時に表示するようにしても良い。

＜＜第１２実施例＞＞
第１２実施例を説明する。第１２実施例では、マニュアル操作に関する第８実施例に適用可能な技術を説明する。

説明の便宜上、第１２実施例では、各生成条件情報に、感度情報及び手ぶれ補正情報に加えて、鮮鋭化条件を表す鮮鋭化情報が含まれていることを想定する（鮮鋭化条件の意義は、第８実施例で述べられている）。

ユーザは、学習段階動作においてマニュアル操作を成すことで、各対象入力画像の感度条件、鮮鋭化条件及び手ぶれ補正ＯＮ／ＯＦＦ条件の全部又は一部を初期条件から変更することができる。それらの変更が成された際、図１５のメモリ制御部５３は、変更が成された条件が何であるか及び条件ごとの変更回数を学習メモリ５４の付加情報に記録しておく。ＣＰＵ２３は、その付加情報に基づき、ユーザが比較的頻繁に変更する条件を特定条件として設定する。そして、特定条件の設定後には、特定条件の変更が容易となるようなユーザインターフェースを実現する。

具体例を説明する。学習段階動作の開始直後において、カテゴリ組み合わせが「人物及び山」となる入力画像が撮影されると、図２９（ａ）に示す如く、単に該入力画像が表示部２７に表示される。仮に、この状態において、ユーザが感度条件の変更を希望する場合、感度条件、鮮鋭化条件及び手ぶれ補正ＯＮ／ＯＦＦ条件を変更可能な操作メニューを表示させるための第１操作を成した後、感度条件、鮮鋭化条件及び手ぶれ補正ＯＮ／ＯＦＦ条件の中から感度条件を選択する第２操作と、ＩＳＯ感度の具体的数値を指定するための第３操作を順次成す必要がある。この第１〜第３操作から成る一連の操作を総称して基本操作と呼ぶ。

学習段階動作において、カテゴリ組み合わせが「人物及び山」となるｎ枚の対象入力画像が撮影されたとし、そのｎ枚の対象入力画像の撮影時の夫々において、対象入力画像の生成条件を変更するためのマニュアル操作が成されたものとする（ｎは２以上の整数）。但し、この変更は感度条件のみに対する変更であり、鮮鋭化条件はｎ枚の対象入力画像間で一定であったとする。この場合、ＣＰＵ２３は、学習メモリ５４の付加情報に基づき、感度条件に対する変更回数（即ちｎ回）が、鮮鋭化条件及び手ぶれ補正ＯＮ／ＯＦＦ条件に対する変更回数（即ち０回）よりも多いと判断し、結果、感度条件を特定条件に設定する。そして、その設定後、制御段階動作（又は学習段階動作）において、カテゴリ組み合わせが「人物及び山」となる入力画像が取得された場合、撮像装置１は、図２９（ｂ）に示す如く、表示部２７上に入力画像と共に操作アイコン７２１を表示させる（例えば入力画像上に操作アイコン７２１を重畳表示させる）。図２９（ｂ）は、操作アイコン７２１が表示されている状態の表示画面である。ユーザは、操作部２６に対する操作やタッチパネル操作により操作アイコン７２１を選択した後、第３操作のみを成すことで感度情報の指定を完了することができる。即ち、ユーザによる第１操作が不要となり、また、基本操作と比べて第２操作も簡単となる。尚、上述の想定とは異なるが、鮮鋭化条件に対する変更回数も比較的多いならば、鮮鋭化条件の変更指示用のアイコン（不図示）も操作アイコン７２１に並んで表示される。

ユーザにより操作アイコン７２１が選択された場合、ＣＰＵ２３は、学習メモリ５４内の各感度情報から、ユーザが比較的頻繁に設定するＩＳＯ感度の値を抽出し、その抽出結果を用いた表示を表示部２７に行わせる。例えば、上記ｎ枚の対象入力画像の撮影時におけるＩＳＯ感度が、ＩＳＯ５０又はＩＳＯ１００であった場合、操作アイコン７２１を選択する操作を受けると、図２９（ｂ）の表示画面を図２９（ｃ）の表示画面に変更する。図２９（ｃ）の表示画面では、「ＩＳＯ５０」についてのアイコン７３１と「ＩＳＯ１００」についてのアイコン７３２が現在の入力画像と共に示されている。

図２９（ｃ）の表示が成されている状態において、ユーザは、アイコン７３１を選択する操作を成すだけで現在のＩＳＯ感度を「ＩＳＯ５０」に設定することができ、或いは、アイコン７３２を選択する操作を成すだけで現在のＩＳＯ感度を「ＩＳＯ１００」に設定することができる。この設定内容は、即時、入力画像の生成条件に反映されるため、ユーザは反映結果を表示画面上で容易に確認することができる。基本操作における第３操作では、３以上（１０個程度）のＩＳＯ感度の中から希望のＩＳＯ感度を選択する必要があるが、図２９（ｃ）に示すような表示を成すことで第３操作が基本操作よりも簡単となる。

また、図２９（ｃ）の表示を成す場合において、比較的頻繁に設定されるＩＳＯ感度のアイコンが表示画面の上方に配置されるように、表示画面上におけるアイコン７３１及び７３２の並び方を学習メモリ５４内の各感度情報に基づいて決定するようにしても良い。例えば、上記ｎ枚の対象入力画像の内、ｎ₁枚の対象入力画像についてのＩＳＯ感度が「ＩＳＯ５０」であって且つｎ₂枚の対象入力画像についてのＩＳＯ感度が「ＩＳＯ１００」である場合において（ｎ₁及びｎ₂は整数であってｎ₁＋ｎ₂＝ｎ）、ｎ₁＞ｎ₂なら、図２９（ｃ）に示す如く表示画面上においてアイコン７３１をアイコン７３２よりも上方に表示し、逆に、ｎ₂＞ｎ₁なら、表示画面上においてアイコン７３２をアイコン７３１よりも上方に表示すると良い。これにより、より頻繁に設定されるＩＳＯ感度が、より少ない操作数で選択できるようになる。尚、ここでは、表示画面上において上方に配置されているアイコンの方が下方に配置されているアイコンよりも少ない操作数で選択できることを想定している。

＜＜第１３実施例＞＞
第１３実施例を説明する。上述の特徴情報、生成条件情報及び音制御情報（図９、図１８及び図２５参照）を、まとめて学習情報と呼ぶことができる。上述してきた方法では、カテゴリ組み合わせごとに学習情報を生成してゆくため、全てのカテゴリ組み合わせについての学習情報を生成するまでに相応の時間（相応の撮影回数）を要し、分類検出されるカテゴリの種類が多くなると、その時間も長期化する。

第１３実施例では、学習情報の生成に必要な時間（撮影回数）を短縮するための技術を説明する。第１３実施例で述べた技術は、上述してきた任意の実施例に適用することができる。説明の簡略化上、カテゴリ組み合わせを形成するカテゴリの個数が２であるとし、また、本実施例の技術を第１実施例に係る特徴情報に適用する方法を説明する。

今、図３０（ａ）〜（ｃ）に示す総合特徴情報８０１及び８０２と特徴情報８０３が、学習メモリ５４に保存されていることを想定する。

総合特徴情報８０１は、カテゴリ組み合わせ「自動車及び山」に対する総合特徴情報であり、総合特徴情報８０２は、カテゴリ組み合わせ「自動車及び人物」に対する総合特徴情報である。総合特徴情報８０１において、フォーカス情報、サイズ情報及び位置情報は、夫々、「自動車」、「ＳＩＺＥ₁」及び「ＢＬ₅」であり、総合特徴情報８０２において、フォーカス情報、サイズ情報及び位置情報は、夫々、「自動車」、「ＳＩＺＥ₂」及び「ＢＬ₆」である。また、総合特徴情報８０１は、カテゴリ組み合わせ「自動車及び山」についてのＮ₁個の要素特徴情報に基づいて作成されたものとし、総合特徴情報８０２は、カテゴリ組み合わせ「自動車及び人物」についてのＮ₂個の要素特徴情報に基づいて作成されたものとする。即ち、総合特徴情報８０１及び８０２の学習回数は夫々Ｎ₁及びＮ₂である（Ｎ₁及びＮ₂は自然数）。

第１３実施例では、単一のカテゴリについての特徴情報も特徴情報生成部５２（図４参照）において生成されて、学習メモリ５４に保存されるものとする。図３０（ｃ）の学習情報８０３は、単一のカテゴリについての特徴情報である。学習段階動作において被写体検出部５１及び特徴情報生成部５２により、或る対象入力画像から自動車のみが検出され、且つ、その対象入力画像の合焦被写体が自動車であることが検出され、且つ、その対象入力画像上における自動車の大きさ（自動車の被写体領域の画像サイズ）がＳＩＺＥ₃であることが検出され、且つ、その対象入力画像上における自動車の位置がブロックＢＬ₅に属していると検出されたものとする。そうすると、特徴情報生成部５２は、フォーカス情報、サイズ情報及び位置情報が夫々「自動車」、「ＳＩＺＥ₃」及び「ＢＬ₅」となる特徴情報８０３を生成し、特徴情報８０３は単一のカテゴリ「自動車」に関連付けられて学習メモリ５４に保存される。

学習メモリ５４に、情報８０１〜８０３のみが保存されている状態において、特徴情報生成部５２は、情報８０１〜８０３に基づき、カテゴリ組み合わせ「人物及び山」に対する特徴情報８０４を擬似的に生成することができる。図３１に、擬似的に生成された特徴情報８０４を示す。この生成は、以下のように成される。

特徴情報生成部５２は、まず、情報８０１及び８０２に基づき、ピントが合わせられるべき被写体の優先順位を判断し、その判断結果から、特徴情報８０４のフォーカス情報を生成する。情報８０１〜８０３の生成を実現したユーザにとっては、山よりも自動車の方にピントを合わせることの方が好ましいことが情報８０１から推定されると共に、人物よりも自動車の方にピントを合わせることの方が好ましいことが情報８０２から推定される。従って、自動車、人物及び山の内、自動車の優先順位が最も高い。一方で、人物と山との間の優劣は、情報８０１及び８０２だけでは推定できない。但し、人物と人物以外の被写体とを比較した場合、通常は、人物の方にピントを合わせることが望まれやすい。これを考慮し、特徴情報生成部５２は、特徴情報８０４のフォーカス情報を「人物」とする。尚、上述の想定とは異なるが、仮に情報８０１のフォーカス情報が「山」であるのであれば、情報８０２をも参照すると優先順位は「山＞自動車＞人物」となるため、特徴情報８０４のフォーカス情報は「山」とされる。以下では、特徴情報８０４のフォーカス情報は「人物」であるとする。

情報８０１におけるサイズ情報ＳＩＺＥ₁は、画像上における、山の大きさを基準とした自動車の大きさである、と考えることもできる。同様に、情報８０２におけるサイズ情報ＳＩＺＥ₂は、画像上における、人物の大きさを基準とした自動車の大きさである、と考えることもできる。これを考慮すれば、ＳＩＺＥ₁とＳＩＺＥ₂の比から、山の大きさを基準とした人物の大きさを推定することができる。但し、この際、自動車の大きさの基準値として、特徴情報８０３のサイズ情報ＳＩＺＥ₃を用いる。即ち、“ＳＩＺＥ₄＝（ＳＩＺＥ₁／ＳＩＺＥ₂）×ＳＩＺＥ₃”に従って求められたサイズ情報ＳＩＺＥ₄を、特徴情報８０４のサイズ情報とすることができる。

情報８０１及び８０２の位置情報から、合焦被写体の配置位置の好み（ユーザの好み）を推定することができる。仮に、情報８０１及び８０２間で位置情報が同じならば、それらと同じ位置情報を特徴情報８０４に含めれば足るが、位置情報が情報８０１及び８０２間で異なる場合、学習回数が多いほうの位置情報を特徴情報８０４の位置情報として採用する。本例では、Ｎ₁＞Ｎ₂であることを想定する。そうすると、情報８０１の位置情報ＢＬ₅が特徴情報８０４の位置情報に代入される（仮に、Ｎ₁＜Ｎ₂であれば、情報８０２の位置情報ＢＬ₆が特徴情報８０４の位置情報に代入される）。

特徴情報８０４の生成後、特徴情報８０４を総合特徴情報とみなして学習段階動作から制御段階動作へ移行することができ、制御段階動作においてカテゴリ組み合わせが「人物及び山」となる入力画像が評価用画像として取得されたならば（図１０）、特徴情報８０４を読み出し特徴情報として学習メモリ５４から読み出して第１実施例で述べた動作を成すことができる。

ここで、擬似的に生成された特徴情報８０４の学習回数Ｎ₄は、便宜上、０＜Ｎ₄＜１を満たすように設定される（例えば、Ｎ₄＝０．５）。このように設定しておくことで、制御段階動作において、人物、山及び自動車が同時に被写体に含められたとき、第６実施例の方法よって特徴情報８０４が読み出し特徴情報として読み出されることはない（この場合、Ｎ₁＞Ｎ₂＞Ｎ₄なので、第６実施例の方法によって特徴情報８０１が読み出し特徴情報として読み出される）。

特徴情報８０４の生成後、カテゴリ組み合わせが「人物及び山」となる対象入力画像が実際に撮影されたならば、その対象入力画像に基づく特徴情報が生成される。この際、特徴情報８０４を破棄して、その対象入力画像に基づく特徴情報をカテゴリ組み合わせ「人物及び山」の特徴情報として学習メモリ５４に保存することができる。この場合、カテゴリ組み合わせ「人物及び山」についての学習回数Ｎ₄は１に変更される。或いは、その対象入力画像に基づく特徴情報と特徴情報８０４から、カテゴリ組み合わせ「人物及び山」についての特徴情報を再作成するようにしてもよい（換言すれば、対象入力画像に基づく特徴情報を用いて特徴情報８０４を修正するようにしても良い）。この場合、Ｎ₄＝１、又は、１＜Ｎ₄＜２とされる。

特徴情報を擬似的に生成する方法を説明したが、同様にして、生成条件情報及び音制御情報（図１８及び図２５参照）も擬似的に生成することが可能である。

＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

１ 撮像装置
１１ 撮像部
１３ 画像信号処理部
１４ マイク部
１５ 音響信号処理部
３０ ズームレンズ
３１ フォーカスレンズ
３２ 絞り
３３ 撮像素子
５１ 被写体検出部
５２ 特徴情報生成部
５３ メモリ制御部
５４ 学習メモリ
５５ 撮影制御部
５６ 生成条件情報生成部
５８ シーン判定部

Claims (6)

1. 被写体の光学像を光電変換して得た信号を出力する撮像素子を有し、所定操作が成された際に得られる前記撮像素子の出力信号から対象画像を生成する撮像装置において、
   前記所定操作の繰り返しにより第１及び第２対象画像を含む複数の対象画像が生成され、前記第２対象画像は前記第１対象画像よりも後に生成され、
   当該撮像装置は、
   前記撮像素子の出力信号に基づく画像上に存在する各被写体を複数のカテゴリの何れかに分類して検出する被写体検出部と、
   前記第１対象画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせを特定組み合わせとし、前記第１対象画像の特徴又は前記第１対象画像の生成条件に応じた学習情報を前記特定組み合わせに関連付けて保存するメモリ部と、
   前記第１対象画像の生成後且つ前記第２対象画像の生成前における前記撮像素子の出力信号に基づく画像を評価用画像とし、前記評価用画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせが前記特定組み合わせと一致する場合、前記学習情報を用いて前記第２対象画像の生成を行う撮影制御部と、を備えた
   ことを特徴とする撮像装置。
2. 前記学習情報は、前記第１対象画像の特徴に応じた情報であって、
   前記第１対象画像上の複数の被写体の内、何れのカテゴリの被写体にピントがあっているかを表すフォーカス情報を含む
   ことを特徴とする請求項１に記載の撮像装置。
3. 当該撮像装置は、前記第１対象画像の生成条件の指定を受け付ける操作部を更に備えて、前記操作部を介して指定された前記第１対象画像の生成条件に従って前記第１対象画像を生成し、
   前記学習情報は、前記第１対象画像の生成条件に応じた情報である
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記撮影制御部は、前記評価用画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせが前記特定組み合わせと一致する場合、
   前記第１対象画像の特徴に応じた前記学習情報に基づき、前記第２対象画像が前記第１対象画像の特徴に応じた特徴を有するように、前記第２対象画像に対するフォーカス制御及びズーム制御を行う、或いは、
   前記第１対象画像の生成条件に応じた前記学習情報に基づき、前記第１対象画像の生成条件に応じた生成条件にて前記第２対象画像を生成する
   ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
5. 被写体の光学像を光電変換して得た信号を出力する撮像素子を有し、所定操作が成された際に得られる前記撮像素子の出力信号から対象画像を生成する撮像装置において、
   前記所定操作の繰り返しにより第１及び第２対象画像を含む複数の対象画像が生成され、前記第２対象画像は前記第１対象画像よりも後に生成され、
   当該撮像装置は、
   前記撮像素子の出力信号に基づく画像上に存在する被写体を複数のカテゴリの何れかに分類して検出する被写体検出部と、
   前記撮像素子の出力信号に基づく画像の撮影シーンを複数の登録シーンの中から選択することで判定するシーン判定部と、
   前記第１対象画像上の被写体に対する前記被写体検出部の検出カテゴリと前記第１対象画像に対する前記シーン判定部の判定シーンとの組み合わせを特定組み合わせとし、前記第１対象画像の特徴又は前記第１対象画像の生成条件に応じた学習情報を前記特定組み合わせに関連付けて保存するメモリ部と、
   前記第１対象画像の生成後且つ前記第２対象画像の生成前における前記撮像素子の出力信号に基づく画像を評価用画像とし、前記評価用画像上の被写体に対する前記被写体検出部の検出カテゴリと前記評価用画像に対する前記シーン判定部の判定シーンとの組み合わせが前記特定組み合わせと一致する場合、前記学習情報を用いて前記第２対象画像の生成を行う撮影制御部と、を備えた
   ことを特徴とする撮像装置。
6. 被写体の光学像を光電変換して得た信号を出力する撮像素子及び複数のマイクロホンから成るマイク部を有し、所定操作が成された際、前記撮像素子の出力信号から対象画像を生成する一方で前記複数のマイクロホンの出力音響信号に基づき対象音響信号を生成して該対象音響信号を前記対象画像に対応付ける撮像装置において、
   前記所定操作の繰り返しにより第１及び第２対象画像を含む複数の対象画像が生成され、前記第２対象画像は前記第１対象画像よりも後に生成され、
   当該撮像装置は、
   前記撮像素子の出力信号に基づく画像上に存在する各被写体を複数のカテゴリの何れかに分類して検出する被写体検出部と、
   前記第１対象画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせを特定組み合わせとし、前記第１対象画像に対応付けられた対象音響信号の特徴に応じた学習情報を前記特定組み合わせに関連付けて保存するメモリ部と、
   前記第１対象画像の生成後且つ前記第２対象画像の生成前における前記撮像素子の出力信号に基づく画像又は前記第２対象画像を評価用画像とし、前記評価用画像上の複数の被写体に対する前記被写体検出部の検出カテゴリの組み合わせが前記特定組み合わせと一致する場合、前記学習情報を用いて前記第２対象画像に対応付けられるべき対象音響信号の生成を行う対象音響信号生成部と、を備えた
   ことを特徴とする撮像装置。

Images