JP5515492B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、画像処理装置及び方法に関し、特に、撮影制御の処理時間を短縮し、その制御精度を向上させる技術に関する。

従来より、カメラの撮影モードや撮影条件を設定する機能として、例えば「ピクチャモード」や「ＢＥＳＴ ＳＨＯＴ（登録商標）」などの機能が利用されている。「ピクチャモード」とは、複数のシーンの中からユーザが所望するシーンを、ユーザ操作に応じて選択する機能をいう。「ＢＥＳＴ ＳＨＯＴ」とは、シーン別の複数の見本画像の中から１枚が選択されると、選択された１枚に対応する撮影条件を設定する機能をいう。

一方、例えば、撮影距離やレンズ焦点距離などの撮影条件に基づいて、最適な露出プログラムモード（シーンのモード）を自動的に選択するという手法が、特許文献１に開示されている。特許文献１の手法によると、例えば撮影距離が遠い場合には「風景」のシーンが選択される。これに対して、例えば撮影距離が近い場合には「近接」のシーンが選択される。また、例えば撮影距離が所定範囲内であって、撮影倍率が所定範囲内の場合には、「人物」などのシーンが選択される。

また、例えば、「ＢＥＳＴ ＳＨＯＴ」の一手法として、見本画像を元に撮影を行う時のオートフォーカスにおいて、合焦位置が一定の距離より遠いか近いかによって合焦範囲を切り換えるという手法が、特許文献２に開示されている。

また、例えば、次のような手法が特許文献３に開示されている。すなわち、特許文献３によれば、撮影モードにおいて、撮像手段を通じて被写体画像が取り込まれる。この被写体画像に対して顔認識処理が逐次施されて、上記画像中の顔の領域が追跡される。追跡されている顔の領域の画像中の位置を示す情報が履歴としてメモリに保持される。そして、ユーザにより、レリーズ釦が操作されると、履歴保持していた情報に基づいて、被写体画像上の顔の移動先の位置が推定演算される。

このようにして、選択されたシーン、切り替えられた合掌範囲、推定演算された顔の移動先の位置などに基づいて撮影条件が設定され、設定された撮影条件に応じて、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）処理などの撮影制御が実行される。

特開平０９−２８１５４１号公報 特開２００３−２６２７８６号公報 特開２００９−０７７３２１号公報

しかしながら、特許文献１乃至３を含め従来の撮影制御では、多大な処理時間を要したり、制御精度が十分でない場合があった。

そこで、本発明は、撮影制御の処理時間を短縮し、その制御精度を向上させることを目的とする。

本発明の第１の観点によると、入力画像に対して注目点領域を推定する画像処理装置であって、撮影モードを設定する撮影モード設定部と、前記入力画像から抽出された複数の特徴量から複数の特徴量マップを生成する特徴量マップ生成部と、前記特徴量マップ生成部により生成された前記複数の特徴量マップを統合して顕著性マップを生成する顕著性マップ生成部と、前記顕著性マップ生成部により生成された前記顕著性マップを用いて前記入力画像の中から注目点領域を推定する注目点領域推定部と、前記撮影モード設定部により設定した撮影モードに応じて、前記顕著性マップ生成部若しくは前記注目点領域推定部に適用される条件を可変設定する設定部と、を備える画像処理装置を提供する。

本発明の第２の観点によると、前記設定部は、前記顕著性マップ生成部又は前記注目点領域推定部に適用される条件として、前記入力画像についての、検出範囲、更新頻度もしくはフレームレート、又は、解像度の粗密若しくは画像サイズの大小のうち少なくとも１つを可変設定する画像処理装置を提供する。

本発明の第３の観点によると、前記顕著性マップ生成部は、前記特徴量マップ生成部により生成された前記複数の特徴量マップを線形統合して前記顕著性マップを生成し、前記設定部は、前記顕著性マップ生成部に適用される条件として、前記特徴量マップの抽出手法、前記特徴量マップの重みの配分、又は、前記顕著性マップが生成されるときに用いられるフィルタの種類若しくは階層数のうち少なくとも１つを可変設定する画像処理装置を提供する。

本発明の第４の観点によると、主要被写体を撮影する撮影部をさらに備え、前記入力画像は、前記撮影部により前記主要被写体が撮影された結果得られる画像である画像処理装置を提供する。

本発明の第５の観点によると、前記設定部により可変設定された前記注目点領域推定部により推定された前記注目点領域を用いて、前記撮影部に対する撮影制御を実行する制御部をさらに備える画像処理装置を提供する。

本発明の第６の観点によると、入力画像に対して注目点領域を推定する画像処理装置の画像処理方法であって、撮影モードを設定する撮影モード設定ステップと、前記入力画像から抽出された複数の特徴量から複数の特徴量マップを生成する特徴量マップ生成ステップと、前記特徴量マップ生成ステップにより生成された前記複数の特徴量マップを統合して顕著性マップを生成する顕著性マップ生成ステップと、前記顕著性マップ生成ステップにより生成された前記顕著性マップを用いて前記入力画像の中から注目点領域を推定する注目点領域推定ステップと、前記撮影モード設定ステップにより設定した撮影モードに応じて、前記顕著性マップ生成ステップ若しくは前記注目点領域推定ステップに適用される条件を可変設定する設定ステップを含む画像処理方法を提供する。

本発明によれば、撮影制御の処理時間を短縮し、その制御精度を向上させることができる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成図である。 本発明の一実施形態におけるＡＦ枠自動設定処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。 本発明の一実施形態におけるＡＦ枠自動設定処理の概略を説明する図であって、具体的な処理結果の別の例を示す図である。 本発明の一実施形態における撮影モード処理の流れの一例を示すフローチャートである。 本発明の一実施形態における撮影モード処理のうちの注目点領域推定処理の流れの詳細例を示すフローチャートである。 本発明の一実施形態における撮影モード処理のうちの特徴量マップ作成処理の流れの一例を示すフローチャートである。 本発明の一実施形態における撮影モード処理のうちの特徴量マップ作成処理の流れの別の例を示すフローチャートである。 本発明の一実施形態における撮影モード処理のうちの注目点領域推定処理の前処理の流れの詳細の一例を示すフローチャートである。 本発明の一実施形態における撮影モード処理のうちの注目点領域推定処理の前処理の流れの詳細の別の例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る画像処理装置１００のハードウェアの構成を示す図である。画像処理装置１００は、例えばデジタルカメラにより構成することができる。

画像処理装置１００は、光学レンズ装置１と、シャッタ装置２と、アクチュエータ３と、ＣＭＯＳセンサ４と、ＡＦＥ５と、ＴＧ６と、ＤＲＡＭ７と、ＤＳＰ８と、ＣＰＵ９と、ＲＡＭ１０と、ＲＯＭ１１と、液晶表示コントローラ１２と、液晶ディスプレイ１３と、操作部１４と、メモリカード１５と、測距センサ１６と、測光センサ１７と、を備える。

光学レンズ装置１は、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、ＣＭＯＳセンサ４の受光面に被写体像を結像させるためレンズである。

シャッタ装置２は、例えばシャッタ羽根などから構成される。シャッタ装置２は、ＣＭＯＳセンサ４へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置２はまた、ＣＭＯＳセンサ４へ入射する光束の光量を調節する絞りとしても機能する。アクチュエータ３は、ＣＰＵ９による制御にしたがって、シャッタ装置２のシャッタ羽根を開閉させる。

ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ４は、例えばＣＭＯＳ型のイメージセンサなどから構成される。ＣＭＯＳセンサ４には、光学レンズ装置１からシャッタ装置２を介して被写体像が入射される。そこで、ＣＭＯＳセンサ４は、ＴＧ６から供給されるクロックパルスにしたがって、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号として順次出力する。

ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）５には、ＣＭＯＳセンサ４からアナログの画像信号が供給される。そこで、ＡＦＥ５は、ＴＧ６から供給されるクロックパルスにしたがって、アナログの画像信号に対し、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を施す。各種信号処理の結果、ディジタル信号が生成され、ＡＦＥ５から出力される。

ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）６は、ＣＰＵ９による制御にしたがって、一定時間毎にクロックパルスをＣＭＯＳセンサ４とＡＦＥ５とにそれぞれ供給する。

ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７は、ＡＦＥ５により生成されるディジタル信号や、ＤＳＰ８により生成される画像データを一時的に記憶する。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）８は、ＣＰＵ９による制御にしたがって、ＤＲＡＭ７に記憶されたディジタル信号に対して、ホワイトバランス補正処理、γ補正処理、ＹＣ変換処理などの各種画像処理を施す。各種画像処理の結果、輝度信号と色差信号とでなる画像データが生成される。なお、以下、かかる画像データをフレーム画像データと称し、このフレーム画像データにより表現される画像をフレーム画像と称する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９は、画像処理装置１００全体の動作を制御する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０は、ＣＰＵ９が各処理を実行する際にワーキングエリアとして機能する。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１は、画像処理装置１００が各処理を実行するのに必要なプログラムやデータを記憶する。ＣＰＵ９は、ＲＡＭ１０をワーキングエリアとして、ＲＯＭ１１に記憶されているプログラムとの協働により各種処理を実行する。

液晶表示コントローラ１２は、ＣＰＵ９による制御にしたがって、ＤＲＡＭ７やメモリカード１５に記憶されているフレーム画像データをアナログ信号に変換して、液晶ディスプレイ１３に供給する。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されてくるアナログ信号に対応する画像として、フレーム画像を表示する。

また、液晶表示コントローラ１２は、ＣＰＵ９による制御にしたがって、ＲＯＭ１１などに予め記憶されている各種画像データをアナログ信号に変換して、液晶ディスプレイ１３に供給する。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されてくるアナログ信号に対応する画像を表示する。例えば本実施の形態では、各種シーンを特定可能な情報（以下、シーン情報と称する）の画像データがＲＯＭ１１に記憶されている。このため、図４を参照して後述するように、各種シーン情報が液晶ディスプレイ１３に適宜表示される。

操作部１４は、ユーザから各種ボタンの操作を受け付ける。操作部１４は、電源釦、十字釦、決定釦、メニュー釦、レリーズ釦などを備える。操作部１４は、ユーザから受け付けた各種ボタンの操作に対応する信号を、ＣＰＵ９に供給する。ＣＰＵ９は、操作部１４からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。

メモリカード１５は、ＤＳＰ８により生成されたフレーム画像データを記録する。測距センサ１６は、ＣＰＵ９による制御にしたがって、被写体までの距離を検出する。測光センサ１７は、ＣＰＵ９による制御にしたがって、被写体の輝度（明るさ）を検出する。

このような構成を有する画像処理装置１００の動作モードとしては、撮影モードや再生モードを含む各種モードが存在する。ただし、以下、説明の簡略上、撮影モード時における処理（以下、撮影モード処理と称する）についてのみ説明する。なお、以下、撮影モード処理の主体は主にＣＰＵ９であるとする。

次に、図１の画像処理装置１００の撮影モード処理のうち、顕著性マップに基づく注目点領域を用いて、ＡＦ処理用の合焦検出領域（以下、ＡＦ枠と称する）を設定するまでの一連の処理の概略について説明する。なお、以下、かかる処理を、ＡＦ枠自動設定処理と称する。
図２は、ＡＦ枠自動設定処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。

図１の画像処理装置１００のＣＰＵ９は、撮影モードを開始させると、ＣＭＯＳセンサ４による撮影を継続させ、その間にＤＳＰ８により逐次生成されるフレーム画像データを、ＤＲＡＭ７に一時的に記憶させる。なお、以下、かかるＣＰＵ９の一連の処理を、スルー撮像と称する。
また、ＣＰＵ９は、液晶表示コントローラ１２などを制御して、スルー撮像時にＤＲＡＭ７に記録された各フレーム画像データを順次読み出して、それぞれに対応するフレーム画像を液晶ディスプレイ１３に表示させる。なお、以下、かかるＣＰＵ９の一連の処理を、スルー表示と称する。また、スルー表示されているフレーム画像を、スルー画像と称する。
以下の説明では、スルー撮像及びスルー表示により、例えば図２に示されるスルー画像５１が液晶ディスプレイ１３に表示されているとする。ただし、図２に示されるスルー画像５１は、表現の簡略上、実際のフレーム画像を線図化したものである。

この場合、ステップＳａにおいて、ＣＰＵ９は、特徴量マップ作成処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、スルー画像５１に対応するフレーム画像データについて、例えば色、方位、輝度などの複数種類の特徴量のコントラストから、複数種類の特徴量マップを作成することができる。このような複数種類のうち所定の１種類の特徴量マップを作成するまでの一連の処理が、ここでは、特徴量マップ作成処理と称されている。各特徴量マップ作成処理の詳細例については、図６や図７を参照して後述する。
例えば図２の例では、後述する図７Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ５２Ｆｃが作成されている。また、後述する図７ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ５２Ｆｈが作成されている。また、図７Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップ５２Ｆｓが作成されている。

ステップＳｂにおいて、ＣＰＵ９は、複数種類の特徴量マップを統合することで、顕著性マップを求める。例えば図２の例では、顕著性マップ５３Ｓ，５４Ｓが求められている。なお、顕著性マップ５３Ｓ，５４Ｓの違いについては、後述する。
ステップＳｂの処理は、後述する図５のステップＳ４５の処理に対応する。

ステップＳｃにおいて、ＣＰＵ９は、顕著性マップを用いて、スルー画像の中から、人間の視覚的注意を引く可能性の高い画像領域（以下、注目点領域と称する）を推定する。例えば図２の例では、顕著性マップ５３Ｓを用いてスルー画像５１から注目点領域５５が推定されている。また、顕著性マップ５４Ｓを用いてスルー画像５１から注目点領域５６が推定されている。
ステップＳｃの処理は、後述する図５のステップＳ４６の処理に対応する。

なお、以上のステップＳａ乃至Ｓｃまでの一連の処理を、以下、注目点領域推定処理と称する。注目点領域推定処理は、後述する図４のステップＳ６の処理に対応する。注目点領域推定処理の詳細については、図５乃至図７を参照して後述する。

ステップＳｄにおいて、ＣＰＵ９は、注目点領域を用いて、ＡＦ枠を設定する。例えば図２の例では、注目点領域５５を用いて複数のＡＦ枠５７ａが設定されている。また、注目点領域５６を用いて複数のＡＦ枠５７ｂが推定されている。
ステップＳｄの処理は、後述する図４のステップＳ９の処理に対応する。

図３は、ＡＦ枠自動設定処理の概略を説明する図であって、具体的な処理結果の図２の例とは別の例を示す図である。

なお、図３の処理の流れ自体は、図２と基本的に同様であるので、図３に示される処理結果のみ説明する。また、以下の説明では、スルー撮像及びスルー表示により、例えば図３に示されるスルー画像６１が液晶ディスプレイ１３に表示されているとする。ただし、図３に示されるスルー画像６１は、表現の簡略上、実際のフレーム画像を線図化したものである。

この場合、ステップＳａの処理の結果、例えば図３の例では、次のような各特徴量マップが作成される。すなわち、後述する図７Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ６２Ｆｃが作成される。また、後述する図７ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ６２Ｆｈが作成される。また、図７Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップ６２Ｆｓが作成される。

ステップＳｂの処理の結果、例えば図３の例では、顕著性マップ６３Ｓ，６４Ｓが求められる。なお、顕著性マップ６３Ｓ，６４Ｓの違いについては、後述する。

ステップＳｃの処理の結果、例えば図３の例では、顕著性マップ６３Ｓを用いて注目点領域６５が推定される。また、顕著性マップ６４Ｓを用いて注目点領域６６が推定される。

ステップＳｄの処理の結果、例えば図３の例では、注目点領域６５を用いて複数のＡＦ枠６７ａが設定される。また、注目点領域６６を用いて複数のＡＦ枠６７ｂが設定される。

ここで、図２の複数のＡＦ枠５７ａと複数のＡＦ枠５７ｂとを比較するに、複数のＡＦ枠５７ａの方が、スルー画像５１の主要被写体となる２人の人物とは別の領域に設定されている個数が多い。すなわち、複数のＡＦ枠５７ｂの方が、スルー画像５１に対して適切に設定されている。これは、注目点領域５６の方が注目点領域５５よりもスルー画像５１にとって適切に推定されているためである。すなわち、注目点領域５６の作成の基になった顕著性マップ５４Ｓの方が、注目点領域５５の作成の基になった顕著性マップ５３Ｓよりも、スルー画像５１にとって適切に求められているからである。

同様に、図３の複数のＡＦ枠６７ａと複数のＡＦ枠６７ｂとを比較するに、複数のＡＦ枠６７ａの方が、スルー画像６１の主要被写体となる中央の建築物（風景）とは別の領域に設定されている個数が多い。すなわち、複数のＡＦ枠６７ｂの方が、スルー画像６１にとって適切に設定されている。これは、注目点領域６６の方が注目点領域６５よりもスルー画像６１にとって適切に推定されているためである。すなわち、注目点領域６６の作成の基になった顕著性マップ６４Ｓの方が、注目点領域６５の作成の基になった顕著性マップ６３Ｓよりも、スルー画像６１にとって適切に求められているからである。

以下、これらの理由について、詳細に説明する。
本実施の形態では、ＣＰＵ９は、選択又は設定されたシーン別の撮影プログラムや撮影モードに応じて、顕著性マップや注目点領域の生成手法を可変設定したり、その生成手法の適用に必要な条件を可変設定することができる。

例えば図２や図３の例では、顕著性マップは、次の式（１）により求められている。
Ｓ ＝ Ｗ１・Ｆｃ ＋ Ｗ２・Ｆｈ ＋ Ｗ３・Ｆｓ ・・・（１）

式（１）において、Ｓは、顕著性マップを示している。Ｆｃは、マルチスケールのコントラストの特徴量マップ（図７Ａ参照）を示している。Ｆｈは、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ（図７Ｂ参照）を示している。Ｆｓは、色空間分布の特徴量マップ（図７Ｃ参照）を示している。
例えば、図２の顕著性マップ５３Ｓ又は５４Ｓを求めるために、各特徴量マップ５２Ｆｃ，５２Ｆｓ，５２Ｆｈが式（１）の右辺の係数Ｆｃ，Ｆｈ，Ｆｓのそれぞれに代入されることになる。また、図３の顕著性マップ６３Ｓ又は６４Ｓを求めるために、各特徴量マップ６２Ｆｃ，６６Ｆｓ，６２Ｆｈが式（１）の右辺の係数Ｆｃ，Ｆｈ，Ｆｓのそれぞれに代入されることになる。
また、式（１）において、Ｗ１，Ｗ２，Ｗ３は、各特徴量マップの重みを示している。

すなわち、式（１）が、顕著性マップＳの生成手法を示す式であり、重みＷ１，Ｗ２，Ｗ３が、その生成手法の適用に必要な条件のひとつである。したがって、図２や図３の例では、ＣＰＵ９は、スルー画像５１又は６１に基づいて設定されたシーン別の撮影プログラムや撮影モードに応じて、式（１）の重みＷ１，Ｗ２，Ｗ３を可変設定することができる。

例えば、図２の顕著性マップ５３Ｓや図３の顕著性マップ６３Ｓは、デフォルトの重みＷ１，Ｗ２，Ｗ３を用いて式（１）により求められた顕著性マップＳである。これに対して、図２の顕著性マップ５４Ｓや図３の顕著性マップ６４Ｓは、選択又は設定された撮影モードに応じた重みＷ１，Ｗ２，Ｗ３を用いて式（１）により求められた顕著性マップＳである。

具体的には例えば、図２のスルー画像５１に基づいて「人物モード」などの撮影モードが選択されているとする。この場合、ＣＰＵ９は、人物の顔の肌色、人物の髪の色、人物の洋服の色など主要被写体（人物）の彩度は比較的高く、かつ、主要被写体の形状は比較的はっきりしていることが多いと推定する。そこで、ＣＰＵ９は、例えば、マルチスケールのコントラストの特徴量マップ５２Ｆｃの重みＷ１や、色空間分布の特徴量マップ５２Ｆｓの重みＷ３を標準時よりも高く設定する。一方、ＣＰＵ９は、例えば、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ５２Ｆｈの重みＷ２を標準時より低く設定する。なお、この処理は、後述する図９のステップＳ２２３に対応する。

このようにして、図２のスルー画像５１に基づく「人物モード」などに応じて、重みＷ１，Ｗ２，Ｗ３が設定される。そして、設定された重みＷ１，Ｗ２，Ｗ３を用いて式（１）が演算されて、顕著性マップ５４Ｓが求められる。したがって、顕著性マップ５４Ｓは、デフォルトの重みＷ１，Ｗ２，Ｗ３を用いて求められた顕著性マップ５３Ｓと比較して、スルー画像５１にとって適切に求められる。これにより、顕著性マップ５４Ｓを用いて推定された注目点領域５６の方が、顕著性マップ５３Ｓを用いて推定された注目点領域５５と比較して、スルー画像５１にとって適切に推定される。その結果、注目点領域５６を用いて設定された複数のＡＦ枠５７ｂの方が、注目点領域５５を用いて設定された複数のＡＦ枠５７ａと比較して、スルー画像５１にとって適切に設定される。

また例えば、図３のスルー画像６１に基づいて、「風景モード」など、比較的遠距離の被写体やシーンを撮影する撮影モードが選択されているとする。この場合、ＣＰＵ９は、例えば、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ５２Ｆｈの重みＷ２を、画面の上半分（スルー画像６１の空の背景が多く含まれる部分）で下半分よりもやや低く設定する。なお、この処理は、後述する図９のステップＳ２２５に対応する。

このようにして、図３のスルー画像６１に基づく「風景モード」などに応じて、重みＷ１，Ｗ２，Ｗ３が設定される。そして、設定された重みＷ１，Ｗ２，Ｗ３を用いて式（１）が演算されて、顕著性マップ６４Ｓが求められる。したがって、顕著性マップ６４Ｓは、デフォルトの重みＷ１，Ｗ２，Ｗ３を用いて求められた顕著性マップ６３Ｓと比較して、スルー画像６１にとって適切に求められる。これにより、顕著性マップ６４Ｓを用いて推定された注目点領域６６の方が、顕著性マップ６３Ｓを用いて推定された注目点領域６５と比較して、スルー画像６１にとって適切に推定される。その結果、注目点領域６６を用いて設定された複数のＡＦ枠６７ｂの方が、注目点領域６５を用いて設定された複数のＡＦ枠６７ａと比較して、スルー画像６１にとって適切に設定される。

以上説明したように、図２や図３の例では、シーン別の撮影プログラムや撮影モードに応じて、各特徴量マップの重みＷ１，Ｗ２，Ｗ３が可変設定される。しかしながら、可変設定される対象は、特に図２や図３の例に限定されない。可変設定される対象の別の具体例については、図８や図９を参照して後述する。

以上、図２や図３を参照して、画像処理装置１００が実行するＡＦ枠自動設定処理の概略について説明した。次に、図４乃至図９を参照して、ＡＦ枠自動設定処理を含む撮影モード処理全体について説明する。

図４は、撮影モード処理の流れの一例を示すフローチャートである。

撮影モード処理は、ユーザが撮影モードを選択する所定の操作を操作部１４に対して行った場合、その操作を契機として開始される。すなわち、次のような処理が実行される。

ステップＳ１において、ＣＰＵ９は、スルー撮像とスルー表示を行う。

ステップＳ２において、ＣＰＵ９は、動作モードがシーンの手動識別モードであるか否かを判定する。

例えば図４の例では、画像処理装置１００には、シーンの手動識別モード、及び、マニュアル露出モードが画像処理装置１００に搭載されているとする。この場合、シーンの手動識別モードが選択されると、ステップＳ２においてＹＥＳであると判定され、処理はステップＳ３に進む。ステップＳ３において、ＣＰＵ９は、複数のシーンの中からユーザにより手動選択されたシーンを、選択シーンとして決定する。これに対して、マニュアル露出モードが選択されると、ステップＳ２においてＮＯであると判定され、処理はステップＳ４に進む。ステップＳ４において、ＣＰＵ９は、露出条件などを選択する。

このようにしてステップＳ３又はＳ４の処理が実行されると、処理はステップＳ５に進む。ステップＳ５において、ＣＰＵ９は、注目点領域推定処理の前処理を実行する。すなわち、ＣＰＵ９は、ステップＳ３の処理で決定された選択シーン又はステップＳ４の処理で選択された露出条件などに応じて、顕著性マップや注目点領域の生成手法を可変設定したり、その生成手法の適用に必要な条件を可変設定する。
注目点領域推定処理の前処理については、一具体例の概略は図２や図３を参照して上述した通りであり（処理結果である顕著性マップ５４Ｓ，６４Ｓ参照）、各種具体例の詳細は図８や図９を参照して後述する。

ステップＳ６において、ＣＰＵ９は、ステップＳ５の処理で可変設定された生成手法や条件を用いて、注目点領域推定処理を実行する。すなわち、上述した図２や図３のステップＳａ乃至Ｓｃに対応する処理が実行される。なお、注目点領域推定処理の詳細例については、図５乃至図７を参照して後述する。

ステップＳ７において、ＣＰＵ９は、選択シーンなどに基づいて、撮影条件を設定する。

なお、図４には図示されていないが、例えば、画像処理装置１００には、シーンの手動識別モード及びマニュアル露出モードに加えてさらに、シーンの自動識別モードが搭載されている場合がある。このような場合、ＣＰＵ９は、シーンの自動識別モードが選択されたたときには、例えば、ステップＳ６の注目点領域推定領域により推定された注目点領域などを用いて、複数シーンの中から所定の１シーンを、選択シーンとして自動的に決定することができる。この場合、ステップＳ７の処理では、自動的に決定された選択シーンに基づいて撮影条件が設定される。

ステップＳ８において、ＣＰＵ９は、レリーズ釦が半押しの状態であるか否かを判定する。
ユーザがレリーズ釦を半押ししていない場合、ステップＳ８においてＮＯであると判定され、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、ユーザがレリーズ釦を半押しするまでの間、ステップＳ１乃至Ｓ８のループ処理が繰り返し実行される。

その後、ユーザがレリーズ釦を半押しすると、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。

ステップＳ９において、ＣＰＵ９は、ステップＳ６の処理の結果推定された注目点領域に基づいて、複数のＡＦ枠、複数のＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）枠、及び、複数のＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）枠を設定する。

ステップＳ１０において、ＣＰＵ９は、複数のＡＦ枠を用いた測距処理（合焦処理）を実行し、その実行結果に基づいて、ＡＦ処理（オートフォーカス処理）を実行する。

ステップＳ１１において、ＣＰＵ９は、レリーズ釦が全押しの状態であるか否かを判定する。

ユーザがレリーズ釦を全押ししていない場合、ステップＳ１１においてＮＯであると判定され、処理はステップＳ１９に進む。ステップＳ１９において、ＣＰＵ９は、レリーズ釦が解除されたか否かを判定する。ユーザの指などがレリーズ釦から離された場合、ステップＳ１９においてＹＥＳであると判定されて、撮影モード処理は終了となる。これに対して、ユーザの指などがレリーズ釦から離されていない場合、ステップＳ１９においてＮＯであると判定されて、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。すなわち、レリーズ釦の半押し状態が継続している限り、ステップＳ１１ＮＯ，Ｓ１９ＮＯのループ処理が繰り返し実行される。

その後、ユーザがレリーズ釦を全押しすると、ステップＳ１１においてＹＥＳであると判定されて、処理はステップＳ１２に進む。ステップＳ１２において、ＣＰＵ９は、複数のＡＷＢ枠を用いた測距処理を実行し、その実行結果に基づいて、ＡＷＢ処理（オートホワイトバランス処理）を実行する。ステップＳ１３において、ＣＰＵ９は、複数のＡＥ枠を用いた測距処理を実行し、その実行結果に基づいて、ＡＥ処理（自動露出処理）を実行する。すなわち、絞り、露出時間、ストロボ条件などが設定される。

ステップＳ１４において、ＣＰＵ９は、ＴＧ６やＤＳＰ８などを制御して、撮影条件などに基づいて露出及び撮影処理を実行する。この露出及び撮影処理により、撮影条件などにしたがってＣＭＯＳセンサ４により撮影された被写体像は、フレーム画像データとしてＤＲＡＭ７に記憶される。なお、以下、かかるフレーム画像データを撮影画像データと称し、また、撮影画像データにより表現される画像を撮影画像と称する。

ステップＳ１５において、ＣＰＵ９は、ＤＳＰ８などを制御して、撮影画像データに対して補正及び変更処理を施す。

ステップＳ１６において、ＣＰＵ９は、液晶表示コントローラ１２などを制御して、撮影画像のレビュー表示処理を実行する。また、ステップＳ１７において、ＣＰＵ９は、ＤＳＰ８などを制御して撮影画像データの圧縮符号化処理を実行する。その結果、符号化画像データが得られることになる。そこで、ステップＳ１８において、ＣＰＵ９は、符号化画像データの保存記録処理を実行する。これにより、符号化画像データがメモリカード１５などに記録され、撮影モード処理が終了となる。

次に、撮影モード処理のうち、ステップＳ６（図２や図３のステップＳａ乃至Ｓｃ）の注目点領域処理の詳細例について説明する。

上述したように、注目点領域推定処理では、注目点領域の推定のために、顕著性マップが作成される。したがって、注目点領域推定処理に対して、例えば、Ｔｒｅｉｓｍａｎの特徴統合理論や、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用することができる。
なお、Ｔｒｅｉｓｍａｎの特徴統合理論については、「Ａ．Ｍ．Ｔｒｅｉｓｍａｎ ａｎｄ Ｇ．Ｇｅｌａｄｅ，“Ａ ｆｅａｔｕｒｅ―ｉｎｔｅｇｒａｔｉｏｎ ｔｈｅｏｒｙ ｏｆ ａｔｔｅｎｔｉｏｎ”，Ｃｏｇｎｉｔｉｖｅ Ｐｓｙｃｈｏｌｏｇｙ，Ｖｏｌ．１２，Ｎｏ．１，ｐｐ．９７−１３６，１９８０．」を参照すると良い。
また、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップについては、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ， ａｎｄ Ｅ．Ｎｉｅｂｕｒ，“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯｌ．２０，Ｎｏ１１，Ｎｏｖｅｍｂｅｒ １９９８．」を参照すると良い。

図５は、Ｔｒｅｉｓｍａｎの特徴統合理論やＮｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用した場合における、注目点領域推定処理の流れの詳細例を示すフローチャートである。

ステップＳ４１において、ＣＰＵ９は、スルー撮像により得られたフレーム画像データを、処理対象画像データとして取得する。

ステップＳ４２において、ＣＰＵ９は、ガウシアン解像度ピラミット（Ｇａｕｓｓｉａｎ Ｒｅｓｏｌｕｔｉｏｎ Ｐｙｒａｍｉｄ）を作成する。具体的には例えば、ＣＰＵ９は、処理対象画像データ｛（ｘ，ｙ）の位置の画素データ｝をＩ（０）＝Ｉ（ｘ，ｙ）として、ガウシアンフィルタ処理とダウンサンプリング処理とを順次繰り返し実行する。その結果として、階層型のスケール画像データＩ（Ｌ）（例えばＬ∈｛０・・・８｝）の組が生成される。この階層型のスケール画像データＩ（Ｌ）の組が、ガウシアン解像度ピラミッドと称されている。ここで、スケールＬ＝ｋ（ここではｋは１乃至８のうちの何れかの整数値）の場合、スケール画像データＩ（ｋ）は、１／２^ｋの縮小画像（ｋ＝０の場合は原画像）を示す。

ステップＳ４３において、ＣＰＵ９は、各特徴量マップ作成処理を開始する。各特徴量マップ作成処理の詳細例については、図６や図７を参照して後述する。

ステップＳ４４において、ＣＰＵ９は、全ての特徴量マップ作成処理が終了したか否かを判定する。各特徴量マップ作成処理のうち１つでも処理が終了していない場合、ステップＳ４４において、ＮＯであると判定されて、処理はステップＳ４４に再び戻される。すなわち、各特徴量マップ作成処理の全処理が終了するまでの間、ステップＳ４４の判定処理が繰り返し実行される。そして、各特徴量マップ作成処理の全処理が終了して、全ての特徴量マップが作成されると、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ４５に進む。

ステップＳ４５において、ＣＰＵ９は、各特徴量マップを線形和で結合して、顕著性マップＳ（Ｓａｌｉｅｎｃｙ Ｍａｐ）を求める。

ステップＳ４６において、ＣＰＵ９は、顕著性マップＳを用いて、処理対象画像データから注目領域を推定する。すなわち、一般に、主要被写体となる人物や撮影対象（ｏｂｊｅｃｔｓ）となる物体の多くは、背景（ｂａｃｋｇｒｏｕｎｄ）領域に比べ、顕著性（ｓａｌｉｅｎｃｙ）が高いと考えられる。そこで、ＣＰＵ９は、顕著性マップＳを用いて、処理対象画像データから顕著性（ｓａｌｉｅｎｃｙ）が高い領域を認識する。そして、ＣＰＵ９は、その認識結果に基づいて、人間の視覚的注意を引く可能性の高い領域、すなわち、注目点領域を推定する。このようにして、注目点領域が推定されると、注目点領域推定処理は終了する。すなわち、図５のステップＳ６の処理は終了し、処理はステップＳ７に進む。図２の例でいえば、ステップＳａ乃至Ｓｃの一連の処理は終了し、処理はステップＳｄに進む。

次に、各特徴量マップ作成処理の具体例について説明する。

図６は、輝度、色、及び、方向性の特徴量マップ作成処理の流れの一例を示すフローチャートである。

図６Ａは、輝度の特徴量マップ作成処理の一例を示している。

ステップＳ６１において、ＣＰＵ９は、処理対象画像データに対応する各スケール画像から、各注目画素を設定する。例えば各注目画素ｃ∈｛２，３，４｝が設定されたとして、以下の説明を行う。各注目画素ｃ∈｛２，３，４｝とは、スケールｃ∈｛２，３，４｝のスケール画像データＩ（ｃ）上の演算対象として設定された画素をいう。

ステップＳ６２において、ＣＰＵ９は、各注目画素ｃ∈｛２，３，４｝の各スケール画像の輝度成分を求める。

ステップＳ６３において、ＣＰＵ９は、各注目画素の周辺画素ｓ＝ｃ＋δの各スケール画像の輝度成分を求める。各注目画素の周辺画素ｓ＝ｃ＋δとは、例えばδ∈｛３，４｝とすると、スケールｓ＝ｃ＋δのスケール画像Ｉ（ｓ）上の、注目画素（対応点）の周辺に存在する画素をいう。

ステップＳ６４において、ＣＰＵ９は、各スケール画像について、各注目画素ｃ∈｛２，３，４｝における輝度コントラストを求める。例えば、ＣＰＵ９は、各注目画素ｃ∈｛２，３，４｝と、各注目画素の周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）のスケール間差分を求める。ここで、注目画素ｃをＣｅｎｔｅｒと呼称し、注目画素の周辺画素ｓをＳｕｒｒｏｕｎｄと呼称すると、求められたスケール間差分は、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分と呼称することができる。この輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、注目画素ｃが白で周辺画素ｓが黒の場合又はその逆の場合には大きな値をとるという性質がある。したがって、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、輝度コントラストを表わすことになる。なお、以下、かかる輝度コントラストをＩ（ｃ，ｓ）と記述する。

ステップＳ６５において、ＣＰＵ９は、処理対象画像データに対応する各スケール画像において、注目画素に設定されていない画素が存在するか否かを判定する。そのような画素が存在する場合、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。

すなわち、処理対象画像データに対応する各スケール画像の各画素に対して、ステップＳ６１乃至Ｓ６５の処理がそれぞれ施されて、各画素の輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、各注目画素ｃ∈｛２，３，４｝、及び、周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）が設定される場合、ステップＳ６１乃至Ｓ６５の１回の処理で、（注目画素ｃの３通り）×（周辺画素ｓの２通り）＝６通りの輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、所定のｃと所定のｓについて求められた輝度コントラストＩ（ｃ，ｓ）の画像全体の集合体を、以下、輝度コントラストＩの特徴量マップと称する。輝度コントラストＩの特徴量マップは、ステップＳ６１乃至Ｓ６５のループ処理の繰り返しの結果、６通り求められることになる。このようにして、６通りの輝度コントラストＩの特徴量マップが求められると、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６６に進む。

ステップＳ６６において、ＣＰＵ９は、輝度コントラストＩの各特徴量マップを正規化した上で結合することで、輝度の特徴量マップを作成する。これにより、輝度の特徴量マップ作成処理は終了する。なお、以下、輝度の特徴量マップを、他の特徴量マップと区別すべく、ＦＩと記述する。

図６Ｂは、色の特徴量マップ作成処理の一例を示している。

図６Ｂの色の特徴量マップ作成処理は、図６Ａの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図６ＢのステップＳ８１乃至Ｓ８６のそれぞれの処理は、図６ＡのステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図６Ａとは異なるだけである。したがって、図６Ｂの色の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。

すなわち、図６ＡのステップＳ６２とＳ６３の処理対象は、輝度成分であったのに対して、図６ＢのステップＳ８２とＳ８３の処理対象は、色成分である。
また、図６ＡのステップＳ６４の処理では、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、輝度コントラストＩ（ｃ，ｓ）として求められた。これに対して、図６ＢのステップＳ８４の処理では、色相（Ｒ／Ｇ，Ｂ／Ｙ）のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、色相コントラストとして求められる。なお、色成分のうち、赤の成分がＲで示され、緑の成分がＧで示され、青の成分がＢで示され、黄の成分がＹで示されている。また、以下、色相Ｒ／Ｇについての色相コントラストを、ＲＧ（ｃ，ｓ）と記述し、色相Ｂ／Ｙについての色相コントラストを、ＢＹ（ｃ，ｓ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、図６ＡのステップＳ６１乃至Ｓ６５のループ処理の結果、６通りの輝度コントラストＩの特徴量マップが求められた。これに対して、図６ＢのステップＳ８１乃至Ｓ８５のループ処理の結果、６通りの色相コントラストＲＧの特徴量マップと、６通りの色相コントラストＢＹの特徴量マップとが求められる。
最終的に、図６ＡのステップＳ６６の処理で、輝度の特徴量マップＦＩが求められた。これに対して、図６ＢのステップＳ８６の処理で、色の特徴量マップが求められる。なお、以下、色の特徴量マップを、他の特徴量マップと区別すべく、ＦＣと記述する。

図６Ｃは、方向性の特徴量マップ作成処理の一例を示している。

図６Ｃの方向性の特徴量マップ作成処理は、図６Ａの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図６ＣのステップＳ１０１乃至Ｓ１０６のそれぞれの処理は、図６ＡのステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図６Ａとは異なるだけである。したがって、図６Ｃの方向性の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。

すなわち、ステップＳ１０２とＳ１０２３の処理対象は、方向成分である。ここで、方向成分とは、輝度成分に対してガウスフィルタφを畳み込んだ結果得られる各方向の振幅成分をいう。ここでいう方向とは、ガウスフィルタφのパラメターとして存在する回転角θにより示される方向をいう。例えば回転角θとしては、０°，４５°，９０°，１３５°の４方向を採用することができる。
また、ステップＳ１０４の処理では、方向性のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、方向性コントラストとして求められる。なお、以下、方向性コントラストを、Ｏ（ｃ，ｓ，θ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、ステップＳ１０１乃至Ｓ１０５のループ処理の結果、回転角θ毎に、６通りの方向性コントラストＯの特徴量マップが求められる。例えば回転角θとして、０°，４５°，９０°，１３５°の４方向が採用されている場合には、２４通り（＝６×４通り）の方向性コントラストＯの特徴量マップが求められる。
最終的に、ステップＳ１０６の処理で、方向性の特徴量マップが求められる。なお、以下、方向性の特徴量マップを、他の特徴量マップと区別すべく、ＦＯと記述する。

以上説明した図６の特徴量マップ作成処理のより詳細な処理内容については、例えば、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ， ａｎｄ Ｅ．Ｎｉｅｂｕｒ，“Ａ Ｍｏｄｅｌ ｏｆ Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｒａｐｉｄ Ｓｃｅｎｅ Ａｎａｌｙｓｉｓ”，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯｌ．２０，Ｎｏ１１，Ｎｏｖｅｍｂｅｒ １９９８．」を参照すると良い。

なお、特徴量マップ作成処理は、図６の例に特に限定されない。例えば、特徴量マップ作成処理として、明度、彩度、色相、及びモーションの各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。

また例えば、特徴量マップ作成処理として、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。

図７は、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の特徴量マップ作成処理の一例を示すフローチャートである。

図７Ａは、マルチスケールのコントラストの特徴量マップ作成処理の一例を示している。
ステップＳ１２１において、ＣＰＵ９は、マルチスケールのコントラストの特徴量マップを求める。これにより、マルチスケールのコントラストの特徴量マップ作成処理は終了となる。
なお、以下、マルチスケールのコントラストの特徴量マップを、他の特徴量マップと区別すべく、Ｆｃと記述する。

図７Ｂは、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の一例を示している。

ステップＳ１４１において、ＣＰＵ９は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとを求める。アスペクト比自体は、特に限定されず、例えば｛０．５，０．７５，１．０，１．５，２．０｝などを採用することができる。

ステップＳ１４２において、ＣＰＵ９は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとのカイ２乗距離を求める。ステップＳ１４３において、ＣＰＵ９は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを求める。

ステップＳ１４４において、ＣＰＵ９は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを用いて、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを作成する。これにより、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理は終了となる。
なお、以下、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを、他の特徴量マップと区別すべく、Ｆｈと記述する。

図７Ｃは、色空間分布の特徴量マップ作成処理の一例を示している。

ステップＳ１６１において、ＣＰＵ９は、色空間分布について、水平方向の分散を計算する。また、ステップＳ１６２において、ＣＰＵ９は、色空間分布について、垂直方向の分散を計算する。そして、ステップＳ１６３において、ＣＰＵ９は、水平方向の分散と垂直方向の分散とを用いて、色の空間的な分散を求める。

ステップＳ１６４において、ＣＰＵ９は、色の空間的な分散を用いて、色空間分布の特徴量マップを作成する。これにより、色空間分布の特徴量マップ作成処理は終了となる。
なお、以下、色空間分布の特徴量マップを、他の特徴量マップと区別すべく、Ｆｓと記述する。

以上説明した図７の特徴量マップ作成処理のより詳細な処理内容については、例えば、「Ｔ．Ｌｉｕ，Ｊ．Ｓｕｎ，Ｎ．Ｚｈｅｎｇ，Ｘ．Ｔａｎｇ，Ｈ．Ｓｕｍ，“Ｌｅａｒｎｉｎｇ ｔｏ Ｄｅｔｅｃｔ Ａ Ｓａｌｉｅｎｔ Ｏｂｊｅｃｔ”，ＣＶＰＲ０７，ｐｐ．１−８，２００７．」を参照すると良い。

次に、図４の撮影モード処理のうち、ステップＳ５の注目点領域処理の前処理の詳細例について説明する。

図８は、注目点領域処理の前処理の流れの詳細例を示すフローチャートである。

なお、図８の例は、図４のステップＳ３の処理後に実行されることを前提とする。この場合、図４のステップＳ３の処理で選択シーンとして決定され得るシーンとしては、「人物モード」、「近接モード」、「風景モード」、「夜景モード」、「スポーツモード」、及び「子供／ペットモード」が少なくとも存在するとする。また、図４には図示はしないが、ズームの焦点距離が既に取得されているとする。

ステップＳ２０１において、ＣＰＵ９は、選択シーンや露出条件などを読み込む。

ステップＳ２０２において、ＣＰＵ９は、選択シーンは「人物モード」又は「近接モード」か否かを判定する。

図４のステップＳ３の処理で「人物モード」又は「近接モード」が選択シーンとして決定された場合、ステップＳ２０２においてＹＥＳであると判定されて、処理はステップＳ２０３に進む。ステップＳ２０３において、ＣＰＵ９は、注目点領域推定処理における処理画像の領域範囲を、略中央の所定領域に制限する。これにより、注目点領域推定処理の前処理は終了し、すなわち、図４のステップＳ５の処理は終了し、処理はステップＳ６の注目点領域推定処理に進む。具体的には、図８でいう処理画像とは、図５のステップＳ４１の処理で取得される処理対象画像データに対応するスルー画像をいう。したがって、このスルー画像のうちの略中央の所定領域に対して、図５のステップＳ４２乃至Ｓ４６の処理が施されることになる。

これに対して、図４のステップＳ３の処理で「風景モード」、「夜景モード」、「スポーツモード」、「子供／ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップＳ２０２においてＮＯであると判定されて、処理はステップＳ２０４に進む。ステップＳ２０４において、ＣＰＵ９は、選択シーンは「風景モード」又は「夜景モード」か否かを判定する。

図４のステップＳ３の処理で「風景モード」又は「夜景モード」が選択シーンとして決定された場合、ステップＳ２０４においてＹＥＳであると判定されて、処理はステップＳ２０５に進む。ステップＳ２０５において、ＣＰＵ９は、注目点領域推定処理における処理画像の解像度をやや密に、又は、大きな画像サイズに設定する。ステップＳ２０６において、ＣＰＵ９は、注目点領域推定処理における処理画像の更新間隔（又はフレーム速度）をやや長く（遅めに）設定する。これにより、注目点領域推定処理の前処理は終了し、すなわち、図４のステップＳ５の処理は終了し、処理はステップＳ６の注目点領域推定処理に進む。具体的には、このステップＳ２０５，Ｓ２０６の設定結果にしたがって、図５の注目点領域推定処理が実行されることになる。

これに対して、図４のステップＳ３の処理で、「スポーツモード」、「子供／ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップＳ２０４においてＮＯであると判定されて、処理はステップＳ２０７に進む。ステップＳ２０７において、ＣＰＵ９は、選択シーンは「スポーツモード」又は「子供／ペットモード」か否かを判定する。

図４のステップＳ３の処理で「スポーツモード」又は「子供／ペットモード」が選択シーンとして決定された場合、ステップＳ２０７においてＹＥＳであると判定されて、処理はステップＳ２０８に進む。ステップＳ２０８において、ＣＰＵ９は、注目点領域推定処理における処理画像の解像度をやや疎に、又は、小さな画像サイズに設定する。ステップＳ２０９において、ＣＰＵ９は、注目点領域推定処理における処理画像の更新間隔（又はフレーム速度）をやや短く（早めに）設定する。これにより、注目点領域推定処理の前処理は終了し、すなわち、図４のステップＳ５の処理は終了し、処理はステップＳ６の注目点領域推定処理に進む。具体的には、このステップＳ２０８，Ｓ２０９の設定結果にしたがって、図５の注目点領域推定処理が実行されることになる。

これに対して、図４のステップＳ３の処理でその他のシーンが選択シーンとして決定された場合、ステップＳ２０７においてＮＯであると判定されて、処理はステップＳ２１０に進む。ステップＳ２１０において、ＣＰＵ９は、ズームの焦点距離が所定値より長いか否かを判定する。

ズームの焦点距離が所定値より長い場合、ステップＳ２１０においてＹＥＳであると判定され、処理はステップＳ２０８に進み、それ以降の処理が実行される。

これに対して、ズームの焦点距離が所定値より短い場合、ステップＳ２１０においてＮＯであると判定され、処理はステップＳ２１１に進む。ステップＳ２１１において、ＣＰＵ９は、注目点領域推定処理における処理画像の解像度を標準に、又は、標準の画像サイズ（例えば３２０×２４０など）に設定する。ステップＳ２１２において、ＣＰＵ９は、注目点領域推定処理における処理画像の更新間隔（又はフレーム速度）を標準（例えば１０ｆｐｓ）に設定する。これにより、注目点領域推定処理の前処理は終了し、すなわち、図４のステップＳ５の処理は終了し、処理はステップＳ６の注目点領域推定処理に進む。具体的には、このステップＳ２１１，Ｓ２１２の設定結果にしたがって、図５の注目点領域推定処理が実行されることになる。

以上説明したように、図８の注目点領域推定処理の前処理の実行により、顕著性マップや注目点領域の生成手法や、その生成手法の適用に必要な条件についての、選択シーンに応じた可変設定が可能になる。具体的には、図８の注目点領域推定処理の前処理の実行により、処理画像（スルー画像）の領域範囲、処理画像の更新頻度やフレーム速度、処理画像の解像度の粗密や画像サイズの大小などについての、選択シーンに応じた可変設定が可能になる。これにより、選択シーンにとって必要十分かつ最適な顕著性マップや注目点領域が、効率的かつより高速に抽出される。その結果、顕著性マップや注目点領域に基づくＡＦ処理やＡＥ処理などの自動撮影制御が、より高精度かつより迅速に実現することが可能になる。

図９は、注目点領域処理の前処理の流れの詳細例であって、図８とは異なる例を示すフローチャートである。

なお、図９の例は、図４のステップＳ３の処理後に実行されることを前提とする。この場合、図４のステップＳ３の処理で選択シーンとして決定され得るシーンとしては、「人物モード」、「近接モード」、「風景モード」、「人物＋風景モード」、「スポーツモード」、及び「子供／ペットモード」が少なくとも存在するとする。また、図４には図示はしないが、被写体の動き、レンズ焦点距離、並びに、被写体輝度若しくは絞り値が既に取得されているとする。

また、図９の例は、図５のステップＳ４５の処理において上述した式（１）が用いられることを前提としている。すなわち、図９の例では、図７の各特徴量マップ作成処理が実行されることを前提としている。

ステップＳ２２１において、ＣＰＵ９は、選択シーンや露出条件などを読み込む。

ステップＳ２２２において、ＣＰＵ９は、選択シーンは「人物モード」又は「近接モード」か否かを判定する。

図４のステップＳ３の処理で「人物モード」又は「近接モード」が選択シーンとして決定された場合、ステップＳ２２２においてＹＥＳであると判定されて、処理はステップＳ２２３に進む。ステップＳ２２３において、ＣＰＵ９は、マルチスケールのコントラストの特徴量マップＦｃの重みＷ１や、色空間分布の特徴量マップＦｓの重みＷ３を標準時より高く設定する。一方、ＣＰＵ９は、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップＦｈの重みＷ２を標準時より低く設定する。

このような設定手法をステップＳ２２３の処理に採用した理由は次のとおりである。すなわち、図２の顕著性マップ５４Ｓを用いて上述したように、「人物モード」が選択されている場合には、顔の肌色や髪色など主要被写体（人物）の彩度は比較的高く、かつ、主要被写体の形状が比較的はっきりしている場合が多いからである。同様に、「近接モード」では、近接での花や昆虫、趣味のコレクション、オークションに出展する商品など、主要被写体の比較的彩度が高く、かつ、主要被写体の形状が比較的はっきりしている場合が多いからである。換言すると、この設定手法は、「人物モード」や「近接モード」に特に限定されず、主要被写体の彩度が比較的高くかつ主要被写体の形状が比較的はっきりしている場合が多いシーンに対して、広く一般に適用可能である。例えば、この設定手法は「花や商品の撮影モード」などにも適用可能である。

このようなステップＳ２２３の処理が終了すると、処理はステップＳ２３２に進む。ただし、ステップＳ２３２以降の処理については後述する。

これに対して、図４のステップＳ３の処理で「風景モード」、「人物＋風景モード」、「スポーツモード」、「子供／ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップＳ２２２においてＮＯであると判定されて、処理はステップＳ２２４に進む。ステップＳ２２４において、ＣＰＵ９は、選択シーンは「風景モード」又は「人物＋風景モード」か否かを判定する。

図４のステップＳ３の処理で「風景モード」又は「人物＋風景モード」が選択シーンとして決定された場合、ステップＳ２２４においてＹＥＳであると判定されて、処理はステップＳ２２５に進む。ステップＳ２２５において、ＣＰＵ９は、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップＦｈの重みＷ２を、画面の上半分で下半分よりもやや低く設定する。これにより、処理はステップＳ２３２に進む。ただし、ステップＳ２３２以降の処理については後述する。

これに対して、図４のステップＳ３の処理で、「スポーツモード」、「子供／ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップＳ２２４においてＮＯであると判定されて、処理はステップＳ２２６に進む。ステップＳ２２６において、ＣＰＵ９は、選択シーンは「スポーツモード」又は「子供／ペットモード」か否かを判定する。

図４のステップＳ３の処理で「スポーツモード」又は「子供／ペットモード」が選択シーンとして決定された場合、ステップＳ２２６においてＹＥＳであると判定されて、処理はステップＳ２２７に進む。ステップＳ２２７において、ＣＰＵ９は、ガウシアン解像度ピラミッドの階層数を標準時より少なく設定する。ステップＳ２２８において、ＣＰＵ９は、階層型コントラスト情報（又はマルチコントラストなど）の階層数を標準時よりもやや少なく設定する。ステップＳ２２９において、ＣＰＵ９は、マルチスケールのコントラストの特徴量マップＦｃの重みＷ１や、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップＦｈの重みＷ２を標準時より高めに設定する。

このような設定手法をステップＳ２２７乃至Ｓ２２９の各処理に採用した理由は次のとおりである。すなわち「スポーツモード」や「子供／ペットモード」が選択されている場合には、動く被写体や動きが大きい被写体が多くなることが想定される。このため、特徴量抽出のために生成するガウシアン解像度ピラミッドの階層数や、特徴量マップの作成に用いる階層型コントラスト情報の階層数を標準時より少ない階層数に切り替えるのである。すなわち、抽出又は作成処理の速度を一時的に上げるためである。

このようなステップＳ２２７乃至Ｓ２２９の一連の処理が終了すると、処理はステップＳ２３２に進む。ただし、ステップＳ２３２以降の処理については後述する。

これに対して、図４のステップＳ３の処理でその他のシーンが選択シーンとして決定された場合、ステップＳ２２６においてＮＯであると判定されて、処理はステップＳ２３０に進む。ステップＳ２３０において、ＣＰＵ９は、被写体の動きが所定以上か否かを判定する。

被写体の動きが所定以上の場合、ステップＳ２３０においてＹＥＳであると判定され、処理はステップＳ２２７に進み、それ以降の処理が実行される。

これに対して、被写体の動きが所定未満の場合、ステップＳ２３０においてＮＯであると判定され、処理はステップＳ２３１に進む。ステップＳ２３１において、ＣＰＵ９は、マルチスケールのコントラストの特徴量マップＦｃの重みＷ１、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップＦｈの重みＷ２、及び色空間分布の特徴量マップＦｓの重みＷ３を標準（デフォルト値）に設定する。これにより、処理はステップＳ２３２に進む。

このようにして、ステップＳ２２３、Ｓ２２５、Ｓ２２９、又はＳ２３１の処理が実行されて、重みＷ１，Ｗ２，Ｗ３が設定されると、処理は、ステップＳ２３２に進む。ステップＳ２３２において、ＣＰＵ９は、選択シーンは「人物モード」、「人物＋風景モード」、又は「近接モード」か否かを判定する。

図４のステップＳ３の処理で「人物モード」、「人物＋風景モード」、又は「近接モード」が選択シーンとして決定された場合、ステップＳ２３２においてＹＥＳであると判定されて、処理はステップＳ２３３に進む。ステップＳ２３３において、ＣＰＵ９は、注目点領域の被写体の輪郭抽出、又は、切り抜き抽出をＯＮに設定する。

これに対して、図４のステップＳ３の処理で「風景モード」、「スポーツモード」、「子供／ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップＳ２３２においてＮＯであると判定されて、処理はステップＳ２３４に進む。ステップＳ２３４において、ＣＰＵ９は、レンズ焦点距離が所定より長いか否かを判定する。

レンズ焦点距離が所定より長い場合、ステップＳ２３４においてＹＥＳであると判定され、処理はステップＳ２３３に進み、それ以降の処理が実行される。

これに対して、レンズ焦点距離が所定より短い場合、ステップＳ２３４においてＮＯであると判定され、処理はステップＳ２３５に進む。ステップＳ２３５において、ＣＰＵ９は、被写体輝度が所定より暗い、又は絞り値が小さいか否かを判定する。

被写体輝度が所定より暗い、又は絞り値が小さい場合、ステップＳ２３５においてＹＥＳであると判定され、処理はステップＳ２３３に進み、それ以降の処理が実行される。

これに対して、被写体輝度が所定より明るく、かつ絞り値が大きい場合、又は、被写体輝度と絞り値のうち何れか一方が取得されて、取得されている方が明るく若しくは大きい場合、ステップＳ２３５においてＮＯであると判定され、処理はステップＳ２３６に進む。ステップＳ２３６において、ＣＰＵ９は、注目点領域の被写体の輪郭抽出、又は、切り抜き抽出をＯＦＦに設定する。

このようにして、注目点領域の被写体の輪郭抽出又は切り抜き抽出が、ステップＳ２３３の処理でＯＮに設定されるか、又は、ステップＳ２３６の処理でＯＦＦに設定されると、注目点領域推定処理の前処理は終了となる。すなわち、図４のステップＳ５の処理は終了し、処理はステップＳ６の注目点領域推定処理に進む。

具体的には例えば、選択シーンが「人物モード」又は「近接モード」の場合にはステップＳ２２３の設定結果にしたがって、図５の注目点領域推定処理が実行されることになる。例えば、選択シーンが「風景モード」又は「人物＋風景モード」の場合にはステップＳ２２５の設定結果にしたがって、図５の注目点領域推定処理が実行されることになる。例えば、選択シーンが「スポーツモード」又は「子供／ペットモード」の場合にはステップＳ２２７乃至Ｓ２２９の設定結果にしたがって、図５の注目点領域推定処理が実行されることになる。例えば、選択シーンがその他のシーンの場合にはステップＳ２３１の設定結果にしたがって、図５の注目点領域推定処理が実行されることになる。

注目点領域の被写体の輪郭抽出又は切り抜き抽出の結果は、新たな注目点領域として採用可能である。したがって、選択シーンが「人物モード」、「人物＋風景モード」、又は「近接モード」である場合、注目点領域の被写体の輪郭抽出又は切り抜き抽出がＯＮになる。その結果、ＣＰＵ９は、この新たな注目点領域を利用して図４のステップＳ９の処理などを実行することが可能になる。

なお、ステップＳ２２３、Ｓ２２５、Ｓ２２７乃至Ｓ２２９、及びＳ２３１の各処理に適用されている重みＷ１，Ｗ２，Ｗ３の設定手法は、例示にしか過ぎない。

具体的には例えば、ステップＳ２２５の処理として、図９に記載の処理に換えて、マルチスケールのコントラストの特徴量マップＦｃの重みＷ１を標準時より高く設定するという処理を採用しても良い。「風景モード」や「人物＋風景モード」は、比較的遠距離の被写体やシーンを撮影するモードであるからである。

具体的には例えば、ステップＳ２２５の処理として、図９に記載の処理に換えて、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップＦｈの重みＷ２を、標準時より低く設定するという処理を採用しても良い。

また例えば、スルー画像の画面の上方の輝度が下方の輝度よりも広範囲で高い場合には、「風景モード」や「人物＋風景モード」は、空や明るい雲が上方に広がっているシーンに対応するモードと推定することができる。そこで、ステップＳ２２５の処理として、図９に記載の処理に換えて、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップＦｈの重みＷ２を、鉛直線方向の下方から上方に向けて、段階的に徐々に低くなるように、グラデーション状に設定していくという処理を採用しても良い。

このように、図９の注目点領域推定処理の前処理の実行により、顕著性マップや注目点領域の生成手法や、その生成手法の適用に必要な条件についての、選択シーンに応じた可変設定が可能になる。具体的には、図９の注目点領域推定処理の前処理の実行により、顕著性マップを求める場合に用いる複数の特徴量マップの重みや、ガウシアン解像度ピラミッドや階層型コントラスト情報などの階層数についての、選択シーンに応じた可変設定が可能になる。これにより、選択シーンにとって必要十分かつ最適な顕著性マップや注目点領域が、効率的かつより高速に抽出される。その結果、顕著性マップや注目点領域に基づくＡＦ処理やＡＥ処理などの自動撮影制御が、より高精度かつより迅速に実現することが可能になる。

以上説明したように、本実施形態に係る画像処理装置１００のＣＰＵ９は、入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、入力画像に対する注目点領域を生成する機能を有している。ＣＰＵ９は、入力画像に基づく条件に応じて、顕著性マップ若しくは注目点領域を生成する手法、又は、その手法に適用される条件を可変設定する機能を有する。これにより、入力画像により適した顕著性マップや注目点領域を生成することができるようになる。このようにして抽出された顕著性マップや注目点領域を用いて撮影制御を実行することで、その処理時間が短縮し、その制御精度が向上する。その結果、ユーザにとっては、撮影時の待ち時間やイライラが減少し、使い勝手の良い自動制御カメラが提供される。

例えば可変設定の対象として、入力画像（例えばスルー画像）についての、検出範囲、更新頻度もしくはフレームレート、又は、解像度の粗密若しくは画像サイズの大小のうち少なくとも１つを採用することができる。これにより、入力画像に基づく条件、例えば、入力画像に基づいて設定又は選択されたシーン別プログラムや撮影モードにおいて、可能性の高い又は確率若しくは頻度の高い被写体の種類や状態が想定される。そして、その想定に基づいて、顕著性マップや注目点領域が生成される。このような顕著性マップや注目点領域の生成処理について、その処理時間や撮影タイムラグが短縮され、その処理精度が向上する。さらに、このようにして生成された顕著性マップや注目点領域を用いて撮影制御を行うことで、その処理時間が短縮し、制御精度が向上する。

また例えば、複数の特徴量マップを線形統合して顕著性マップが生成される場合、可変設定の対象として、特徴量マップの抽出手法、各特徴量マップの重みの配分、又は、フィルタの種類若しくは階層数のうち少なくとも１つを採用することができる。これにより、入力画像に基づく条件に適した主要被写体、例えば、入力画像に基づいて設定又は選択されたシーン別プログラムや撮影モードに適した主要被写体を精度良く検出することが可能になる。また、視線検出入力付きファインダーなどの手段を設けなくても、入力画像に基づく条件に適した注目点領域、例えば、入力画像に基づいて設定又は選択されたシーン別プログラムや撮影モードに適した注目点領域を精度良く推定できる。このようにして検出された主要被写体や、生成され注目点領域を用いて撮影制御を行うことで、その処理時間が短縮し、制御精度が向上する。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。

また、注目点領域推定処理は、複数の処理を組み合わせても良い。例えば、図８と図９の注目点領域推定処理を組み合わせることもできる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１１や、図示せぬハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１００・・・画像処理装置、１・・・光学レンズ装置、２・・・シャッタ装置、３・・・アクチュエータ、４・・・ＣＭＯＳセンサ、５・・・ＡＦＥ、６・・・ＴＧ、７・・・ＤＲＡＭ、８・・・ＤＳＰ、９・・・ＣＰＵ、１０・・・ＲＡＭ、１１・・・ＲＯＭ、１２・・・液晶表示コントローラ、１３・・・液晶ディスプレイ、１４・・・操作部、１５・・・メモリカード、１６・・・測距センサ、１７・・・測光センサ

Claims (6)

1. 入力画像に対して注目点領域を推定する画像処理装置であって、
   撮影モードを設定する撮影モード設定部と、
   前記入力画像から抽出された複数の特徴量から複数の特徴量マップを生成する特徴量マップ生成部と、
   前記特徴量マップ生成部により生成された前記複数の特徴量マップを統合して顕著性マップを生成する顕著性マップ生成部と、
   前記顕著性マップ生成部により生成された前記顕著性マップを用いて前記入力画像の中から注目点領域を推定する注目点領域推定部と、
   前記撮影モード設定部により設定した撮影モードに応じて、前記顕著性マップ生成部若しくは前記注目点領域推定部に適用される条件を可変設定する設定部と、
   を備える画像処理装置。
2. 前記設定部は、前記顕著性マップ生成部又は前記注目点領域推定部に適用される条件として、前記入力画像についての、検出範囲、更新頻度もしくはフレームレート、又は、解像度の粗密若しくは画像サイズの大小のうち少なくとも１つを可変設定する
   請求項１に記載の画像処理装置。
3. 前記顕著性マップ生成部は、前記特徴量マップ生成部により生成された前記複数の特徴量マップを線形統合して前記顕著性マップを生成し、
   前記設定部は、前記顕著性マップ生成部に適用される条件として、前記特徴量マップの抽出手法、前記特徴量マップの重みの配分、又は、前記顕著性マップが生成されるときに用いられるフィルタの種類若しくは階層数のうち少なくとも１つを可変設定する
   請求項１に記載の画像処理装置。
4. 主要被写体を撮影する撮影部をさらに備え、
   前記入力画像は、前記撮影部により前記主要被写体が撮影された結果得られる画像である
   請求項１乃至３のうちの何れかに記載の画像処理装置。
5. 前記設定部により可変設定された前記注目点領域推定部により推定された前記注目点領域を用いて、前記撮影部に対する撮影制御を実行する制御部
   をさらに備える請求項４に記載の画像処理装置。
6. 入力画像に対して注目点領域を推定する画像処理装置の画像処理方法であって、
   撮影モードを設定する撮影モード設定ステップと、
   前記入力画像から抽出された複数の特徴量から複数の特徴量マップを生成する特徴量マップ生成ステップと、
   前記特徴量マップ生成ステップにより生成された前記複数の特徴量マップを統合して顕著性マップを生成する顕著性マップ生成ステップと、
   前記顕著性マップ生成ステップにより生成された前記顕著性マップを用いて前記入力画像の中から注目点領域を推定する注目点領域推定ステップと、
   前記撮影モード設定ステップにより設定した撮影モードに応じて、前記顕著性マップ生成ステップ若しくは前記注目点領域推定ステップに適用される条件を可変設定する設定ステップ
   を含む画像処理方法。