以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本発明の一実施形態に係る画像処理装置100のハードウェアの構成を示す図である。画像処理装置100は、例えばデジタルカメラにより構成することができる。
画像処理装置100は、光学レンズ装置1と、シャッタ装置2と、アクチュエータ3と、CMOSセンサ4と、AFE5と、TG6と、DRAM7と、DSP8と、CPU9と、RAM10と、ROM11と、液晶表示コントローラ12と、液晶ディスプレイ13と、操作部14と、メモリカード15と、測距センサ16と、測光センサ17と、を備える。
光学レンズ装置1は、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、CMOSセンサ4の受光面に被写体像を結像させるためレンズである。
シャッタ装置2は、例えばシャッタ羽根などから構成される。シャッタ装置2は、CMOSセンサ4へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置2はまた、CMOSセンサ4へ入射する光束の光量を調節する絞りとしても機能する。アクチュエータ3は、CPU9による制御にしたがって、シャッタ装置2のシャッタ羽根を開閉させる。
CMOS(Complementary Metal Oxide Semiconductor)センサ4は、例えばCMOS型のイメージセンサなどから構成される。CMOSセンサ4には、光学レンズ装置1からシャッタ装置2を介して被写体像が入射される。そこで、CMOSセンサ4は、TG6から供給されるクロックパルスにしたがって、一定時間毎に被写体像を光電変換(撮影)して画像信号を蓄積し、蓄積した画像信号をアナログ信号として順次出力する。
AFE(Analog Front End)5には、CMOSセンサ4からアナログの画像信号が供給される。そこで、AFE5は、TG6から供給されるクロックパルスにしたがって、アナログの画像信号に対し、A/D(Analog/Digital)変換処理などの各種信号処理を施す。各種信号処理の結果、ディジタル信号が生成され、AFE5から出力される。
TG(Timing Generator)6は、CPU9による制御にしたがって、一定時間毎にクロックパルスをCMOSセンサ4とAFE5とにそれぞれ供給する。
DRAM(Dynamic Random Access Memory)7は、AFE5により生成されるディジタル信号や、DSP8により生成される画像データを一時的に記憶する。
DSP(Digital Signal Processor)8は、CPU9による制御にしたがって、DRAM7に記憶されたディジタル信号に対して、ホワイトバランス補正処理、γ補正処理、YC変換処理などの各種画像処理を施す。各種画像処理の結果、輝度信号と色差信号とでなる画像データが生成される。なお、以下、かかる画像データをフレーム画像データと称し、このフレーム画像データにより表現される画像をフレーム画像と称する。
CPU(Central Processing Unit)9は、画像処理装置100全体の動作を制御する。RAM(Random Access Memory)10は、CPU9が各処理を実行する際にワーキングエリアとして機能する。ROM(Read Only Memory)11は、画像処理装置100が各処理を実行するのに必要なプログラムやデータを記憶する。CPU9は、RAM10をワーキングエリアとして、ROM11に記憶されているプログラムとの協働により各種処理を実行する。
液晶表示コントローラ12は、CPU9による制御にしたがって、DRAM7やメモリカード15に記憶されているフレーム画像データをアナログ信号に変換して、液晶ディスプレイ13に供給する。液晶ディスプレイ13は、液晶表示コントローラ12から供給されてくるアナログ信号に対応する画像として、フレーム画像を表示する。
また、液晶表示コントローラ12は、CPU9による制御にしたがって、ROM11などに予め記憶されている各種画像データをアナログ信号に変換して、液晶ディスプレイ13に供給する。液晶ディスプレイ13は、液晶表示コントローラ12から供給されてくるアナログ信号に対応する画像を表示する。例えば本実施の形態では、各種シーンを特定可能な情報(以下、シーン情報と称する)の画像データがROM11に記憶されている。このため、図4を参照して後述するように、各種シーン情報が液晶ディスプレイ13に適宜表示される。
操作部14は、ユーザから各種ボタンの操作を受け付ける。操作部14は、電源釦、十字釦、決定釦、メニュー釦、レリーズ釦などを備える。操作部14は、ユーザから受け付けた各種ボタンの操作に対応する信号を、CPU9に供給する。CPU9は、操作部14からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。
メモリカード15は、DSP8により生成されたフレーム画像データを記録する。測距センサ16は、CPU9による制御にしたがって、被写体までの距離を検出する。測光センサ17は、CPU9による制御にしたがって、被写体の輝度(明るさ)を検出する。
このような構成を有する画像処理装置100の動作モードとしては、撮影モードや再生モードを含む各種モードが存在する。ただし、以下、説明の簡略上、撮影モード時における処理(以下、撮影モード処理と称する)についてのみ説明する。なお、以下、撮影モード処理の主体は主にCPU9であるとする。
次に、図1の画像処理装置100の撮影モード処理のうち、顕著性マップに基づく注目点領域を用いて、AF処理用の合焦検出領域(以下、AF枠と称する)を設定するまでの一連の処理の概略について説明する。なお、以下、かかる処理を、AF枠自動設定処理と称する。
図2は、AF枠自動設定処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。
図1の画像処理装置100のCPU9は、撮影モードを開始させると、CMOSセンサ4による撮影を継続させ、その間にDSP8により逐次生成されるフレーム画像データを、DRAM7に一時的に記憶させる。なお、以下、かかるCPU9の一連の処理を、スルー撮像と称する。
また、CPU9は、液晶表示コントローラ12などを制御して、スルー撮像時にDRAM7に記録された各フレーム画像データを順次読み出して、それぞれに対応するフレーム画像を液晶ディスプレイ13に表示させる。なお、以下、かかるCPU9の一連の処理を、スルー表示と称する。また、スルー表示されているフレーム画像を、スルー画像と称する。
以下の説明では、スルー撮像及びスルー表示により、例えば図2に示されるスルー画像51が液晶ディスプレイ13に表示されているとする。ただし、図2に示されるスルー画像51は、表現の簡略上、実際のフレーム画像を線図化したものである。
この場合、ステップSaにおいて、CPU9は、特徴量マップ作成処理として、例えば次のような処理を実行する。
すなわち、CPU9は、スルー画像51に対応するフレーム画像データについて、例えば色、方位、輝度などの複数種類の特徴量のコントラストから、複数種類の特徴量マップを作成することができる。このような複数種類のうち所定の1種類の特徴量マップを作成するまでの一連の処理が、ここでは、特徴量マップ作成処理と称されている。各特徴量マップ作成処理の詳細例については、図6や図7を参照して後述する。
例えば図2の例では、後述する図7Aのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ52Fcが作成されている。また、後述する図7BのCenter−Surroundの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ52Fhが作成されている。また、図7Cの色空間分布の特徴量マップ作成処理の結果、特徴量マップ52Fsが作成されている。
ステップSbにおいて、CPU9は、複数種類の特徴量マップを統合することで、顕著性マップを求める。例えば図2の例では、顕著性マップ53S,54Sが求められている。なお、顕著性マップ53S,54Sの違いについては、後述する。
ステップSbの処理は、後述する図5のステップS45の処理に対応する。
ステップScにおいて、CPU9は、顕著性マップを用いて、スルー画像の中から、人間の視覚的注意を引く可能性の高い画像領域(以下、注目点領域と称する)を推定する。例えば図2の例では、顕著性マップ53Sを用いてスルー画像51から注目点領域55が推定されている。また、顕著性マップ54Sを用いてスルー画像51から注目点領域56が推定されている。
ステップScの処理は、後述する図5のステップS46の処理に対応する。
なお、以上のステップSa乃至Scまでの一連の処理を、以下、注目点領域推定処理と称する。注目点領域推定処理は、後述する図4のステップS6の処理に対応する。注目点領域推定処理の詳細については、図5乃至図7を参照して後述する。
ステップSdにおいて、CPU9は、注目点領域を用いて、AF枠を設定する。例えば図2の例では、注目点領域55を用いて複数のAF枠57aが設定されている。また、注目点領域56を用いて複数のAF枠57bが推定されている。
ステップSdの処理は、後述する図4のステップS9の処理に対応する。
図3は、AF枠自動設定処理の概略を説明する図であって、具体的な処理結果の図2の例とは別の例を示す図である。
なお、図3の処理の流れ自体は、図2と基本的に同様であるので、図3に示される処理結果のみ説明する。また、以下の説明では、スルー撮像及びスルー表示により、例えば図3に示されるスルー画像61が液晶ディスプレイ13に表示されているとする。ただし、図3に示されるスルー画像61は、表現の簡略上、実際のフレーム画像を線図化したものである。
この場合、ステップSaの処理の結果、例えば図3の例では、次のような各特徴量マップが作成される。すなわち、後述する図7Aのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ62Fcが作成される。また、後述する図7BのCenter−Surroundの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ62Fhが作成される。また、図7Cの色空間分布の特徴量マップ作成処理の結果、特徴量マップ62Fsが作成される。
ステップSbの処理の結果、例えば図3の例では、顕著性マップ63S,64Sが求められる。なお、顕著性マップ63S,64Sの違いについては、後述する。
ステップScの処理の結果、例えば図3の例では、顕著性マップ63Sを用いて注目点領域65が推定される。また、顕著性マップ64Sを用いて注目点領域66が推定される。
ステップSdの処理の結果、例えば図3の例では、注目点領域65を用いて複数のAF枠67aが設定される。また、注目点領域66を用いて複数のAF枠67bが設定される。
ここで、図2の複数のAF枠57aと複数のAF枠57bとを比較するに、複数のAF枠57aの方が、スルー画像51の主要被写体となる2人の人物とは別の領域に設定されている個数が多い。すなわち、複数のAF枠57bの方が、スルー画像51に対して適切に設定されている。これは、注目点領域56の方が注目点領域55よりもスルー画像51にとって適切に推定されているためである。すなわち、注目点領域56の作成の基になった顕著性マップ54Sの方が、注目点領域55の作成の基になった顕著性マップ53Sよりも、スルー画像51にとって適切に求められているからである。
同様に、図3の複数のAF枠67aと複数のAF枠67bとを比較するに、複数のAF枠67aの方が、スルー画像61の主要被写体となる中央の建築物(風景)とは別の領域に設定されている個数が多い。すなわち、複数のAF枠67bの方が、スルー画像61にとって適切に設定されている。これは、注目点領域66の方が注目点領域65よりもスルー画像61にとって適切に推定されているためである。すなわち、注目点領域66の作成の基になった顕著性マップ64Sの方が、注目点領域65の作成の基になった顕著性マップ63Sよりも、スルー画像61にとって適切に求められているからである。
以下、これらの理由について、詳細に説明する。
本実施の形態では、CPU9は、選択又は設定されたシーン別の撮影プログラムや撮影モードに応じて、顕著性マップや注目点領域の生成手法を可変設定したり、その生成手法の適用に必要な条件を可変設定することができる。
例えば図2や図3の例では、顕著性マップは、次の式(1)により求められている。
S = W1・Fc + W2・Fh + W3・Fs ・・・(1)
式(1)において、Sは、顕著性マップを示している。Fcは、マルチスケールのコントラストの特徴量マップ(図7A参照)を示している。Fhは、Center−Surroundの色ヒストグラムの特徴量マップ(図7B参照)を示している。Fsは、色空間分布の特徴量マップ(図7C参照)を示している。
例えば、図2の顕著性マップ53S又は54Sを求めるために、各特徴量マップ52Fc,52Fs,52Fhが式(1)の右辺の係数Fc,Fh,Fsのそれぞれに代入されることになる。また、図3の顕著性マップ63S又は64Sを求めるために、各特徴量マップ62Fc,66Fs,62Fhが式(1)の右辺の係数Fc,Fh,Fsのそれぞれに代入されることになる。
また、式(1)において、W1,W2,W3は、各特徴量マップの重みを示している。
すなわち、式(1)が、顕著性マップSの生成手法を示す式であり、重みW1,W2,W3が、その生成手法の適用に必要な条件のひとつである。したがって、図2や図3の例では、CPU9は、スルー画像51又は61に基づいて設定されたシーン別の撮影プログラムや撮影モードに応じて、式(1)の重みW1,W2,W3を可変設定することができる。
例えば、図2の顕著性マップ53Sや図3の顕著性マップ63Sは、デフォルトの重みW1,W2,W3を用いて式(1)により求められた顕著性マップSである。これに対して、図2の顕著性マップ54Sや図3の顕著性マップ64Sは、選択又は設定された撮影モードに応じた重みW1,W2,W3を用いて式(1)により求められた顕著性マップSである。
具体的には例えば、図2のスルー画像51に基づいて「人物モード」などの撮影モードが選択されているとする。この場合、CPU9は、人物の顔の肌色、人物の髪の色、人物の洋服の色など主要被写体(人物)の彩度は比較的高く、かつ、主要被写体の形状は比較的はっきりしていることが多いと推定する。そこで、CPU9は、例えば、マルチスケールのコントラストの特徴量マップ52Fcの重みW1や、色空間分布の特徴量マップ52Fsの重みW3を標準時よりも高く設定する。一方、CPU9は、例えば、Center−Surroundの色ヒストグラムの特徴量マップ52Fhの重みW2を標準時より低く設定する。なお、この処理は、後述する図9のステップS223に対応する。
このようにして、図2のスルー画像51に基づく「人物モード」などに応じて、重みW1,W2,W3が設定される。そして、設定された重みW1,W2,W3を用いて式(1)が演算されて、顕著性マップ54Sが求められる。したがって、顕著性マップ54Sは、デフォルトの重みW1,W2,W3を用いて求められた顕著性マップ53Sと比較して、スルー画像51にとって適切に求められる。これにより、顕著性マップ54Sを用いて推定された注目点領域56の方が、顕著性マップ53Sを用いて推定された注目点領域55と比較して、スルー画像51にとって適切に推定される。その結果、注目点領域56を用いて設定された複数のAF枠57bの方が、注目点領域55を用いて設定された複数のAF枠57aと比較して、スルー画像51にとって適切に設定される。
また例えば、図3のスルー画像61に基づいて、「風景モード」など、比較的遠距離の被写体やシーンを撮影する撮影モードが選択されているとする。この場合、CPU9は、例えば、Center−Surroundの色ヒストグラムの特徴量マップ52Fhの重みW2を、画面の上半分(スルー画像61の空の背景が多く含まれる部分)で下半分よりもやや低く設定する。なお、この処理は、後述する図9のステップS225に対応する。
このようにして、図3のスルー画像61に基づく「風景モード」などに応じて、重みW1,W2,W3が設定される。そして、設定された重みW1,W2,W3を用いて式(1)が演算されて、顕著性マップ64Sが求められる。したがって、顕著性マップ64Sは、デフォルトの重みW1,W2,W3を用いて求められた顕著性マップ63Sと比較して、スルー画像61にとって適切に求められる。これにより、顕著性マップ64Sを用いて推定された注目点領域66の方が、顕著性マップ63Sを用いて推定された注目点領域65と比較して、スルー画像61にとって適切に推定される。その結果、注目点領域66を用いて設定された複数のAF枠67bの方が、注目点領域65を用いて設定された複数のAF枠67aと比較して、スルー画像61にとって適切に設定される。
以上説明したように、図2や図3の例では、シーン別の撮影プログラムや撮影モードに応じて、各特徴量マップの重みW1,W2,W3が可変設定される。しかしながら、可変設定される対象は、特に図2や図3の例に限定されない。可変設定される対象の別の具体例については、図8や図9を参照して後述する。
以上、図2や図3を参照して、画像処理装置100が実行するAF枠自動設定処理の概略について説明した。次に、図4乃至図9を参照して、AF枠自動設定処理を含む撮影モード処理全体について説明する。
図4は、撮影モード処理の流れの一例を示すフローチャートである。
撮影モード処理は、ユーザが撮影モードを選択する所定の操作を操作部14に対して行った場合、その操作を契機として開始される。すなわち、次のような処理が実行される。
ステップS1において、CPU9は、スルー撮像とスルー表示を行う。
ステップS2において、CPU9は、動作モードがシーンの手動識別モードであるか否かを判定する。
例えば図4の例では、画像処理装置100には、シーンの手動識別モード、及び、マニュアル露出モードが画像処理装置100に搭載されているとする。この場合、シーンの手動識別モードが選択されると、ステップS2においてYESであると判定され、処理はステップS3に進む。ステップS3において、CPU9は、複数のシーンの中からユーザにより手動選択されたシーンを、選択シーンとして決定する。これに対して、マニュアル露出モードが選択されると、ステップS2においてNOであると判定され、処理はステップS4に進む。ステップS4において、CPU9は、露出条件などを選択する。
このようにしてステップS3又はS4の処理が実行されると、処理はステップS5に進む。ステップS5において、CPU9は、注目点領域推定処理の前処理を実行する。すなわち、CPU9は、ステップS3の処理で決定された選択シーン又はステップS4の処理で選択された露出条件などに応じて、顕著性マップや注目点領域の生成手法を可変設定したり、その生成手法の適用に必要な条件を可変設定する。
注目点領域推定処理の前処理については、一具体例の概略は図2や図3を参照して上述した通りであり(処理結果である顕著性マップ54S,64S参照)、各種具体例の詳細は図8や図9を参照して後述する。
ステップS6において、CPU9は、ステップS5の処理で可変設定された生成手法や条件を用いて、注目点領域推定処理を実行する。すなわち、上述した図2や図3のステップSa乃至Scに対応する処理が実行される。なお、注目点領域推定処理の詳細例については、図5乃至図7を参照して後述する。
ステップS7において、CPU9は、選択シーンなどに基づいて、撮影条件を設定する。
なお、図4には図示されていないが、例えば、画像処理装置100には、シーンの手動識別モード及びマニュアル露出モードに加えてさらに、シーンの自動識別モードが搭載されている場合がある。このような場合、CPU9は、シーンの自動識別モードが選択されたたときには、例えば、ステップS6の注目点領域推定領域により推定された注目点領域などを用いて、複数シーンの中から所定の1シーンを、選択シーンとして自動的に決定することができる。この場合、ステップS7の処理では、自動的に決定された選択シーンに基づいて撮影条件が設定される。
ステップS8において、CPU9は、レリーズ釦が半押しの状態であるか否かを判定する。
ユーザがレリーズ釦を半押ししていない場合、ステップS8においてNOであると判定され、処理はステップS1に戻され、それ以降の処理が繰り返される。すなわち、ユーザがレリーズ釦を半押しするまでの間、ステップS1乃至S8のループ処理が繰り返し実行される。
その後、ユーザがレリーズ釦を半押しすると、ステップS8においてYESであると判定されて、処理はステップS9に進む。
ステップS9において、CPU9は、ステップS6の処理の結果推定された注目点領域に基づいて、複数のAF枠、複数のAE(Automatic Exposure)枠、及び、複数のAWB(Automatic White Balance)枠を設定する。
ステップS10において、CPU9は、複数のAF枠を用いた測距処理(合焦処理)を実行し、その実行結果に基づいて、AF処理(オートフォーカス処理)を実行する。
ステップS11において、CPU9は、レリーズ釦が全押しの状態であるか否かを判定する。
ユーザがレリーズ釦を全押ししていない場合、ステップS11においてNOであると判定され、処理はステップS19に進む。ステップS19において、CPU9は、レリーズ釦が解除されたか否かを判定する。ユーザの指などがレリーズ釦から離された場合、ステップS19においてYESであると判定されて、撮影モード処理は終了となる。これに対して、ユーザの指などがレリーズ釦から離されていない場合、ステップS19においてNOであると判定されて、処理はステップS11に戻され、それ以降の処理が繰り返される。すなわち、レリーズ釦の半押し状態が継続している限り、ステップS11NO,S19NOのループ処理が繰り返し実行される。
その後、ユーザがレリーズ釦を全押しすると、ステップS11においてYESであると判定されて、処理はステップS12に進む。ステップS12において、CPU9は、複数のAWB枠を用いた測距処理を実行し、その実行結果に基づいて、AWB処理(オートホワイトバランス処理)を実行する。ステップS13において、CPU9は、複数のAE枠を用いた測距処理を実行し、その実行結果に基づいて、AE処理(自動露出処理)を実行する。すなわち、絞り、露出時間、ストロボ条件などが設定される。
ステップS14において、CPU9は、TG6やDSP8などを制御して、撮影条件などに基づいて露出及び撮影処理を実行する。この露出及び撮影処理により、撮影条件などにしたがってCMOSセンサ4により撮影された被写体像は、フレーム画像データとしてDRAM7に記憶される。なお、以下、かかるフレーム画像データを撮影画像データと称し、また、撮影画像データにより表現される画像を撮影画像と称する。
ステップS15において、CPU9は、DSP8などを制御して、撮影画像データに対して補正及び変更処理を施す。
ステップS16において、CPU9は、液晶表示コントローラ12などを制御して、撮影画像のレビュー表示処理を実行する。また、ステップS17において、CPU9は、DSP8などを制御して撮影画像データの圧縮符号化処理を実行する。その結果、符号化画像データが得られることになる。そこで、ステップS18において、CPU9は、符号化画像データの保存記録処理を実行する。これにより、符号化画像データがメモリカード15などに記録され、撮影モード処理が終了となる。
次に、撮影モード処理のうち、ステップS6(図2や図3のステップSa乃至Sc)の注目点領域処理の詳細例について説明する。
上述したように、注目点領域推定処理では、注目点領域の推定のために、顕著性マップが作成される。したがって、注目点領域推定処理に対して、例えば、Treismanの特徴統合理論や、Itti及びKochらによる顕著性マップを適用することができる。
なお、Treismanの特徴統合理論については、「A.M.Treisman and G.Gelade,“A feature―integration theory of attention”,Cognitive Psychology,Vol.12,No.1,pp.97−136,1980.」を参照すると良い。
また、Itti及びKochらによる顕著性マップについては、「L.Itti,C.Koch, and E.Niebur,“A Model of Saliency−Based Visual Attention for Rapid Scene Analysis”,IEEE Transactions on Pattern Analysis and Machine Intelligence,VOl.20,No11,November 1998.」を参照すると良い。
図5は、Treismanの特徴統合理論やNitti及びKochらによる顕著性マップを適用した場合における、注目点領域推定処理の流れの詳細例を示すフローチャートである。
ステップS41において、CPU9は、スルー撮像により得られたフレーム画像データを、処理対象画像データとして取得する。
ステップS42において、CPU9は、ガウシアン解像度ピラミット(Gaussian Resolution Pyramid)を作成する。具体的には例えば、CPU9は、処理対象画像データ{(x,y)の位置の画素データ}をI(0)=I(x,y)として、ガウシアンフィルタ処理とダウンサンプリング処理とを順次繰り返し実行する。その結果として、階層型のスケール画像データI(L)(例えばL∈{0・・・8})の組が生成される。この階層型のスケール画像データI(L)の組が、ガウシアン解像度ピラミッドと称されている。ここで、スケールL=k(ここではkは1乃至8のうちの何れかの整数値)の場合、スケール画像データI(k)は、1/2kの縮小画像(k=0の場合は原画像)を示す。
ステップS43において、CPU9は、各特徴量マップ作成処理を開始する。各特徴量マップ作成処理の詳細例については、図6や図7を参照して後述する。
ステップS44において、CPU9は、全ての特徴量マップ作成処理が終了したか否かを判定する。各特徴量マップ作成処理のうち1つでも処理が終了していない場合、ステップS44において、NOであると判定されて、処理はステップS44に再び戻される。すなわち、各特徴量マップ作成処理の全処理が終了するまでの間、ステップS44の判定処理が繰り返し実行される。そして、各特徴量マップ作成処理の全処理が終了して、全ての特徴量マップが作成されると、ステップS44においてYESであると判定されて、処理はステップS45に進む。
ステップS45において、CPU9は、各特徴量マップを線形和で結合して、顕著性マップS(Saliency Map)を求める。
ステップS46において、CPU9は、顕著性マップSを用いて、処理対象画像データから注目領域を推定する。すなわち、一般に、主要被写体となる人物や撮影対象(objects)となる物体の多くは、背景(background)領域に比べ、顕著性(saliency)が高いと考えられる。そこで、CPU9は、顕著性マップSを用いて、処理対象画像データから顕著性(saliency)が高い領域を認識する。そして、CPU9は、その認識結果に基づいて、人間の視覚的注意を引く可能性の高い領域、すなわち、注目点領域を推定する。このようにして、注目点領域が推定されると、注目点領域推定処理は終了する。すなわち、図5のステップS6の処理は終了し、処理はステップS7に進む。図2の例でいえば、ステップSa乃至Scの一連の処理は終了し、処理はステップSdに進む。
次に、各特徴量マップ作成処理の具体例について説明する。
図6は、輝度、色、及び、方向性の特徴量マップ作成処理の流れの一例を示すフローチャートである。
図6Aは、輝度の特徴量マップ作成処理の一例を示している。
ステップS61において、CPU9は、処理対象画像データに対応する各スケール画像から、各注目画素を設定する。例えば各注目画素c∈{2,3,4}が設定されたとして、以下の説明を行う。各注目画素c∈{2,3,4}とは、スケールc∈{2,3,4}のスケール画像データI(c)上の演算対象として設定された画素をいう。
ステップS62において、CPU9は、各注目画素c∈{2,3,4}の各スケール画像の輝度成分を求める。
ステップS63において、CPU9は、各注目画素の周辺画素s=c+δの各スケール画像の輝度成分を求める。各注目画素の周辺画素s=c+δとは、例えばδ∈{3,4}とすると、スケールs=c+δのスケール画像I(s)上の、注目画素(対応点)の周辺に存在する画素をいう。
ステップS64において、CPU9は、各スケール画像について、各注目画素c∈{2,3,4}における輝度コントラストを求める。例えば、CPU9は、各注目画素c∈{2,3,4}と、各注目画素の周辺画素s=c+δ(例えばδ∈{3,4})のスケール間差分を求める。ここで、注目画素cをCenterと呼称し、注目画素の周辺画素sをSurroundと呼称すると、求められたスケール間差分は、輝度のCenter−Surroundスケール間差分と呼称することができる。この輝度のCenter−Surroundスケール間差分は、注目画素cが白で周辺画素sが黒の場合又はその逆の場合には大きな値をとるという性質がある。したがって、輝度のCenter−Surroundスケール間差分は、輝度コントラストを表わすことになる。なお、以下、かかる輝度コントラストをI(c,s)と記述する。
ステップS65において、CPU9は、処理対象画像データに対応する各スケール画像において、注目画素に設定されていない画素が存在するか否かを判定する。そのような画素が存在する場合、ステップS65においてYESであると判定されて、処理はステップS61に戻され、それ以降の処理が繰り返される。
すなわち、処理対象画像データに対応する各スケール画像の各画素に対して、ステップS61乃至S65の処理がそれぞれ施されて、各画素の輝度コントラストI(c,s)が求められる。ここで、各注目画素c∈{2,3,4}、及び、周辺画素s=c+δ(例えばδ∈{3,4})が設定される場合、ステップS61乃至S65の1回の処理で、(注目画素cの3通り)×(周辺画素sの2通り)=6通りの輝度コントラストI(c,s)が求められる。ここで、所定のcと所定のsについて求められた輝度コントラストI(c,s)の画像全体の集合体を、以下、輝度コントラストIの特徴量マップと称する。輝度コントラストIの特徴量マップは、ステップS61乃至S65のループ処理の繰り返しの結果、6通り求められることになる。このようにして、6通りの輝度コントラストIの特徴量マップが求められると、ステップS65においてNOであると判定されて、処理はステップS66に進む。
ステップS66において、CPU9は、輝度コントラストIの各特徴量マップを正規化した上で結合することで、輝度の特徴量マップを作成する。これにより、輝度の特徴量マップ作成処理は終了する。なお、以下、輝度の特徴量マップを、他の特徴量マップと区別すべく、FIと記述する。
図6Bは、色の特徴量マップ作成処理の一例を示している。
図6Bの色の特徴量マップ作成処理は、図6Aの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図6BのステップS81乃至S86のそれぞれの処理は、図6AのステップS61乃至S66のそれぞれに対応する処理であり、各ステップの処理対象が図6Aとは異なるだけである。したがって、図6Bの色の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。
すなわち、図6AのステップS62とS63の処理対象は、輝度成分であったのに対して、図6BのステップS82とS83の処理対象は、色成分である。
また、図6AのステップS64の処理では、輝度のCenter−Surroundスケール間差分が、輝度コントラストI(c,s)として求められた。これに対して、図6BのステップS84の処理では、色相(R/G,B/Y)のCenter−Surroundスケール間差分が、色相コントラストとして求められる。なお、色成分のうち、赤の成分がRで示され、緑の成分がGで示され、青の成分がBで示され、黄の成分がYで示されている。また、以下、色相R/Gについての色相コントラストを、RG(c,s)と記述し、色相B/Yについての色相コントラストを、BY(c,s)と記述する。
ここで、上述の例にあわせて、注目画素cが3通り存在して、周辺画素sが2通り存在するとする。この場合、図6AのステップS61乃至S65のループ処理の結果、6通りの輝度コントラストIの特徴量マップが求められた。これに対して、図6BのステップS81乃至S85のループ処理の結果、6通りの色相コントラストRGの特徴量マップと、6通りの色相コントラストBYの特徴量マップとが求められる。
最終的に、図6AのステップS66の処理で、輝度の特徴量マップFIが求められた。これに対して、図6BのステップS86の処理で、色の特徴量マップが求められる。なお、以下、色の特徴量マップを、他の特徴量マップと区別すべく、FCと記述する。
図6Cは、方向性の特徴量マップ作成処理の一例を示している。
図6Cの方向性の特徴量マップ作成処理は、図6Aの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図6CのステップS101乃至S106のそれぞれの処理は、図6AのステップS61乃至S66のそれぞれに対応する処理であり、各ステップの処理対象が図6Aとは異なるだけである。したがって、図6Cの方向性の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。
すなわち、ステップS102とS1023の処理対象は、方向成分である。ここで、方向成分とは、輝度成分に対してガウスフィルタφを畳み込んだ結果得られる各方向の振幅成分をいう。ここでいう方向とは、ガウスフィルタφのパラメターとして存在する回転角θにより示される方向をいう。例えば回転角θとしては、0°,45°,90°,135°の4方向を採用することができる。
また、ステップS104の処理では、方向性のCenter−Surroundスケール間差分が、方向性コントラストとして求められる。なお、以下、方向性コントラストを、O(c,s,θ)と記述する。
ここで、上述の例にあわせて、注目画素cが3通り存在して、周辺画素sが2通り存在するとする。この場合、ステップS101乃至S105のループ処理の結果、回転角θ毎に、6通りの方向性コントラストOの特徴量マップが求められる。例えば回転角θとして、0°,45°,90°,135°の4方向が採用されている場合には、24通り(=6×4通り)の方向性コントラストOの特徴量マップが求められる。
最終的に、ステップS106の処理で、方向性の特徴量マップが求められる。なお、以下、方向性の特徴量マップを、他の特徴量マップと区別すべく、FOと記述する。
以上説明した図6の特徴量マップ作成処理のより詳細な処理内容については、例えば、「L.Itti,C.Koch, and E.Niebur,“A Model of Saliency−Based Visual Attention for Rapid Scene Analysis”,IEEE Transactions on Pattern Analysis and Machine Intelligence,VOl.20,No11,November 1998.」を参照すると良い。
なお、特徴量マップ作成処理は、図6の例に特に限定されない。例えば、特徴量マップ作成処理として、明度、彩度、色相、及びモーションの各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。
また例えば、特徴量マップ作成処理として、マルチスケールのコントラスト、Center−Surroundの色ヒストグラム、及び、色空間分布の各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。
図7は、マルチスケールのコントラスト、Center−Surroundの色ヒストグラム、及び、色空間分布の特徴量マップ作成処理の一例を示すフローチャートである。
図7Aは、マルチスケールのコントラストの特徴量マップ作成処理の一例を示している。
ステップS121において、CPU9は、マルチスケールのコントラストの特徴量マップを求める。これにより、マルチスケールのコントラストの特徴量マップ作成処理は終了となる。
なお、以下、マルチスケールのコントラストの特徴量マップを、他の特徴量マップと区別すべく、Fcと記述する。
図7Bは、Center−Surroundの色ヒストグラムの特徴量マップ作成処理の一例を示している。
ステップS141において、CPU9は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとを求める。アスペクト比自体は、特に限定されず、例えば{0.5,0.75,1.0,1.5,2.0}などを採用することができる。
ステップS142において、CPU9は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとのカイ2乗距離を求める。ステップS143において、CPU9は、カイ2乗距離が最大となる矩形領域の色ヒストグラムを求める。
ステップS144において、CPU9は、カイ2乗距離が最大となる矩形領域の色ヒストグラムを用いて、Center−Surroundの色ヒストグラムの特徴量マップを作成する。これにより、Center−Surroundの色ヒストグラムの特徴量マップ作成処理は終了となる。
なお、以下、Center−Surroundの色ヒストグラムの特徴量マップを、他の特徴量マップと区別すべく、Fhと記述する。
図7Cは、色空間分布の特徴量マップ作成処理の一例を示している。
ステップS161において、CPU9は、色空間分布について、水平方向の分散を計算する。また、ステップS162において、CPU9は、色空間分布について、垂直方向の分散を計算する。そして、ステップS163において、CPU9は、水平方向の分散と垂直方向の分散とを用いて、色の空間的な分散を求める。
ステップS164において、CPU9は、色の空間的な分散を用いて、色空間分布の特徴量マップを作成する。これにより、色空間分布の特徴量マップ作成処理は終了となる。
なお、以下、色空間分布の特徴量マップを、他の特徴量マップと区別すべく、Fsと記述する。
以上説明した図7の特徴量マップ作成処理のより詳細な処理内容については、例えば、「T.Liu,J.Sun,N.Zheng,X.Tang,H.Sum,“Learning to Detect A Salient Object”,CVPR07,pp.1−8,2007.」を参照すると良い。
次に、図4の撮影モード処理のうち、ステップS5の注目点領域処理の前処理の詳細例について説明する。
図8は、注目点領域処理の前処理の流れの詳細例を示すフローチャートである。
なお、図8の例は、図4のステップS3の処理後に実行されることを前提とする。この場合、図4のステップS3の処理で選択シーンとして決定され得るシーンとしては、「人物モード」、「近接モード」、「風景モード」、「夜景モード」、「スポーツモード」、及び「子供/ペットモード」が少なくとも存在するとする。また、図4には図示はしないが、ズームの焦点距離が既に取得されているとする。
ステップS201において、CPU9は、選択シーンや露出条件などを読み込む。
ステップS202において、CPU9は、選択シーンは「人物モード」又は「近接モード」か否かを判定する。
図4のステップS3の処理で「人物モード」又は「近接モード」が選択シーンとして決定された場合、ステップS202においてYESであると判定されて、処理はステップS203に進む。ステップS203において、CPU9は、注目点領域推定処理における処理画像の領域範囲を、略中央の所定領域に制限する。これにより、注目点領域推定処理の前処理は終了し、すなわち、図4のステップS5の処理は終了し、処理はステップS6の注目点領域推定処理に進む。具体的には、図8でいう処理画像とは、図5のステップS41の処理で取得される処理対象画像データに対応するスルー画像をいう。したがって、このスルー画像のうちの略中央の所定領域に対して、図5のステップS42乃至S46の処理が施されることになる。
これに対して、図4のステップS3の処理で「風景モード」、「夜景モード」、「スポーツモード」、「子供/ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップS202においてNOであると判定されて、処理はステップS204に進む。ステップS204において、CPU9は、選択シーンは「風景モード」又は「夜景モード」か否かを判定する。
図4のステップS3の処理で「風景モード」又は「夜景モード」が選択シーンとして決定された場合、ステップS204においてYESであると判定されて、処理はステップS205に進む。ステップS205において、CPU9は、注目点領域推定処理における処理画像の解像度をやや密に、又は、大きな画像サイズに設定する。ステップS206において、CPU9は、注目点領域推定処理における処理画像の更新間隔(又はフレーム速度)をやや長く(遅めに)設定する。これにより、注目点領域推定処理の前処理は終了し、すなわち、図4のステップS5の処理は終了し、処理はステップS6の注目点領域推定処理に進む。具体的には、このステップS205,S206の設定結果にしたがって、図5の注目点領域推定処理が実行されることになる。
これに対して、図4のステップS3の処理で、「スポーツモード」、「子供/ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップS204においてNOであると判定されて、処理はステップS207に進む。ステップS207において、CPU9は、選択シーンは「スポーツモード」又は「子供/ペットモード」か否かを判定する。
図4のステップS3の処理で「スポーツモード」又は「子供/ペットモード」が選択シーンとして決定された場合、ステップS207においてYESであると判定されて、処理はステップS208に進む。ステップS208において、CPU9は、注目点領域推定処理における処理画像の解像度をやや疎に、又は、小さな画像サイズに設定する。ステップS209において、CPU9は、注目点領域推定処理における処理画像の更新間隔(又はフレーム速度)をやや短く(早めに)設定する。これにより、注目点領域推定処理の前処理は終了し、すなわち、図4のステップS5の処理は終了し、処理はステップS6の注目点領域推定処理に進む。具体的には、このステップS208,S209の設定結果にしたがって、図5の注目点領域推定処理が実行されることになる。
これに対して、図4のステップS3の処理でその他のシーンが選択シーンとして決定された場合、ステップS207においてNOであると判定されて、処理はステップS210に進む。ステップS210において、CPU9は、ズームの焦点距離が所定値より長いか否かを判定する。
ズームの焦点距離が所定値より長い場合、ステップS210においてYESであると判定され、処理はステップS208に進み、それ以降の処理が実行される。
これに対して、ズームの焦点距離が所定値より短い場合、ステップS210においてNOであると判定され、処理はステップS211に進む。ステップS211において、CPU9は、注目点領域推定処理における処理画像の解像度を標準に、又は、標準の画像サイズ(例えば320×240など)に設定する。ステップS212において、CPU9は、注目点領域推定処理における処理画像の更新間隔(又はフレーム速度)を標準(例えば10fps)に設定する。これにより、注目点領域推定処理の前処理は終了し、すなわち、図4のステップS5の処理は終了し、処理はステップS6の注目点領域推定処理に進む。具体的には、このステップS211,S212の設定結果にしたがって、図5の注目点領域推定処理が実行されることになる。
以上説明したように、図8の注目点領域推定処理の前処理の実行により、顕著性マップや注目点領域の生成手法や、その生成手法の適用に必要な条件についての、選択シーンに応じた可変設定が可能になる。具体的には、図8の注目点領域推定処理の前処理の実行により、処理画像(スルー画像)の領域範囲、処理画像の更新頻度やフレーム速度、処理画像の解像度の粗密や画像サイズの大小などについての、選択シーンに応じた可変設定が可能になる。これにより、選択シーンにとって必要十分かつ最適な顕著性マップや注目点領域が、効率的かつより高速に抽出される。その結果、顕著性マップや注目点領域に基づくAF処理やAE処理などの自動撮影制御が、より高精度かつより迅速に実現することが可能になる。
図9は、注目点領域処理の前処理の流れの詳細例であって、図8とは異なる例を示すフローチャートである。
なお、図9の例は、図4のステップS3の処理後に実行されることを前提とする。この場合、図4のステップS3の処理で選択シーンとして決定され得るシーンとしては、「人物モード」、「近接モード」、「風景モード」、「人物+風景モード」、「スポーツモード」、及び「子供/ペットモード」が少なくとも存在するとする。また、図4には図示はしないが、被写体の動き、レンズ焦点距離、並びに、被写体輝度若しくは絞り値が既に取得されているとする。
また、図9の例は、図5のステップS45の処理において上述した式(1)が用いられることを前提としている。すなわち、図9の例では、図7の各特徴量マップ作成処理が実行されることを前提としている。
ステップS221において、CPU9は、選択シーンや露出条件などを読み込む。
ステップS222において、CPU9は、選択シーンは「人物モード」又は「近接モード」か否かを判定する。
図4のステップS3の処理で「人物モード」又は「近接モード」が選択シーンとして決定された場合、ステップS222においてYESであると判定されて、処理はステップS223に進む。ステップS223において、CPU9は、マルチスケールのコントラストの特徴量マップFcの重みW1や、色空間分布の特徴量マップFsの重みW3を標準時より高く設定する。一方、CPU9は、Center−Surroundの色ヒストグラムの特徴量マップFhの重みW2を標準時より低く設定する。
このような設定手法をステップS223の処理に採用した理由は次のとおりである。すなわち、図2の顕著性マップ54Sを用いて上述したように、「人物モード」が選択されている場合には、顔の肌色や髪色など主要被写体(人物)の彩度は比較的高く、かつ、主要被写体の形状が比較的はっきりしている場合が多いからである。同様に、「近接モード」では、近接での花や昆虫、趣味のコレクション、オークションに出展する商品など、主要被写体の比較的彩度が高く、かつ、主要被写体の形状が比較的はっきりしている場合が多いからである。換言すると、この設定手法は、「人物モード」や「近接モード」に特に限定されず、主要被写体の彩度が比較的高くかつ主要被写体の形状が比較的はっきりしている場合が多いシーンに対して、広く一般に適用可能である。例えば、この設定手法は「花や商品の撮影モード」などにも適用可能である。
このようなステップS223の処理が終了すると、処理はステップS232に進む。ただし、ステップS232以降の処理については後述する。
これに対して、図4のステップS3の処理で「風景モード」、「人物+風景モード」、「スポーツモード」、「子供/ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップS222においてNOであると判定されて、処理はステップS224に進む。ステップS224において、CPU9は、選択シーンは「風景モード」又は「人物+風景モード」か否かを判定する。
図4のステップS3の処理で「風景モード」又は「人物+風景モード」が選択シーンとして決定された場合、ステップS224においてYESであると判定されて、処理はステップS225に進む。ステップS225において、CPU9は、Center−Surroundの色ヒストグラムの特徴量マップFhの重みW2を、画面の上半分で下半分よりもやや低く設定する。これにより、処理はステップS232に進む。ただし、ステップS232以降の処理については後述する。
これに対して、図4のステップS3の処理で、「スポーツモード」、「子供/ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップS224においてNOであると判定されて、処理はステップS226に進む。ステップS226において、CPU9は、選択シーンは「スポーツモード」又は「子供/ペットモード」か否かを判定する。
図4のステップS3の処理で「スポーツモード」又は「子供/ペットモード」が選択シーンとして決定された場合、ステップS226においてYESであると判定されて、処理はステップS227に進む。ステップS227において、CPU9は、ガウシアン解像度ピラミッドの階層数を標準時より少なく設定する。ステップS228において、CPU9は、階層型コントラスト情報(又はマルチコントラストなど)の階層数を標準時よりもやや少なく設定する。ステップS229において、CPU9は、マルチスケールのコントラストの特徴量マップFcの重みW1や、Center−Surroundの色ヒストグラムの特徴量マップFhの重みW2を標準時より高めに設定する。
このような設定手法をステップS227乃至S229の各処理に採用した理由は次のとおりである。すなわち「スポーツモード」や「子供/ペットモード」が選択されている場合には、動く被写体や動きが大きい被写体が多くなることが想定される。このため、特徴量抽出のために生成するガウシアン解像度ピラミッドの階層数や、特徴量マップの作成に用いる階層型コントラスト情報の階層数を標準時より少ない階層数に切り替えるのである。すなわち、抽出又は作成処理の速度を一時的に上げるためである。
このようなステップS227乃至S229の一連の処理が終了すると、処理はステップS232に進む。ただし、ステップS232以降の処理については後述する。
これに対して、図4のステップS3の処理でその他のシーンが選択シーンとして決定された場合、ステップS226においてNOであると判定されて、処理はステップS230に進む。ステップS230において、CPU9は、被写体の動きが所定以上か否かを判定する。
被写体の動きが所定以上の場合、ステップS230においてYESであると判定され、処理はステップS227に進み、それ以降の処理が実行される。
これに対して、被写体の動きが所定未満の場合、ステップS230においてNOであると判定され、処理はステップS231に進む。ステップS231において、CPU9は、マルチスケールのコントラストの特徴量マップFcの重みW1、Center−Surroundの色ヒストグラムの特徴量マップFhの重みW2、及び色空間分布の特徴量マップFsの重みW3を標準(デフォルト値)に設定する。これにより、処理はステップS232に進む。
このようにして、ステップS223、S225、S229、又はS231の処理が実行されて、重みW1,W2,W3が設定されると、処理は、ステップS232に進む。ステップS232において、CPU9は、選択シーンは「人物モード」、「人物+風景モード」、又は「近接モード」か否かを判定する。
図4のステップS3の処理で「人物モード」、「人物+風景モード」、又は「近接モード」が選択シーンとして決定された場合、ステップS232においてYESであると判定されて、処理はステップS233に進む。ステップS233において、CPU9は、注目点領域の被写体の輪郭抽出、又は、切り抜き抽出をONに設定する。
これに対して、図4のステップS3の処理で「風景モード」、「スポーツモード」、「子供/ペットモード」、又はその他のシーンが選択シーンとして決定された場合、ステップS232においてNOであると判定されて、処理はステップS234に進む。ステップS234において、CPU9は、レンズ焦点距離が所定より長いか否かを判定する。
レンズ焦点距離が所定より長い場合、ステップS234においてYESであると判定され、処理はステップS233に進み、それ以降の処理が実行される。
これに対して、レンズ焦点距離が所定より短い場合、ステップS234においてNOであると判定され、処理はステップS235に進む。ステップS235において、CPU9は、被写体輝度が所定より暗い、又は絞り値が小さいか否かを判定する。
被写体輝度が所定より暗い、又は絞り値が小さい場合、ステップS235においてYESであると判定され、処理はステップS233に進み、それ以降の処理が実行される。
これに対して、被写体輝度が所定より明るく、かつ絞り値が大きい場合、又は、被写体輝度と絞り値のうち何れか一方が取得されて、取得されている方が明るく若しくは大きい場合、ステップS235においてNOであると判定され、処理はステップS236に進む。ステップS236において、CPU9は、注目点領域の被写体の輪郭抽出、又は、切り抜き抽出をOFFに設定する。
このようにして、注目点領域の被写体の輪郭抽出又は切り抜き抽出が、ステップS233の処理でONに設定されるか、又は、ステップS236の処理でOFFに設定されると、注目点領域推定処理の前処理は終了となる。すなわち、図4のステップS5の処理は終了し、処理はステップS6の注目点領域推定処理に進む。
具体的には例えば、選択シーンが「人物モード」又は「近接モード」の場合にはステップS223の設定結果にしたがって、図5の注目点領域推定処理が実行されることになる。例えば、選択シーンが「風景モード」又は「人物+風景モード」の場合にはステップS225の設定結果にしたがって、図5の注目点領域推定処理が実行されることになる。例えば、選択シーンが「スポーツモード」又は「子供/ペットモード」の場合にはステップS227乃至S229の設定結果にしたがって、図5の注目点領域推定処理が実行されることになる。例えば、選択シーンがその他のシーンの場合にはステップS231の設定結果にしたがって、図5の注目点領域推定処理が実行されることになる。
注目点領域の被写体の輪郭抽出又は切り抜き抽出の結果は、新たな注目点領域として採用可能である。したがって、選択シーンが「人物モード」、「人物+風景モード」、又は「近接モード」である場合、注目点領域の被写体の輪郭抽出又は切り抜き抽出がONになる。その結果、CPU9は、この新たな注目点領域を利用して図4のステップS9の処理などを実行することが可能になる。
なお、ステップS223、S225、S227乃至S229、及びS231の各処理に適用されている重みW1,W2,W3の設定手法は、例示にしか過ぎない。
具体的には例えば、ステップS225の処理として、図9に記載の処理に換えて、マルチスケールのコントラストの特徴量マップFcの重みW1を標準時より高く設定するという処理を採用しても良い。「風景モード」や「人物+風景モード」は、比較的遠距離の被写体やシーンを撮影するモードであるからである。
具体的には例えば、ステップS225の処理として、図9に記載の処理に換えて、Center−Surroundの色ヒストグラムの特徴量マップFhの重みW2を、標準時より低く設定するという処理を採用しても良い。
また例えば、スルー画像の画面の上方の輝度が下方の輝度よりも広範囲で高い場合には、「風景モード」や「人物+風景モード」は、空や明るい雲が上方に広がっているシーンに対応するモードと推定することができる。そこで、ステップS225の処理として、図9に記載の処理に換えて、Center−Surroundの色ヒストグラムの特徴量マップFhの重みW2を、鉛直線方向の下方から上方に向けて、段階的に徐々に低くなるように、グラデーション状に設定していくという処理を採用しても良い。
このように、図9の注目点領域推定処理の前処理の実行により、顕著性マップや注目点領域の生成手法や、その生成手法の適用に必要な条件についての、選択シーンに応じた可変設定が可能になる。具体的には、図9の注目点領域推定処理の前処理の実行により、顕著性マップを求める場合に用いる複数の特徴量マップの重みや、ガウシアン解像度ピラミッドや階層型コントラスト情報などの階層数についての、選択シーンに応じた可変設定が可能になる。これにより、選択シーンにとって必要十分かつ最適な顕著性マップや注目点領域が、効率的かつより高速に抽出される。その結果、顕著性マップや注目点領域に基づくAF処理やAE処理などの自動撮影制御が、より高精度かつより迅速に実現することが可能になる。
以上説明したように、本実施形態に係る画像処理装置100のCPU9は、入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、入力画像に対する注目点領域を生成する機能を有している。CPU9は、入力画像に基づく条件に応じて、顕著性マップ若しくは注目点領域を生成する手法、又は、その手法に適用される条件を可変設定する機能を有する。これにより、入力画像により適した顕著性マップや注目点領域を生成することができるようになる。このようにして抽出された顕著性マップや注目点領域を用いて撮影制御を実行することで、その処理時間が短縮し、その制御精度が向上する。その結果、ユーザにとっては、撮影時の待ち時間やイライラが減少し、使い勝手の良い自動制御カメラが提供される。
例えば可変設定の対象として、入力画像(例えばスルー画像)についての、検出範囲、更新頻度もしくはフレームレート、又は、解像度の粗密若しくは画像サイズの大小のうち少なくとも1つを採用することができる。これにより、入力画像に基づく条件、例えば、入力画像に基づいて設定又は選択されたシーン別プログラムや撮影モードにおいて、可能性の高い又は確率若しくは頻度の高い被写体の種類や状態が想定される。そして、その想定に基づいて、顕著性マップや注目点領域が生成される。このような顕著性マップや注目点領域の生成処理について、その処理時間や撮影タイムラグが短縮され、その処理精度が向上する。さらに、このようにして生成された顕著性マップや注目点領域を用いて撮影制御を行うことで、その処理時間が短縮し、制御精度が向上する。
また例えば、複数の特徴量マップを線形統合して顕著性マップが生成される場合、可変設定の対象として、特徴量マップの抽出手法、各特徴量マップの重みの配分、又は、フィルタの種類若しくは階層数のうち少なくとも1つを採用することができる。これにより、入力画像に基づく条件に適した主要被写体、例えば、入力画像に基づいて設定又は選択されたシーン別プログラムや撮影モードに適した主要被写体を精度良く検出することが可能になる。また、視線検出入力付きファインダーなどの手段を設けなくても、入力画像に基づく条件に適した注目点領域、例えば、入力画像に基づいて設定又は選択されたシーン別プログラムや撮影モードに適した注目点領域を精度良く推定できる。このようにして検出された主要被写体や、生成され注目点領域を用いて撮影制御を行うことで、その処理時間が短縮し、制御精度が向上する。
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。
また、注目点領域推定処理は、複数の処理を組み合わせても良い。例えば、図8と図9の注目点領域推定処理を組み合わせることもできる。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)などにより構成される。光磁気ディスクは、MD(Mini−Disk)などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM11や、図示せぬハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。