JP6491581B2 - 画像処理装置およびその制御方法ならびにプログラム - Google Patents

Description

本発明は、画像処理装置およびその制御方法ならびにプログラムに関する。

近年、画像内の被写体領域のうち、視覚的に目立ち易い被写体領域を注目領域として検出する技術（注目領域検出技術ともいう）が知られている。特許文献１は、画像中央部とその周辺部である背景部（画像端部）の輝度の差、又は画像中央部と画像端部との色の差のいずれかに基づいて注目領域を検出する技術を開示している。

特開２００７−１５８９４１号公報

特許文献１に開示された方法では、輝度の差を重視すると有色被写体の検出精度が低下する一方、色情報の差を重視すると無色被写体の検出精度が低下するという課題があり、有色被写体及び無色被写体の両方の検出精度を向上させる技術が望まれている。

本発明は、上述の従来技術の問題点に鑑みてなされたものであり、有色被写体及び無色被写体の両方をより適切に検出することが可能な画像処理装置およびその制御方法ならびにプログラムを提供することを目的とする。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、画像内の第１の領域について、該第１の領域が有する色味の強さを示す指標を算出する有色度算出手段と、第１の領域と第１の領域と異なる第２の領域のそれぞれにおける輝度成分に関する第１の特徴量と、第１の領域と第２の領域のそれぞれにおける色成分に関する第２の特徴量とを算出する特徴量算出手段と、第１の領域と第２の領域における第１の特徴量の差と、第１の領域と第２の領域における第２の特徴量の差と、それぞれの特徴量の差の重要度とに基づいて第１の領域に対する注目度を算出する注目度算出手段と、注目度を用いて画像内の注目領域を検出する注目領域検出手段と、を有し、注目度算出手段は、第１の特徴量の差の重要度と、第２の特徴量の差の重要度とを指標に基づいて決定する、ことを特徴とする。

本発明によれば、有色被写体及び無色被写体の両方をより適切に検出することが可能になる。

本発明の実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 本実施形態に係る注目領域検出部１１５の機能構成例を示すブロック図 本実施形態に係る注目領域検出処理の一連の動作を示すフローチャート 本実施形態に係る視覚的顕著度の算出処理を説明する図 本実施形態に係る色重みの算出例を説明するグラフ 本実施形態に係る背景領域及び分割されたブロック領域を説明する図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では画像処理装置の一例として、撮影した画像を取得可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、デジタルカメラに限らず、撮影した画像を取得することが可能な任意の機器にも適用可能である。これらの機器には、例えば携帯電話機、ゲーム機、タブレット端末、パーソナルコンピュータ、時計型や眼鏡型の情報端末及び車載機器などが含まれてよい。

（デジタルカメラ１００の構成）
図１は、本実施形態の画像処理装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学系１０１は、ズームレンズ、フォーカスレンズを含む撮影光学系を含み、被写体からの光束を集光する。シャッター１０２は絞り機能を含み、例えば撮像部１０３への入射光量と電荷蓄積時間を制御する。撮像部１０３は、光電変換素子を有する画素が複数、２次元状に配列された撮像素子を含み、光学系１０１により結像された被写体光学像を各画素で光電変換してアナログ画像信号を出力する。撮像素子は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子であってよい。

Ａ／Ｄ変換部１０４は、撮像部１０３が出力するアナログ信号をデジタル信号に変換し、画素単位の画像データを出力する。ＡＦセンサ１０５は、被写体光学像を電気信号に変換するＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を含み、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）制御を行うための画像信号を出力する。ＡＦ用Ａ／Ｄ変換部１０６は、ＡＦセンサ１０５が出力するアナログ信号をデジタル信号に変換し、画素単位の画像データを出力する。

画像処理部１０７は、信号処理回路又は信号処理モジュールを含み、Ａ／Ｄ変換部１０４から出力された画像データに対して、例えばホワイトバランス処理やγ処理などの各種画像処理を行う。

画像メモリ１０８は、半導体メモリ等の揮発性の記憶媒体を含み、画像データ等を一時的に記憶する。メモリ制御部１０９は、画像メモリ１０８に対するデータの書き込みや読み込みを制御する。Ｄ／Ａ変換部１１０は入力されたデジタル信号をアナログ信号に変換してアナログ画像信号を出力する。

表示部１１１は、例えばＬＣＤ等の表示パネルを含み、入力された画像信号や表示メニュー等を表示する。コーデック部１１２は、信号処理回路又は信号処理モジュールを含み、入力された画像データや映像データを例えばＪＰＥＧやＭＰＥＧなどの所定の規格に基づいて圧縮符号化する。

記録媒体１１３は、メモリカードやハードディスク等の不揮発性の記憶装置を含み、例えば撮影された画像データや映像データを記録する。記録Ｉ／Ｆ１１４は、記録媒体１１３に対するインターフェースを含み、記録媒体１１３に対するデータの書き込みや読み込みを制御する。

注目領域検出部１１５は、信号処理回路又は信号処理モジュールを含み、後述する注目領域検出処理を行って画像データ内の注目領域を検出する。制御部５０は、例えばＣＰＵあるいはＭＰＵを含み、不揮発性メモリ１２３に格納されたプログラムをシステムメモリ１２５の作業エリアに展開し、実行することにより、デジタルカメラ１００全体を制御する。本実施形態では、注目領域検出部１１５を制御部５０と区別して説明するが、制御部５０が注目領域検出部１１５の機能を実行してもよい。

操作部１２０は、スイッチ、ダイヤル等の機械式の部材や表示部１１１に含まれるタッチパネルを含み、ユーザからの操作指示を検出して制御部５０に通知する。電源スイッチ１２１は、デジタルカメラ１００の起動及び終了を制御するためのボタンであり、操作部１２０に含まれてよい。電源部１２２はバッテリを含み、デジタルカメラ１００の各部に電力を供給する。

不揮発性メモリ１２３は、例えばＥＥＰＲＯＭ等を含み、電気的に消去・記録可能な不揮発性の記憶媒体である。システムタイマ１２４は、各種制御に用いる時間や、内蔵された時計の時間を計測する。システムメモリ１２５は、揮発性の記憶媒体を含み、制御部５０がプログラムを動作させる際に用いられる定数、変数等を一時的に記憶させるほか、不揮発性メモリ１２３から読み出したプログラム等を展開する際に用いられる。

なお、上述したデジタルカメラ１００の各部による撮影時の基本的な動作について説明する。

まず、撮像部１０３は、光学系１０１及びシャッター１０２を介して入射した光束を光電変換し、入力画像信号としてＡ／Ｄ変換部１０４へ出力する。Ａ／Ｄ変換部１０４は、撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換して画像処理部１０７に出力する。

ＡＦセンサ１０５は、光学系１０１及びシャッター１０２を介して入射した光を複数の対となるラインセンサで受光し、ＡＦ用Ａ／Ｄ変換部１０６に出力する。ＡＦ用Ａ／Ｄ変換部１０６は、ＡＦセンサ１０５から出力されたアナログ信号をデジタル信号に変換し、制御部５０に出力する。制御部５０は、１対のラインセンサから出力された像信号に基づいて、被写体からの光束の分割方向における相対的位置ずれ量を検出することにより、いわゆる位相差ＡＦ制御を実現する。

画像処理部１０７は、Ａ／Ｄ変換部１０４からの画像データ又はメモリ制御部１０９から読み出した画像データに対して上述した各種画像処理を適用し、処理結果となる画像データを出力する。メモリ制御部１０９は、画像処理部１０７から出力された画像データを画像メモリ１０８に書き込む。画像処理部１０７では、撮像部１０３によって撮像された画像データを用いて所定の演算を行い、制御部５０が得られた演算結果に基づいて例えばＡＥ（自動露出）、ＡＦ（オートフォーカス）のための露光制御や測距制御を行う。

画像メモリ１０８は、撮像部１０３により撮像された画像データや記録媒体１１３から読み出された画像データを、表示部１１１に表示するために記憶する。また、Ｄ／Ａ変換部１１０は、画像メモリ１０８から読み出された表示用の画像データをアナログ画像信号に変換して表示部１１１に供給する。表示部１１１は、ＬＣＤ等の表示パネル上に、Ｄ／Ａ変換部１１０から出力されたアナログ画像信号を表示する。

注目領域検出部１１５は、入力された画像データに対して、後述する注目領域検出処理を行う。注目領域検出部１１５は、画像データ内の注目領域を検出し、注目領域情報を制御部５０に出力する。制御部５０は、取得した注目領域情報に基づいて、所定の処理、例えば、画像データ内に複数被写体が存在する場合に、注目領域に属する被写体に合焦させるようなＡＦ制御や、注目領域に属する被写体が適正な明るさになるようなＡＥ制御を行う。

（注目領域検出部１１５の構成及び注目領域検出処理に係る一連の動作）
次に、注目領域検出部１１５の構成及び注目領域検出処理に係る一連の動作について、説明する。

まず、図２は、注目領域検出部１１５の機能構成例を示している。注目領域検出部１１５は、有色度算出領域設定部２０１、有色度算出部２０２、色重み算出部２０３、背景領域設定部２０４、背景領域特徴量算出部２０５、ブロック領域特徴量算出部２０６、特徴量比較部２０７及び注目領域抽出部２０８を含む。このような注目領域検出部１１５を構成する各部の具体的な動作については、以下、図３を参照して説明する注目領域検出処理の一連の動作を説明しながら説明する。

なお、注目領域検出処理の一連の動作は、例えば操作部１２０に対して撮影指示であるユーザ操作があった場合に、制御部５０の指示に応じて注目領域検出部１１５により開始される。また、本一連の動作は、例えば注目領域検出部１１５が記憶されたプログラムを実行することにより実現される。

Ｓ３０１において、有色度算出領域設定部２０１は、画像内の領域のうち有色度を算出する領域を設定する。有色度算出領域設定部２０１は、有色度を算出する領域（有色度算出領域）を例えば視覚的顕著度に基づいて設定する。

まず、視覚的顕著度の算出処理について、図４（ａ）及び図４（ｂ）を参照して説明する。図４（ａ）は、画像内の領域のうち、視覚的顕著度を算出するための内側領域４０１及び周囲領域４０２を例示しており、図４（ｂ）は、算出した視覚的顕著度を、画像内の領域ごとにグレースケールの画素値を用いて例示している。なお、図４（ｂ）は、白いほど視覚的顕著度が大きく、黒いほど視覚的顕著度が小さいことを示している。

有色度算出領域設定部２０１は、所定の内側領域４０１及び周囲領域４０２を画像内の領域について左上から左下に走査させ、走査しながら各位置において内側領域４０１の特徴量と周囲領域４０２の特徴量とを比較する。特徴量の具体例については後述するが、有色度算出領域設定部２０１は、内側領域４０１の特徴量と周囲領域４０２の特徴量の差異が予め定めた値より大きい場合、内側領域４０１の現在の位置を目立ち易い領域であると判定し、大きい視覚的顕著度を与える。逆に、内側領域４０１の特徴量と周囲領域４０２の特徴量の差異が小さい場合、有色度算出領域設定部２０１は、現在の位置を目立ち難い領域と判定して小さい視覚的顕著度を与える。

図４（ａ）に示す、背景にボールが存在する例では、内側領域４０１がボール周辺に位置する場合、内側領域４０１の特徴量と周囲領域４０２の特徴量の差異が大きくなり、視覚的顕著度が大きな値に設定される。一方、内側領域４０１がボール周辺以外に位置する場合、内側領域４０１の特徴量と周囲領域４０２の特徴量の差異が小さくなり、視覚的顕著度は小さい値に設定される。

視覚的顕著度の算出に用いる特徴量には、例えば、内側領域４０１及び周囲領域４０２におけるヒストグラム、画素値平均値及びエッジ量のうちの少なくともいずれかを用いることができる。

例えば、特徴量として例えば輝度成分あるいは色成分に関する画素値分布を示すヒストグラムを用いる場合、視覚的顕著度の算出例は次のようになる。有色度算出領域設定部２０１は、画像内のある位置において、内側領域４０１における画素値分布を示すヒストグラムと、周囲領域４０２における画素値分布を示すヒストグラムをそれぞれ算出し、ヒストグラムの各要素について例えば画素数のカウント値の差分絶対値を求める。そして、ヒストグラムの全ての要素について求めた差分絶対値を積算した値をある１つの位置における視覚的顕著度とする。

また、特徴量として画素値平均値を用いる場合、視覚的顕著度は、例えば各領域の画素値平均値の差分絶対値を用いて算出される。すなわち、有色度算出領域設定部２０１は、画像内のある位置において、内側領域４０１における画素値平均値と、周囲領域４０２における画素値平均値の差分絶対値を求め、求めた値をある１つの位置における視覚的顕著度とする。なお、画素値平均値とは、例えば、輝度の平均値や彩度の平均値が挙げられる。彩度は、例えば、以下の式（１）のように、
彩度 ＝ Ｃｂ + Ｃｒ （１）
２つの色差信号の和により求めることができる。

特徴量としてエッジ量を用いる場合、視覚的顕著度は、例えば各領域のエッジ強度の積分値の差分絶対値を用いて算出される。すなわち、有色度算出領域設定部２０１は、画像内のある位置において、内側領域４０１におけるエッジ強度の積分値と、周囲領域４０２におけるエッジ強度の積分値の差分絶対値を求め、求めた値をある１つの位置における視覚的顕著度とする。なお、エッジ強度は、例えばソーベルフィルタ等の公知の方法を用いて算出することができる。

有色度算出領域設定部２０１は、上述した処理により算出された画像内の全領域に対する視覚的顕著度に基づいて、視覚的顕著度が大きい領域を有色度算出領域として設定する。

なお、有色度算出領域の設定は、上述した視覚的顕著度に基づく方法に限定されず、注目領域となる可能性がある候補領域を有色度算出領域に設定してもよい。例えば、不図示の制御部５０内の候補領域検出部が出力する注目領域の候補領域、すなわち合焦領域や画面中央領域を有色度算出領域として設定しても良い。また、動画像の撮影時のように複数フレームの情報を利用可能である場合、時間的に近接したフレームにおいて検出された注目領域に対応する候補領域を有色度算出領域に設定してもよい。また、フレーム間のマッチング処理により所定被写体を追尾することができる場合、追尾されている追尾被写体領域を有色度算出領域として設定しても良い。

Ｓ３０２において、有色度算出部２０２は、有色度算出領域設定部２０１が設定した領域の有色度を算出する。なお、本実施形態では、所定の領域が有する色味の程度を表す指標を有色度とし、有色度算出部２０２は、例えば、領域内の彩度平均値（色成分の画素値の平均値）を算出する。このとき、彩度平均値が大きい領域ほど有色度は高くなる。

Ｓ３０３において、色重み算出部２０３は、有色度算出部２０２により算出された有色度に基づいて色重みを算出する。色重み算出部２０３は、例えば色重みを、式（２）に従って算出することができる。
色重み ＝ ａ×有色度＋ｂ （ａ及びｂは定数） （２）
例えば本実施形態に係る有色度と色重みの関係を図５に例示している。色重みは、例えば有色度と比例するような相関を有する。すなわち、色重みは、その領域が有する色味の強さを示す指標に応じて増減する重み係数であり、有色度が小さい場合に小さな値、逆に、有色度が大きい場合には大きな値となるように決定される。

Ｓ３０４において、背景領域設定部２０４は、画像内の領域の背景を推測して背景領域を設定する。具体的には、背景領域設定部２０４は、図６（ａ）の網掛けで示した領域６０１のように、画像の端部（すなわち上端、下端、左端及び右端のうち少なくともいずれか）に接する領域を背景領域として設定する。図６（ａ）の例では、画像内の領域の左端、上端及び右端が背景領域として設定された例を示している。背景領域の設定には、他の方法を用いてもよく、例えば、デジタルカメラ１００の撮影向き（横撮影、縦撮影）の情報を用いて背景領域の設定を変更しても良い。すなわち、天地方向の地方向以外の端領域を背景領域として設定する。横撮影の場合は、図６（ａ）のような端領域を背景領域として設定し、縦撮影の場合は、図６（ｃ）のような端領域６０２を背景領域として設定する。また、他の方法として、画像の端部の領域について明るさを算出し、明るさが所定値よりも大きい端領域を背景領域として設定しても良い。これのようにすれば、空などの明るい領域を背景として設定し易くなる。

Ｓ３０５において、背景領域特徴量算出部２０５は、背景領域設定部２０４が設定した背景領域について輝度成分の特徴量と色成分の特徴量とをそれぞれ算出する。輝度成分の特徴量及び色成分の特徴量の算出については、Ｓ３０６において後述する。

Ｓ３０６において、ブロック領域特徴量算出部２０６は、例えば図６（ｂ）に示すように、画像内の領域が所定の大きさの部分領域に分割されたブロック領域毎に輝度成分の特徴量の特徴量と色成分の特徴量とをそれぞれ算出する。本実施形態に係る輝度成分の特徴量及び色成分の特徴量の算出には、例えば、領域内のヒストグラム、画素値平均値及びエッジ量のうち、少なくともいずれかを用いることができる。

例えば、特徴量としてヒストグラムを用いる場合、背景領域特徴量算出部２０５は、背景領域における輝度成分の画素分布を示すヒストグラムと色成分の画素分布を示すヒストグラムを算出する。また、ブロック領域特徴量算出部２０６は、分割されたブロック領域毎に輝度成分の画素値分布を示すヒストグラムと色成分の画素値分布を示すヒストグラムを算出する。

また、特徴量として画素値平均値を用いる場合、背景領域特徴量算出部２０５は、背景領域における輝度成分の画素値平均値と色成分の画素値平均値を算出する。また、ブロック領域特徴量算出部２０６は、分割されたブロック領域毎に輝度成分の画素値平均値と色成分の画素値平均値を算出する。なお、上述したように画素値平均値には、例えば、輝度の平均値や彩度の平均値を用いることができる。

特徴量としてエッジ量を用いる場合、背景領域特徴量算出部２０５は、背景領域における輝度成分のエッジ強度の積分値と色成分のエッジ強度の積分値を算出する。また、ブロック領域特徴量算出部２０６は、分割されたブロック領域毎に輝度成分のエッジ強度の積分値と色成分のエッジ強度の積分値を算出する。なお、上述したようにエッジ強度の算出には、例えばソーベルフィルタ等の公知の方法を用いて算出することができる。

Ｓ３０７において、特徴量比較部２０７は、処理対象であるブロック領域の注目度を算出する。この注目度算出処理では、特徴量比較部２０７は、Ｓ３０５において算出された背景領域特徴量とＳ３０６において算出されたブロック領域に対する特徴量とを、輝度成分及び色成分のそれぞれにおいて比較して比較結果を求める。さらに、Ｓ３０３において算出された色重みを用いてそれぞれの比較結果の重要度を加味した注目度を算出する。具体的には、注目度は、式（３）に従って算出される。
注目度 ＝（１−色重み）×輝度特徴量の差＋色重み×色特徴量の差 （３）
すなわち、背景領域の輝度特徴量及びブロック領域の輝度特徴量の差と、背景領域の色特徴量及びブロック領域の色特徴量の差とを、それぞれ色重みを用いて加重加算する。

このようにすることで、色重みに応じて、輝度特徴量の差と色特徴量の差の各重要度が調整される。すなわち、候補領域の色重みが増加するほど色特徴量の差の重要度が増加した結果としての注目度が算出され、候補領域の色重みが減少するほど輝度特徴量の差の重要度が増加した結果としての注目度が算出される。換言すれば、候補領域の色重みが高い場合には色特徴量の差を用いて有色被写体を検出することができ、反対に候補領域の色重みが低い場合には輝度特量の差を用いて無色被写体を検出することができる。

さらに、特徴量比較部２０７が輝度特徴量の差及び色特徴量の差を算出する例について説明する。

例えば特徴量としてヒストグラムを用いる場合、特徴量比較部２０７は、輝度特徴量の差の算出において、背景領域における輝度成分の画素分布を示すヒストグラムと分割されたブロック領域における輝度成分の画素分布を示すヒストグラムを用いて、ヒストグラムの各要素のカウント値について差分絶対値を求める。そして、全てのヒストグラムの構成要素について積算した値を、ある１つの分割されたブロック領域の輝度特徴量の差とする。同様に、特徴量比較部２０７は、色特徴量の差の算出において、背景領域における色成分の画素分布を示す色ヒストグラムと分割されたブロック領域における色成分の画素分布を示す色ヒストグラムについて、ヒストグラムの各要素のカウント値について差分絶対値を求める。そして、全てのヒストグラムの構成要素について積算した値を、ある１つの分割されたブロック領域の色特徴量の差とする。

また、特徴量として画素値平均値を用いる場合、特徴量比較部２０７は、輝度特徴量の差の算出において、背景領域における輝度平均値と分割されたブロック領域における輝度平均値の差分絶対値を求める。そして、求めた値をある１つの分割されたブロック領域の輝度特徴量の差とする。同様に、特徴量比較部２０７は、色特徴量の差の算出において、背景領域における色平均値と分割ブロック領域における色平均値の差分絶対値を求め、求めた値をある１つの分割されたブロック領域の色特徴量の差とする。

特徴量としてエッジ量を用いる場合、特徴量比較部２０７は、輝度特徴量の差の算出において、背景領域における輝度エッジ強度の積分値と分割ブロック領域における輝度エッジ強度の積分値の差分絶対値を求める。そして、特徴量比較部２０７は、求めた値をある１つの分割されたブロック領域の輝度特徴量の差とする。また、特徴量比較部２０７は、色特徴量の差の算出において、背景領域における色エッジ強度の積分値と分割ブロック領域における色エッジ強度の積分値の差分絶対値を求め、求めた値をある１つの分割されたブロック領域の色特徴量の差とする。

Ｓ３０８において、特徴量比較部２０７は、全ての分割されたブロック領域の注目度を算出したかを判定する。特徴量比較部２０７は、例えば処理対象の領域の、現在の位置を参照して、全ての分割されたブロック領域について注目度を算出していないと判定する場合、処理をＳ３０６に戻してＳ３０６及びＳ３０７の処理を繰り返す。一方、全ての分割されたブロック領域について注目度を算出していないと判定する場合、処理をＳ３０９に進める。

Ｓ３０９において、注目領域抽出部２０８は、特徴量比較部２０７により算出された注目度に基づいて注目領域を抽出する。具体的には、各分割されたブロック領域の注目度が所定閾値よりも高い場合に当該ブロック領域を注目領域として抽出する。注目領域抽出部２０８は、注目領域として抽出されたブロック領域を示す注目領域情報を出力する。注目領域検出部１１５は、注目領域情報を出力すると、本処理に係る一連の動作を終了する。

なお、本実施形態の説明では、Ｓ３０７における注目度の算出例として、輝度特徴量の差と色特徴量の差を色重みに基づいて加重加算する例を説明した。しかし、特徴量の算出において色重みを考慮した特徴量を算出してもよい。具体的には、Ｓ３０４及びＳ３０５において特徴量を算出する際に、画像の各成分に色重みに応じたゲイン値を乗算して特徴量を算出し、Ｓ３０７における注目度の算出においては、輝度成分の特徴量の差及び色成分の特徴量の差の重要度を同一にしてもよい。

以上説明したように、本実施形態では、輝度成分の特徴量の重要度と色成分の特徴量の重要度とを、候補領域の色重みに応じて調整して注目領域を検出するようにした。すなわち、被写体の領域が無色被写体の場合には、色重みが小さくなるため、輝度特徴量の差の重要度が大きくなり、輝度特徴量の差を重視した注目度を算出する。この場合、無色被写体を注目領域として適切に検出することができる。一方、被写体の領域が有色被写体の場合、色重みが大きくなるため、色特徴量の差の重要度が大きくなり、色特徴量の差を重視した注目度を算出することができる。この場合、有色被写体を注目領域として適切に検出することができる。換言すれば、有色被写体及び無色被写体の両方をより適切に検出することが可能になる。

（その他の実施形態）
本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１１５…注目領域検出部、２０１…有色度算出領域検出部、２０２…有色度算出部、２０３…色重み算出部、２０５…背景領域特徴量算出部、２０６…ブロック領域特徴量検出部、２０７…特徴量比較部、２０８…注目領域抽出部

Claims (15)

1. 画像内の第１の領域について、該第１の領域が有する色味の強さを示す指標を算出する有色度算出手段と、
   前記第１の領域と前記第１の領域と異なる第２の領域のそれぞれにおける輝度成分に関する第１の特徴量と、前記第１の領域と前記第２の領域のそれぞれにおける色成分に関する第２の特徴量とを算出する特徴量算出手段と、
   前記第１の領域と前記第２の領域における第１の特徴量の差と、前記第１の領域と前記第２の領域における第２の特徴量の差と、それぞれの特徴量の差の重要度とに基づいて前記第１の領域に対する注目度を算出する注目度算出手段と、
   前記注目度を用いて前記画像内の注目領域を検出する注目領域検出手段と、を有し、
   前記注目度算出手段は、前記第１の特徴量の差の重要度と、前記第２の特徴量の差の重要度とを前記指標に基づいて決定する、
   ことを特徴とする画像処理装置。
2. 前記注目度算出手段は、前記指標が増加するほど前記第１の特徴量の差の重要度を減少させると共に前記第２の特徴量の差の重要度を増加させ、前記指標が減少するほど前記第１の特徴量の差の重要度を増加させると共に前記第２の特徴量の差の重要度を減少させる、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記注目度算出手段は、前記第１の特徴量の差と前記第２の特徴量の差とを、前記第１の特徴量の差の重要度と前記第２の特徴量の差の重要度を用いて加重加算する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記注目度算出手段は、前記特徴量算出手段が前記第１の特徴量と前記第２の特徴量のそれぞれを算出する際に前記指標に応じたゲイン値を乗算する場合、前記第１の特徴量の差の重要度と、前記第２の特徴量の差の重要度とを同一にする、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記画像内における、注目領域の候補領域を検出する候補領域検出手段を更に有し、
   前記特徴量算出手段は、検出された前記候補領域を前記第１の領域とする、
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記候補領域検出手段は、前記画像の顕著度を算出し、前記顕著度に基づいて前記注目領域の候補領域を検出することを特徴とする請求項５に記載の画像処理装置。
7. 前記候補領域検出手段は、前記画像の領域ごと前記顕著度を算出し、前記顕著度の最も高い少なくとも１つの前記領域を前記注目領域の候補領域として検出することを特徴とする請求項６に記載の画像処理装置。
8. 前記候補領域検出手段は、前記画像の領域ごとについて、該領域の周囲領域と内側領域との特徴量の差を用いて前記顕著度を算出し、前記特徴量は、画素値の平均値と画素分布を示すヒストグラムとエッジ量との少なくともいずれかであることを特徴とする請求項７に記載の画像処理装置。
9. 前記候補領域検出手段は、前記画像内の合焦領域、画面中央領域および追尾されている被写体領域の少なくともいずれかの領域、又は動画像において時間的に近接したフレームにおける前記注目領域に対応する領域を、前記候補領域として検出する、
   ことを特徴とする請求項５から８のいずれか１項に記載の画像処理装置。
10. 前記第２の領域は、前記画像内における背景領域である、
    ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記背景領域は、前記画像内の端部を少なくとも含む部分領域である、
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記特徴量算出手段は、前記第１の特徴量として、画素値の平均値と画素分布を示すヒストグラムとエッジ量との少なくともいずれかを輝度成分を用いて算出し、前記第２の特徴量として、前記第１の特徴量に対応する、前記画素値の平均値と前記画素分布を示すヒストグラムと前記エッジ量との少なくともいずれかを色成分を用いて算出する、
    ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記有色度算出手段は、前記第１の領域の彩度の平均値を用いて前記指標を算出する、
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 有色度算出手段が、画像内の第１の領域について、該第１の領域が有する色味の強さを示す指標を算出する有色度算出工程と、
    特徴量算出手段が、前記第１の領域と前記第１の領域と異なる第２の領域のそれぞれにおける輝度成分に関する第１の特徴量と、前記第１の領域と前記第２の領域のそれぞれにおける色成分に関する第２の特徴量とを算出する特徴量算出工程と、
    注目度算出手段が、前記第１の領域と前記第２の領域における第１の特徴量の差と、前記第１の領域と前記第２の領域における第２の特徴量の差と、それぞれの特徴量の差の重要度とに基づいて前記第１の領域に対する注目度を算出する注目度算出工程と、
    注目領域検出手段が、前記注目度を用いて前記画像内の注目領域を検出する注目領域検出工程と、を有し、
    前記注目度算出工程では、前記第１の特徴量の差の重要度と、前記第２の特徴量の差の重要度とを前記指標に基づいて決定する、
    ことを特徴とする画像処理装置の制御方法。
15. コンピュータに、請求項１４に記載の、画像処理装置の制御方法に係る各工程を実行させるためのプログラム。