JP6525537B2 - 画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮影画像中から視覚的に目立つ領域を検出する技術に関するものである。

近年、画像内に存在する被写体のうち、人間の視覚に目立ち易い被写体を検出する技術が提案されている。例えば、特許文献１では、半径の小さい訓練データ抽出領域と半径の大きい検証データ抽出領域の特徴量の違いに基づき、視覚的に顕著な領域を検出している。つまり、訓練データ抽出領域とその周囲の領域である検証データ抽出領域の特徴量の違いが大きいほど、視覚的に顕著な度合い（以下、視覚的顕著度と称す）が高いと判定している。

特開２０１２−１２３６３１号公報

上記の特許文献１では、被写体の学習データに基づき、訓練データ抽出領域と検証データ抽出領域の大きさを決め、画面内の任意の点における視覚的顕著度を算出している。しかしながら、仮に学習データが存在しない被写体の場合には、訓練データ抽出領域と検証データ抽出領域の大きさを決定できず、視覚的顕著度の精度が低下するといった課題がある。また、例えば、複数の大きさの領域を設定し、任意の点における視覚的顕著度を算出すると、処理量が膨大となってしまうといった課題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、少ない処理量で精度の高い視覚的顕著度を算出し、注目領域を検出することである。

本発明に係わる画像処理装置は、画像内における被写体が存在すると予想される領域の情報である被写体の空間情報を算出する空間情報算出手段と、前記空間情報に基づき、画像内に探索領域を決定する探索領域決定手段と、前記探索領域内において、前記探索領域より小さい複数の第１の領域を設定する第１の領域設定手段と、前記第１の領域の外側に第２の領域を設定する第２の領域設定手段と、前記第１の領域の第１の特徴量を算出する第１の特徴量算出手段と、前記第２の領域の前記第１の特徴量と同じ種類の特徴量である第２の特徴量を算出する第２の特徴量算出手段と、前記第１の特徴量と前記第２の特徴量の差に基づいて、前記被写体の視覚的な顕著度を算出する顕著度算出手段と、を備えることを特徴とする。
また、本発明に係わる画像処理装置は、画像内における被写体が存在すると予想される領域の情報である被写体の空間情報を算出する空間情報算出手段と、前記空間情報に基づき、画像内に探索領域を決定する探索領域決定手段と、前記探索領域内において、前記探索領域より小さい複数の第１の領域を設定する第１の領域設定手段と、前記第１の領域の外側に第２の領域を設定する第２の領域設定手段と、前記第１の領域の第１の特徴量を算出する第１の特徴量算出手段と、前記第２の領域の前記第１の特徴量と同じ種類の特徴量である第２の特徴量を算出する第２の特徴量算出手段と、前記第１の特徴量と前記第２の特徴量の差に基づいて、注目領域を決定する注目領域決定手段と、を備えることを特徴とする。

本発明によれば、少ない処理量で精度の高い視覚的顕著度を算出し、注目領域を検出することが可能となる。

本発明の画像処理装置を撮像装置に適用した第１の実施形態の構成を示すブロック図。 第１の実施形態における空間情報算出部の構成を示す図。 第１の実施形態における空間情報算出部の処理を示すフローチャート。 合焦領域情報を示す図。 第１の実施形態における注目領域検出部の構成を示す図。 第１の実施形態における注目領域検出部の処理を示すフローチャート。 各領域情報を説明する図。 第１の実施形態における視覚的顕著度を説明する図。 第２の実施形態における空間情報算出部の構成を示す図。 第２の実施形態における空間情報算出部の処理を示すフローチャート。 動領域情報を示す図。 第２の実施形態における視覚的顕著度を説明する図。 第３の実施形態における空間情報算出部の構成を示す図。 第３の実施形態における空間情報算出部の処理を示すフローチャート。 顔領域情報を示す図。 第３の実施形態における視覚的顕著度を説明する図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の画像処理装置を撮像装置に適用した第１の実施形態の構成を示すブロック図である。本実施形態における撮像装置１００は、合焦領域情報に応じて決定した被写体の空間情報に基づき、注目領域を検出する。以下、本実施形態の撮像装置の構成について図１を参照して説明する。
図１において、１０１はズームレンズ、フォーカスレンズを含むレンズ群、１０２は絞り機能を備えるシャッタ、１０３は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。１０４は撮像部１０３が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、１０５はＡＦ制御のために光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成されるＡＦセンサである。１０６はＡＦセンサ１０５が出力するアナログ信号をデジタル信号に変換するＡＦ用Ａ／Ｄ変換器である。１０７はＡ／Ｄ変換器１０４から出力される画像データに対し、ホワイトバランス処理や、γ処理などの各種画像処理を行う画像処理部である。１０８は画像メモリ、１０９は画像メモリ１０８を制御するメモリ制御部、１１０は入力デジタル信号をアナログ信号に変換するＤ／Ａ変換器、１１１はＬＣＤ等の表示部、１１２は画像データを圧縮符号化・復号化するコーデック部である。

１１３は、画像データを記録するメモリカードやハードディスク等の記録媒体である。１１４は、記録媒体１１３とのインタフェースである記録Ｉ／Ｆである。１１５は、画像データ内に存在する被写体の位置や大きさを表す空間情報を算出する空間情報算出部である。１１６は、画像データ内の注目領域を検出する注目領域検出部である。

５０は撮像装置１００のシステム全体を制御するシステム制御部である。１２０は各種のユーザからの操作指示を入力するための操作部、１２１は電源スイッチ、１２２は電源部である。１２３は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。１２４は各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマ、１２５はシステム制御部５０の動作用の定数、変数、不揮発性メモリ１２３から読みだしたプログラム等を展開するシステムメモリである。

次に、上記のように構成された撮像装置１００における撮影時の基本的な処理の流れについて説明する。撮像部１０３は、レンズ１０１及びシャッタ１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部１０７に出力する。ＡＦセンサ１０５は、レンズ１０１及びシャッタ１０２を介して入射した光を複数の対となるラインセンサーで受光し、ＡＦ用Ａ／Ｄ変換器１０６へ出力する。ＡＦ用Ａ／Ｄ変換器１０６はＡＦセンサ１０５から出力されるアナログ信号をデジタル信号に変換し、システム制御部５０に出力する。システム制御部５０は、一対のラインセンサーが出力した像信号に基づいて、被写体からの光束の分割方向における相対的位置ずれ量を検出し、いわゆる位相差ＡＦ制御を行う。

画像処理部１０７は、Ａ／Ｄ変換器１０４からの画像データ、又は、メモリ制御部１０９から読み出した画像データに対し、ホワイトバランス処理や、γ処理などの各種画像処理を行う。画像処理部１０７から出力された画像データは、メモリ制御部１０９を介して画像メモリ１０８に書き込まれる。また、画像処理部１０７では、撮像部１０３が撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、焦点調節制御を行う。これにより、ＡＥ（自動露出）処理、ＡＦ（オートフォーカス）処理などを行う。

画像メモリ１０８は、撮像部１０３から出力された画像データや、表示部１１１に表示するための画像データを格納する。また、Ｄ／Ａ変換器１１０は、画像メモリ１０８に格納されている画像表示用のデータをアナログ信号に変換して表示部１１１に供給する。表示部１１１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１０からのアナログ信号に応じた表示を行う。コーデック部１１２は、画像メモリ１０８に記録された画像データをＪＰＥＧやＭＰＥＧなどの規格に基づき圧縮符号化する。

空間情報算出部１１５は、画像内に存在する被写体の位置や大きさを表す空間情報を算出する。そして、注目領域検出部１１６は、空間情報算出部１１５からの空間情報に基づき、画像データ内の例えば被写体が存在すると予想される注目領域を検出し、注目領域情報をシステム制御部５０に出力する。システム制御部５０は、注目領域情報に基づき、所定処理を優先する領域（処理対象領域）を決定する。所定処理とは、例えば、画像データ内に複数被写体が存在する場合に、注目領域に属する被写体に合焦するようにＡＦ制御することが挙げられる。また、画像データ内に複数被写体が存在する場合に、注目領域に属する被写体が適正な明るさになるようにＡＥ制御することが挙げられる。空間情報算出部１１５及び注目領域検出部１１６については、後述する。

上記の基本動作以外に、システム制御部５０は、前述した不揮発性メモリ１２３に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２３から読み出したプログラム等をシステムメモリ１２５に展開する。以上、撮像装置１００の構成と、基本動作について説明した。

次に、空間情報算出部１１５及び注目領域検出部１１６に関して、詳しく説明する。まず、空間情報算出部１１５について、図２、図３及び図４を参照して詳しく説明する。

図２は、本実施形態における空間情報算出部１１５の構成を示す図である。空間情報算出部１１５は、被写体領域検出部２０１、被写体候補領域検出部２０２、被写体空間情報生成部２０３を備えて構成される。

図３は、空間情報算出部１１５における処理を示したフローチャートである。以下、図３のフローチャートに従って空間情報算出部１１５の動作について説明する。

ステップＳ３０１において、システム制御部５０は、位相差ＡＦ制御時（合焦動作時）に位相の差が所定値未満の合焦領域の情報（合焦情報算出）を被写体領域検出部２０１に出力する。合焦領域情報の例を図４に示す。図４（ａ）は、撮像部１０３が撮像した画像データを示し、図４（ｂ）及び図４（ｃ）は、システム制御部５０が作成する合焦領域情報を示す。

図４（ｂ）は、ＡＦセンサ１０５の出力信号に基づき、システム制御部５０が作成した合焦領域情報を示す。図４（ｂ）において、ｐ１００やｐ１１０のような長方形は、ＡＦセンサ１０５における１測距点を示し、Ｐ１１０のような黒塗りの測距点は、位相差が所定値以上である非合焦点、Ｐ１００のような白塗りの測距点は、位相差が所定値未満である合焦点であることを示す。つまり、図４（ｂ）の例では、図４（ａ）における２匹の鳥に合焦していることを示している。

ステップＳ３０２において、被写体領域検出部２０１は、合焦領域を被写体領域に設定する。具体的には、合焦している測距点をグルーピングした領域を被写体領域とする。図４（ｂ）では、合焦しているｐ１００，ｐ１０１，ｐ１０２，ｐ１０３をグルーピングし、被写体領域ａ２００とする。また、合焦しているｐ１０４，ｐ１０５，ｐ１０６，ｐ１０７をグルーピングし、被写体領域ａ２０２とする。

ステップＳ３０３において、被写体領域候補検出部２０２は、被写体候補領域を設定する。被写体候補領域とは、被写体が存在する可能性がある領域のことを示す。図４（ｂ）の合焦領域情報のように、測距点が離散的であると、例えば、図４（ａ）の鳥と背景（空）との境界位置を正確に検出することはできない。そこで、被写体が存在する可能性がある領域として、合焦領域の周囲に存在する非合焦測距点までの領域を被写体候補領域とする。すなわち、被写体領域ａ２００に対応する被写体候補領域はａ２０１とし、被写体領域ａ２０２に対応する被写体候補領域はａ２０２とする。

ステップＳ３０４において、被写体空間情報生成部２０３は、被写体領域検出部２０１が算出した被写体領域情報と、被写体候補領域検出部２０２が算出した被写体候補領域情報を画像データに対応する座標に変換し、空間情報として出力する。

前述の説明では、図４（ｂ）のように離散的な測距点を持つＡＦセンサ１０５を例として説明したが、システム制御部５０は、撮像部１０３の画素出力信号を用いて位相差方式のＡＦ制御を行う、いわゆる撮像面位相差ＡＦを利用して合焦領域情報を算出してもよい。この場合、撮像部１０３は、１つのマイクロレンズ下の画素を分割し、撮影光学系の射出瞳の一部を別々に受光する構成となる。撮像部１０３の全ての画素に対して、このようにマイクロレンズ下の画素を分割することにより、画素毎に位相差を算出することが可能となり、分解能の高い合焦領域情報を得ることができる。

図４（ｃ）は、前述の撮像面位相差ＡＦ方式により、画素毎に位相差を算出し、位相差が所定値未満の領域（合焦領域情報）を示した図である。図４（ｃ）において、白塗り領域が合焦領域であり、黒塗り領域が非合焦領域である。このように、撮像面位相差ＡＦ方式に基づき算出した合焦領域情報は、図４（ｂ）のＡＦセンサ１０５による位相差ＡＦに基づき算出した合焦領域情報に比べ分解能が高く、被写体の形を精度高く捉えることが可能となる。このように被写体領域を精度高く検出可能な場合は、被写体領域候補検出部２０２は、被写体候補領域を被写体領域と同一領域とし、別途、被写体が存在する可能性がある領域を検出しなくても良い。

また、図４（ｂ）や図４（ｃ）の例では、被写体領域検出部２０１は、合焦領域情報に対して被写体を矩形状に囲む領域を被写体領域として検出している例を示しているが、被写体領域の検出は矩形状でなくとも良い。例えば、円形や三角形でも良いし、位相差が所定値未満の合焦領域の形状そのものを被写体領域としても良い。つまり、図４（ｃ）の例では、領域ａ２１０内の合焦領域（鳥形状の白塗り領域）及び領域ａ２１１内の合焦領域（鳥形状の白塗り領域）を被写体領域としても良い。以上、空間情報算出部１１５について説明した。

次に、注目領域検出部１１６について、図５、図６、図７及び図８を参照して詳しく説明する。注目領域検出部１１６は、空間情報算出部１１５が算出した空間情報に基づき、画像データ内の注目領域を検出する。

図５は、注目領域検出部１１６の構成を示す図である。注目領域検出部１１６は、探索領域決定部５０１、被写体内領域設定部５０２、被写体外領域設定部５０３、被写体内領域特徴量算出部５０４、被写体外領域特徴量算出部５０５及び視覚的顕著度算出部５０６を備えて構成される。

図６は、注目領域検出部１１６の処理を示したフローチャートである。以下、図６のフローチャートを用いて、注目領域検出部１１６の動作について説明する。

ステップＳ６０１において、探索領域決定部５０１は、空間情報算出部１１５が算出した空間情報に含まれる被写体候補領域に基づき、視覚的顕著度を算出するための探索領域を決定する。図７（ａ）に具体的な探索領域決定の例を示す。図７（ａ）において、図４を用いて説明した通り、被写体候補領域はａ２０１及びａ２０３となっている。探索領域決定部５０１では、この被写体候補領域ａ２０１及びａ２０３を探索領域に決定する。なお、空間情報に被写体候補領域情報が含まれない場合は、被写体領域を探索領域に決定する。

ステップＳ６０２において、被写体内領域設定部５０２は、空間情報算出部１１５が算出した空間情報に含まれる被写体領域情報と探索領域決定部５０１が決定した探索領域に基づき、視覚的顕著度を算出するための被写体内領域を設定する。図７（ａ）に具体的な被写体内領域設定の例を示す。図７（ａ）において、図４を用いて説明した通り、被写体領域はａ２００及びａ２０２となっている。被写体内領域設定部５０２では、この被写体領域ａ２００及びａ２０２を被写体内領域に設定する。

また、被写体領域の大きさは変えずに、被写体領域の位置を探索領域内において所定画素毎、水平及び垂直方向にずらし、例えば、図７（ｂ）のａ２００、ａ３００及びａ３０１のように複数の被写体内領域を設定しても良い。また、被写体領域の位置は変えずに、被写体領域の大きさを探索領域内において所定画素数毎に大きくし、例えば、図７（ｂ）のａ２０２、ａ３０３及びａ３０４のように複数の被写体内領域を設定しても良い。以上のような動作を行うことにより、被写体が存在する可能性のある領域及び被写体の大きさに対して、後述の視覚的顕著度を算出することができる。

ステップＳ６０３において、被写体外領域設定部５０３は、被写体内領域設定部５０２により設定された被写体内領域に基づき、視覚的顕著度を算出するために被写体内領域の外側に被写体外領域を設定する。図７（ａ）に具体的な被写体外領域設定の例を示す。図７（ａ）において、例えば、被写体内領域はａ２００となっている。被写体外領域設定部５０３では、まず、この被写体内領域ａ２００を中心とし、被写体内領域ａ２００よりも大きい領域ａ２０４を設定し、領域ａ２０４から被写体内領域ａ２００を除外した領域を被写体外領域に設定する。領域ａ２０４の大きさは、例えば、被写体内領域ａ２００の一辺の長さや面積の所定数倍とする。また、被写体外領域は、例えば、合焦点を含まない領域に設定しても良い。また、被写体内領域の形状が、円形や三角形であった場合に、被写体外領域の形状も、円形や三角形としても良い。なお、被写体内領域設定部５０２が複数の被写体内領域を設定した場合は、被写体外領域設定部５０３は各々の被写体内領域毎に被写体外領域を設定する。

ステップＳ６０４において、被写体内領域特徴量算出部５０４は、被写体内領域設定部５０２が設定した被写体内領域において、画像データの特徴量を算出する。図８（ａ）に特徴量を算出する被写体内領域を示す。図８（ａ）において、図７を用いて説明した通り、被写体内領域設定部５０２が設定した被写体内領域は、ａ２００及びａ２０２である。そのため、被写体内領域特徴量算出部５０４は、この２つの領域の特徴量を算出する。

ステップＳ６０５において、被写体外領域特徴量算出部５０５は、被写体外領域設定部５０３が設定した被写体外領域において、画像データの特徴量を算出する。図８（ａ）に特徴量を算出する被写体外領域を示す。図８（ａ）において、図７を用いて説明した通り、被写体外領域設定部５０３が設定した被写体外領域は、領域ａ２０４から領域ａ２００を除外した領域、及び、領域ａ２０５から領域ａ２０２を除外した領域である。そのため、被写体外領域特徴量算出部５０５は、この２つの領域の特徴量を算出する。

ここで、被写体内領域特徴量算出部５０４及び被写体外領域特徴量算出部５０５が算出する特徴量とは、領域内の明るさ、色、エッジ強度、明るさヒストグラム、色ヒストグラム及びエッジ強度ヒストグラムのうち少なくとも一つを含む同じ種類の特徴量である。

ステップＳ６０６において、視覚的顕著度算出部５０６は、被写体内領域特徴量算出部５０４が算出した被写体内領域特徴量と、被写体外領域特徴量算出部５０５が算出した被写体外領域特徴量の違いに基づき、視覚的顕著度を算出する。具体的には、特徴量の差分絶対値を評価して視覚的顕著度を算出する。例えば、特徴量が明るさの場合は、被写体内領域の輝度平均値と被写体外領域の輝度平均値の差分絶対値を視覚的顕著度とする。つまり、図８（ａ）の例では、被写体内領域ａ２００の主に黒い鳥の輝度平均値と、被写体外領域の主に空の輝度平均値との差分絶対値を視覚的顕著度とする。また、被写体内領域ａ２０２の主に白い鳥の輝度平均値と、被写体外領域の主に空の輝度平均値との差分絶対値を視覚的顕著度とする。

図８（ｂ）は、視覚的顕著度を示す図であり、被写体内領域ａ２００（黒い鳥）に対応する視覚的顕著度は領域ａ４００、被写体内領域ａ２０２（白い鳥）に対応する視覚的顕著度は領域ａ４０１に示している。また、図８（ｂ）の視覚的顕著度は、白いほど視覚的顕著度が大きく、黒いほど視覚的顕著度が小さいことを示している。

前述の方法により算出した被写体内領域ａ２００（黒い鳥）と被写体内領域ａ２０２（白い鳥）の視覚的顕著度は、黒い鳥と空の方が輝度平均の差分絶対値が大きいため、図８（ｂ）のように白い鳥よりも視覚的顕著度が高くなる。仮に、被写体内領域ａ２００及び対応する被写体外領域の大きさが、実際の被写体（黒い鳥）よりも大き過ぎたり、小さ過ぎたりした場合は、被写体内領域と被写体外領域の輝度平均の差分絶対値が小さくなり、適切に視覚的顕著度を算出することができない。そのため、実際の被写体の位置や大きさに合った、被写体内領域を設定することが必要である。

また、例えば、特徴量が明るさヒストグラムの場合は、被写体内領域の輝度ヒストグラムと被写体外領域の輝度ヒストグラムのビン毎の差分絶対値を算出し、その積算値を視覚的顕著度とする。

また、視覚的顕著度算出部５０６は、被写体候補領域内において設定した複数の被写体内領域及び被写体外領域に対し視覚的顕著度を算出する。複数の被写体内領域が重なる場合は、図８（ｃ）の例のように、重なる被写体内領域の視覚的顕著度は、重なる被写体内領域で算出した複数の視覚的顕著度を平均した値を視覚的顕著度とする。また、重なる被写体内領域で算出した複数の視覚的顕著度のうち、最大の視覚的顕著度を視覚的顕著度としても良い。

ステップＳ６０７において、ステップＳ６０１で決定した全ての探索領域について探索が終了していない場合は、ステップＳ６０２以降の処理を繰り返す。

なお、視覚的顕著度算出部５０６は、被写体内領域の大きさが所定値よりも小さい場合は、視覚的顕著度を算出しなくても良い。また、視覚的顕著度算出部５０６は、被写体内領域が画面中心から所定距離以上離れている（画面端に位置している）場合は、視覚的顕著度を算出しなくても良い。被写体の大きさが小さい場合や被写体が画面端に位置している場合は、注目され難い被写体のためである。以上、注目領域検出部１１６について、説明した。

このように算出した視覚的顕著度は、視覚的に目立つ注目領域であるため、様々な処理の優先度付けのために利用される。例えば、この注目領域に対して、優先的にＡＦ制御を行う処理が挙げられる。

例えば、合焦している複数の被写体が動いた場合に、システム制御部５０は、ＡＦ制御のために算出する位相差の情報と注目領域検出部１１６が検出する注目領域の情報に基づき、注目領域に対応する被写体に優先的に合焦させるようＡＦ制御する。具体的には、図８の例では、黒い鳥と白い鳥が同時に動いた場合に視覚的顕著度が大きい黒い鳥が合焦するよう優先してＡＦ制御を行う。このように注目領域を優先的にＡＦ制御することにより、注目被写体（注目領域）がボケることなく、合焦させることが可能となる。

なお、前述の説明では、被写体領域検出部２０１は、位相差が所定値未満の領域（合焦領域情報）に基づき被写体領域を設定していたが、被写体領域の設定方法はこれに限ったものではない。例えば、システム制御部５０は、位相差が第１範囲（前ピン状態）の領域、位相差が第２範囲（合焦状態）の領域、位相差が第３範囲（後ピン状態）の領域といったように、複数の領域情報を出力する。そして、被写体領域検出部２０１が、各々の領域情報に基づき、被写体領域情報を算出しても良い。

注目領域検出部１１６は、この被写体領域情報に基づき、注目領域を検出する。仮に、注目領域検出部１１６が、前ピン状態の被写体領域を注目領域と検出した場合、システム制御部５０は、非合焦のこの被写体領域を優先して合焦するようにＡＦ制御する。以上のようにＡＦ制御をすることにより、非合焦の注目領域に対し合焦させることが可能となる。

（第２の実施形態）
本発明の第２の実施形態に係わる撮像装置１００は、動領域情報（移動体情報）に応じて決定した被写体の空間情報に基づき、注目領域を検出する。以下、第２の実施形態について説明する。なお、第１の実施形態と同じ符号のものは第１の実施形態と同様の動作、処理を行うものであり、説明は省略する。

第２の実施形態は、図１における空間情報算出部の構成及び動作が第１の実施形態と異なる。その他の構成及び動作は、第１の実施形態と同様のため、説明は省略する。第２の実施形態における空間情報算出部１１５について、図９、図１０及び図１１を参照して詳しく説明する。

図９は、第２の実施形態における空間情報算出部１１５の構成を示す図である。空間情報算出部１１５は、動領域検出部９０１、被写体領域検出部９０２、被写体空間情報生成部９０３を備えて構成される。

図１０は、空間情報算出部１１５の処理を示すフローチャートである。以下、図１０のフローチャートを用いて、空間情報算出部１１５の動作について説明する。

ステップＳ１００１において、撮像部１０３は、図１１（ａ）及び図１１（ｂ）のように、異なる時刻の少なくとも２枚の画像を撮像する。図１１（ａ）は、Ｎフレーム目の画像データ１を示し、図１１（ｂ）は、Ｎ＋１フレーム目の画像データ２を示している。図１１では、移動している野球ボールを撮像した例を示しており、画像データ１と画像データ２は、異なる時刻に撮像されているため、移動している被写体（野球ボール）は、異なる位置に存在している。

ステップＳ１００２において、動領域検出部（動体情報算出部）９０１は、ステップＳ１００１で撮像した２枚（複数枚）の画像間の画素毎にフレーム間差分絶対値を算出する。そして、図１１（ｃ）のように、フレーム間差分絶対値が大きい領域を動領域とする動領域情報を作成する。図１１（ｃ）において、フレーム間差分絶対値が大きい動領域は、白く塗りつぶしている。このような動領域情報を参照することにより、被写体の位置や大きさが分かる。

ステップＳ１００３において、被写体領域検出部９０２は、動領域を被写体領域に設定する。具体的には、図１１（ｃ）のように、各々動領域を包含するように被写体領域ａ５００，ａ５０１，ａ５０２，ａ５０３を設定する。

ステップＳ１００４において、被写体空間情報生成部９０３は、被写体領域検出部９０２が算出した被写体領域情報を空間情報として出力する。

以上、第２の実施形態における空間情報算出部１１５について説明した。本実施形態の注目領域検出部１１６は、第１の実施形態と同様の構成及び動作のため、詳しい説明は省略する。

図１２は、第２の実施形態における注目領域検出部１１６が算出する視覚的顕著度を説明するための図である。第２の実施形態における注目領域検出部１１６は、第１の実施形態と同様の構成及び動作を行うことにより、図１１を用いて説明した空間情報に基づき、図１２（ａ）のような被写体内領域及び被写体外領域を設定する。

ここで、被写体内領域は、図１２（ａ）のａ６００，ａ６０２，ａ６０４，ａ６０６である。被写体内領域ａ６００に対応する被写体外領域は、図１２（ａ）のａ６０１からａ６００を除外した領域である。同様に被写体内領域ａ６０２，ａ６０４，ａ６０６に対応する被写体外領域については、それぞれ、ａ６０３，ａ６０５，ａ６０７からａ６０２，ａ６０４，ａ６０６を除外した領域である。

そして、注目領域検出部１１６は、被写体内領域と被写体外領域との特徴量の違いに基づき、図１２（ｂ）のような視覚的顕著度を算出する。領域ａ７００の視覚的顕著度は、被写体内領域と被写体外領域との特徴量の違いが大きいため、視覚的顕著度は大きな値となる。領域ａ７０１の視覚的顕著度は、被写体内領域と被写体外領域との特徴量の違いが中程度のため、視覚的顕著度は中程度の値となる。領域ａ７０２及び領域ａ７０３の視覚的顕著度は、被写体内領域と被写体外領域との特徴量の違いが小さいため、視覚的顕著度は小さい値となる。

このように算出した視覚的顕著度は、視覚的に目立つ注目領域であるため、様々な処理の優先度付けのために利用される。例えば、この注目領域に対して、優先的にＡＦ制御を行う処理が挙げられる。

例えば、図１２（ａ）のように、複数の動体（野球ボール）が存在していた場合に、システム制御部５０は、ＡＦ制御のために算出する位相差の情報と注目領域検出部１１６が検出する注目領域の情報に基づき、注目領域に対応する被写体に優先的に合焦させるようＡＦ制御する。具体的には、図１２の例では、上側の野球ボールと下側の野球ボールのうち、視覚的顕著度が大きい上側の野球ボールが合焦するよう優先してＡＦ制御を行う。このように注目領域を優先的にＡＦ制御することにより、注目被写体（注目領域）がボケることなく、合焦させることが可能となる。

（第３の実施形態）
本発明の第３の実施形態に係わる撮像装置１００は、顔領域情報に応じて決定した被写体の空間情報に基づき、注目領域を検出する。以下、第３の実施形態について説明する。なお、第１および第２の実施形態と同じ符号のものは第１および第２の実施形態と同様の動作、処理を行うものであり、説明は省略する。

第３の実施形態は、図１における空間情報算出部の構成及び動作が第１および第２の実施形態と異なる。その他の構成及び動作は、第１の実施形態と同様のため、説明は省略する。第３の実施形態における空間情報算出部１１５について、図１３、図１４及び図１５を参照して詳しく説明する。

図１３は、第３の実施形態における空間情報算出部１１５の構成を示す図である。空間情報算出部１１５は、顔検出部１３０１、被写体領域検出部１３０２、被写体空間情報生成部１３０３を備えて構成される。

図１４は、第３の実施形態の空間情報算出部１１５の処理を示したフローチャートである。以下、図１４のフローチャートを用いて、第３の実施形態における空間情報算出部１１５の動作について説明する。

ステップＳ１４０１において、顔検出部１３０１は、画像データ内に存在する顔領域を検出し、顔領域情報（顔検出情報）を出力する。図１５を用いて、顔検出部１３０１について説明する。なお、顔領域の検出は、例えば、目や鼻の学習パターンとのマッチング評価方式等の既知の方式を用いる。顔検出部１３０１は、図１５（ａ）のような画像データが入力され、画像データ内に存在する顔領域を検出し、例えば、図１５（ｂ）のような顔領域情報を出力する。図１５（ｂ）は、画像データを示す図１５（ａ）に対する顔領域情報であり、４つの顔領域は、それぞれａ８００，ａ８０１，ａ８０２，ａ８０３となっている。顔検出部１３０１は、このような顔領域情報を被写体領域検出部１３０２に出力する。

ステップＳ１４０２において、被写体領域検出部１３０２は、顔領域情報に含まれる顔領域を被写体領域に設定する。ステップＳ１４０３において、被写体空間情報生成部１３０３は、被写体領域検出部１３０２が算出した被写体領域情報を空間情報として出力する。

なお、顔検出部１３０１は、顔領域情報として、顔の向きの情報も被写体領域検出部１３０２に出力しても良い。そして、被写体領域検出部１３０２は、入力された顔の向きの情報に基づき、例えば、正面を向いている顔のみを被写体領域に設定し、横顔は被写体領域に設定しなくてもよい。

また、前述の説明では、顔領域を検出する例を説明したが、顔領域の検出に限ったものではない。例えば、人体領域を検出して人体検出情報を用いても良いし、一般的な被写体を検出しても良い。つまり、被写体検出及び認識技術により、被写体の領域が検出できれば良い。

また、前述の説明では、被写体領域検出部１３０２は、顔領域を被写体領域に設定する例について説明したが、顔領域と人体領域を包含する領域を被写体領域に設定しても良い。

また、被写体領域検出部１３０２は、第１の実施形態で説明したシステム制御部５０がＡＦ制御時に算出する位相差情報と顔領域情報に基づき、顔領域と同じ位相差である領域を被写体内領域に設定しても良い。以上、第３の実施形態における空間情報算出部１１５について説明した。本実施形態の注目領域検出部１１６は、第１および第２の実施形態と同様の構成及び動作のため、詳しい説明は省略する。

図１６は、第３の実施形態における注目領域検出部１１６が算出する視覚的顕著度を説明するための図である。第３の実施形態における注目領域検出部１１６は、第１および第２の実施形態と同様の構成及び動作を行うことにより、図１５を用いて説明した空間情報に基づき、図１６（ａ）のような被写体内領域及び被写体外領域を設定する。ここで、被写体内領域は、図１６（ａ）のａ９００，ａ９０２，ａ９０４，ａ９０６である。被写体内領域ａ９００に対応する被写体外領域は、図１２（ａ）のａ９０１からａ９００を除外した領域である。同様に、被写体内領域ａ９０２，ａ９０４，ａ９０６に対応する被写体外領域については、それぞれ、ａ９０３，ａ９０５，ａ９０７からａ９０２，ａ９０４，ａ９０６を除外した領域である。

そして、注目領域検出部１１６は、被写体内領域と被写体外領域との特徴量の違いに基づき、図１６（ｂ）のような視覚的顕著度を算出する。領域ａ１０００の視覚的顕著度は、被写体内領域と被写体外領域との特徴量の違いが大きいため、視覚的顕著度は大きな値となる。領域ａ１００２の視覚的顕著度は、被写体内領域と被写体外領域との特徴量の違いが中程度のため、視覚的顕著度は中程度の値となる。領域ａ１００１及び領域ａ１００３の視覚的顕著度は、被写体内領域と被写体外領域との特徴量の違いが小さいため、視覚的顕著度は小さい値となる。

このように算出された視覚的顕著度は、視覚的に目立つ注目領域であるため、様々な処理の優先度付けのために利用される。例えば、この注目領域に対して、優先的にＡＦ制御を行う処理が挙げられる。

例えば、図１６（ａ）のように、複数の顔が存在していた場合に、システム制御部５０は、ＡＦ制御のために算出する位相差の情報と注目領域検出部１１６が検出する注目領域の情報に基づき、注目領域に対応する顔を優先的に合焦するようＡＦ制御する。具体的には、図１６の例では、４つの顔のうち、視覚的顕著度が大きい、向かって左側の顔が合焦するよう優先してＡＦ制御を行う。このように注目領域を優先的にＡＦ制御することにより、注目被写体（注目領域）がボケることなく、合焦させることが可能となる。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００：撮像装置、１０１：レンズ、１０２：シャッタ、１０３：撮像部、１０５：ＡＦセンサ、１０７：画像処理部、１１５：空間情報算出部、１１６：注目領域検出部、５０：システム制御部、２０１：被写体領域検出部、２０２：被写体候補領域検出部、２０３：被写体空間情報生成部、５０１：探索領域決定部、５０２：被写体内領域設定部、５０３：被写体外領域設定部、５０４：被写体内領域特徴量算出部、５０５：被写体外領域特徴量算出部、５０６：視覚的顕著度算出部

Claims (20)

1. 画像内における被写体が存在すると予想される領域の情報である被写体の空間情報を算出する空間情報算出手段と、
   前記空間情報に基づき、画像内に探索領域を決定する探索領域決定手段と、
   前記探索領域内において、前記探索領域より小さい複数の第１の領域を設定する第１の領域設定手段と、
   前記第１の領域の外側に第２の領域を設定する第２の領域設定手段と、
   前記第１の領域の第１の特徴量を算出する第１の特徴量算出手段と、
   前記第２の領域の前記第１の特徴量と同じ種類の特徴量である第２の特徴量を算出する第２の特徴量算出手段と、
   前記第１の特徴量と前記第２の特徴量の差に基づいて、前記被写体の視覚的な顕著度を算出する顕著度算出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記空間情報は、画像内における被写体の位置及び大きさのうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の領域設定手段は、前記空間情報に含まれる被写体の大きさに基づいて、前記第１の領域の大きさを設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の領域設定手段は、前記空間情報に含まれる被写体の位置に基づいて、前記第１の領域の位置を設定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記探索領域決定手段は、前記空間情報に基づいて、複数の探索領域を決定し、
   前記顕著度算出手段は、前記複数の探索領域のそれぞれにおいて前記顕著度を算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 合焦している領域の情報を算出する合焦情報算出手段をさらに備え、前記空間情報算出手段は、前記合焦している領域の情報に基づいて前記被写体の空間情報を算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記合焦している領域の情報は、合焦動作時の合焦しているか否かの情報に基づいて算出されることを特徴とする請求項６記載の画像処理装置。
8. 移動体の存在する領域の情報を算出する動体情報算出手段をさらに備え、前記空間情報算出手段は、前記移動体の存在する領域の情報に基づいて前記被写体の空間情報を算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
9. 前記移動体の存在する領域の情報は、複数枚の画像間の差分の絶対値に基づいて算出されることを特徴とする請求項８に記載の画像処理装置。
10. 被写体が存在する領域の情報を算出する被写体検出手段をさらに備え、前記空間情報算出手段は、前記被写体が存在する領域の情報に基づいて前記被写体の空間情報を算出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
11. 前記被写体が存在する領域の情報は、顔検出情報及び人体検出情報のうち少なくとも１つに応じて算出されることを特徴とする請求項１０に記載の画像処理装置。
12. 前記視覚的な顕著度に基づいて、画像内の処理対象領域の優先度を設定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記顕著度算出手段は、画面の中心に近い領域のみの視覚的な顕著度を算出することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記顕著度算出手段は、所定値より大きい面積の領域のみの視覚的な顕著度を算出することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記第１および第２の特徴量は、明るさ、色、エッジ強度、明るさヒストグラム、色ヒストグラム、エッジ強度ヒストグラムのうち少なくとも１つを含むことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 画像内における被写体が存在すると予想される領域の情報である被写体の空間情報を算出する空間情報算出手段と、
    前記空間情報に基づき、画像内に探索領域を決定する探索領域決定手段と、
    前記探索領域内において、前記探索領域より小さい複数の第１の領域を設定する第１の領域設定手段と、
    前記第１の領域の外側に第２の領域を設定する第２の領域設定手段と、
    前記第１の領域の第１の特徴量を算出する第１の特徴量算出手段と、
    前記第２の領域の前記第１の特徴量と同じ種類の特徴量である第２の特徴量を算出する第２の特徴量算出手段と、
    前記第１の特徴量と前記第２の特徴量の差に基づいて、注目領域を決定する注目領域決定手段と、
    を備えることを特徴とする画像処理装置。
17. 撮像手段と、
    前記撮像手段で生成された画像内における被写体が存在すると予想される領域の情報である被写体の空間情報を算出する空間情報算出手段と、
    前記空間情報に基づき、画像内に探索領域を決定する探索領域決定手段と、
    前記探索領域内において、前記探索領域より小さい複数の第１の領域を設定する第１の領域設定手段と、
    前記第１の領域の外側に第２の領域を設定する第２の領域設定手段と、
    前記第１の領域の第１の特徴量を算出する第１の特徴量算出手段と、
    前記第２の領域の前記第１の特徴量と同じ種類の特徴量である第２の特徴量を算出する第２の特徴量算出手段と、
    前記第１の特徴量と前記第２の特徴量の差に基づいて、オートフォーカス制御の対象とする注目領域を決定する注目領域決定手段と、
    を備えることを特徴とする撮像装置。
18. 画像内における被写体が存在すると予想される領域の情報である被写体の空間情報を算出する空間情報算出工程と、
    前記空間情報に基づき、画像内に探索領域を決定する探索領域決定工程と、
    前記探索領域内において、前記探索領域より小さい複数の第１の領域を設定する第１の領域設定工程と、
    前記第１の領域の外側に第２の領域を設定する第２の領域設定工程と、
    前記第１の領域の第１の特徴量を算出する第１の特徴量算出工程と、
    前記第２の領域の前記第１の特徴量と同じ種類の特徴量である第２の特徴量を算出する第２の特徴量算出工程と、
    前記第１の特徴量と前記第２の特徴量の差に基づいて、前記被写体の視覚的な顕著度を算出する顕著度算出工程と、
    を有することを特徴とする画像処理方法。
19. 請求項１８に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
20. 請求項１８に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。