JP2015103852A - 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理装置の制御プログラム及び記憶媒体 - Google Patents

Abstract

【課題】 ユーザーの煩雑な操作を必要とせずに、ユーザーの意図した被写体に対して評価領域を設定可能にする。【解決手段】 画像処理装置は、画像データを画像の特徴量に基づいて領域分割し、分割された被写体領域を複数の被写体の種類のいずれかに分類する分割手段と、分割された被写体領域の中から主被写体領域を設定する設定手段とを有する。設定手段は、被写体の種類ごとに設定される優先度に基づいて、分割された被写体領域の中から主被写体領域を設定する。【選択図】 図４

Description

本発明は、画像から焦点調節制御や露出調節制御などに用いる主被写体領域を設定する画像処理装置に関する。

デジタルビデオカメラ等の撮像装置では、画像信号から評価値信号を取得して自動焦点調節（ＡＦ）制御や自動露出調節（ＡＥ）制御を行う。ここでの評価値信号とは、ＡＦ制御の場合は画像信号のコントラスト状態を示すＡＦ評価値、ＡＥ制御の場合は画像信号の明るさを示す輝度信号などである。このような評価値信号を取得するための評価領域（焦点検出領域や測光領域など）は、一般的に画面の中央付近に設定されることが多い。また、顔検出機能を有する撮像装置の場合は、検出した顔に対応する所定の領域に評価領域が優先的に設定されることが一般的である。このような撮像装置では、画面の端の被写体に合わせてピントや露出を調節したい場合には、その被写体が評価領域に含まれるように被写体を中央付近にフレーミングする必要がある。あるいは、評価領域を任意の位置に移動させたり、顔検出機能を無効にしたりするなどの操作が必要となる。

このような操作を不要にする方法として、撮影画像に含まれる色成分の度数分布に基づいて主要となる色成分に属する領域を検出し、検出した領域を主被写体となる評価領域として決定し被写体の合焦評価を行う方法が提案されている（特許文献１参照）。

特開２０１０−１９７９６８号公報

しかしながら、特許文献１の方法では、撮影画像における被写体の面積（大きさ）や被写体の位置が評価領域の設定に大きく影響するため、構図の影響を受けやすい。そのため、被写体の大きさや位置によっては、ユーザーの意図した被写体に評価領域を設定することが困難な場合がある。

本発明は、上記の課題を鑑みてなされたものであり、ユーザーの煩雑な操作を必要とせずに、ユーザーの意図した被写体に対して評価領域を設定可能にすることを目的とする。

上記目的に鑑みて、第１の本発明は、画像の特徴量に基づいて当該画像の被写体領域を分割し、分割された被写体領域を複数の被写体の種類のいずれかに分類する分割手段と、前記分割された被写体領域の中から主被写体領域を設定する設定手段とを有する画像処理装置であって、前記設定手段は、被写体の種類ごとに設定される優先度に基づいて、前記分割された被写体領域の中から主被写体領域を設定することを特徴とする。

第２の本発明は、画像処理装置の制御方法であって、画像の特徴量に基づいて当該画像の被写体領域を分割するステップと、分割された被写体領域を複数の被写体の種類のいずれかに分類する分類ステップと、前記分割された被写体領域の中から主被写体領域を設定する設定ステップとを有し、前記設定ステップにおいて、被写体の種類ごとに設定される優先度に基づいて、前記分割された被写体領域の中から主被写体領域を設定することを特徴とする。

本発明によれば、煩雑な操作を必要としなくとも、ユーザーの意図した被写体に対して評価領域を設定することが可能となる。

実施例１におけるビデオカメラの構成を示すブロック図。 実施例１における主被写体領域決定の優先度設定テーブルを示す概念図。 実施例１におけるカテゴリ別の優先度を指定するメニューを示す概念図。 実施例１におけるカメラマイコンの処理を示すフローチャート。 実施例１における分割領域毎の評価点算出処理を示すフローチャート。 実施例１における領域の重心と画面中心との距離と評価点の関係を示す概念図。 実施例１における領域の大きさと評価点の関係を示す概念図。 実施例１における主被写体領域決定の処理を示すフローチャート。 実施例２におけるビデオカメラの構成を示すブロック図。 実施例２におけるカメラマイコンの処理を示すフローチャート。 実施例３におけるビデオカメラの構成を示すブロック図。 実施例３におけるカメラマイコンの処理を示すフローチャート。 実施例３における撮影条件に応じた優先度変更の処理を示すフローチャート。 実施例３における優先度変更の重み付け係数テーブルを示す概念図。

（実施例１）
以下、本発明の第１の実施例を説明する。本実施例では、撮影画像から主被写体領域を決定し、評価領域の評価信号に基づいて焦点調節を行うカメラについて説明する。図１は、本実施例における画像処理装置を含むビデオカメラ（撮像装置）の構成を示す。本実施例では、ビデオカメラについて説明するが、本発明はデジタルスチルカメラ等の他の撮像装置にも適用できる。

図１において、第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４、及びフォーカスコンペンセータレンズ１０５により、被写体からの光を結像するための撮影光学系が構成されている。変倍レンズ１０２は光軸方向に移動して変倍動作を行う。また、フォーカスコンペンセータレンズ（以下、フォーカスレンズ）１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。

光電変換素子としての撮像素子１０６は、ＣＣＤセンサやＣＭＯＳセンサを備えて構成され、撮影光学系を通過した光が結像して形成された被写体像を光電変換して電気信号を出力する。ＣＤＳ／ＡＧＣ回路１０７は、撮像素子１０６の出力をサンプリングし、ゲインを調整する。カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ回路１０７からの出力信号に対して各種の画像処理を施し、撮像信号を生成する。モニタ１０９は、ＬＣＤ等により構成され、カメラ信号処理回路１０８からの撮像信号を表示する。記録装置１１５は、カメラ信号処理回路１０８からの撮像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

ズーム駆動源１１０は、変倍レンズ１０２を移動させるためのズーム駆動源であり、フォーカシング駆動源１１１は、フォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１１０及びフォーカシング駆動源１１１は、それぞれ、ステッピングモータ、ＤＣモータ、振動型モータ、及びボイスコイルモータ等のアクチュエータにより構成される。

ＡＦゲート１１２は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、焦点検出に用いられる領域（焦点検出領域）の信号のみを通す。本実施例では、ＡＦゲート１１２では後述する主被写体領域決定部１２０で検出した領域を焦点検出領域として設定し、対応する信号を通す。ＡＦ信号処理回路１１３は、ＡＦゲート１１２を通過した信号から高周波成分や輝度差成分（ＡＦゲート１１２を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値を生成する。ＡＦ信号処理回路１１３で生成されたＡＦ評価値は、制御手段であるカメラマイコン１１４に出力される。ＡＦ評価値は、撮像素子１０６からの出力信号に基づいて生成される画像のコントラスト状態を表すものであるが、コントラスト状態は撮影光学系の焦点状態（合焦の程度）によって変化するので、結果的に撮影光学系の焦点状態を表す信号となる。制御手段としてのカメラマイコン１１４は、ビデオカメラ全体の動作の制御を司るとともに、ＡＦ制御部１１７にて、ＡＦ評価値に基づいてフォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させ、焦点調節を行うＡＦ制御を実行する。

次に、領域分割処理回路１１６について説明する。本実施例の領域分割処理回路１１６は、領域分割処理部１２２と、カテゴリ分類処理部１２３と、領域位置・サイズ算出部１２４とを備える。領域分割処理部１２２では、ＣＤＳ／ＡＧＣ回路１０７からの出力信号の特徴量（例えば輝度成分や色成分の情報、境界のエッジなど）を基に、画像を被写体毎の領域に分割する画像処理を施す。

領域分割処理部１２２の出力はカテゴリ分類処理部１２３に入力される。カテゴリ分類処理部１２３では、分割された領域毎に、領域分割処理時に検出した特徴量（例えば輝度成分や色成分、領域の形状、画像内における領域の位置など）に基づいて、分割された領域がどのような被写体であるかを判定し、カテゴリに分類する。本実施例では、一例として「人物」、「自然（山や木）」、「空」、「建物」、「花」、「車」、「その他」といった７種類のカテゴリに分類するものとして説明するが、カテゴリの種類、カテゴリの数はこれに限ったものではない。例えば、「人物」カテゴリをさらに細かい「顔」カテゴリと「体」カテゴリに分類したり、「車」カテゴリと「建物」カテゴリを合わせて「人工物」カテゴリのように粗いカテゴリに分類してもよい。

カテゴリ分類処理部１２３の出力は、次に領域位置・サイズ算出部１２４に入力される。領域位置・サイズ算出部１２４では、領域分割処理部１２２で分割された領域毎に、領域の重心位置と大きさ（例えば画素数）を算出する。その検出結果はカメラマイコン１１４に送信される。

カメラマイコン１１４は、後述するカテゴリ別優先度情報格納部１１８、優先度情報設定部１１９、主被写体領域決定部１２０、ＡＦ制御部１１７を備える。主被写体領域決定部１２０では、領域分割処理回路１１６で分割した領域の中から、分割領域毎の領域の重心位置、大きさ、後述する主被写体として選択する優先度に基づいて、主被写体とする領域を決定する。

ここで、主被写体として選択する優先度について詳細に説明する。この優先度は、ユーザーが撮影を行う際に、撮影画面に写っている被写体のうち、ピントや露出を合わせようとしている被写体、いわゆる主被写体となる領域を、領域分割処理回路１１６にて分割された領域の中から選択する際の優先度合いを表す指標である。優先度は、カテゴリの種類毎に例えば０〜５点の評価点として設定される。また、評価点を直接設定するのではなく、例えば各カテゴリに１〜７位の優先順位づけを行い、順位に応じて評価点を設定するようにしてもよい。

なお、本実施例では、この優先度はカテゴリ毎に被写体の特徴（被写体距離、コントラスト、露出の少なくとも１つを含む）に基づく主被写体らしさを考慮して、あらかじめ０〜５点の評価点を定めておく。そして、カテゴリ別優先度情報格納部１１８にカテゴリの種類と優先度の関係を定義したテーブルデータとして記憶させておくものとする。例えば、一般的にユーザーは至近の被写体を優先して撮影することが多かったり、空や壁などあまり特徴のない（コントラストが低い）被写体を撮影することは少ないといった傾向がある。

このような情報に基づいて、例えば図２で示されるような優先度があらかじめ設定される。図２において、カテゴリＩＤとはカテゴリの種類を表す番号であり、本実施例では順番に０〜６の値を設定するものとする。図２の例では、一般的にユーザーが主被写体としてピントを合わせて撮影する可能性が高いと推定される「人物」カテゴリは優先度を５点に設定される。次いで主被写体として撮影する可能性が高い「自然」カテゴリ、「建物」カテゴリ、「花」カテゴリなどは４点に設定される。一方、主被写体としてピントを合わせる可能性が低いと推定される「空」カテゴリや「その他」カテゴリは優先度が１点に設定される。

また、上記の優先度テーブルデータとは別に、ユーザーがカテゴリ毎の優先度を任意に設定できるような優先度設定指示手段１２１を設けてもよい。例えば、カメラの設定メニューの中に図３のようなカテゴリ別に優先度を設定できるメニューを設け、カテゴリ毎に０〜５点の評価点をユーザーが指定する。このような設定メニューを設けることで、ユーザーがより主被写体として撮影したい被写体を優先して自動的に主被写体を選択することが可能となる。

優先度情報設定部１１９は、カテゴリ別優先度情報格納部１１８に格納されているテーブルデータ、あるいは優先度設定指示手段１２１により指定されたカテゴリ毎の評価点を、カテゴリ毎の優先度情報として設定する。主被写体領域決定部１２０は、このカテゴリ毎の優先度情報に基づく評価点の他に、分割領域毎の重心位置、大きさに基づいて評価点を設定し、それぞれの評価点を所定の比率で加算し、評価点の一番高いカテゴリの領域を主被写体領域として決定する。例えば、主被写体領域決定部１２０は、画面中心から分割領域の重心位置までの距離に応じて評価点を設定し、画面中心に近いほど高い評価点を設定するものとする。また、例えば、主被写体領域決定部１２０は、分割領域の大きさに応じて評価点を設定し、領域の大きさが大きいほど高い評価点を設定するものとする。なお、主被写体領域決定のフローや詳細については後述する。カメラマイコン１１４は、主被写体領域決定部１２０の出力結果に基づき、撮影画面内の主被写体領域に焦点検出領域を設定するようにＡＦゲート１１２へ情報を送信する。また、カメラマイコン１１４はＡＦ制御部１１７において、ＡＦゲート１１２を通して取得したＡＦ評価値に基づいてＡＦ制御を行う。

次に、本実施例の全体の処理について、図４を用いて説明する。図４は画像から主被写体領域を決定し、ＡＦ制御を行うまでの処理の流れを表しており、この処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。Ｓｔｅｐ４０１は処理の開始を示している。

Ｓｔｅｐ４０２では、撮像画像を取得する。取得する画像は撮像素子１０６から読み出した全画素で構成される画像でもよいし、画素を間引いた画像でも、解像度を落としたサイズの小さい画像でもよい。

Ｓｔｅｐ４０３においては、Ｓｔｅｐ４０２で取得した画像を領域分割処理回路１１６の領域分割処理部１２２に通して画像処理を施し、被写体領域毎に分割する。この際、分割された領域毎に後述する領域の重心位置や大きさ、カテゴリ情報などを格納するための構造体配列Ｏｂｊｅｃｔを準備することとする。本実施例では、構造体配列Ｏｂｊｅｃｔの要素数は領域分割された領域の数とする。また、構造体のメンバには分割された領域のカテゴリの種類を表すカテゴリＩＤ番号Ｃａｔｅｇｏｒｙ、領域の重心位置のＸ座標ＰｏｓＸ、Ｙ座標ＰｏｓＹ、領域の大きさＳｉｚｅ、主被写体として選択する優先度Ｐｒｉｏｒｉｔｙ、主被写体決定のための評価点Ｓｃｏｒｅが含まれる。

Ｓｔｅｐ４０４では、Ｓｔｅｐ４０３で分割された領域を画像の特徴量（例えば輝度成分や色成分、領域の形状、画像内における領域の位置など）に基づいて分類し、あらかじめ登録してあるカテゴリの種類がわかるＩＤ番号やタグなどの情報を付与する。本実施例では、例えば、「人物」、「自然（山や木）」、「空」、「建物」、「花」、「車」、「その他」の７つのカテゴリに分類し、それぞれ順番にＩＤ番号０〜６を付与するものとして説明するが、この方法に限られない。分類されたカテゴリのＩＤ番号はＯｂｊｅｃｔ［ｉ］．Ｃａｔｅｇｏｒｙに格納するものとする。ここで配列のインデックスｉは０〜（分割領域数−１）の値をとり、分割された領域が区別できるＩＤ番号を意味する。

Ｓｔｅｐ４０５では、Ｓｔｅｐ４０３で分割された領域毎に重心位置ＰｏｓＸ、ＰｏｓＹと領域の大きさＳｉｚｅを算出する。算出した重心位置ＰｏｓＸ、ＰｏｓＹとＳｉｚｅを構造体配列Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＸ、Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＹおよびＯｂｊｅｃｔ［ｉ］．Ｓｉｚｅにそれぞれ格納することとする。なお、Ｓｔｅｐ４０３からＳｔｅｐ４０５の処理をカメラマイコン１１４とは別に領域分割処理のみを行う専用のマイコンで実行するようにしても、ハードウェアで回路を構成して領域分割処理を行うようにしてもよい。

次に、Ｓｔｅｐ４０６では、カメラマイコン１１４のカテゴリ別優先度情報格納部１１８に格納されている優先度テーブルデータを読み込む。そして、カテゴリＩＤ番号Ｏｂｊｅｃｔ［ｉ］．Ｃａｔｅｇｏｒｙに応じて優先度ＰｒｉｏｒｉｔｙをＯｂｊｅｃｔ［ｉ］．Ｐｒｉｏｒｉｔｙに設定する。あるいは、優先度設定指示手段１２１で指定されたカテゴリ別の優先度をＯｂｊｅｃｔ［ｉ］．Ｐｒｉｏｒｉｔｙに設定する。

Ｓｔｅｐ４０７では、領域の重心位置、大きさ、優先度に基づいて分割領域毎に主被写体領域を判定するための評価点を算出する。Ｓｔｅｐ４０７で行う処理の詳細な動作の流れについては後述する。

Ｓｔｅｐ４０８では、Ｓｔｅｐ４０７で算出した評価点に基づいて主被写体領域を決定し、Ｓｔｅｐ４０９へと遷移する。Ｓｔｅｐ４０８で行う処理の細かい動作の説明は後述する。

Ｓｔｅｐ４０９では、Ｓｔｅｐ４０８で決定した主被写体領域にＡＦ制御で用いるＡＦ評価値信号を取得するための焦点検出領域を設定する。本実施例では、Ｓｔｅｐ４０８で決定された主被写体領域の重心位置Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＸ、Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＹと大きさＯｂｊｅｃｔ［ｉ］．ＳｉｚｅがＡＦゲート１１２に送信される。これにより、焦点検出領域は重心位置と大きさに基づいた矩形の評価領域が設定されるものとする。ただし、これに限らず、例えば、主被写体領域の形状に合わせて焦点検出領域を設定してもよい。また、ユーザーにどの領域が焦点検出領域として設定されているかがわかるように、枠を表示したり、選択されている領域の境界を強調表示するようにしてもよい。

Ｓｔｅｐ４１０では、Ｓｔｅｐ４０９で設定した焦点検出領域の画像信号より生成されるＡＦ評価値に基づいてＡＦ制御を行い、Ｓｔｅｐ４１１へと進み処理を終了する。Ｓｔｅｐ４１０で実行するＡＦ制御は一般的なコントラストＡＦ制御であり、詳細な動作については割愛する。

ここで、Ｓｔｅｐ４０７で行う分割領域毎の評価点算出処理について、図５のフローを用いて詳細に説明する。この処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。Ｓｔｅｐ５０１は処理の開始を示している。

Ｓｔｅｐ５０２では、Ｓｔｅｐ５０３以降で行うループ処理に用いるインデックスのカウンタｉを０にクリアする。Ｓｔｅｐ５０３では、カウンタｉが分割領域数より小さいか否かを判定し、小さい場合はＳｔｅｐ５０４へ進み、小さくない場合はループ処理が終了したとしてＳｔｅｐ５０４以降の処理を飛ばし、Ｓｔｅｐ５１２へ遷移し処理を終了する。

Ｓｔｅｐ５０４では、Ｓｔｅｐ４０５で算出された分割領域毎の領域の重心位置Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＸ、Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＹを取得する。Ｓｔｅｐ５０５では、取得した領域の重心位置と画面中心位置との距離に基づいて、重心位置に基づく評価点ＳｃｏｒｅＡを算出する。領域の重心位置（Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＸ、Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＹ）と画面中心位置（ＣｅｎｔｅｒＰｏｓＸ、ＣｅｎｔｅｒＰｏｓＹ）との距離Ｄｉｓｔａｎｃｅは式１で計算する。
Ｄｉｓｔａｎｃｅ＝√（Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＸ−ＣｅｎｔｅｒＰｏｓＸ）^２＋（Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＹ−ＣｅｎｔｅｒＰｏｓＹ）^２・・・式１
上記計算式で算出したＤｉｓｔａｎｃｅは、０に近いほど、領域が画面中央付近にあることを表す。ここで、図６のグラフは、横軸が距離Ｄｉｓｔａｎｃｅ、縦軸が評価点ＳｃｏｒｅＡを示している。例えば図６に示したように画面中央に近いほど評価点ＳｃｏｒｅＡが高くなるように設定した関係式から評価点を算出する。本実施例では、図６に示したように領域の重心位置が画面中央付近に近いうちは評価点ＳｃｏｒｅＡはあまり変化させず、画面中央から離れていくと評価点が低くなるように設定するものとするが、これに限られるものではない。例えば、画面中央から離れると評価点が急激に下がるように設定してもよいし、距離Ｄｉｓｔａｎｃｅと比例するように設定してもよい。また、関係式ではなく、距離Ｄｉｓｔａｎｃｅと評価点ＳｃｏｒｅＡを対応づけた離散的なテーブルデータを持ち、距離Ｄｉｓｔａｎｃｅに応じて評価点ＳｃｏｒｅＡを読み出すようにしてもかまわない。

次にＳｔｅｐ５０６では、Ｓｔｅｐ４０５で算出された分割領域毎の領域の大きさＯｂｊｅｃｔ［ｉ］．Ｓｉｚｅを取得する。Ｓｔｅｐ５０７では、取得した領域の大きさＯｂｊｅｃｔ［ｉ］．Ｓｉｚｅに基づいて、大きさに基づく評価点ＳｃｏｒｅＢを算出する。ここで、図７のグラフは、横軸が領域の大きさＳｉｚｅ、縦軸が評価点ＳｃｏｒｅＢを示している。評価点ＳｃｏｒｅＢは、図７に示すように大きさＳｉｚｅが大きいほど高く、ある所定の大きさ以上は一定の評価点になるように設定した関係式から算出するものとする。この評価点ＳｃｏｒｅＢの関係式も評価点ＳｃｏｒｅＡと同様、これに限られず別の関係式でもよく、大きさＳｉｚｅと評価点ＳｃｏｒｅＢを対応づけた離散的なテーブルデータを持つようにしてもよい。

Ｓｔｅｐ５０８では、Ｓｔｅｐ４０６で設定した領域毎の優先度Ｏｂｊｅｃｔ［ｉ］．Ｐｒｉｏｒｉｔｙを取得する。Ｓｔｅｐ５０９では、取得した領域毎の優先度Ｏｂｊｅｃｔ［ｉ］．Ｐｒｉｏｒｉｔｙに基づいて、優先度に基づく評価点ＳｃｏｒｅＣを算出する。本実施例では、Ｓｔｅｐ４０６で設定した優先度Ｏｂｊｅｃｔ［ｉ］．Ｐｒｉｏｒｉｔｙの値をそのまま評価点ＳｃｏｒｅＣとして扱うこととするが、これに限定されない。

Ｓｔｅｐ５１０では、Ｓｔｅｐ５０５、Ｓｔｅｐ５０７、Ｓｔｅｐ５０９で算出した３つの評価点を基に、主被写体領域決定処理において判定に用いる評価点（評価値）Ｏｂｊｅｃｔ［ｉ］．Ｓｃｏｒｅを式２により算出する。
Ｏｂｊｅｃｔ［ｉ］．Ｓｃｏｒｅ＝ＳｃｏｒｅＡ＊α＋ＳｃｏｒｅＢ＊β＋ＳｃｏｒｅＣ＊γ ・・・式２

ここで、それぞれの評価点に乗算するα、β、γは、どの評価点の重みづけを大きくするかを決める重みづけ係数である。α、β、γは、例えばそれぞれが０．０〜１．０の値を取るものとしてもよいし、α＋β＋γの値が合計１．０になるようにそれぞれの係数を決めてもよい。本実施例では、各係数が０．０〜１．０の値を取るものとし、さらにカテゴリの優先度に基づく評価点ＳｃｏｒｅＣの重みづけを大きくするため、γの値が一番大きくなるように設定するものとする。このように評価点ＳｃｏｒｅＣの重みを大きくすることで、対象領域が画面の中央付近になく、また領域の大きさが小さい場合でも、主被写体としての優先度が高いカテゴリの領域ほど評価点が高くなる。そのため、後述する主被写体決定処理において主被写体領域として決定されやすくなり、構図によらずユーザーが意図した被写体にピントを合わせやすくすることができる。

また、評価点Ｏｂｊｅｃｔ［ｉ］．Ｓｃｏｒｅの計算方法は式２に限らず、例えば、式３に示すようにそれぞれの評価点を乗算して求めるようにしてもよい。
Ｏｂｊｅｃｔ［ｉ］．Ｓｃｏｒｅ＝ＳｃｏｒｅＡ＊ＳｃｏｒｅＢ＊ＳｃｏｒｅＣ ・・・式３

また、式４のように重心位置に基づく評価点ＳｃｏｒｅＡと大きさに基づくＳｃｏｒｅＢを加算したものに、優先度に基づく評価点ＳｃｏｒｅＣを乗算して求めてもよい。
Ｏｂｊｅｃｔ［ｉ］．Ｓｃｏｒｅ＝（ＳｃｏｒｅＡ＋ＳｃｏｒｅＢ）＊ＳｃｏｒｅＣ ・・・式４

なお、式３および式４において、各評価点ＳｃｏｒｅＡ、ＳｃｏｒｅＢ、ＳｃｏｒｅＣにはあらかじめ重み付け係数α、β、γをそれぞれ乗算するようにしてもよい。このように、より意図した主被写体領域が決定できるように、評価点計算の方法は適宜変形可能である。

Ｓｔｅｐ５１１では、カウンタｉをインクリメントして、Ｓｔｅｐ５０３に戻る。以上の処理により、分割された領域毎に主被写体領域決定処理で判定に用いられる評価点が算出される。

次に、Ｓｔｅｐ４０８で行う主被写体領域決定処理について図８のフローを用いて詳細に説明する。この処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。Ｓｔｅｐ８０１は処理の開始を示している。

Ｓｔｅｐ８０２では、分割領域毎の評価点Ｏｂｊｅｃｔ［ｉ］．Ｓｃｏｒｅのうち最大となる評価点を保持するための評価点バッファＳｃｏｒｅＢｕｆを領域０の評価点Ｏｂｊｅｃｔ［０］．Ｓｃｏｒｅで初期化する。また、主被写体領域とする領域のＩＤ番号ＭａｉｎＯｂｊｅｃｔＩＤを０で初期化する。

Ｓｔｅｐ８０３では、Ｓｔｅｐ８０４以降で行うループ処理に用いるインデックスのカウンタｉを１にする。Ｓｔｅｐ８０４では、カウンタｉが分割領域数より小さいか否かを判定し、小さい場合はＳｔｅｐ８０５へ進み、小さくない場合はループ処理が終了したとしてＳｔｅｐ８０５からＳｔｅｐ８０７の処理を飛ばし、Ｓｔｅｐ８０８へ遷移する。

Ｓｔｅｐ８０５では、評価点バッファＳｃｏｒｅＢｕｆと領域ｉの評価点Ｏｂｊｅｃｔ［ｉ］．Ｓｃｏｒｅを比較する。領域ｉの評価点の方が高い場合はＳｔｅｐ８０６へ進み、高くない場合はＳｔｅｐ８０６の処理を飛ばし、Ｓｔｅｐ８０７へ遷移する。

Ｓｔｅｐ８０６では、評価点バッファＳｃｏｒｅＢｕｆを領域ｉの評価点Ｏｂｊｅｃｔ［ｉ］．Ｓｃｏｒｅで更新し、主被写体領域とする領域のＩＤ番号ＭａｉｎＯｂｊｅｃｔＩＤをｉとする。Ｓｔｅｐ８０７では、カウンタｉをインクリメントして、Ｓｔｅｐ８０４に戻る。Ｓｔｅｐ８０４からＳｔｅｐ８０７の処理を行うことで、分割された領域の中で評価点が最も高い領域のＩＤ番号を求めることができる。

Ｓｔｅｐ８０８では、領域のＩＤ番号がＭａｉｎＯｂｊｅｃｔＩＤである領域を主被写体領域として、Ｓｔｅｐ８０９に進み処理を終了する。

以上のように、本実施例では、撮影した画像の特徴から被写体毎の領域に分割した後、分割された領域の重心位置、大きさの情報に加え、被写体の種類を表すカテゴリに応じてあらかじめ設定される優先度情報に基づいて主被写体領域を決定する。これにより、被写体の画面内の位置や被写体の大きさに関わらず、また煩わしい操作を必要とせずと、ユーザーが主被写体として注目している可能性が高い被写体領域に焦点検出領域などの評価領域を設定することが可能になる。そして、その評価領域の信号を用いてＡＦ制御を行うことにより、ユーザーの意図した被写体にピントを合わせることができる。

（実施例２）
実施例１では、決定した主被写体領域に焦点検出領域を設定しＡＦ制御を行うことについて説明した。一方、本実施例では、主被写体領域に露出調節のための測光領域を設定し、ＡＥ制御により露出を合わせることについて説明する。

図９では、本実施例における画像処理装置を含むビデオカメラ（撮像装置）の構成を示す。本実施例ではＡＦゲート１１２の代わりにＡＥゲート１２６、ＡＦ信号処理回路１１３の代わりにＡＥ信号処理回路１２７、ＡＦ制御部１１７の代わりにＡＥ制御部１２８を有し、さらに絞り１０３を駆動させるための絞り駆動源１２５を備えるものとして説明する。但し、実施例１の構成と同様に、本実施例でもＡＦゲート１１２やＡＦ信号処理回路１１３、ＡＦ制御部１１７、フォーカシング駆動源１１１などを備えていてもかまわない。その他の構成要素は実施例１と同じであり、共通する構成要素には実施例１と同符号を付している。

ＡＥゲート１２６は、ＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち、明るさ検出に用いられる領域（測光領域）の信号のみを通す。ＡＥ信号処理回路１２７は、ＡＥゲート１２６を通過した信号から輝度成分を抽出してＡＥ評価値を生成する。ＡＥ評価値は、制御手段であるカメラマイコン１１４に出力される。カメラマイコン１１４は、ビデオカメラ全体の動作の制御を司るとともに、ＡＥ制御部１２８にて、ＡＥ評価値に基づいて露出調節を行うＡＥ制御を行う。

絞り駆動源１２５は、絞り１０３を駆動させるためのアクチュエータ及びそのドライバを含む。ＣＤＳ／ＡＧＣ回路１０７によって読み出された信号から画面内の測光領域の輝度値を取得するため、ＡＥ信号処理回路１２７により測光値が取得され、演算により正規化される。そして、ＡＥ制御部１２８により、測光値と適正な露出が得られるように設定された目標値との差分が算出される。その後、算出した差分から絞りの補正駆動量を算出し、ＡＥ制御部１２８により絞り駆動源１２５の駆動を制御し絞り１０３の開口径を変化させることで露出調節を行う。また、ＡＥ制御部は、絞り駆動源１２５の制御以外に、撮像素子１０６の露光時間を調節したり、ＣＤＳ／ＡＧＣ回路１０７を制御して撮像信号のレベルを調節することでも露出調節を行う。

続いて、本実施例の制御フローについて図１０を用いて説明する。この処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。図１０のフローは基本的に図４のフローと同じであるが、主被写体領域決定後のＡＥ制御について説明するため、Ｓｔｅｐ１００９およびＳｔｅｐ１０１０は、それぞれ測光領域の設定とＡＥ評価値に基づくＡＥ制御に変わっている。それ以外の処理Ｓｔｅｐ１００１〜Ｓｔｅｐ１００８は、図４のＳｔｅｐ４０１〜Ｓｔｅｐ４０８と同じなので割愛する。

Ｓｔｅｐ１００９では、Ｓｔｅｐ１００８で決定した主被写体領域にＡＥ制御で用いるＡＥ評価値信号を取得するための測光領域を設定する。本実施例では、Ｓｔｅｐ１００８で決定された主被写体領域の重心位置Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＸ、Ｏｂｊｅｃｔ［ｉ］．ＰｏｓＹと大きさＯｂｊｅｃｔ［ｉ］．ＳｉｚｅがＡＥゲート１２６に送信される。これにより、測光領域は実施例１の焦点検出領域設定と同様に、重心位置と大きさに基づいた矩形の評価領域が設定される。ただし、これに限らず、例えば主被写体領域の形状に合わせて測光領域を設定してもよい。また、実施例１の焦点検出領域と同様に、ユーザーにどの領域が測光領域として設定されているかがわかるように、枠を表示したり、選択されている領域の境界を強調表示するようにしてもよい。

Ｓｔｅｐ１０１０では、Ｓｔｅｐ１００９で設定した測光領域の画像信号より生成されるＡＥ評価値に基づいてＡＥ制御を行い、Ｓｔｅｐ１０１１へと進み処理を終了する。

以上説明したように、本実施例では、実施例１と同様の主被写体領域の決定方法を用いて決定された主被写体領域を露出調節制御に適用する。したがって、ユーザーの意図した被写体に対して適切な露出調節を行うことが可能になる。なお、上述の方法で決定された主被写体領域は、焦点調節制御と露出調節制御の両方に適用してもよい。また、焦点調節制御や露出調節制御以外にも、ホワイトバランス調節などの色調節制御などにも適用することができる。

（実施例３）
実施例１および２では、カテゴリ別にあらかじめ決められた優先度情報を用いて主被写体領域を決定し、その領域の評価信号に基づいて焦点調節制御または露出調節制御を行う場合について説明した。本実施例では、上記の実施例に加えて、過去の撮影履歴情報や選択されている撮影モード、カメラの制御状態に応じて、優先度情報を随時変更し、ユーザーが撮影する際の意図を汲んで、より最適な主被写体領域を決定する場合について説明する。

なお、実施例３では、実施例２と同様に露出調節制御を行う場合について説明するが、実施例１のように焦点調節制御を行う場合や、焦点調節制御と露出調節制御の両方を行う場合、色調節制御などを行う場合にも適用できる。

図１１では、本実施例における画像処理装置を含むビデオカメラ（撮像装置）の構成を示す。本実施例のカメラシステムの構成は基本的に実施例２と同じであるが、カテゴリ別撮影頻度算出部１２９、優先度変更部１３０、撮影条件判定部１３１をカメラマイコン１１４内に有する。カテゴリ別撮影頻度算出部１２９は、記録装置１１５に記録されている画像データからカテゴリ別の撮影頻度を算出する。優先度変更部１３０は、撮影モードやカメラの制御状態に応じて優先度情報を変更する。撮影条件判定部１３１は、カメラの撮影モードやカメラの制御状態などの撮影条件を判定する。また、さらにカメラマイコン１１４に撮影モードの切り替え指示を行う撮影モード切替手段１３２と、カメラが手持ち状態か否か、パンニング状態か否かを判定する手振れ状態を検出するための手振れ検出手段１３３を備える。

カテゴリ別撮影頻度算出部１２９は、記録装置１１５に記録されている画像データを分析し、カテゴリ毎の撮影頻度を算出する。本実施例のカテゴリ別撮影頻度算出部１２９では、記録装置１１５に記録されている画像データを領域分割処理回路１１６を通してカテゴリに分類する。そして、画面の所定の範囲内、例えば画面中央付近の矩形内に含まれているカテゴリの検出回数をカウントし、カテゴリ別に検出回数を算出することで撮影頻度を求めるものとする。一般的に主被写体を画面の中央に捉えて撮影するという傾向があるため、画面中央の所定範囲内に捉えられている被写体のカテゴリの頻度が高ければ、ユーザーにとってそのカテゴリに分類される被写体を主被写体として撮影する優先度が高いということになる。また、記録装置１１５の画像データを分析して撮影頻度を算出するのではなく、撮影時に主被写体領域決定部１２０により主被写体領域として決定された回数をカテゴリ毎に撮影履歴として不図示のメモリ等に記憶し、その履歴情報を撮影頻度として算出してもよい。

優先度変更部１３０は、後述する撮影条件判定部１３１にて判定された撮影条件に応じて、優先度情報設定部１１９で設定された優先度の評価点に所定の重みづけ係数をかけて評価点を変更する。撮影条件判定部１３１では、後述する撮影モード切替手段１３２により切り替えられた撮影モード、手振れ検出手段１３３で検出された手振れ状態、あるいは変倍レンズ１０２の位置で決まる焦点距離などのカメラの撮影条件を判定する。そして、優先度変更部１３０にて優先度を変更する。

続いて、本実施例の制御フローについて図１２を用いて説明する。この処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。図１２のフローは基本的に図１０のフローと同じであるが、Ｓｔｅｐ１２０６のカテゴリ毎の撮影頻度を算出する処理およびＳｔｅｐ１２０８の撮影条件に応じた優先度変更処理が加わっている。それ以外の処理Ｓｔｅｐ１２０１〜Ｓｔｅｐ１２０５およびＳｔｅｐ１２０９〜Ｓｔｅｐ１２１３は、図１０のＳｔｅｐ１００１〜Ｓｔｅｐ１００５およびＳｔｅｐ１００７〜Ｓｔｅｐ１０１１と同じなので割愛する。

図１２のＳｔｅｐ１２０６で行う撮影頻度の算出について説明する。本実施例では、記録装置１１５に記録されている画像データを領域分割処理回路１１６を通して領域分割およびカテゴリ分類する。カテゴリ別撮影頻度算出部１２９において、分割結果から画面中央の所定の範囲内に含まれているカテゴリの検出回数をカウントし、カテゴリ別に検出回数を算出することで撮影頻度を求める。撮影頻度の算出処理の対象とする画像データは、記録装置１１５に記録されている全画像データでも、一部のデータ、例えば同じ日付の画像データに限定してもよい。また、対象の画像データが動画の場合は、一つの動画データ全時間から頻度を算出することは難しいので、所定時間間隔毎に複数枚の画像データを抽出し、その画像データに基づいて撮影頻度を算出するものとする。

Ｓｔｅｐ１２０７では、Ｓｔｅｐ１２０６で算出された撮影頻度が高いものほど優先度を高く設定する。例えば、撮影頻度が高い順に並べて、上位３つのカテゴリを５点、４点、３点とし、それ以外は０点と設定してもよいし、所定の撮影頻度以上のカテゴリは５点に、それ以下のカテゴリは１点に設定するなどしてもよい。ただし、このように画面の所定の範囲内に含まれるカテゴリの登場回数を求める場合、背景などに写り込みやすい「自然」カテゴリや「空」カテゴリの撮影頻度が高くなってしまうことが考えられる。そこで、上記の方法ではなく、過去に主被写体領域として選択された回数をカテゴリ毎に記憶しておき、その回数が多いカテゴリほど優先度を高くするようにしてもよい。

次にＳｔｅｐ１２０８では、Ｓｔｅｐ１２０７で設定された優先度を撮影条件に応じて変更する処理を行う。

ここで、撮影条件に応じた優先度変更処理について図１３を用いて詳しく説明する。この処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。Ｓｔｅｐ１３０１は処理の開始を示している。

Ｓｔｅｐ１３０２では、図１２のＳｔｅｐ１２０７で設定されたカテゴリ別の優先度情報Ｐｒｉｏｒｉｔｙを読み込む。Ｓｔｅｐ１３０３では、現在の撮影モードが何であるかを判定し、撮影モードに応じてＳｔｅｐ１３０４〜Ｓｔｅｐ１３０６のそれぞれへ分岐する。本実施例では、撮影モードとして、「人物」を優先して主被写体にする「人物優先モード」と、「自然」や「空」などの風景を優先する「風景優先モード」と、「人物」や「車」などの動体を優先する「動体優先モード」を有するものとして説明する。なお、これ以外のモードや、例えば「自然」カテゴリをさらに細分化して「花」を優先する「花優先モード」などがあってもよい。Ｓｔｅｐ１３０３で撮影モードが「人物優先モード」と判定された場合はＳｔｅｐ１３０４に、「風景優先モード」と判定された場合はＳｔｅｐ１３０５に、「動体優先モード」と判定された場合はＳｔｅｐ１３０６に進む。

Ｓｔｅｐ１３０４では、Ｓｔｅｐ１３０２で読み込んだカテゴリ別の優先度情報Ｐｒｉｏｒｉｔｙに乗算するための撮影モードに応じた重みづけ係数ε１に「人物優先モード」の重みづけ係数を設定する。

ここで、優先度変更の重み付け係数テーブルの例を図１４に示す。本実施例の重みづけ係数は、図１４に示すように撮影モードおよび手振れ状態、焦点距離などのカメラの撮影条件毎にあらかじめ決めておいたカテゴリ別の係数テーブルデータから読み込み設定するものとする。なお、撮影モードに応じた重み係数は、選択されたモードによって優先する被写体があらかじめ決まっているため、そのカテゴリの優先度が高くなるように係数を設定している。

また、手振れ状態に応じた重み係数については、三脚固定の場合は固定した画角で撮影している状態と考え、「自然」や「建物」などの静止物のカテゴリの優先度が高くなるように設定している。一方、手持ち撮影中（手振れ状態）やパンニング中の場合は、動的に被写体を追いながら撮影しているものと考え、「人物」や「車」などの動体のカテゴリの優先度が高くなるように設定している。

また、焦点距離に応じた重み係数については、ワイド側であれば、広い範囲を撮影していると推測されるため、「自然」や「建物」の優先度を高く設定している。ワイド側の場合、室内において広角で撮影していることも想定して、「人物」の優先度も高めに設定している。これらの重み付け係数の設定は図１４の例に限られず、撮影の目的を考慮して他の設定でもかまわない。

図１３に戻り、Ｓｔｅｐ１３０５では、撮影モードに応じた重みづけ係数ε１に「風景優先モード」の重みづけ係数を、Ｓｔｅｐ１３０６では、撮影モードに応じた重みづけ係数ε１に「動体優先モード」の重みづけ係数をそれぞれ設定する。

Ｓｔｅｐ１３０７では、手振れ検出手段１３３の検出結果に基づいて手振れ状態を判定し、手振れ状態に応じてＳｔｅｐ１３０８〜Ｓｔｅｐ１３１０のそれぞれへ分岐する。本実施例では、手振れ状態として、「三脚固定状態」、「手持ち状態」、「パンニング中」の３つの状態を有するものとして説明する。「三脚固定状態」は、手振れが起こっていないことを検出してカメラが三脚に固定されていると判定された状態である。「手持ち状態」は、手振れを検出することでカメラを手持ちで撮影していると判定された状態である。「パンニング中」は、意図的にカメラの向きを変えていると判定された状態である。なお、手ぶれ状態の判定については、これに限るものではない。Ｓｔｅｐ１３０７で手振れ状態が「三脚固定状態」と判定された場合はＳｔｅｐ１３０８に、「手持ち状態」と判定された場合はＳｔｅｐ１３０９に、「パンニング中」と判定された場合はＳｔｅｐ１３１０に進む。

Ｓｔｅｐ１３０８では、手振れ状態に応じた重みづけ係数ε２に「三脚固定状態」の重みづけ係数を設定する。Ｓｔｅｐ１３０９では、手振れ状態に応じた重みづけ係数ε２に「手持ち状態」の重みづけ係数を、Ｓｔｅｐ１３１０では、手振れ状態に応じた重みづけ係数ε２に「パンニング中」の重みづけ係数をそれぞれ設定する。

次に、Ｓｔｅｐ１３１１では、変倍レンズ１０２の位置によって決まる焦点距離に応じて、Ｓｔｅｐ１３１２またはＳｔｅｐ１３１３へと分岐する。カメラマイコン１１４においてズーム駆動源１１０を駆動して変倍レンズ１０２の駆動制御を行うことで、ズーム位置の変更を行うことができる。その駆動制御時のズーム駆動量に基づいて現在の変倍レンズ１０２の位置を取得してもよいし、不図示の位置センサを取り付けて、そのセンサ出力から変倍レンズ１０２の位置を取得するようにしてもよい。Ｓｔｅｐ１３１１で焦点距離が所定の焦点距離よりも「ワイド側」と判定された場合はＳｔｅｐ１３１２に、「テレ側」と判定された場合はＳｔｅｐ１３１３に進む。Ｓｔｅｐ１３１２では、焦点距離に応じた重みづけ係数ε３に「ワイド側」の重みづけ係数を設定し、Ｓｔｅｐ１３１３では、焦点距離に応じた重みづけ係数ε３に「テレ側」の重みづけ係数を設定する。

Ｓｔｅｐ１３１４では、優先度Ｐｒｉｏｒｉｔｙに撮影モードに応じた重み係数ε１、手振れ状態に応じた重み係数ε２、焦点距離に応じた重み係数ε３をそれぞれ乗算することで最終的な優先度情報を算出し、Ｓｔｅｐ１３１５に進み処理を終了する。

なお、Ｓｔｅｐ１３１４における優先度Ｐｒｉｏｒｉｔｙの計算方法は、それぞれの重み係数を加算したものを優先度Ｐｒｉｏｒｉｔｙに乗算するようにしたり、それぞれの重み係数のうち最も高い重み係数のみを乗算するようにする等、最適な計算方法にしてよい。また、本実施例では優先度の重み付けを撮影モード、手振れ状態、焦点距離に応じて変更するようにしたが、これに限られない。例えば、撮像素子１０６の露光時間（シャッター速度）に応じて変えたり、変倍動作中か否か（ズーム動作状態）で変えたり、撮影のフレームレート設定に応じて変えてもよい。また、上記の少なくとも１つに応じて変えてもよい。

以上のように、本実施例では、過去に撮影した画像データから算出した撮影頻度に基づいてカテゴリ別の優先度を設定し、さらに撮影モードや手振れ状態などのカメラの撮影条件に応じて優先度を変更する。これにより、動的にユーザーの意図を汲んで、より最適な主被写体を決定することができ、煩雑な操作を必要とせずとも意図した被写体にピントや露出を合わせることができる。

以上説明したように、本発明は、撮影画像を画像の特徴に基づいて被写体毎の領域に分割し、分割領域を被写体の種類（カテゴリ）毎に分類する。そして、分割した領域毎の重心位置や大きさの情報に加え、カテゴリに応じた主被写体として注目する優先度の情報も考慮して主被写体領域を決定する。このように決定した主被写体領域に基づいて、ＡＦ制御やＡＥ制御などの評価信号を取得する評価領域を設定することで、煩雑な操作を必要とせずに、ユーザーの意図した被写体を自動的に主被写体と判定してピントや露出などを調節することが可能になる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体および制御プログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。以上、本発明の好ましい実施例について説明したが、本発明は上記実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ フォーカスレンズ
１０６ 撮像素子
１１２ ＡＦゲート
１１３ ＡＦ信号処理回路
１１４ カメラマイコン
１１５ 記録装置
１１６ 領域分割処理回路
１１７ ＡＦ制御部
１１８ カテゴリ別優先度情報格納部
１１９ 優先度情報設定部
１２０ 主被写体領域決定部
１２１ 優先度設定指示手段
１２２ 領域分割処理部
１２３ カテゴリ分類処理部
１２４ 領域位置・サイズ算出部

Claims (21)

1. 画像の特徴量に基づいて当該画像の被写体領域を分割し、分割された被写体領域を複数の被写体の種類のいずれかに分類する分割手段と、
   前記分割された被写体領域の中から主被写体領域を設定する設定手段とを有し、
   前記設定手段は、被写体の種類ごとに設定される優先度に基づいて、前記分割された被写体領域の中から主被写体領域を設定することを特徴とする画像処理装置。
2. 前記分割手段により分割された被写体領域の位置および大きさを検出する検出手段を有し、
   前記設定手段は、前記分割された被写体領域毎の位置、大きさ、および前記優先度に基づいて、主被写体領域を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記分割された被写体領域の位置、大きさ、および前記優先度のうち、前記優先度の重みづけを大きくして主被写体領域を設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記設定手段は、前記分割された被写体領域の位置、大きさ、および前記優先度に基づいて、当該領域が主被写体領域であることの確からしさを示す評価値を算出し、当該評価値に基づいて、主被写体領域を設定することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記設定手段は、前記分割された被写体領域の位置、大きさ、前記優先度の各々について前記評価値を算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記設定手段は、前記分割された被写体領域の位置が画面の中心に近いほど、位置についての前記評価値を大きくすることを特徴とする請求項５に記載の画像処理装置。
7. 前記設定手段は、前記分割された被写体領域の大きさが大きいほど、大きさについての前記評価値を大きくすることを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記優先度は、前記被写体の種類に対応する被写体距離、コントラスト、露出の少なくとも１つを含む特徴量を基に設定されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記複数の被写体の種類として人物を含み、被写体の種類が人物の場合の前記優先度は、被写体の種類が人物でない場合の前記優先度より高く設定されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. ユーザーが前記被写体の種類毎の前記優先度を指定するための指定手段をさらに有し、
    前記指定手段で指定された優先度が設定されることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 画像に基づいて前記被写体の種類毎に撮影頻度を算出する頻度算出手段をさらに有し、
    前記撮影頻度に基づいて前記優先度が設定されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記優先度を変更する変更手段をさらに有し、
    前記変更手段は、前記被写体の種類毎の前記優先度を撮影条件に応じて変更することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記撮影条件は、撮影モード、手振れ状態、焦点距離、シャッター速度、ズーム動作状態、フレームレートの少なくとも１つを含むことを特徴とする請求項１２に記載の画像処理装置。
14. 前記撮影条件は撮影モードであって、
    前記変更手段は、設定された撮影モードが優先する被写体の種類に応じて、前記被写体の種類毎の前記優先度を変更することを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記撮影条件は手振れ状態であって、
    前記変更手段は、手振れ状態が第１の状態において、静止物の被写体についての前記優先度をより高くなるように設定し、手振れ状態が前記第１の状態より大きい第２の状態において、動体の被写体についての前記優先度をより高くなるように設定することを特徴とする請求項１２乃至１４のいずれか１項に記載の画像処理装置。
16. 前記撮影条件は焦点距離であって、
    前記変更手段は、焦点距離に基づいて推測される被写体の種類に応じて、前記被写体の種類毎の前記優先度を変更することを特徴とする請求項１２乃至１５のいずれか１項に記載の画像処理装置。
17. 前記設定手段は、設定した主被写体領域に基づいて、焦点調節制御、露出調節制御、色調節制御の少なくとも１つを含む制御に用いる評価信号を取得するための評価領域を設定することを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
18. 請求項１乃至１７のいずれか１項に記載の画像処理装置と、
    被写体像を光電変換して画像データを生成する撮像手段を有することを特徴とする撮像装置。
19. 画像処理装置の制御方法であって、
    画像の特徴量に基づいて当該画像の被写体領域を分割するステップと、
    分割された被写体領域を複数の被写体の種類のいずれかに分類する分類ステップと、
    前記分割された被写体領域の中から主被写体領域を設定する設定ステップとを有し、
    前記設定ステップにおいて、被写体の種類ごとに設定される優先度に基づいて、前記分割された被写体領域の中から主被写体領域を設定することを特徴とする画像処理装置の制御方法。
20. 請求項１９に記載の画像処理装置の制御方法をコンピュータに実行させるように構成されていることを特徴とする画像処理装置の制御プログラム。
21. 請求項２０に記載の画像処理装置の制御プログラムを記憶していることを特徴とする記憶媒体。

Images