JP2023086274A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】 消費電力を抑制しながら良好な性能を実現する被写体追尾機能を備えた撮像装置およびその制御方法を提供すること。【解決手段】 撮像手段で取得した画像を用いて被写体追尾を行う第１の追尾手段と、前記撮像手段で取得した画像を用いて被写体追尾を行う、前記第１の追尾手段に比べて演算負荷が小さい第２の追尾手段と、前記撮像手段で取得した画像から検出される特徴点に基づいて前記第１の追尾手段と前記第２の追尾手段の両方を有効にするか、一方を無効にするかを切り替える制御手段と、を有することを特徴とする。ことを特徴とする【選択図】 図２

Description

本発明は被写体の追尾処理に関する画像処理装置およびその制御方法に関する。

デジタルカメラなどの撮像装置には、顔領域などの特徴領域の検出を経時的に適用することにより、特徴領域を追尾する機能（被写体追尾機能）を有するものがある。また、学習済みのニューラルネットワークを用いて被写体を追尾する装置も知られている（特許文献１）。

特開２０１７－１５６８８６号公報

画像を用いた被写体認識や被写体追尾を行う技術において、機械学習（ニューラルネットワーク、深層学習）を用いることにより、画像領域間の相関や類似性などを用いる場合よりも被写体追尾の精度を向上させることができる場合がある。しかしながら、ニューラルネットワークを用いた処理は演算量が多く、高速なプロセッサや大規模な回路が必要となるため、消費電力が大きいという問題がある。例えば、ライブビュー表示用の動画像に対してニューラルネットワークを用いた被写体追尾を適用した場合、ライブビュー表示による電池の消耗が問題となる。また、機械学習済モデルの回路を用いた被写体追尾の中であっても、学習モデルによって演算負荷、消費電力に差がある場合もある。

本発明は上記課題に鑑みなされたものであり、消費電力を抑制しながら良好な性能を実現する被写体追尾機能を備えた画像処理装置および画像処理方法の提供を目的とする。

上記課題を解決するために、本発明の画像処理装置は、撮像手段で取得した画像を用いて被写体追尾を行う第１の追尾手段と、前記撮像手段で取得した画像を用いて被写体追尾を行う、前記第１の追尾手段に比べて演算負荷が小さい第２の追尾手段と、前記撮像手段で取得した画像から検出される特徴点に基づいて前記第１の追尾手段と前記第２の追尾手段の両方を有効にするか、一方を無効にするかを切り替える制御手段と、を有する、ことを特徴とする。

本発明によれば、消費電力を抑制しながら良好な性能を実現する被写体追尾機能を実現することができる。

第１の実施形態に係る撮像装置の機能構成例を示すブロック図 第１の実施形態に係る撮像装置における追尾制御部１１３の動作フロー図 第１の実施形態に係る被写体追尾処理におけるライブビュー表示を示す図 第２の実施形態に係る撮像装置における制御部１０２の動作フロー図 第２の実施形態に係る撮影シーンと検出部１１０と追尾部１０５の動作モードの関係を示す表 第２の実施形態に係る検出部１１０と追尾部１０５の動作モードを示す表 第３の実施形態の制御部１０２の動作フロー図 第３の実施形態の特徴点検出部２０１で行う特徴点検出処理のフローチャート図

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

（第１の実施形態）
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をデジタルカメラなどの撮像装置で実施する場合に関して説明する。しかし、本発明は撮像機能を有する任意の電子機器でも実施可能である。このような電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

図１は第１の実施形態に係る画像処理装置の一例としての撮像装置１００の機能構成例を示すブロック図である。

光学系１０１はフォーカスレンズなどの可動レンズを含む複数枚のレンズを有し、撮影範囲の学像を撮像素子１０３の結像面に形成する。

制御部１０２は、ＣＰＵを有し、例えばＲＯＭ１２３に記憶されたプログラムをＲＡＭ１２２に読み込んで実行する。制御部１０２は、各機能ブロックの動作を制御することにより、撮像装置１００の機能を実現する。ＲＯＭ１２３は例えば書き換え可能な不揮発性メモリであり、制御部１０２のＣＰＵが実行可能なプログラム、設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１２２は、制御部１０２のＣＰＵが実行するプログラムを読み込んだり、プログラムの実行中に必要な値を保存したりするために用いられるシステムメモリである。なお、図１では省略しているが、制御部１０２は各機能ブロックと通信可能に接続されている。

撮像素子１０３は、例えば原色ベイヤ配列のカラーフィルタを有するＣＭＯＳイメージセンサであってよい。撮像素子１０３には光電変換領域を有する複数の画素が２次元配置されている。撮像素子１０３は、光学系１０１が形成する光学像を複数の画素によって電気信号群（アナログ画像信号）に変換する。アナログ画像信号は撮像素子１０３が有するＡ／Ｄ変換器によってデジタル画像信号（画像データ）に変換されて出力される。Ａ／Ｄ変換器は撮像素子１０３の外部に設けられてもよい。

評価値生成部１２４は、撮像素子１０３から得られる画像データから、自動焦点検出（ＡＦ）に用いる信号や評価値を生成したり、自動露出制御（ＡＥ）に用いる評価値を算出したりする。評価値生成部１２４は、生成した信号および評価値を制御部１０２に出力する。制御部１０２は、評価値生成部１２４から得られる信号や評価値に基づいて、光学系１０１のフォーカスレンズ位置を制御したり、撮影条件（露光時間、絞り値、ＩＳＯ感度など）を決定したりする。評価値生成部１２４は、後述する後処理部１１４が生成する表示用画像データから信号や評価値を生成してもよい。

第１前処理部１０４は、撮像素子１０３から得られる画像データに対して色補間処理を適用する。色補間処理は、デモザイク処理などとも呼ばれ、画像データを構成する画素データのそれぞれが、Ｒ成分、Ｇ成分、Ｂ成分の値を有するようにする処理である。また、第１前処理部１０４は、必要に応じて画素数を削減する縮小処理を適用してもよい。第１前処理部１０４は、処理を適用した画像データを表示用メモリ１０７に格納する。

第１画像補正部１０９は、表示用メモリ１０７に格納された画像データに対してホワイトバランス補正処理およびシェーディング補正処理といった補正処理や、ＲＧＢ形式からＹＵＶ形式への変換処理などを適用する。なお、第１画像補正部１０９は、補正処理を適用する際、表示用メモリ１０７に格納されている画像データのうち、処理対象フレームとは異なる１フレーム以上の画像データを用いてもよい。第１画像補正部１０９は、例えば、処理対象のフレームより時系列で前および／または後のフレームの画像データを補正処理に用いることができる。第１画像補正部１０９は、処理を適用した画像データを、後処理部１１４に出力する。

後処理部１１４は、第１画像補正部１０９から供給される画像データから、記録用画像データや表示用画像データを生成する。後処理部１１４は、例えば画像データに符号化処理を適用し、符号化した画像データを格納するデータファイルを記録用画像データとして生成する。後処理部１１４は、記録用画像データを記録部１１８に供給する。

また、後処理部１１４は、第１画像補正部１０９から供給される画像データから、表示部１２１に表示するための表示用画像データを生成する。表示用画像データは、表示部１２１での表示サイズに応じたサイズを有する。後処理部１１４は表示用画像データを情報重畳部１２０に供給する。

記録部１１８は、後処理部１１４で変換された記録用画像データを記録媒体１１９に記録する。記録媒体１１９は、例えば半導体メモリカード、内蔵不揮発性メモリなどであってよい。

第２前処理部１０５は、撮像素子１０３が出力する画像データに対して色補間処理を適用する。第２前処理部１０５は、処理を適用した画像データを追尾用メモリ１０８に格納する。追尾用メモリ１０８と表示用メモリ１０７とは同一メモリ空間内の別アドレス空間として実装されてもよい。また、第２前処理部１０５は、処理負荷を軽減するために必要に応じて画素数を削減する縮小処理を適用してもよい。なお、ここでは第１前処理部１０４と第２前処理部１０５とを別個の機能ブロックとして記載したが、共通の前処理部を用いる構成としてもよい。

第２画像補正部１０６は、追尾用メモリ１０８に格納された画像データに対してホワイトバランス補正処理およびシェーディング補正処理といった補正処理や、ＲＧＢ形式からＹＵＶ形式への変換処理などを適用する。また、第２画像補正部１０６は、被写体検出処理に適した画像処理を画像データに適用してもよい。第２画像補正部１０６は、例えば、画像データの代表輝度（例えば全画素の平均輝度）が予め定められた閾値以下であれば、代表輝度が閾値以上になるよう、画像データ全体に一定の係数（ゲイン）を乗じてもよい。

なお、第２画像補正部１０６は、補正処理を適用する際、追尾用メモリ１０８に格納されている画像データのうち、処理対象フレームとは異なる１フレーム以上の画像データを用いてもよい。第２画像補正部１０６は、例えば、処理対象のフレームより時系列で前および／または後のフレームの画像データを補正処理に用いることができる。第２画像補正部１０６は、処理を適用した画像データを、追尾用メモリ１０８に格納する。

なお、第２前処理部１０５、第２画像補正部１０６など、被写体追尾機能に関する機能ブロックは、被写体追尾機能を実施しない場合には動作しなくてよい。また、被写体追尾機能を適用する画像データは、ライブビュー表示用もしくは記録用に撮影される動画データである。動画データは例えば３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓといった所定のフレームレートを有する。

検出部１１０は、１フレーム分の画像データから、予め定められた候補被写体の領域（候補領域）を１つ以上検出する。また、検出部１１０は、検出した領域ごとに、フレーム内の位置および大きさ、候補被写体の種類（自動車、飛行機、鳥、昆虫、人体、頭部、瞳、猫、犬など）を示すオブジェクトクラスとその信頼度を関連付ける。また、オブジェクトクラスごとに、検出した領域数を計数する。

検出部１１０は、人物や動物の顔領域のような特徴領域を検出するための公知技術を用いて候補領域を検出することができる。例えば、学習データを用いて学習済みのクラス識別器として検出部１１０を構成してもよい。識別（分類）のアルゴリズムに特に制限はない。多クラス化したロジスティック回帰、サポートベクターマシン、ランダムフォレスト、ニューラルネットワークなどを実装した識別器を学習させることで、検出部１１０を実現できる。検出部１１０は、検出結果を追尾用メモリ１０８に格納する。

対象決定部１１１は、検出部１１０が検出した候補領域あるいは後述する追尾部１１５による追尾結果から、追尾対象とする被写体領域（主被写体領域）を決定する。追尾対象の被写体領域は、例えば、オブジェクトクラス、領域の大きさなど、検出結果に含まれる項目ごとに予め付与された優先順位に基づいて決定することができる。具体的には、候補領域ごとに優先順位の合計を算出し、合計が最も小さい候補領域を追尾対象の被写体領域として決定してもよい。あるいは、特定のオブジェクトクラスに属する候補領域のうち、画像の中央もしくは焦点検出領域に最も近い候補領域や、最も大きい候補領域を追尾対象の被写体領域として決定してもよい。対象決定部１１１は、決定した被写体領域を特定する情報を追尾用メモリ１０８に格納する。

難度判定部１１２は、対象決定部１１１が決定した追尾対象の被写体領域について、追尾の難度を示す評価値である難度スコアを算出する。例えば、難度判定部１１２は、追尾の難度に影響を与える１つ以上の要素を考慮して難度スコアを算出することができる。追尾の難度に影響を与える要素としては、被写体領域の大きさ、被写体のオブジェクトクラス（種類）、同じオブジェクトクラスに属する領域の総数、画像内の位置などが例示されるが、これらに限定されない。難度スコアの算出方法の具体例については後述する。難度判定部１１２は、算出した難度スコアを追尾制御部１１３に出力する。

追尾制御部１１３は、難度判定部１１２が算出した難度スコアに基づいて、追尾部１１５が有する複数の追尾部のそれぞれについて、有効とするか無効とするかを決定する。本実施形態では、追尾部１１５が、演算負荷と追尾精度が異なる複数の追尾部を有する。具体的には、追尾部１１５は、深層学習（ＤＬ）を用いて被写体追尾を行うＤＬ追尾部１１６と、ＤＬを用いずに被写体追尾を行う非ＤＬ追尾部１１７とを有する。ＤＬ追尾部１１６は、非ＤＬ追尾部１１７よりも処理精度が高い反面、演算負荷が非ＤＬ追尾部１１７よりも大きいものとする。

この場合、追尾制御部１１３は、ＤＬ追尾部１１６と非ＤＬ追尾部１１７のそれぞれについて、有効とするか無効とするかを決定する。また、追尾制御部１１３は、有効とする追尾部についての動作頻度についても併せて決定する。動作頻度とは、追尾処理を適用する頻度（ｆｐｓ）である。

追尾部１１５は、追尾用メモリ１０８に格納された、処理対象のフレーム（現フレーム）の画像データから追尾対象の被写体領域を推定し、推定した被写体領域のフレーム内の位置と大きさを追尾結果として求める。追尾部１１５は例えば、現フレームの画像データと、現フレームより前に撮影された過去フレーム（例えば１つ前のフレーム）との画像データとを用いて、現フレーム内の追尾対象の被写体領域を推定する。追尾部１１５は、追尾結果を情報重畳部１２０に出力する。

ここで、追尾部１１５は、過去フレームにおける追尾対象の被写体領域に対応する、処理対象のフレーム内の領域を推定するものである。つまり、処理対象のフレームについて対象決定部１１１が決定した追尾対象の被写体領域は、処理対象のフレームに対する追尾処理における追尾対象の被写体領域ではない。処理対象のフレームに対する追尾処理における追尾対象の被写体領域は、過去フレームにおける追尾対象の被写体領域である。処理対象のフレームについて対象決定部１１１が決定した追尾対象の被写体領域は、追尾対象の被写体が別の被写体に切り替わった場合に、次のフレームの追尾処理に用いられる。

追尾部１１５は深層学習（ＤＬ）を用いて被写体追尾を行うＤＬ追尾部１１６と、ＤＬを用いずに被写体追尾を行う非ＤＬ追尾部１１７とを有する。そして、追尾制御部１１３によって有効とされた追尾部が、追尾制御部１１３によって設定された動作頻度で追尾結果を出力する。

ＤＬ追尾部１１６は、学習済みの、畳み込み層を含む多層ニューラルネットワークを用いて、追尾対象の被写体領域の位置および大きさを推定する。より具体的には、ＤＬ追尾部１１６は、対象となりうるオブジェクトクラスごとの被写体領域についての特徴点と、特徴点が含む特徴量とを抽出する機能と、抽出した特徴点をフレーム間で対応付ける機能とを有する。したがって、ＤＬ追尾部１１６は、過去フレームの追尾対象の被写体領域についての特徴点に対応付けられる現フレームの特徴点から、現フレームにおける追尾対象の被写体領域の位置と大きさを推定することができる。

ＤＬ追尾部１１６は、現フレームについて推定した追尾対象の被写体領域について、位置、大きさ、および信頼度スコアを出力する。信頼度スコアは、フレーム間における特徴点の対応付けの信頼度、すなわち、追尾対象の被写体領域の推定結果の信頼度を示す。信頼度スコアが、フレーム間の特徴点の対応付けの信頼度が低いことを示す場合、現フレームにおいて推定された被写体領域が、過去フレームにおける追尾対象の被写体領域とは異なる被写体に関する領域である可能性があることを示す。

一方、非ＤＬ追尾部１１７は、深層学習を用いない手法によって、現フレームにおける追尾対象の被写体領域を推定する。ここでは、非ＤＬ追尾部１１７が、色構成の類似度に基づいて追尾対象の被写体領域を推定するものとする。しかし、過去フレームにおける追尾対象の被写体領域をテンプレートとしたパターンマッチングなど、他の方法を用いてもよい。非ＤＬ追尾部１１７は、現フレームについて推定した追尾対象の被写体領域について、位置、大きさ、および信頼度スコアを出力する。

ここで、色構成の類似度について説明する。ここでは、説明および理解を容易にするため、過去フレームと現フレームとで追尾対象の被写体領域の形状および大きさが同一であるものとする。また、画像データがＲＧＢの色成分ごとに８ビット（値０～２５５）の深度を有するものとする。

非ＤＬ追尾部１１７は、ある色成分（例えばＲ成分とする）について、取り得る値の範囲（０～２５５）を複数の領域に分割する。そして、非ＤＬ追尾部１１７は、追尾対象の被写体領域に含まれる画素について、Ｒ成分の値が属する領域によって分類した結果（値の範囲ごとの頻度）を、追尾対象の被写体領域の色構成とする。

最も単純な例として、Ｒ成分の取り得る値の範囲（０～２５５）を、０～１２７のＲｅｄ１と、１２８～２５５のＲｅｄ２とに分割したものとする。そして、過去フレームにおける追尾対象の被写体領域の色構成が、Ｒｅｄ１が５０画素、Ｒｅｄ２が７０画素であったとする。また、現フレームにおける追尾対象の被写体領域の色構成が、Ｒｅｄ１が４５画素、Ｒｅｄ２が７５画素であったとする。

この場合、非ＤＬ追尾部１１７は色構成の類似度を表すスコア（類似度スコア）を、同じ値の範囲に分類された画素数の差に基づいて、以下の様に算出することができる。
類似度スコア＝｜５０－４５｜＋｜７０－７５｜＝１０
仮に、現フレームにおける追尾対象の被写体領域の色構成が、Ｒｅｄ１が１０画素、Ｒｅｄ２が１１０画素であったとすると、類似度スコアは、
類似度スコア＝｜５０－１０｜＋｜７０－１１０｜＝８０
となる。このように、色構成の類似度が低いほど類似度スコアは大きくなる。あるいは、類似度スコアが小さいほど、色構成の類似度が高いことを表す。

情報重畳部１２０は、追尾部１１５が出力する追尾結果に含まれる、被写体領域の大きさに基づいて、追尾枠の画像を生成する。例えば、追尾枠の画像は、被写体領域に外接する矩形の輪郭を表す枠状の画像であってよい。そして、情報重畳部１２０は、追尾結果に含まれる被写体領域の位置に追尾枠が表示されるように、後処理部１１４が出力する表示用画像データに対して追尾枠の画像を重畳させて合成画像データを生成する。情報重畳部１２０はまた、撮像装置１００の現在の設定値や状態などを表す画像を生成し、これらの画像が予め定められた位置に表示されるように、後処理部１１４が出力する表示用画像データに重畳させてもよい。情報重畳部１２０は、合成画像データを表示部１２１に出力する。

表示部１２１は例えば液晶ディスプレイや有機ＥＬディスプレイであってよい。表示部１２１は、情報重畳部１２０が出力する合成画像データに基づく画像を表示する。以上のようにして１フレーム分のライブビュー表示が行われる。

評価値生成部１２４は、撮像素子１０３から得られる画像データから、自動焦点検出（ＡＦ）に用いる信号や評価値の生成や、自動露出制御（ＡＥ）に用いる評価値（輝度情報）を算出する。輝度情報は、各カラーフィルタ画素（赤、青、緑）を積分した積分値（赤、青、緑）から、色変換をして輝度を生成する。なお、輝度情報の生成は別の方法を用いても良い。また、自動ホワイトバランス（ＡＷＢ）に用いる評価値（色毎（赤、青、緑）積分値）を、輝度情報を生成する時と同様の方法で算出する。制御部１０２は、この色毎積分値から光源を特定し、白いものが白となるように画素の補正値を算出する。この補正値を後述する第１画像補正部１０９や第２画像補正部１０６で、各画素に乗算することで、ホワイトバランスを行う。また、手振れ補正のための手振れ検出に用いる評価値（動きベクトル情報）を、２枚以上の画像データを用いて、基準となる画像データから動きベクトルを算出する。評価値生成部１２４は、生成した信号および評価値を制御部１０２に出力する。制御部１０２は、評価値生成部１２４から得られる信号や評価値に基づいて、光学系１０１のフォーカスレンズ位置を制御したり、撮影条件（露光時間、絞り値、ＩＳＯ感度など）を決定したりする。評価値生成部１２４は、後述する後処理部１１４が生成する表示用画像データから信号や評価値を生成してもよい。

選択部１２５は、ＤＬ追尾部１１６が出力する信頼度スコア、および非ＤＬ追尾部１１７が出力する類似度スコアに基づいて、ＤＬ追尾部１１６および非ＤＬ追尾部１１７の追尾結果の一方を採用する。選択部１２５は例えば信頼度スコアが予め定められた信頼度スコア閾値以下、かつ類似度スコアが予め定められた類似度スコア閾値以下であった場合には、非ＤＬ追尾部１１７の追尾結果を採用し、それ以外の場合には、ＤＬ追尾部１１６の追尾結果を採用する。選択部１２５は、採用した追尾結果を、情報重畳部１２０および制御部１０２に出力する。

なお、ここではＤＬ追尾部１１６および非ＤＬ追尾部１１７の追尾結果のいずれを採用するかを信頼度スコアおよび類似度スコアに基づいて決定した。しかし、他の方法で決定してもよい。例えば、ＤＬ追尾部１１６の精度は、非ＤＬ追尾部１１７の精度より高い傾向にあることを利用して、ＤＬ追尾部１１６の追尾結果を優先して採用してもよい。具体的には、ＤＬ追尾部１１６の追尾結果が得られていればＤＬ追尾部１１６の追尾結果を採用し、得られていなければ非ＤＬ追尾部１１７の追尾結果を採用してもよい。

撮像装置動き検出部１２６は、撮像装置１００自体の動きを検出し、ジャイロセンサーなどで構成される。撮像装置動き検出部１２６は、検出した撮像装置の動き情報を制御部１０２に出力する。制御部１０２は、撮像装置の動き情報を元に手振れ検出や、撮像装置の一定方向への振りを検出し、流し撮り撮影の判定を行う。なお、流し撮り判定には、撮像装置動き検出部１２６の結果と、評価値生成部１２４の動きベクトルを組み合わせて、撮像装置は一定方向へ振られているが、被写体の動きベクトルが殆どないことを見ることで、流し撮り判定精度を向上されることができる。

次に図２を用いて、撮像装置１００が撮像動作を行う際の追尾制御部１１３による被写体の追尾処理の動作フローを説明する。本実施形態では、流し撮り撮影を行うシーンであるか否か、および輝度の低いシーンであるか否かに応じてＤＬ追尾および非ＤＬ追尾を制御する。しかし、判定するシーンとしてはいずれか一方だけでもよいし、他のシーン判定を行いさらにＤＬ追尾あるいは非ＤＬ追尾を判定するように構成してよい。

Ｓ２０１において追尾制御部１１３は、撮像装置動き検出部１２６が検出した撮像装置自体の動き情報を取得し、Ｓ２０２へ進む。

Ｓ２０２において追尾制御部１１３は、撮像装置自体の動き情報を元に、一定方向に撮像装置の動きがあるどうかで流し撮り判定し、流し撮りしていると判定した場合は、Ｓ２０５へ進み、流し撮りしていないと判定した場合は、Ｓ２０３へ進む。

Ｓ２０３において追尾制御部１１３は、評価値生成部１２４で生成した輝度情報を取得し、Ｓ２０４へ進む。

Ｓ２０４において追尾制御部１１３は、取得した輝度情報と閾値を比較して、閾値未満であれば、Ｓ２０５へ進み、閾値以上であれば、Ｓ２０６へ進む。具体的には、画像データの明るさに応じて、暗ければＳ２０５へ進み、明るければＳ２０６へ進むことを意味する。本実施例では、１フレームの輝度情報のみで判定しているが、複数フレームに渡って輝度情報と閾値を比較して、複数フレームで閾値未満であれば、Ｓ２０５へ進むように動作させてもよい。

Ｓ２０５において追尾制御部１１３は、ＤＬ追尾部１１６を無効に、非ＤＬ追尾部１１７を有効にすることを決定し、処理を終える。これは、流し撮りでは対象の被写体、つまり動いている被写体を撮像装置が追尾するのではなく、ユーザーが被写体を捉えて撮像装置自体を一定方向に動かすため、追尾性能が要求されていないシーンと捉えて、非ＤＬ追尾部１１７の動作頻度を低減させてもよい。同様に、画像データが暗いとき、つまり夜景撮影が想定されるため、追尾性能が要求されていないシーンと捉えて、非ＤＬ追尾部１１７の動作頻度を低減させてもよい。

Ｓ２０６において、追尾制御部１１３は、ＤＬ追尾部１１６を有効に、非ＤＬ追尾部１１７を無効にすることを決定し、処理を終える。

（表示部１２１による表示処理）
図３は、ライブビュー表示の例を示す図である。図３（ａ）は、後処理部１１４が出力する表示用画像データが表す画像３００を示す。また、図２（ｂ）は、表示用画像データに対して追尾枠３０３の画像を重畳した合成画像データが表す画像３０２を示す。ここでは撮影範囲に候補被写体３０１が１つだけ存在するため、候補被写体３０１が追尾対象の被写体として選択される。そして、候補被写体３０１を囲むように追尾枠３０３が重畳されている。なお、図２（ｂ）の例では、追尾枠３０３が４つの中空かぎ形状の組み合わせから構成されているが、中空でないかぎ形状の組み合わせ、切れ目のない枠、矩形の組み合わせ、三角形の組み合わせなど、他の形態の追尾枠３０３としてもよい。また、追尾枠３０３の形態はユーザが選択可能であってもよい。

図４は、撮像装置１００による一連の撮像動作における被写体追尾機能の動作に関するフローチャートである。各ステップは制御部１０２あるいは制御部１０２の指示により各部で実行される。

Ｓ４００で制御部１０２は、撮像素子１０３を制御して１フレームの撮像を行い、画像データを取得する。

Ｓ４０１で第１前処理部１０４は、撮像素子１０３から読み出された画像データに対して前処理を適用する。

Ｓ４０２で制御部１０２は、前処理を適用した画像データを表示用メモリ１０７に格納する。

Ｓ４０３で第１画像補正部１０９は、表示用メモリ１０７から読み出した画像データに対し、所定の画像補正処理の適用を開始する。

Ｓ４０４で制御部１０２は、適用すべき画像補正処理をすべて完了したか否かを判定し、すべて完了したと判定されれば、画像補正処理を適用した画像データを後処理部１１４に出力し、Ｓ４０５に進む。また、第１画像補正部１０９は、画像補正処理がすべて完了したと判定されなければ、画像補正処理を継続する。

Ｓ４０５で後処理部１１４は、第１画像補正部１０９によって画像補正処理が適用された画像データから、表示用の画像データを生成し、情報重畳部１２０に出力する。

Ｓ４０６で情報重畳部１２０は、後処理部１１４が生成した表示用の画像データと、追尾枠の画像データと、他の情報を示す画像データとを用いて、撮影画像に追尾枠や他の情報の画像が重畳した合成画像のデータを生成する。情報重畳部１２０は、合成画像データを表示部１２１に出力する。

Ｓ４０７で表示部１２１は、情報重畳部１２０が生成した合成画像データを表示する。これにより、１フレーム分のライブビュー表示が完了する。

以上のように、本実施形態では第１の追尾手段と、第１の追尾手段よりも演算負荷が小さい第２の追尾手段とを用いる画像処理装置において、撮像装置の動きおよび画像データの明るさの少なくとも１つに基づいて第１及び第２の追尾手段の有効・無効を制御する。そのため、良好な追尾結果を得る必要性が低いシーンにおいて、第１の追尾手段を無効とすることで、消費電力を抑制することができる。

また本実施形態では、撮像装置自体の動きや画像データの明るさに基づいてＤＬ／非ＤＬ追尾部の有効・無効を制御するに当たって、ＤＬ追尾部１１６が有効な場合には非ＤＬ追尾部１１７が無効にするといった排他的に制御する例を示した。しかしこれに限らず、難度が高くなる流し撮りシーンや低輝度値においてはそのパンニング速度や輝度値の低さに応じてＤＬ追尾部１１６と非ＤＬ追尾部１１７をどちらも有効にしてもよい。すなわち、このとき両方の追尾結果に基づいて追尾処理を行うように制御してもよい。なお、上記実施形態ではＤＬ追尾部１１６と非ＤＬ追尾部１１７の有効、無効に制御を２値で切り替える例を示した。しかしこれに限らず、画像の明るさや被写体の動きに応じて多段階で切り替えてもよい。すなわち、ＤＬ追尾部１１６と非ＤＬ追尾部１１７の有効にも演算負荷の大きさが複数段階用意され、より効果的な場合にはより演算負荷の高い処理を行うよう切り替えられてもよい。

またＤＬ追尾部１１６と非ＤＬ追尾部１１７の無効は、本実施形態ではＬ追尾部１１６で行う演算処理をすべて省略、実行しない例を示した。しかしこれに限らず、追尾処理のための前処理、追尾の本処理のための演算など有効な場合に行う追尾演算処理、追尾結果出力処理の少なくとも一部が省略、実行されないことを含んでもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。なお、ここでは、前述した第１の実施形態と異なる部分のみを説明し、同一の部分については、同一の符号を付すなどして詳細な説明を省略する。第２の実施形態では、撮像装置が撮像画像や撮影パラメータ、撮像装置の姿勢などの少なくともいずれか１つに基づいて自動で撮影シーンを認識した結果を用いて、ＤＬ追尾部１１６、非ＤＬ追尾部１１７、検出部１１０を制御する。以下、図５、図６を用いて説明する。

図５は、第２の実施形態の制御部１０２の動作フローである。

Ｓ５０１において制御部１０２は、図４（説明は後述する）に示す撮影シーンを判別して、Ｓ５０２へ進む。図４の撮影シーンの判別には、背景の明るい／暗いは、評価値生成部１２４で取得した輝度情報から判定し、背景の青空／夕景は、ホワイトバランスの補正値を算出する過程で得た光源情報と、輝度情報から判定する。また、被写体の人物、人物以外は、検出部１１０の結果から判定し、動体、非動体は、追尾部１１５より判定する。これらの判定方法に限らず、画像やジャイロセンサ、赤外センサ、ＴｏＦ（タイムオブフライト）センサ等で得られた情報から撮影シーンを判定できる公知の処理シーケンスであれば、いずれも適用可能である。流し撮り判定は第１の実施形態と同じ方法で行う。

Ｓ５０２において制御部１０２は、図４に示す撮影シーンに応じた図５（説明は後述する）に示す動作モードとなるように制御をして処理を終える。具体的には、制御部１０２は、図４の撮影シーンの表中の動作モードに応じて、検出部１１０の制御と追尾制御部１１３へ通知を行う。通知を受け取った追尾制御部１１３が追尾部１１６の制御を行う。

図６（ａ）は、撮影シーンと検出部１１０と追尾部１０５の動作モードの関係を示す表である。横軸を被写体の判定で、人物、人物以外で、かつ動体か非動体かをまたは流し撮りのシーンかどうかの項目で、縦軸が背景の明るさと青空や夕景かの項目である。つまり、被写体と背景を判定して、動作モードを決める表となっている。なお、図４の撮影シーンは１例であり、他の撮影シーンを追加して動作モードを決定してもよい。

図６（ｂ）は、検出部１１０と追尾部１０５の動作モードを示す表である。

動作モード１では、ＤＬ追尾部１１６を無効、非ＤＬ追尾部１１７を有効、検出部１１０で検出する対象を人物と人物以外として動作させ、かつ検出部１１０の動作周期を例えば、撮影のフレームレートの半分以下にする。

動作モード２では、ＤＬ追尾部１１６を無効、非ＤＬ追尾部１１７を有効、検出部１１０で検出する対象を人物と人物以外、非動体物、例えば建物、道路、空、木などとして動作させ、かつ動作周期を例えば、撮影のフレームレートの半分以下にする。非動体物の認識結果は、例えば、ホワイトバランスの光源特定で使用や、第１画像補正部１０９や第２画像補正部１０６の補正処理で、人口物と非人口物を区別した画像処理を施すために使用する。

動作モード３では、ＤＬ追尾部１１６を有効、非ＤＬ追尾部１１７を有効、検出部１１０で検出する対象を人物と人物以外として動作させ、かつ動作周期を例えば、人物は撮影のフレームレートを同じ、人物以外を撮影のフレームレートの半分以下にする。

動作モード４では、ＤＬ追尾部１１６をＯＮ、非ＤＬ追尾部１１７を有効、検出部１１０で検出する対象を人物と人物以外、非動体物として動作させる。かつ動作周期を例えば、人物は撮影のフレームレートを同じ、人物以外、非動体物を撮影のフレームレートの半分以下にする。

動作モード５では、ＤＬ追尾部１１６を無効、非ＤＬ追尾部１１７を有効、検出部１１０で検出する対象を人物と人物以外として動作させ、かつ動作周期を例えば、人物は撮影のフレームレートを同じ、人物以外を撮影のフレームレートの半分以下にする。

動作モード６では、ＤＬ追尾部１１６を有効、非ＤＬ追尾部１１７を有効、検出部１１０で検出する対象を人物と人物以外として動作させ、かつ動作周期を例えば、人物は撮影のフレームレートの半分以下、人物以外を撮影のフレームレートと同じにする。

動作モード７では、ＤＬ追尾部１１６を有効、非ＤＬ追尾部１１７を有効、検出部１１０で検出する対象を人物と人物以外、非動体物として動作させる。また、動作周期を例えば、人物と非動体物は撮影のフレームレートの半分以下、人物以外を撮影のフレームレートと同じにする。

動作モード８では、ＤＬ追尾部１１６を無効、非ＤＬ追尾部１１７を有効、検出部１１０で検出する対象を人物と人物以外として動作させ、かつ動作周期を例えば、人物は撮影のフレームレートの半分以下、人物以外を撮影のフレームレートと同じにする。

なお、図６（ｂ）の動作モードは、図６（ａ）に示すシーンに応じた動作モードの一例であり、動作モードを変更してもよい。本実施形態では、撮影シーン判定として被写体が動体か非動体かの判定に、非ＤＬ追尾部１１６を使用するため、どの動作モードでも非ＤＬ追尾部１１６は有効とした。しかし被写体の動体判定に、検出部１１０で検出した被写体の位置を複数フレーム渡って監視することで、動体判定を行ってもよい。その場合、被写体が非動体の場合（動体でないと判定される場合）には、非ＤＬ追尾１１６を無効としてもよい。

以上のように、本実施形態では、第１の追尾手段と、第１の追尾手段よりも演算負荷が小さい第２の追尾手段とを用いる画像処理装置において、画像が撮影されたシーンに基づいて第１及び第２の追尾手段の有効・無効を制御するようにした。さらに、画像が撮影されたシーンに基づいて画像から検出部で検出するオブジェクトの制限や動作周期の変更を行った。そのため、良好な追尾結果を得る必要性が低いシーンにおいて、消費電力を抑制することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第３の実施形態では、撮像画像内の複数の領域でいわゆる「特徴点」を検出する画像処理装置において、これら特徴点の検出結果に基づいてＤＬ追尾部１１６、非ＤＬ追尾部１１７、検出部１１０を制御する。以下、図７、図８を用いて説明する。

図７は、第３の実施形態の制御部１０２の動作フローである。本フローは、撮像装置１００に電源が入った状態で、メニューより撮像を行うモードが選択され、撮像素子１０３から順次取得される撮像画像に対して追尾処理を行う対象の追尾被写体を決定し、追尾処理を行うときに動作するものとする。また、追尾制御のＯＮＯＦＦの設定がある場合には、追尾制御がＯＮに設定されている場合に本フローが始まるように制御されていてもよい。

Ｓ７０１では、制御部１０２は、撮像素子１０３から出力された、または検出追尾用メモリ１０８に記憶された撮像画像を取得する。

Ｓ７０２で、制御部１０２の指示により、評価値生成部１２４は、Ｓ６０１で得られた撮像画像を解析し画像内から特徴点を検出する検出処理を行う。特徴点の検出処理の詳細については後述する。

Ｓ７０３で、制御部１０２は、Ｓ６０２で各特徴点を検出する際に算出した特徴点強度の情報を取得する。

Ｓ７０４で、制御部１０２は、前フレームまでに、ＤＬ追尾部１１６、非ＤＬ追尾部１１７あるいはその他の被写体検出処理（顔検出など）によって追尾対象の被写体が含まれる領域として決定している追尾被写体領域内で検出された特徴点について判定処理を行う。具体的には、追尾被写体領域内の特徴点強度が第１の閾値以上の特徴点の数が第２の閾値以上であるか否かを判定する。特徴点強度が第１の閾値以上の特徴点の数が第２の閾値以上である場合Ｓ７０５に進み、特徴点強度が第１の閾値以上の特徴点の数が第２の閾値未満である場合Ｓ７０６に進む。

Ｓ７０５で、制御部１０２は、撮像画像内で前フレームにおいて追尾被写体領域と決定された領域外で検出された特徴点について判定処理を行う。具体的には、追尾被写体領域外の特徴点強度が第３の閾値以上の特徴点の数が第４の閾値以上であるか否かを判定する。特徴点強度が第３の閾値以上の特徴点の数が第４の閾値以上である場合Ｓ７０７に進み、特徴点強度が第３の閾値以上の特徴点の数が第４の閾値未満である場合Ｓ７０８に進む。

Ｓ７０６で、制御部１０２は、撮像画像内で前フレームにおいて追尾被写体領域と決定された領域外で検出された特徴点について判定処理を行う。具体的には、追尾被写体領域外の特徴点強度が第３の閾値以上の特徴点の数が第４の閾値以上であるか否かを判定する。特徴点強度が第３の閾値以上の特徴点の数が第４の閾値以上である場合Ｓ７０９に進み、特徴点強度が第３の閾値以上の特徴点の数が第４の閾値未満である場合Ｓ７１０に進む。

Ｓ７０７では、制御部１０２の指示により追尾制御部１１３は、ＤＬ追尾部１１６、非ＤＬ追尾部１１７をともに有効にし、かつＤＬ追尾処理の動作レートを非ＤＬ追尾処理の動作レートより高く設定する。追尾被写体領域内外で複雑なテクスチャの被写体が多く存在し、追尾の難度が高いため、どちらの追尾処理も高レートで行うことで追尾精度を維持することができる。

Ｓ７０８では、制御部１０２の指示により追尾制御部１１３は、ＤＬ追尾部１１６を無効に、非ＤＬ追尾部１１７を有効にする。ここで、本実施形態では、このときの非ＤＬ追尾処理の動作レートはＳ７０７で設定される非ＤＬ追尾処理の動作レートより高い。追尾被写体領域内外の区別が容易であるため、非ＤＬ追尾のみで追尾処理を行うことで追尾精度を維持しつつ消費電力を抑制できる。

Ｓ７０９では、制御部１０２の指示により追尾制御部１１３は、ＤＬ追尾部１１６を有効に、非ＤＬ追尾部１１７を無効にする。ここで、本実施形態では、このときのＤＬ追尾処理の動作レートはＳ７０７～Ｓ７１０でＤＬ追尾部１１６に設定される動作レートの中で最も高いものとする。追尾被写体領域内には特徴点数が少なく、追尾被写体領域外には特徴点数が多いということはそれだけ追いにくく、特に特徴点検出処理のように画像内のエッジ部分などに基づいて追尾処理を行う非ＤＬ追尾処理は却って誤った結果を出力する可能性が高くなる。したがって、ＤＬ追尾処理のみで追尾することで追尾精度の低下を抑制する。

Ｓ７１０では、制御部１０２の指示により追尾制御部１１３は、ＤＬ追尾部１１６、非ＤＬ追尾部１１７をともに有効にし、かつＤＬ追尾処理、非ＤＬ追尾処理の動作レートをそれぞれＳ７０７で設定される動作レートより低く設定する。追尾被写体領域内外のいずれの領域でも検出できる特徴点が少ない状況では、ＤＬ追尾処理、非ＤＬ追尾処理ともに精度が出にくいので、例えば結果がいろいろな領域に振れる恐れがある。それらが高レートで反映されると画像のちらつきの原因になるので、どちらの追尾処理も有効にしつつ動作レートを下げることで追尾結果のちらつきによる視認性の低下を抑制する。

（特徴点検出処理）
図８は特徴点検出部２０１で行う特徴点検出処理のフローチャートである。Ｓ８００で、制御部１０２は、追尾被写体の領域に対して水平一次微分フィルタ処理を行うことで水平一次微分画像を生成する。Ｓ８０２で、制御部１０２は、Ｓ８００で得た水平一次微分画像に対してさらに水平一次微分フィルタ処理を行うことで水平二次微分画像を生成する。

Ｓ８０１で、制御部１０２は、追尾被写体の領域に対して垂直一次微分フィルタ処理を行うことで垂直一次微分画像を生成する。

Ｓ８０４で、制御部１０２は、Ｓ８０１で得た垂直一次微分画像に対してさらに垂直一次微分フィルタ処理を行うことで水平二次微分画像を生成する。

Ｓ８０３で、制御部１０２は、Ｓ８００で得た水平一次微分画像に対してさらに垂直一次微分フィルタ処理を行うことで水平一次微分、垂直一次微分画像を生成する。

Ｓ８０５で、制御部１０２は、Ｓ８０２、Ｓ８０３、Ｓ８０４で得られた微分値のヘシアン行列Ｈの行列式Ｄｅｔを計算する。Ｓ８０２で得られた水平二次微分値をＬｘｘ、Ｓ８０４で得られた垂直二次微分値をＬｙｙ、Ｓ８０３で得られた水平一次微分、垂直一次微分値をＬｘｙとするとき、ヘシアン行列Ｈは式（１）で表され、行列式Ｄｅｔは式（２）で表される。

Ｓ８０６で、制御部１０２は、Ｓ８０５で得られた行列式Ｄｅｔが０以上であるかを判断する。行列式Ｄｅｔが０以上の時、Ｓ８０７に進む。行列式Ｄｅｔが０未満の時、Ｓ８０８に進む。

Ｓ８０７で、制御部１０２は、行列式Ｄｅｔが０以上の点を特徴点として検出する。

Ｓ８０８で、制御部１０２は、入力された被写体領域全てに対して処理を行ったと判断した場合、特徴点検出処理を終了する。処理が全て完了していない場合は、Ｓ８００からＳ８０７の処理を繰り返し、特徴点検出処理を続ける。

以上のように本実施形態では、第１の追尾手段と、第１の追尾手段よりも演算負荷が小さい第２の追尾手段とを用いる画像処理装置において、画像の特徴量に基づいて第１及び第２の追尾手段の有効・無効を制御するようにした。そのため、良好な追尾結果を得る必要性が低いシーンにおいて、消費電力を抑制することができる。

以上、本発明を実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。

１０２ 制御部
１１０ 検出部
１１３ 追尾制御部
１１５ 追尾部
１１６ ＤＬ追尾部
１１７ 非ＤＬ追尾部
１２４ 評価値生成部
１２６ 撮像装置動き検出部

Claims (7)

1. 撮像手段で取得した画像を用いて被写体追尾を行う第１の追尾手段と、
   前記撮像手段で取得した画像を用いて被写体追尾を行う、前記第１の追尾手段に比べて演算負荷が小さい第２の追尾手段と、
   前記撮像手段で取得した画像から検出される特徴点に基づいて前記第１の追尾手段と前記第２の追尾手段の両方を有効にするか、一方を無効にするかを切り替える制御手段と、を有する、
   ことを特徴とする画像処理装置。
2. 前記制御手段は、前記第１の追尾手段あるいは前記第２の追尾手段による追尾の対象となる追尾被写体領域内の特徴点の数と前記追尾被写体領域外の特徴点の数に基づいて前記第１の追尾手段と前記第２の追尾手段の両方を有効にするか、一方を無効にするかを切り替えることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、
   前記追尾被写体領域内において、強度が第１の閾値より高い前記特徴点の数が第２の閾値より多く、
   前記追尾被写体領域外において、強度が第３の閾値より高い前記特徴点の数が第４の閾値より多い場合、
   前記第１の追尾手段と前記第２の追尾手段の両方を有効にすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、
   前記追尾被写体領域内において、強度が第１の閾値より高い前記特徴点の数が第２の閾値より少なく、
   前記追尾被写体領域外において、強度が第３の閾値より高い前記特徴点の数が第４の閾値より多い場合、
   前記第１の追尾手段を有効にし、前記第２の追尾手段を無効にすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、
   前記追尾被写体領域内において、強度が第１の閾値より高い前記特徴点の数が第２の閾値より多く、
   前記追尾被写体領域外において、強度が第３の閾値より高い前記特徴点の数が第４の閾値より少ない場合、
   前記第１の追尾手段を無効にし、前記第２の追尾手段を有効にすることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、
   前記追尾被写体領域内において、強度が第１の閾値より高い前記特徴点の数が第２の閾値より少なく、
   前記追尾被写体領域外において、強度が第３の閾値より高い前記特徴点の数が第４の閾値より少ない場合、
   前記第１の追尾手段と記第２の追尾手段の両方を有効にしつつ、動作レートをそれ以外の場合に比べて低くすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 撮像手段で取得した画像を用いて被写体追尾を行う第１の追尾手段で追尾を行う第１の追尾ステップと、
   前記撮像手段で取得した画像を用いて被写体追尾を行う、前記第１の追尾手段に比べて演算負荷が小さい第２の追尾手段で追尾を行う第２の追尾ステップと、
   前記撮像手段で取得した画像から検出される特徴点に基づいて前記第１の追尾手段と前記第２の追尾手段の両方を有効にするか、一方を無効にするかを切り替える制御ステップと、を有する、
   ことを特徴とする画像処理方法。

Images