JP2009171191A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】撮像する画像の色の信号に基づいて正確に追尾対象を検出するとともに、追尾対象を見失いにくくする撮像装置及び撮像方法を提供する。
【解決手段】本発明における撮像装置では、画像データの追尾領域を設定（ＳＥＴＰ１１）する前に、画像データの明るさ補正を行う（ＳＴＥＰ１０）。この明るさ補正では、予め記憶された追尾対象色信号の明るさに合わせられる。そのため、追尾領域を設定する際に均一な画像データに基づいて追尾領域を設定することが可能となる。
【選択図】図３

Description

本発明は、デジタルビデオカメラに代表される撮像装置や、その撮像方法に関するものであり、特に追尾機能を備えた撮像装置やその撮像方法に関するものである。

近年、デジタルスチルカメラやデジタルビデオカメラのようなデジタル方式の撮像装置が広く普及している。このような撮像装置には、ユーザを補助する機能として、焦点や露出などを自動的に制御する機能を備えるものがある。

また、このような撮像装置において、ユーザが追尾対象として決定した物体を検出する追尾機能を備えるものがある。追尾方法としては、例えば、追尾対象が発する音や、追尾対象に装着した発信器から発せられる電波などを撮像装置が認識して追尾する方法がある。しかしながら、これらの方法を用いて追尾を行うこととすると、追尾対象が制限されたものとなってしまう。

そこで、撮像する画像データの色の信号に基づいて追尾対象を検出し、追尾する方法が特許文献１において提案されている。このような方法で追尾を行うこととすると、視認できる物体であればどのようなものでも追尾対象とすることができる。
特開平５−２８４４１１号公報

しかしながら、撮像する画像データの色の信号に基づいて追尾する方法では、周囲の環境によって画像データが大きく変動すると、追尾対象を検出し難くなる問題が生じる。特に、明るさが変動する場合においては、画像全体が明るくなったり暗くなったりするために、画像データから追尾すべき色を正確に検出して判定することが困難となる。そのため、撮像装置が追尾対象を検出できずに見失うことが発生し易くなり、このような場合には追尾が不可能となってしまう。

そこで、本発明は、撮像する画像データの色の信号に基づいて正確に追尾対象を検出するとともに、追尾対象を見失いにくくする撮像装置及び撮像方法を提供することを目的とする。

上記目的を達成するために、本発明における撮像装置は、入力される光学像から画像データを作成する撮像部と、入力される画像データに基づいて、画像データ内の追尾対象の位置を示す追尾領域を設定する追尾領域設定部と、を備えた撮像装置において、前記追尾対象を示す信号である追尾対象色信号を記憶する記憶部と、前記追尾領域設定部に入力される画像データの明るさを補正する明るさ補正部と、を備え、前記明るさ補正部が、前記追尾領域設定部に入力される画像データの所定の領域における明るさを、前記追尾対象色信号の明るさに近づける補正を行うとともに、前記追尾領域設定部が、前記明るさ補正部によって補正された画像データに含まれる色の信号と、前記追尾対象色信号とに基づいて前記追尾領域を設定することを特徴とする撮像装置。

また、上記構成の撮像装置において、画像データの全体的な明るさを測定した結果に基づいて全体測光値を算出するとともに、画像データの前記追尾領域を含む領域である第１測光領域の明るさを測定した結果に基づいて対象測光値を算出する測光部と、前記全体測光値と、前記対象測光値と、のそれぞれに所定の加算割合を乗じて加算することで加重加算値を得るとともに、当該加重加算値に基づいて前記撮像部を制御して、前記撮像部から出力される画像データの明るさを制御する露出制御部と、をさらに備えることとしても構わない。

このように構成することによって、明るさ補正部だけでなく、露出制御部によっても画像データの明るさが制御できることとなる。また、露出補正部は光学像から画像データを作成する撮像部の制御を行うものであるため、画像データの根本的な補正を行うことが可能となる。そのため、追尾処理を行うために最適な画像データを容易に得ることが可能となる。

また、上記構成の撮像装置において、前記対象測光値が第１範囲外の値となるときに、前記加重加算値における前記対象測光値に乗じられる加算割合が、前記対象測光値が前記第１範囲内の値である場合以上の大きさの値に設定されることとしても構わない。

このように構成することによって、対象測光値の値が正常の範囲である第１範囲を逸脱した際に、追尾対象付近の領域の測光値に重点をおいた露出制御を行うことが可能となる。そのため、より追尾対象を捉えやすくすることができる。

また、上記構成の撮像装置において、前記対象測光値が継続して前記第１範囲内の値となるときに、前記加重加算値における前記対象測光値に乗じられる加算割合が、通常露出補正割合値に設定されることとしても構わない。さらに、通常露出補正割合値が、設定され得る最低の値であっても構わないし、０であっても構わない。

このように構成することによって、対象測光値が正常であるという範囲を示す第１範囲内に継続して収まっていれば、対象測光値に乗じられる加算割合を、通常露出割合値に設定することができる。さらに、設定され得る最低の値、特に０に設定されることとすると、全体測光値にのみ基づいて露出補正が行われるようになる。そのため、良好な追尾を行うことができる場合は、画像データの全体が良好な明るさを有するものとなる。

また、上記構成の撮像装置において、前記対象測光値が前記第１範囲外の値から前記第１範囲内の値になるとともに、その後継続して前記第１範囲内の値となる場合に、前記加重加算値における前記対象測光値に乗じられる加算割合が、少なくとも一回前記通常補正割合値以外の値に設定された後に、前記通常露出補正割合値に設定されて維持されることとしても構わない。

このように構成することによって、一旦正常の範囲である第１範囲を逸脱してから第１範囲内に戻った際に、対象測光値に乗じられる加算割合が小さい値に設定されることを抑制することができる。即ち、加算割合が小さい値に設定されて露出制御が行われることによって、再度対象測光値が第１範囲を逸脱することを防止することができる。これにより、露出が大きく変動するように制御されることが抑制され、画像データ全体の明るさの変動が低減される。

また、上記構成の撮像装置において、前記対象測光値が第２範囲外の値となるときに、前記第１測光領域が、前記対象測光値が前記第２範囲内にある場合よりも大きく設定されることとしても構わない。また、前記第２範囲が、前記第１範囲と同じ範囲を示すものであっても構わない。

このように構成することによって、対象測光値が正常であるという範囲を示す第２範囲を逸脱した場合に、第１測光領域を大きくすることとなる。即ち、現フレームの画像データにおいて追尾が困難であるために追尾領域が設定できなかったとしても、次回の測光を行う際に、第１測光領域内に追尾対象が存在する確率を上げることができる。したがって、次回の追尾処理を良好に行うことが可能となる。また、第１範囲及び第２範囲は、それぞれ対象測光値が正常であるとする範囲を示すものであり、同質のものである。そのため、同じ範囲としてまとめることで追尾処理を容易とすることができる。

また、上記構成の撮像装置において、前記対象測光値が、前記第１測光領域の明るさを測定した値と、前記第１測光領域の周辺の領域である周辺領域の明るさを測定した値と、のそれぞれに所定の加算割合を乗じて加算した値に基づいて算出されることとしても構わない。また、前記第１測光領域に乗算される加算割合が、前記周辺領域に乗算される加算割合よりも大きい値としても構わない。

このように構成することによって、追尾対象を包含した領域に基づいて測光が行われる確率を上げることができる。また、第１測光領域及び周辺領域の加算割合をそれぞれ設定することによって、例えば、追尾対象を見失った場合や良好な場合など、場合に応じた測光を行うことができる。また、第１測光領域に乗算される加算割合を大きくすることによって、より追尾対象が存在する確率が大きい第１測光領域に重点をおいて加重加算を行うことが可能となる。

また、上記構成の撮像装置において、入力される画像データを記録する記録部をさらに備え、当該記録部に入力される画像データが、前記明るさ補正部によって補正されていない画像データであることとしても構わない。

このように構成することによって、記録される画像データは追尾処理のための明るさ補正がなされていないものとなる。そのため、例えば追尾対象周辺だけが明瞭であり周囲が不明瞭であるようなバランスの悪い画像データが記録されることを抑制することができる。

また、本発明における撮像方法は、追尾対象を示す信号である追尾対象色信号を記憶する第１ステップと、画像データを作成する第２ステップと、当該第２ステップにおいて作成された画像データの所定の領域の明るさが、前記第１ステップにおいて記憶された追尾対象色信号に近づくように制御する第３ステップと、当該第３ステップにおいて補正された画像データに含まれる色の信号と、前記第１ステップにおいて記憶された追尾対象色信号とに基づいて、画像データ内の追尾対象の位置を示す追尾領域を設定する第４ステップと、を備えることを特徴とする。

本発明の構成とすることによって、追尾処理を行う画像データの明るさを、追尾対象色信号の明るさに近づける補正が可能となる。そのため、均質な画像データに基づいて追尾領域の設定を行うことができるようになるため、検出する色を誤認するなどして追尾対象の位置を誤ることを抑制することができる。したがって、正確な追尾を行うことが可能となる。

本発明における撮像装置の実施形態について、図面を参照して説明する。また、撮像装置として、デジタルスチルカメラやデジタルビデオカメラなどの音声、動画及び静止画の記録が可能な撮像装置を例に挙げて説明する。なお、以下では、動画像データ及び静止画像データのどちらも画像データとして説明する。

（撮像装置の基本構成）
まず、撮像装置の基本構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＣＤ（Charge Coupled Devices）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像データが作成される。

さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号の画像データをデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換するマイク５と、ＡＦＥ４から出力されるＲ（赤）Ｇ（緑）Ｂ（青）のデジタル信号の画像データをＹ（輝度信号）Ｕ，Ｖ（色差信号）を用いた信号に変換するとともに画像データに各種画像処理を施す画像処理部６と、マイク５から出力されるアナログ信号の音声データをデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像データに対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像データと音声処理部７からの音声データとに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化されたデータを記録する外部メモリ２０と、画像データを外部メモリ２０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ２０から読み出した圧縮符号化されたデータを伸長して復号する伸長処理部１０と、を備える。

また、撮像装置１は、伸長処理部１０で復号された画像データをディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像出力回路部１１と、伸長処理部１０で復号された音声データをスピーカなどの再生装置（不図示）で再生するためにアナログ信号に変換する音声出力回路部１２と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１３と、入力される画像データから追尾対象を検出して追尾処理を行う追尾処理部１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１５と、撮像を開始するボタンや画像の補正条件を選択するボタン等のユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１３と各部との間でデータのやりとりを行うためのバス回線１８と、メモリ１５と各部との間でデータのやりとりを行うためのバス回線１９と、を備える。

また、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。

なお、外部メモリ２０は画像データや音声データを記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ２０として使用することができる。また、外部メモリ２０を撮像装置１から着脱自在としても構わない。

（撮像装置の基本動作）
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像データを取得する。そして、イメージセンサ部２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で順次ＡＦＥ４に画像データを出力する。

そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像データは、画像処理部６に入力される。画像処理部６では、画像データがＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種画像処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像データを一時的に保持する。

また、このとき画像処理部６に入力される画像データに基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

ここで、追尾処理を行うようにユーザから指示されている場合は、追尾処理部１４が画像処理部６から入力される画像データに基づいて追尾処理を行う。なお、追尾処理の詳細については後述する。

動画を記録する場合であれば、画像データだけでなく音声データも記録される。マイク５において電気信号に変換されて出力される音声データは音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像データと、音声処理部７から出力される音声データと、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像データと音声データとは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像データ及び音声データはドライバ部９を介して外部メモリ２０に記録される。

一方、静止画や音声のみを記録する場合であれば、画像データまたは音声データが圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ２０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。

外部メモリ２０に記録された圧縮後の画像データ及び音声データは、ユーザの指示に基づいて伸張処理部１０に読み出される。伸張処理部１０では、圧縮された画像データ及び音声データを伸張し、画像データを画像出力回路部１１、音声データを音声出力回路部１２にそれぞれ出力する。そして、画像出力回路部１１や音声出力回路部１２において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。

また、画像データの記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像データを圧縮せずに画像出力回路部１１に出力することとしても構わない。また、動画の画像データを記録する際に、圧縮処理部８で圧縮して外部メモリ２０に記録するのと並行して、画像出力回路部１１を介して表示装置などに画像データを出力することとしても構わない。

（追尾処理部の構成）
次に、追尾処理部１４の構成について図２を用いて説明する。図２は、追尾処理部の構成を示すブロック図である。図２に示すように、追尾処理部１４は、入力される画像データの測光を行う測光部１４ａと、測光部１４ａの測光結果に応じて露出制御信号を出力する露出制御部１４ｂと、測光部１４ａによる測光後に追尾対象色信号と画像データとに基づいて画像データの明るさ補正を行う明るさ補正部１４ｃと、明るさ補正部１４ｃにより明るさ補正が行われた画像データに基づいて追尾領域の設定を行い追尾結果信号を出力する追尾領域設定部１４ｄと、を備える。各部の詳細な動作や各信号については、以下の追尾処理動作の説明において説明する。

（追尾処理動作）
本発明の実施形態における撮像装置１の追尾処理動作について図１〜図１２を用いて説明する。ここで、追尾処理の全体的な動作について図３に示す。図３は、本発明の実施形態における撮像装置の追尾処理について示したフローチャートである。

図３に示すように、追尾処理が開始されると、最初に追尾対象の選択が行われる（ＳＴＥＰ１）。具体的な選択方法としては、例えば表示装置にカラーマップやカラーパレットなどの複数の色を表示するとともにユーザに追尾対象の色を選択させる方法がある。

ＳＴＥＰ１の他の方法としては、図４（ａ）の追尾処理の対象となる画像データの模式図に示すように、撮像画像（静止画または動画）と矢印カーソル２１などを表示装置に表示させ、ユーザに矢印カーソル２１を使用させて追尾対象を選択させる方法がある。また、表示装置の表示部をタッチパネルとして、ユーザに直接的に追尾対象を選択させる構成としてもよい。この方法とすると、追尾したい物体を選択するだけで追尾対象が選択されるため、操作が非常に容易となる。

ＳＴＥＰ１の別の設定方法としては、図４（ｂ）に示すように、表示装置に撮像画像（静止画または動画）を表示するとともに追尾処理部１４によって検出された追尾対象候補の色をいくつか表示して、選択カーソル２２ａによってユーザに選択させる方法がある。この方法を適用する場合、近い信号を有する画素の集まり毎に領域を分割し、それぞれの領域を追尾対象候補としても構わない。また、図４（ｂ）に示すように、検出された追尾対象候補毎の境界２２ｂを強調表示しても構わない。さらに、後述するような移動体検出方法を利用し、検出された移動体を追尾対象候補としても構わない。このようにユーザに追尾対象及びその色を決定させることとすると、追尾処理部１４によって正確に追尾対象の色及び領域が認識されているか否かを確認することも可能となる。

なお、上述したＳＴＥＰ１における追尾対象の選択方法は一例であり、追尾対象が選択できる構成であればどのような方法であっても構わない。

ＳＴＥＰ１において追尾対象が選択されると、次に追尾領域及び初期探索領域の設定が行われる（ＳＴＥＰ２）。この動作は、例えば、追尾処理部１４が入力される画像データの中から追尾対象の色と近い色となる領域を検出して追尾領域を設定し、追尾領域に基づいて初期探索領域を設定する方法などによって行われる。また、例えば、初期探索領域が追尾領域を含む周囲の領域となるように設定される。

また、ＳＴＥＰ２の他の方法としては、ＳＴＥＰ１においてユーザによって選択された領域に基づいて、追尾領域及び初期探索領域を設定するなどの方法がある。

上述したＳＴＥＰ２における追尾領域及び初期探索領域の設定方法は一例であり、画像データから追尾対象を含む領域を検出して追尾領域とするとともに、初期探索領域を設定できる方法であれば、他のどのような方法であっても構わない。また、ＳＴＥＰ１及びＳＴＥＰ２における動作は、追尾処理部１４の追尾領域設定部１４ｄが行っても構わない。

また、追尾領域及び初期探索領域が設定された際の画像データの模式図を図４（ｃ）に示す。図４（ｃ）では、追尾対象が人物の上着の色（図中の波線で表現される色）である場合について示しており、追尾領域２３及び初期探索領域２４ａが上着の一部分の領域となっている。追尾領域２３及び初期探索領域２４ａは模式的に円形で示しているが、それぞれ四角形であっても他の形であっても構わない。また、追尾領域２３が追尾対象の色と同様の色の部分を全て含む形状であっても構わない。

ＳＴＥＰ２において追尾領域が設定されると、次に追尾領域に含まれる画素の信号、即ち、追尾対象色信号が例えばメモリ１５などに記憶される（ＳＴＥＰ３）。なお、ＳＴＥＰ１において選択及び決定される追尾対象の色を、そのまま追尾対象色信号としても構わない。

追尾対象色信号には、画素の輝度に関する信号と色に関する信号とが含まれる。なお、追尾対象色信号は、例えばＹＵＶで表現される信号やＲＧＢで表現される信号など、どのような形式であっても構わない。

ＳＴＥＰ３において記憶される追尾対象色信号は以降の動作を行う際の基準値として用いられる。そのため、追尾領域２３及び初期探索領域２４ａを設定する際に用いられる画像データは、露出やフォーカスなどが適正であり良好なものとなっていると好ましい。

また、ＳＴＥＰ３において追尾対象色信号が記憶されると、追尾処理を終了する指示が出されているか否かが確認される（ＳＴＥＰ４）。追尾処理を終了する指示が出されている場合は追尾処理を終了する（ＳＴＥＰ４、ＹＥＳ）。一方、追尾処理を終了する指示が出されていない場合は追尾処理を続行する（ＳＴＥＰ４、ＮＯ）。

追尾処理を続行する場合は（ＳＴＥＰ４、ＮＯ）、次フレームの画像データの取り込みを行う（ＳＴＥＰ５）。そして、このとき取り込まれるフレームの画像データに対して追尾処理部１４が以降の処理を行う。まず、追尾処理部１４の測光部１４ａが、このフレームの画像データの測光を行う（ＳＴＥＰ６）。

ＳＴＥＰ６における測光は、ＳＴＥＰ５において取り込んだフレームの画像データの測光値が求められることによって行われる。このとき得られる測光値は、例えば、輝度信号や、ＡＥ評価値（輝度信号やＲＧＢの信号などの画素の信号から算出される値）、ＡＦＥ４から出力されるＲＡＷデータ（一つの画素が１色のデータのみを持つデータ、イメージセンサ２から出力されるアナログ信号をデジタル化した信号））などの明るさを評価することができるデータを用いて求められる。なお、測光値を求めるために用いられるデータは上述したデータやこれらを組み合わせたものであっても構わないし、これら以外のデータを用いても構わない。

また、図４（ｄ）の測光領域の模式図に示すように、この測光は探索領域２４周辺の周辺領域２５を含めた測光領域２６で行われる。初めて測光を行う場合はＳＴＥＰ２において設定された初期探索領域２４ａが探索領域２４となる。

そして、探索領域２４の測光値の平均値と、周辺領域の測光値の平均値と、に加重加算を行い、対象測光値を得る。具体的には、以下の式（Ｉ）のように計算する。
（探索領域測光値の平均値）×α＋（周辺領域の測光値の平均値）×β … （Ｉ）
これにより対象測光値を得る。ここで、α＋β＝１としても構わない。

ＳＴＥＰ６によって測光が行われ対象測光値が得られると、次に対象測光値の判定を行う（ＳＴＥＰ７）。このときの判定は、対象測光値が許容範囲内にあるか否かの判定となる。この判定について図５を用いて説明する。図５は、測光、対象測光値判定及び探索領域設定が行われるフレームの画像データの模式図である。

図５（ａ）は、対象測光値が小さく許容範囲内に含まれない場合について示している。このとき、画像全体が暗くなるため、追尾処理部１４の追尾領域設定部１４ｄが画像データから追尾対象色信号と同様となる部分を検出することが困難となる。そのため、後述する追尾領域位置決定（ＳＴＥＰ１１）を行う際に画像データの色が正確に認識されず、追尾領域を誤った位置として決定する確率が高くなる。

反対に、図５（ｄ）は、対象測光値が大きく許容範囲内に含まれない場合について示している。このとき、画像全体が明るくなるため、追尾処理部１４の追尾領域設定部１４ｄが画像データから追尾対象である色を検出することが困難となる。そのため、暗くなる場合と同様に、後述する追尾領域位置決定（ＳＴＥＰ１１）において画像データの色が正確に認識されないため、追尾領域を誤った位置として決定する確率が高くなる。

そこで、図５（ａ）、（ｄ）のように対象測光値が許容範囲外となってしまう場合は、探索領域２４が広げられて設定される（ＳＴＥＰ８）。例えば、許容範囲から乖離した分だけ探索領域２４が広げられることとする。

このとき、探索領域２４は、現フレームの次に追尾処理部１４に入力される次フレームの画像データのために拡大されて設定される。このように探索領域２４を拡大させることで、次フレームの画像データにおいて追尾対象が動いていたとしても、追尾対象を含んだ部分の測光（ＳＴＥＰ６）が行われる確率が高くなる。なお、次フレームのための探索領域２４の拡大に応じて測光領域２６を拡大しても構わないし、さらに上述した式（Ｉ）のαやβの値を変更しても構わない。例えば、測光領域２６を拡大するとともにαを大きくしても構わない。

また、図５（ｂ）、（ｃ）のように、対象測光値が低い又は高い場合であっても、許容範囲内であれば後述する明るさ補正（ＳＴＥＰ１０）によって調整可能である。この調整によって後述する追尾領域位置決定（ＳＴＥＰ１１）が正常に行われる確率が高いため、ここでは次フレームのための探索領域２４の拡大を行わないこととする。

そして、以上のように次フレームのための探索領域２４が設定されると、次に追尾処理部１４の露出制御部１４ｂによって露出制御が行われる（ＳＴＥＰ９）。この露出制御について、二つの場合に分けて説明する。まず、図５（ｂ）、（ｃ）に示したような、対象測光値が許容範囲内となる場合について図６を用いて説明する。図６は、露出制御が行われるフレームの画像データの模式図と、画像データの輝度分布及び測光値を示すグラフである。

図６（ａ）は、対象測光値が許容範囲となる画像データの模式図であり、測光領域２６を併せて示したものである。なお、本図で示す測光領域２６は、現フレームにおけるものであり、ＳＴＥＰ６において測光が行われた領域を示すものである。即ち、図４（ｄ）の測光領域２６を示している。

図６（ｂ）は図６（ａ）に示す画像データの輝度分布を示したヒストグラムであり、図中の範囲２６ａが図６（ａ）中の測光領域２６の測光値が分布する範囲を示している。また、図６（ｃ）は画像データ全体の測光値Ａ、測光領域２６の測光値Ｃ、画像データ全体の測光値Ａと測光領域２６の測光値Ｃとを加重加算した測光値Ｂ、の３つの測光値を示したグラフである。画像データ全体の測光値Ａは、測光領域２６と関係なく画像データ全体に対して測光値を算出したものである。なお、画像データ全体の測光値Ａは、画像データの中央部分などの所定のエリアから算出することとしても構わないし、画像データの全てが含まれる領域から算出することとしても構わない。

また、画像データ全体の測光値Ａと測光領域２６の測光値Ｃとを加重加算した測光値Ｂは、以下の式（ＩＩ）のように計算する。
Ｂ＝γ×Ａ＋δ×Ｃ … （ＩＩ）
この式（ＩＩ）によって得られる測光値Ｂが目標測光値Ｙ_targetとなるように露出制御を行う。そして、図６に示すように測光領域２６の測光値Ｃが許容範囲内である場合は、γ＝１、δ＝０と設定される。すると、Ｂ＝Ａとなり、画像データ全体の測光値Ａにのみ基づいた露出制御が行われる。即ち、通常の露出制御と同様の方法で露出制御が行われる。

図６（ｄ）、（ｅ）に、次フレームの画像データの輝度分布と測光値のグラフを示す。図６（ｄ）、（ｅ）は、現フレームについて示した図６（ｂ）（ｃ）にそれぞれ相当するものである。上述のように制御されることによって、次フレームにおいて、画像データ全体の測光値Ａ及び加重加算した測光値Ｂがより目標測光値Ｙ_targetに近い値となる。

次に、図５（ａ）、（ｄ）に示したような、測光領域２６の測光値が許容範囲外である場合について図７を用いて説明する。ここでは、図５（ｄ）に示したような、測光領域２６の測光値が大きく許容範囲外となった場合を例に挙げて説明する。図７は、露出制御が行われるフレームの画像データの模式図と、画像データの輝度分布及び測光値を示すグラフであり、図６と同様のものである。また、図６と同様に、本図で示す測光領域２６は現フレームにおけるものであり、ＳＴＥＰ６において測光が行われた領域を示すものである。即ち、図４（ｄ）の測光領域２６を示している。

本例では、図７（ｂ）に示す輝度分布のヒストグラムにおいて、範囲２６ａが測光値の大きい部分となり図７（ｃ）の測光領域２６の測光値Ｃが許容範囲を超えている。このように、測光領域２６の測光値Ｃが許容範囲外となる場合、上述した式（ＩＩ）のγが１より小さくなり、δが０より大きくなるように設定される。本例の場合、γ＝０．８、δ＝０．２としている。このようにγ、δを変化させることで、加重加算した測光値Ｂに占める測光領域２６の測光値Ｃの割合が増大する。

そして、図７（ｄ）、（ｅ）に示すように、次フレームにおいて加重加算した測光値Ｂに基づいた露出制御が行われると、測光領域２６の測光値Ｃの影響が反映されるため、測光領域２６の測光値Ｃが許容範囲内に収まり易くなる。また、画像データ全体の測光値Ａの値も大きく反映されるため、画像データ全体の明るさが不適なものとなることが抑制される。したがって、追尾対象周辺の測光値に重点を置いた画像データの露出制御を行うことが可能となる。

また、γ及びδは序々に変化するように制御される。この制御方法の具体例について図８を用いて説明する。図８は、露出制御が行われるフレームの画像データの測光値を示すグラフである。また、図７に示した例について引き続き説明するものとし、図８（ａ）と図７（ｅ）とは同じグラフを示すものとする。さらに、図８（ａ）、（ｂ）と、図８（ｃ）、（ｄ）と、図８（ｅ）と、はそれぞれ同じフレームの画像データにおける測光値のグラフを示している。

図８（ａ）では、γ＝０．８、δ＝０．２で加重加算した測光値Ｂが目標測光値Ｙ_targetと略等しくなっている場合について示している。このとき、探索領域２６の測光値Ｃが許容範囲内になったため、γ＝０．９、δ＝０．１となるように段階を踏んだ調整が行われるものとする。

すると、図８（ｂ）に示すグラフのように、加重加算した測光値Ｂが目標測光値Ｙ_targetより小さいものとなる。そこで、この加重加算した測光値Ｂが目標測光値Ｙ_targetとなるように露出制御を行う。なお、この段階ではまだ次フレームを取り込んでないため、画像データ全体の測光値Ａ、測光領域２６の測光値Ｃの値は変化していない。

次のフレームでは、図８（ｃ）のように加重加算した測光値Ｂが目標測光値Ｙ_targetに近い値となる。このとき、図８（ｃ）に示すように探索領域２６の測光値Ｃが許容範囲内となる場合は、図８（ｄ）のようにγ＝１、δ＝０に設定して露出制御を行っても構わないし、γ＝０．９、δ＝０．１に維持しても構わない。一方、測光領域２６の測光値Ｃが再び許容範囲外となるようなことがあれば、γ＝０．８、δ＝０．２に戻しても構わない。なお、このように測光値の変動を抑制しながら露出制御を行う方法であれば、どのような方法でも構わない。

以上のような制御を継続している間に撮像環境が変化したり、露出が適正なものに設定されたりする。そして、最終的に図８（ｅ）に示すようにγ＝１、δ＝０で測光領域２６の測光値Ｃが許容範囲内に収まるようになる。このような状態となると、測光領域２６の測光値Ｃが許容範囲外とならない限り、以降の露出制御においてγ＝１、δ＝０に固定して露出制御を行う。

以上のＳＴＥＰ９における露出制御は、追尾処理部１４の露出制御部１４ｂにおいて行われ、露出制御部１４ｂが露出制御信号を出力することによって行われる。例えば、露出制御信号に基づいて、ＣＰＵ１３がレンズ部３の絞りやイメージセンサ２の蓄積時間などを制御することによって行われる。

ＳＴＥＰ９において露出制御が行われると、次に明るさ補正が行われる（ＳＴＥＰ１０）。この明るさ補正は、後述する追尾領域位置決定（ＳＴＥＰ１１）を正確に行うために、現フレームの画像データの明るさを補正するものである。これにより、例えば画像データに含まれる画素の輝度信号やＲＧＢの信号の各色の値など、明るさを示す信号が補正される。

ここで、画像処理部６から圧縮処理部８に送られる記録用の画像データや、プレビュー時などにおいて表示装置に送られる再生用の画像データにはＳＴＥＰ１０における明るさ補正が行われないこととする。一方、追尾処理に用いられる画像データは、明るさ補正部１４ｃにおいて明るさ補正が行われる。ただし、ＳＴＥＰ９における露出制御は、レンズ部３やイメージセンサ２などを制御することによって行われるものであるため、イメージセンサ２に入力される光学像やＡＦＥ４に入力されるアナログの画像データ自体が変化する。そのため、記録用や再生用の画像データも変化することとなる。なお、記録用や再生用の画像データに対して、画像処理部６が、例えばガンマ補正などの画像処理を別途施すこととしても構わない。

ＳＴＥＰ１０における明るさ補正について具体的に説明する。この明るさ補正は追尾処理部１４の明るさ補正部１４ｃによって行われる。ここでは、ＳＴＥＰ３において記憶した追尾対象色信号の明るさに、追尾領域に含まれる画素の信号の明るさが近づくようにするために行われる。

例えば、設定されている追尾領域における現フレームの画素の信号と、ＳＴＥＰ３で記憶した追尾対象色信号と、を比較することによって行われる。そして、その比較結果に基づいて、明るさ補正部１４ｃが現フレームの画像データの明るさ補正を行う。これにより、現フレームの画像データの明るさが補正され、追尾対象色信号の明るさに近づくこととなる。

このとき補正される部分は、画像データ全体としても構わないし、追尾領域やその周辺の領域だけとしても構わない。また、補正される部分を、探索領域や探索領域を含む周辺領域とすることも可能である。探索領域は上述したように追尾が困難になると拡大されるため、探索領域まで含めることとすると、追尾対象が存在する領域に対して明るさ補正が行われる確率を上げることができる。

次に、ＳＴＥＰ１０において明るさ補正が行われた画像データに基づいて、追尾処理部１４の追尾領域設定部１４ｄが追尾領域の位置の決定を行う（ＳＴＥＰ１１）。追尾領域の位置を決定する方法として、例えば、背景差分法、フレーム間差分法、オプティカルフローによる推定方法などの移動体検出方法を利用する方法がある。

なお、本発明の実施形態における撮像装置１では、明るさ補正が行われた画像データに基づいて追尾領域の位置が決定される方法であればどのような方法を利用しても構わない。ここで、具体例として以下にこれらの移動体検出方法を利用した追尾領域の位置の決定方法について説明する。

まず、背景差分法を利用する場合について図９を用いて説明する。図９は背景差分法について示す画像データの模式図である。背景差分法は、背景画像データを対象フレームの画像データから減算して移動体が含まれる領域を検出する方法である。そのため、定点カメラなど固定使用する撮像装置に適用する場合は、予め背景となる画像を撮像することによって背景画像データをメモリ１５などに記憶させる。一方、固定使用しない撮像装置に適用する場合は、数フレーム分の画像データの平均や分散をとることにより、背景画像データを作成してメモリ１５などに記憶させる。

例えば、図９（ａ）に示すような追尾領域を決定しようとする対象フレームの画像データから、図９（ｂ）に示すような背景画像データを減算することによって、図９（ｃ）に示すような差分の画像データを得る。そして、この差分の画像データにおいて、移動体が含まれる領域２７ａが抽出される。

背景差分法は、明るさなどの環境変化に非常に弱い。具体的には、環境が変化すると画像データのほぼ全ての信号が変化してしまうため、ほぼ全ての部分が移動体であるとみなされてしまう。しかしながら、本発明の実施形態における撮像装置１では、ＳＴＥＰ１０において明るさ補正を行っているために画像データの環境変化が低減される。そのため、背景差分法を用いたとしても環境変化の影響を受けにくく、正確に移動体が含まれる領域２７ａを抽出することができる。

次に、フレーム間差分法を用いる場合について図１０を用いて説明する。図１０はフレーム間差分法について示す画像データの模式図である。フレーム間差分法は、図１０（ａ）に示すような（ｎ−１）フレームの画像データと、図１０（ｂ）に示すようなｎフレームの画像データと、のように時系列的に隣接するフレームの画像データの差分をとることによって移動体を検出する。そして、図１０（ｃ）に示すような差分の画像データを得て、この画像データにおいて移動体が含まれる領域２７ｂを抽出する。

このフレーム間差分法も上述した背景差分法と同様に明るさなどの環境変化に非常に弱く、環境が変化すると画像データのほぼ全ての部分が移動したとみなされてしまう。しかしながら、本発明の実施形態における撮像装置１では、ＳＴＥＰ１０において明るさ補正を行っているために画像データにおいては環境変化が低減されている。そのため、フレーム間差分法を用いたとしても環境変化の影響を受けにくく、正確に移動体が含まれる領域２７ｂを抽出することができる。

以上のような移動体検出方法を用いることによって、画像データ中の移動体が含まれる領域２７ａ、２７ｂを検出することができる。そして、所定の特徴量（例えば、追尾対象色データや前フレームの追尾領域に含まれる画素から得られる色相情報、以下同様とする）と、移動体が含まれる領域２７ａ、２７ｂの画素の色相情報と、を用いて相関の高低を判定するとともに追尾領域の位置決定を行う。例えば、色相情報の差分に基づいて相関値を得て、その相関値が所定の値以下となる領域を相関が高い領域と判定しても構わない。そして、このような手法により相関が高いと判定された領域の位置を追尾領域の位置として決定しても構わない。

背景差分法とフレーム間差分法を利用する場合、背景画像データや各フレームの画像データから所定の特徴量と相関の高い領域を抽出し、これらの差分をとることによって追尾領域の位置を決定する方法としても構わない。

また、オプティカルフローによる推定方法、特に、ブロックマッチング法を利用する場合について図１１を用いて説明する。図１１は、ブロックマッチング法について示す画像データの模式図である。図１１（ａ）は、第（ｎ−１）フレームの画像データを表しており、第（ｎ−１）フレームの画像データにおける追尾ブロック１０１が、追尾対象である上着部分に設定されている場合を示している。また、図１１（ｂ）は、第ｎフレームの画像データを表しており、第ｎフレームの画像データにおいて、候補ブロック１１１及び探索ブロック１１２が設定されている。

この方法では、追尾ブロック１０１と候補ブロック１１１との間のブロック相関値が算出される。この際、候補ブロック１１１は、探索ブロック１１２内で水平方向または垂直方向に１画素ずつ移動させられ、その移動の度にブロック相関値が算出される。ブロック相関値は、追尾ブロック１０１と候補ブロック１１１との間における輝度信号の差分などに基づいて算出される。

また、ブロック相関値は追尾ブロック１０１内の画素の信号と候補ブロック１１１内の画素の信号との間の相関が高いほど小さくなる。したがって、ブロック相関値が最も小さくなる候補ブロック１１１の位置を求めることによって、第ｎフレームの画像データ内における追尾ブロック１０１の位置が求められる。また、このとき第（ｎ−１）フレームの画像データと第ｎフレームの画像データとの間の追尾ブロック１０１の動きベクトルが求められる。

そして、時系列的に隣接するフレーム間で動きベクトルを繰り返し求め、動きベクトルに応じて追跡ブロック１０１を逐次移動させることによって、追跡ブロック１０１が設定される。このようにして得られる追跡ブロック１０１が移動体が含まれる領域となり、この領域の画素の信号と所定の特徴量との相関をとることによって、追尾領域の位置が決定される。

なお、探索ブロック１１２を上述した探索領域としても構わないし、探索領域に基づいて探索ブロック１１２が設定されることとしても構わない。また、追尾ブロック１０１と候補ブロック１１１におけるブロック相関値を、色相情報の差分から求めることとしても構わない。

以上の具体例に示すような方法によって、ＳＴＥＰ１１において追尾領域の位置が決定される。しかしながら、場合によっては撮像環境が変化し過ぎており、追尾領域における色相情報の相関が低く信頼性が低い場合がある。そのため、次に決定された追尾領域の信頼性を判定する（ＳＴＥＰ１２）。

ＳＴＥＰ１１において高い相関が得られなかったために追尾領域の信頼性が低い場合、追尾領域を設定できないものと判定する（ＳＴＥＰ１２、ＮＯ）。この場合、ＳＴＥＰ１１において位置が決定された追尾領域の設定は行わない。即ち、追尾領域は前回設定された場所と同じ場所となり、維持される。また、追尾領域設定部１４ｄは、追尾領域の位置を前回と変わらないものとする旨の追尾結果信号を出力する。そして、ＳＴＥＰ４に戻り追尾処理を終了する指示が入力されているか否かを確認し、以下上述した処理と同様の処理を行う。

一方、ＳＴＥＰ１１において高い相関が得られている場合は、追尾領域を設定できると判定する（ＳＴＥＰ１２、ＹＥＳ）。この場合、ＳＴＥＰ１１で決定された位置に追尾領域の位置が設定される（ＳＴＥＰ１３）。さらに、探索領域も追尾領域の周辺となるように設定される（ＳＴＥＰ１４）。このとき、追尾領域設定部１４ｄから、追尾領域及び探索領域の位置を変更する旨の追尾結果信号が出力される。

そして、ＳＴＥＰ４に戻り追尾処理を終了する指示が入力されているか否かを確認し、以下上述した処理と同様の処理を行う。

ＳＴＥＰ４〜ＳＴＥＰ１４を繰り返す処理、即ち、複数のフレームに対して連続的に行われる追尾処理について図１２を用いて説明する。図１２は、本発明の実施形態における撮像装置の追尾処理の一例を示すシーケンス図である。また、図１２は、図３におけるＳＴＥＰ１２またはＳＴＥＰ１４が終了して、ＳＴＥＰ４に戻る際の状態について示している。

図１２（ａ）〜（ｆ）は、それぞれ第ｍ〜（ｍ＋５）フレームの画像データを示したものである。また、図１２では簡単のために図４〜図７に示したような画像データの具体例を省略している。

まず、第ｍ及び（ｍ＋１）フレームの画像データを示す図１２（ａ）及び（ｂ）では、上述した図３のＳＴＥＰ６において算出する対象測光値が、ＳＴＥＰ７において許容範囲内と判定されている。そのため、探索領域２４はＳＴＥＰ８において拡大して設定されず、通常の範囲となっている。

また、ＳＴＥＰ７において測光値が許容範囲内であるため、ＳＴＥＰ９の露出制御では上述した式（ＩＩ）においてγ＝１、δ＝０が設定されている。即ち、露出制御が画像データ全体の測光値に基づいて行われており、通常の露出制御と同様の露出制御が行われている。また、ＳＴＥＰ１０における明るさ補正は行われており、ＳＴＥＰ１１で追尾領域を決定する前に、画像データの明るさが追尾対象色信号に近づけられている。そして、図１２（ａ）、（ｂ）共に、ＳＴＥＰ１１において設定した追尾領域２３が相関の高いものであったため、ＳＴＥＰ１３及びＳＴＥＰ１４において追尾領域２３及び探索領域２４がそれぞれ設定されている。

これに対して、（ｍ＋２）フレームの画像データを示す図１２（ｃ）では、撮像環境に変化が生じたためにＳＴＥＰ７の対象測光値判定において許容範囲外と判定されている。そのため、ＳＴＥＰ８において探索領域２４が拡大されて設定されている。また、ＳＴＥＰ９における露出制御では、式（ＩＩ）のγが１より小さくδが０より大きい値となり、測光領域の測光値に重点が置かれた露出制御が行われる。

さらに図１２（ｃ）では、ＳＴＥＰ１０で明るさ補正を行うものの、ＳＴＥＰ１２で追尾領域２３を設定できるほど高い相関が得られないと判定されている。この場合、追尾領域２３は図１２（ｂ）で設定された領域と同じ領域となる。

図１２（ｃ）に示す第（ｍ＋２）フレームの画像データの処理において、探索領域２４の拡大や、探索領域２４を含む測光領域に重点を置いた露出制御が行なわれることによって、図１２（ｄ）に示す第（ｍ＋３）フレーム目の画像データでは、対象測光値が許容範囲に近づいている。しかしながら、このフレームの画像データにおいても対称測光値が許容範囲内となっていない。また、ＳＴＥＰ１０の明るさ補正を行ってもＳＴＥＰ１２で追尾領域２３を設定できるほど高い相関が得られないと判定されている。この場合、図１２（ｃ）と同様に、追尾領域２３が図１２（ｂ）で設定された領域と同じ領域で維持される。

図１２（ｃ）、（ｄ）に示す第（ｍ＋２）、（ｍ＋３）フレームの画像データの処理において、探索領域２４の拡大や測光領域に重点を置いた露出制御を継続して行なうことによって、図１２（ｅ）に示す第（ｍ＋４）フレームの画像データの処理において、対象測光値が許容範囲から僅かに外れたものとなるまで回復している。そのため、僅かに探索領域２４が縮小される。また、このときＳＴＥＰ１２において追尾領域２３を設定できる判定が得られたために、新たに追尾領域２３が設定されている。

そして、図１２（ｆ）に示す第（ｍ＋５）フレームの画像データの処理において、対象測光値が許容範囲内に入り、追尾領域２３も設定されている。ここで、ＳＴＥＰ９における露出制御では、式（ＩＩ）のγが１に近づき、δが０に近づく。これにより、測光領域の測光値の加算割合が以降減少していくこととなる。そして、対象測光値が以降許容範囲内で維持されると、最終的には画像データ全体の測光値のみに基づいて露出制御が行われるようになる。

以上のように追尾処理を行うことによって、追尾対象の明るさを一定のものとしながら追尾領域２３の決定を行うことが可能となる。そのため、追尾処理部１４の追尾領域設定部１４ｄが、画像データの色を誤って認識することを低減することができる。したがって、撮像環境の変化を受けにくい確実な追尾処理を継続して行うことが可能となる。

また、対象測光値が許容範囲を超える場合に探索領域が拡大されるため、現フレームの画像データにおいて追尾領域が設定されないために前回の位置で維持されたとしても、次フレームの画像データにおいて追尾領域が探索領域外となることを抑制することができる。そのため、次フレームにおいて追尾領域が設定される確率を上げることができる。

また、ＳＴＥＰ９において露出制御を行う際に、測光領域の測光値の成分のみに基づいて露出制御を行わず、画像データ全体の測光値との加重加算に基づいて露出制御を行うこととしている。そのため、入力される画像データ全体の明るさの劣化を抑制することができる。特に、露出制御は記録用や再生用の画像データにも影響を与えるものである。そのため、このように露出制御を行うこととすると、追尾処理を行うことによって記録用や再生用画像データが劣化することを抑制することができる。

また、測光領域の測光値が許容範囲に入った際に、対象測光値における測光領域の測光値の加算割合（上述の式（ＩＩ）のδ）を即座に０にしないで序々に０に近づける構成としている。そのため、画像データ全体の明るさが急激に変動することを抑制することができる。したがって、急激な露出補正が行われることにより発生する画像データ全体の明るさの変動を低減することが可能となり、追尾処理が良好に行われるとともに記録用や再生用の画像データの劣化を抑制することができる。

また、以上のような追尾処理を行うことによって、画像データ内の追尾対象の位置を検出することが可能となる。そのため、追尾領域設定部１４ｄから出力される追尾結果信号に基づいて、例えば、追尾対象にフォーカスを合わせる制御や、追尾対象を画像データの中心に配する撮像制御などを行うことが可能となる。

追尾対象にフォーカスを合わせる制御方法としては、例えば、追尾領域の画素の輝度の高周波成分が大きくなるように行う方法などがある。また、追尾対象を画像データの中心に配する方法としては、撮像装置や光学系の方向を制御する機械的な方法や、得られた画像データから追尾対象とその周辺領域のみを抜き出して編集するような画像処理的な方法がある。これらの追尾結果信号の利用方法は一例に過ぎず、追尾結果信号をどのように用いても構わない。

また、ＳＴＥＰ１〜ＳＴＥＰ３において追尾対象色信号や初期探索領域の設定を行う前に、設定元となる画像データが良好であるか否かの判定を行い、良好な画像データに基づいてこれらの設定が行なわれるようにしても構わない。例えば、露出やフォーカスなどが適正であるか否かを判定しても構わないし、ＳＴＥＰ６及びＳＴＥＰ７のような測光値の測定及び判定を行っても構わない。

このような判定を行うことで、ＳＴＥＰ１１において追尾領域設定部１４ｄが誤認識したり、相関が低くなったりすることをさらに抑制することができる。また、上述した露出やフォーカスなどの判定には、画像データの所定領域における画素の輝度信号の平均値や高周波成分など、どのような値を用いても構わない。

また、追尾処理を行っている間、ユーザに対して追尾対象色信号を表示装置などに表示することとしても構わない。このように表示を行うことで、追尾対象色信号が正確に記憶されているか否かをユーザに確認させることができる。また、追尾対象に枠をつけて表示しても構わない。このように表示することで正確に追尾が行われているか否かをユーザに確認させることができる。

また、ＳＴＥＰ１１において相関値を求めるために用いる色相情報が、ＨＳＢ（Hue、Saturation、Brightness）やＨＳＶ（Hue、Saturation、Value）、ＨＳＬ（Hue、Saturation、Lightness）などの形式で表現される色空間の、Ｈ成分を指すものとしても構わない。また、Ｈ成分が角度によって表されるものとしても構わない。例えば、０°を赤、１２０°を緑、２４０°を青と定義して、それぞれの間の角度にはそれぞれの中間色が入る構成としても構わない。そして、相関値を求める際に角度の差分を算出することとしても構わない。

このように色相情報を設定することで、追尾対象色信号から検出される色の信号と、ＳＴＥＰ１０において明るさが追尾対象色信号に近づけられた画像データから検出される色の信号と、を用いて相関値を求めることとなる。そのため、変動しやすい輝度に関する信号がなくなり、相関値を正確に算出することが可能となる。

また、ＳＴＥＰ１０の明るさ補正の一例として、前回の追尾領域に含まれる現フレームの画像データの画素の信号と、追尾対象色信号と、を比較して現フレームの明るさを補正するとした。しかしながら、本発明では他の方法を用いて明るさ補正することも可能である。例えば、前回の追尾領域を求める際に動きベクトルを検出し、それによって現フレームにおける追尾領域を予測して、その予測された追尾領域に含まれる画素の信号と追尾対象色信号とを比較して明るさ補正を行っても構わない。この動きベクトルは、例えばＳＴＥＰ１３において設定された追尾領域と、設定前の追尾領域と、を比較することによって求めても構わないし、上述したブロックマッチング法のように追尾領域を求める際に算出される動きベクトルを使用しても構わない。

このように、ＳＴＥＰ１０における明るさ補正を行うことで、現フレームにおける追尾対象の明るさが、直接的に補正される確率を上げることができる。例えば、追尾対象の移動量が大きく、前フレームの画像データと現フレームの画像データとにおいて追尾対象の重なりが少ないような場合などにおいても、この方法を用いることで対応することができる。

また、図１２（ｅ）に示す例では、対象測光値が許容範囲に十分近づいたために探索領域２４を縮小することとしているが、ＳＴＥＰ１３の追尾領域２３の設定が行われるまでは、探索領域２４を最大限に設定することとしても構わない。即ち、対象測光値が許容範囲に十分近づく、または、許容範囲内になったとしても、追尾領域２３が設定されなければ探索領域２４を最大限の大きさに設定することとしても構わない。

また、ＳＴＥＰ１３で追尾領域が設定されることによって、ＳＴＥＰ１４において探索領域を縮小して設定することとしても構わない。以上のように構成することによって、追尾対象が探索領域外になることを抑制するとともに、ＳＴＥＰ６の測光を行う際に、測光領域の追尾対象が含まれない部分をより低減することが可能となる。

また、ＳＴＥＰ７において探索領域を拡大するか否かを判定する許容範囲と、ＳＴＥＰ９において露出制御を行う際の加重加算の割合を設定するために用いる許容範囲と、が異なる範囲としても構わないし、同じ範囲としても構わない。なお、上述した例では同じ範囲としている。そして、この許容範囲を超えた際に追尾が困難となると想定されるために、探索領域の拡大及び測光領域の割合を大きくした加重加算を行うこととしている。

また、上述した追尾処理を、イメージセンサ２から出力される全てのフレームの画像データに対して行っても構わないし、数フレーム毎に行っても構わない。どちらの場合であったとしても、上述するフレームの番号（ｎ、ｍなど）は、追尾処理部１４に入力されるフレームの番号を示すものとする。

また、上述した追尾処理は、動画または静止画の撮像を行う場合に利用可能である。動画を撮像する場合は、画像データを記録しないプレビュー時と、記録時と、の両方において利用することができる。一方、静止画を撮像する場合には、主に静止画の記録指示が出される前、例えばプレビュー時などにおいて利用することができる。また、複数のフレームの画像データに基づいて静止画の画像データを作成する場合には、静止画の撮像中にも利用することができる。

また、本発明の実施形態における撮像装置１について、画像処理部６や音声処理部７、圧縮処理部８、伸張処理部１０、追尾処理部１４（測光部１４ａ、露出制御部１４ｂ、明るさ補正部１４ｃ、追尾領域設定部１４ｄ）などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１及び図２の追尾処理部１４は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や追尾処理部１４を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明における撮像装置の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、デジタルビデオカメラに代表される撮像装置や、その撮像方法に関するものである。特に画像データの色の信号を利用して追尾を行う機能を備えた撮像装置やその撮像方法に適用すると好適である。

は、本発明の実施形態における撮像装置の構成を示すブロック図である。 は、本発明の実施形態における撮像装置の追尾処理部の構成を示すブロック図である は、本発明の実施形態における撮像装置の追尾処理について示したフローチャートである。 は、追尾処理の対象となる画像データの模式図である。 は、測光、対象測光値判定及び探索領域設定が行われるフレームの画像データの模式図である。 は、露出制御が行われるフレームの画像データの模式図と、画像データの輝度分布及び測光値を示すグラフである。 は、露出制御が行われるフレームの画像データの模式図と、画像データの輝度分布及び測光値を示すグラフである。 は、露出制御が行われるフレームの画像データの測光値を示すグラフである。 は、背景差分法について示す画像データの模式図である。 は、フレーム間差分法について示す画像データの模式図である。 は、ブロックマッチング法について示す画像データの模式図である。 は、本発明の実施形態における撮像装置の追尾処理の一例を示すシーケンス図である。

符号の説明

１ 撮像装置
２ イメージセンサ
３ レンズ部
４ ＡＦＥ
５ マイク
６ 画像処理部
７ 音声処理部
８ 圧縮処理部
９ ドライバ部
１０ 伸張処理部
１１ 画像出力回路部
１２ 音声出力回路部
１３ ＣＰＵ
１４ 追尾処理部
１４ａ 測光部
１４ｂ 露出制御部
１４ｃ 明るさ補正部
１４ｄ 追尾領域設定部
１５ メモリ
１６ 操作部
１７ ＴＧ部
１８ バス
１９ バス
２０ 外部メモリ
２１ カーソル
２２ａ 選択カーソル
２２ｂ 境界
２３ 追尾領域
２４ 探索領域
２４ａ 初期探索領域
２５ 周辺領域
２６、２６ａ 測光領域
２７ａ、２７ｂ 移動体が含まれる領域

Claims (9)

1. 入力される光学像から画像データを作成する撮像部と、
   入力される画像データに基づいて、画像データ内の追尾対象の位置を示す追尾領域を設定する追尾領域設定部と、を備えた撮像装置において、
   前記追尾対象を示す信号である追尾対象色信号を記憶する記憶部と、
   前記追尾領域設定部に入力される画像データの明るさを補正する明るさ補正部と、を備え、
   前記明るさ補正部が、前記追尾領域設定部に入力される画像データの所定の領域における明るさを、前記追尾対象色信号の明るさに近づける補正を行うとともに、
   前記追尾領域設定部が、前記明るさ補正部によって補正された画像データに含まれる色の信号と、前記追尾対象色信号とに基づいて前記追尾領域を設定することを特徴とする撮像装置。
2. 画像データの全体的な明るさを測定した結果に基づいて全体測光値を算出するとともに、画像データの前記追尾領域を含む領域である第１測光領域の明るさを測定した結果に基づいて対象測光値を算出する測光部と、
   前記全体測光値と、前記対象測光値と、のそれぞれに所定の加算割合を乗じて加算することで加重加算値を得るとともに、当該加重加算値に基づいて前記撮像部を制御して、前記撮像部から出力される画像データの明るさを制御する露出制御部と、
   をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記対象測光値が第１範囲外の値となるときに、前記加重加算値における前記対象測光値に乗じられる加算割合が、前記対象測光値が前記第１範囲内の値である場合以上の大きさの値に設定されることを特徴とする請求項２に記載の撮像装置。
4. 前記対象測光値が継続して前記第１範囲内の値となるときに、前記加重加算値における前記対象測光値に乗じられる加算割合が、通常露出補正割合値に設定されることを特徴とする請求項３に記載の撮像装置。
5. 前記対象測光値が前記第１範囲外の値から前記第１範囲内の値になるとともに、その後継続して前記第１範囲内の値となる場合に、前記加重加算値における前記対象測光値に乗じられる加算割合が、少なくとも一回前記通常補正割合値以外の値に設定された後に、前記通常露出補正割合値に設定されて維持されることを特徴とする請求項４に記載の撮像装置。
6. 前記対象測光値が第２範囲外の値となるときに、前記第１測光領域が、前記対象測光値が前記第２範囲内にある場合よりも大きく設定されることを特徴とする請求項２〜請求項５のいずれかに記載の撮像装置。
7. 前記対象測光値が、前記第１測光領域の明るさを測定した値と、前記第１測光領域の周辺の領域である周辺領域の明るさを測定した値と、のそれぞれに所定の加算割合を乗じて加算した値に基づいて算出されることを特徴とする請求項２〜請求項６のいずれかに記載の撮像装置。
8. 入力される画像データを記録する記録部をさらに備え、
   当該記録部に入力される画像データが、前記明るさ補正部によって補正されていない画像データであることを特徴とする請求項１〜請求項７のいずれかに記載の撮像装置。
9. 追尾対象を示す信号である追尾対象色信号を記憶する第１ステップと、
   画像データを作成する第２ステップと、
   当該第２ステップにおいて作成された画像データの所定の領域の明るさが、前記第１ステップにおいて記憶された追尾対象色信号に近づくように制御する第３ステップと、
   当該第３ステップにおいて補正された画像データに含まれる色の信号と、前記第１ステップにおいて記憶された追尾対象色信号とに基づいて、画像データ内の追尾対象の位置を示す追尾領域を設定する第４ステップと、
   を備えることを特徴とする撮像方法。