JP2011059977A - 撮像装置 - Google Patents

Abstract

【課題】被写体が撮像装置に対して遠近方向で移動した場合であっても、より最適な大きさに追跡領域を調整して被写体像を追跡する。
【解決手段】撮像装置は、被写体像を撮像して、画像データを順次生成する撮像手段と、被写体像を追跡するための追跡情報に基づいて、撮像手段で順次生成される画像データに追跡領域を設定する追跡領域設定手段と、画像データの一部に設定される第１判定領域及び第１判定領域と異なるサイズの第２判定領域から判定領域間の関係情報を取得する関係情報取得手段と、を備える。追跡領域設定手段は、ある画像データに対して追跡領域を設定する際、画像データで関係情報取得手段により取得される第２関係情報、及び、以前に取得した画像データで関係情報取得手段により取得される第１関係情報の変化の大きさに応じて、追跡領域の大きさを調整する。
【選択図】図２

Description

本発明は、撮影画像に対して追跡領域を設定し、追跡領域で被写体像を追跡可能な撮像装置に関する。より詳しくは、被写体像を追跡する追跡領域の大きさを自動調整可能な撮像装置に関する。

従来の撮像装置としては、特許文献１に記載されるようなものが存在する。

特許文献１の撮像装置では、移動する被写体に対して最適な大きさの追跡領域を設定することを目的としたものである。この撮像装置では、前記目的を達成するため、撮像レンズの焦点距離に基づいて追跡領域の大きさを調整するものである。

特開平７−３０８０１号公報

ところで、ある撮像装置では、被写体の特徴情報に基づき、撮影画像内の被写体像を一定の大きさの追跡領域で追跡するようにしたものがある。

このような撮像装置では、被写体が近づいたり、遠ざかったりすると、追跡領域が一定の大きさであるため、追跡精度が悪化する。例えば、図１７に示すように、撮像装置に被写体が近づくと、撮影画像内に占める被写体像の割合が大きくなる。このため、撮像装置は、撮影画像内に追跡領域を設定する際、撮影画像内に特徴情報と似た情報が増えてしまい、一定の大きさの追跡領域をより適切な位置に設定できなくなる。また、撮像装置から被写体が遠ざかると、撮影画像内に占める被写体像の割合が小さくなる。このため、撮像装置は、撮影画像内に追跡領域を設定する際、撮影画像内に特徴情報と似た情報が減ってしまい、一定の大きさの追跡領域をより適切な位置に設定できなくなる。

そこで本発明は、上記課題を解決するため、被写体が撮像装置に対して遠近方向で移動した場合であっても、より最適な大きさに追跡領域を調整して被写体像を追跡できる撮像装置を提供することを目的とする。

すなわち、本発明の撮像装置は、被写体像を撮像して、画像データを順次生成する撮像手段と、被写体像を追跡するための追跡情報に基づいて、前記撮像手段で順次生成される画像データに追跡領域を設定する追跡領域設定手段と、前記画像データの一部に設定される第１判定領域及び当該第１判定領域と異なるサイズの第２判定領域から判定領域間の関係情報を取得する関係情報取得手段と、を備える。そして前記追跡領域設定手段は、ある画像データに対して追跡領域を設定する際、当該画像データで前記関係情報取得手段により取得される第２関係情報、及び、以前に取得した画像データで前記関係情報取得手段により取得される第１関係情報の変化に基づいて、前記追跡領域の大きさを調整する。

このようにすれば、撮像装置は、ある画像データの関係情報と以前の画像データの関係情報の変化に基づいて追跡領域の大きさを調整できる。そのため、被写体が撮像装置に対して遠近方向で移動した場合であっても、より最適な大きさに追跡領域を調整して被写体像を追跡できる。

本発明によれば、撮像装置は、被写体が撮像装置に対して遠近方向で移動した場合であっても、より最適な大きさに追跡領域を調整して被写体像を追跡できる。

本実施の形態に係るデジタルカメラの斜視図 本実施の形態に係るデジタルカメラの構成図 本実施の形態に係るデジタルカメラの表示画面の遷移例を説明するための図 本実施の形態に係る画像データＡに追跡領域が設定された際の動作を説明するための図 本実施の形態に係る画像データＡに追跡領域が設定された際の具体的動作を説明するための図 本実施の形態に係る画像データのＢＭ情報を説明するための図 本実施の形態に係る色割合の取得方法を説明するための図 本実施の形態に係る追跡情報の取得方法を説明するための図 本実施の形態に係る追跡領域に基づいて、判定領域の設定動作を説明するための図 本実施の形態に係る画像データＢにおいて、追跡領域が設定された際の動作を説明するための図 本実施の形態に係る画像データＢにおいて、追跡領域のサイズを調整する動作を説明するための図 本実施の形態に係る画像データにおいて、追跡領域のサイズを調整する動作を説明するための図 他の実施の形態に係る追跡領域及び判定領域の関係を説明するための図 本実施の形態に係るデジタルカメラの動作例を示すフローチャート 本実施の形態に係るデジタルカメラの動作例を示すフローチャート 本実施の形態に係る追跡領域設定動作時の追跡領域の大きさの調整動作を説明するための図 課題を説明するための図

（実施の形態１）
本発明の一実施の形態について、図面を参照して説明を行なう。以下、具体的に説明する。本実施の形態では、デジタルカメラ１を例にして説明を行なう。

＜１．本実施の形態の概要＞
デジタルカメラ１は、ＣＣＤイメージセンサー１２で生成される画像データに対して、追跡領域を設定する。一方で、デジタルカメラ１は、過去と現在の画像データの一部に設定される第１及び第２判定領域における関係情報（図１１や図１２の近似度）の変化に基づき、追跡領域のサイズを調整する。すなわち、被写体がデジタルカメラ１に近づいた場合、第１判定領域と第２判定領域の関係情報の差が過去と比べて小さくなる（図１１）。一方で被写体がデジタルカメラ１から遠ざかった場合、第１判定領域と第２判定領域の関係情報の差が過去と比べて大きくなる（図１２）。この関係を利用して本実施の形態では、追跡領域のサイズを調整するようにしている。

なお、デジタルカメラ１は、画像データ、及び、サイズが調整された追跡領域を、表示画面として液晶モニタ２０に表示する。例えば、撮像装置の液晶モニタ２０には、例えば、図３に示すように、画像データ及び追跡領域７１〜７４が表示画面として表示される。

これによって、デジタルカメラ１は、被写体が遠近方向で移動した場合であっても、より最適な大きさに追跡領域を調整して被写体像を追跡できる。

＜２．構成例（図１、図２）＞
図１は、本実施の形態に係るデジタルカメラ１の斜視図である。図２は、本実施の形態に係るデジタルカメラ１の構成を示すブロック図である。以下、具体的構成を説明する。

光学系１１は、被写体からの光学信号を集光してＣＣＤイメージセンサー１２上に被写体像を形成する。光学系１１は、対物レンズ１１１とズームレンズ１１２とフォーカスレンズ１１３と絞り／シャッタ１１４とを含む。

ズームレンズ１１２は、ズーム駆動部１１５によって駆動され、被写体像の写る範囲（画角）を調整する。すなわち、ズームレンズ１１２は、焦点距離を調整可能である。フォーカスレンズ１１３は、フォーカス駆動部１１６によって駆動され、ピントの調節を行なう。ズーム駆動部１１５は、ズームレンズ１１２を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、ズームレンズ１１２を駆動させる。フォーカス駆動部１１６は、フォーカスレンズ１１３を移動するためのカム機構やカム機構を駆動するためのアクチュエータなどを備えて構成される。フォーカス駆動部１１６は、コントローラ１７からの制御に応じて、フォーカスレンズ１１３を駆動させる。

また、絞り／シャッタ１１４は、絞りとシャッタを兼用した部材である。絞り／シャッタ１１４は、絞り／シャッタ駆動部１１７によって駆動される。絞りは、５枚の羽根によって構成され、光学系１１を通る光の量を調整するものである。また、シャッタは、開けたり閉じられたりして、ＣＣＤイメージセンサー１２に当たる光の量を時間的に調整するものである。絞り／シャッタ駆動部１１７は、カム機構やカム機構を駆動するためのアクチュエータなどを備えて構成され、コントローラ１７からの制御に応じて、絞り／シャッタを駆動する。

なお、本実施の形態では、絞りとシャッタを兼用した絞り／シャッタ１１４を備えるようにしたが、これに限られず、絞りとシャッタとを別々に設けるようにしても良い。この場合、例えば、シャッタは光学系内に設けず、絞りだけを光学系に設けるとよい。この際、シャッタは、光学系とＣＣＤイメージセンサーの間に設けるとよい。このようにすれば、シャッタを光学系と別の部材で設けたので、レンズ交換タイプのデジタルカメラにも適用できるようになる。

ＣＣＤイメージセンサー１２は、光学系１１によって形成された被写体像を撮像して画像データを生成する。ＣＣＤイメージセンサー１２は、タイミングジェネレータ１２１から供給されるパルス信号に基づいて、被写体像を撮像し、画像データを生成する。タイミングジェネレータ１２１は、ＬＳＩなどの集積回路によって構成され、ＣＣＤイメージセンサー１２にパルス信号を供給する。ここでタイミングジェネレータ１２１がＣＣＤイメージセンサー１２に供給するパルス信号は、例えば、1秒間に３０回のフレーム読み出しパルス信号を供給する。これによって、ＣＣＤイメージセンサー１２では、３０分の１秒ごとのフレームの画像データを取得できるようになる。なお、カラーフィルターには、原色フィルターが用いられている。

ＡＤコンバータ１３は、ＣＣＤイメージセンサー１２で生成された画像データをデジタルデータに変換する。

画像処理部１４は、デジタルデータに変換された画像データに対して所定の処理を施す。所定の処理としては、補間処理、ガンマ変換、ＹＣ変換、電子ズーム処理、圧縮処理、伸張処理などが考えられるが、これに限定されるものではない。ここで本実施の形態で画像処理部１４は、デジタルデータに変換された画像データを、ＢＭデータとＹＣデータに変換する。つまり、画像処理部１４では、ＢＭデータとＹＣデータが生成されることになる。ＢＭデータは、画像データにおける色の割合を示す情報である。このＢＭデータの詳細については、３章で説明する。画像処理部１４は、例えば、ＬＳＩで実現可能である。

バッファメモリ１５は、画像処理部１４で画像処理を行う際、および、コントローラ１７で制御処理を行う際に、ワークメモリとして作用する。バッファメモリ１５は、例えば、ＤＲＡＭなどで実現可能である。

フラッシュメモリ１６は、内蔵メモリとして用いられる。フラッシュメモリ１６は、画像処理された画像データ（補間処理後データ）の他に、コントローラ１７の制御のためのプログラムや設定値などを記憶可能である。本実施の形態では、顔情報が記憶されている。顔情報は、画像データ内から人物の顔を検出するために用いられるものである。つまり、顔情報は、画像データ内に、顔情報が存在するか否かを判別する際に用いられるものである。顔情報には、例えば、顔全体の輪郭や顔の構成要素（目、鼻、耳など）に対応したテンプレート情報が考えられる。

コントローラ１７は、デジタルカメラ１の各部を制御する。コントローラ１７は、マイクロコンピュータで実現してもよく、ハードワイヤードな回路で実現しても良い。なお、コントローラ１７の各種制御は、後ほど詳細を説明する。

ぶれ検出器３０は、ジャイロセンサーなどで構成されるものであり、自装置の振動を検出する。ぶれ検出器３０は、デジタルカメラ１の水平軸を中心とした上下方向の回転振動を検知する第１のジャイロセンサーと、デジタルカメラ１の鉛直軸を中心とした左右方向の回転振動を検知する第２のジャイロセンサーとを備える。つまり、ぶれ検出器３０は、デジタルカメラ１の動き角速度を検出する。なお、コントローラ１７は、ぶれ検出器３０から動き角速度を取得して、この角速度を積分して、デジタルカメラ１の角速度を算出する。この角速度が、デジタルカメラ１のぶれ量である。ぶれ量は、例えば、−３００〜３００ｄｅｇ／ｓｅｃのような値で算出される。

カードスロット１８は、メモリカード１９を着脱するためのスロットである。カードスロット１８は、メモリカード１９を制御する機能を有するようにしてもよい。メモリカード１９は、フラッシュメモリなどを内蔵する。メモリカード１９は、画像処理部１４によって画像処理された画像データ（補間処理後データ）を格納可能である。

液晶モニタ２０は、画像データおよびデジタルカメラ１の各種設定等を表示する。なお、液晶モニタ２０に替えて、有機ＥＬディスプレイなどを用いることもできる。

操作部２１は、デジタルカメラ１の外装に取り付けられた操作部材の総称である。操作部２１としては、十字キーや押下釦等が考えられる。

本実施の形態では、操作部の一つの押下釦として、シャッタスイッチ２１１がある。シャッタスイッチ２１１は、デジタルカメラ１の上面に設けられるものであり、使用者からの半押しおよび全押しを検知できるようにしたものである。使用者によって半押し又は全押し操作が行なわれると、シャッタスイッチ２１１は操作に応じた操作信号をコントローラ１７に出力する。

また本実施の形態では、操作部２１の一つの部材としてズームレバー２１２が備えられている。ズームレバー２１２は、使用者からの操作に応じて、デジタルカメラ１の焦点距離を変更するものである。ズームレバー２１２は、使用者に操作されると、操作信号をコントローラ１７に出力する。これによって、コントローラ１７は、ズームレンズ１１２に対して焦点距離を変更するための制御信号を送ることができる。

＜３．画像処理部によって生成されるＢＭデータとＹＣデータ＞
画像処理部１４では、ＣＣＤイメージセンサー１２で生成された画像データから、ＢＭデータ及びＹＣデータを生成することが可能である。ＢＭデータは、関係情報を取得するため、及び、ＷＢの調整のため、露出を調整するためなどに用いられる。また、ＹＣデータは、追跡情報に基づき追跡領域を設定するため、及び、液晶モニタ２０の表示画面を生成するため、メモリカード１９に記録する画像データを生成するためなどに用いられる。

＜３．１ ＡＤコンバータ１３から入力される画像データ（画像処理前）＞
ＡＤコンバータ１３から入力される画像データは、各画素の電荷データである。ＣＣＤイメージセンサー１２に原色フィルターが設けられている場合、各画素が赤、緑、又は、青に対応する。したがって、画像処理部１４は、原色フィルターの色の配置を予め記憶すれば、画像データにおいて、各画素がどの色に対応するかを判別できる。

＜３．２ ＢＭデータ＞
ＢＭデータは、画像データを複数に分割した場合において、各分割した領域（以下、分割領域）の色の割合を示す情報である。画像処理部は、画像データを、１６×１６の領域に分割している。画像処理部は、各分割領域から色の割合を取得するようにしている。以下、図６を用いて、画像処理部１４のＢＭデータ取得方法を説明する。

画像処理部１４は、ＡＤコンバータ１３から入力された情報を、領域毎で分割する。例えば、ある分割領域Ａにおける画素毎の電荷データを取得する。そして画像処理部１４は、どの画素がどの色に対応するかを判別できるので、領域毎に得られる情報に基づいて、赤、緑、青の各々について情報を積算する（図６）。これによって、画像処理部は、各領域内における赤、緑、青毎の色の大きさを取得することができる。なお、画像処理部１４では、例えば、各領域内の各ＢＭサイズを１２bitで表現するように構成されている。したがって、Ｒ，Ｇ，Ｂの各々の値は、０〜４０９５の値を取る。

＜３．３ ＹＣデータ＞
ＹＣデータは、画像データに補間処理を施した後、ＹＣ（ＹＣｂＣｒ）変換を施したものである。画像処理部１４は、ＹＣ（ＹＣｂＣｒ）変換によって、各画素に、明るさ「Ｙ（輝度情報）」と、色情報「Ｃｂ（輝度信号と青色の色差）、Ｃｒ（輝度信号と赤色の色差）」とを得ることができる。

図８を用いて、画像処理部１４のＹＣデータ取得方法を説明する。画像処理部１４は、入力された画像データにガンマ処理及びホワイトバランスゲインを施した後、補間処理を施す。補間処理は、例えば、Ｒ／Ｇｒ／Ｇｂ／ＢからＲ／Ｇ／ＢへのＢａｙｅｒ−ＲＧＢ変換で実現できる。これによって、各画素が、ＲＧＢ全ての情報を含むようになる。そして画像処理部１４は、各画素のＲＧＢ情報を、ＹＣｂＣｒに変換する。これによって、画像処理部１４は、ＹＣデータを得ることができる。なお、ＹＣ変換は、一般的な技術であるため、説明を省略する。

＜４．画像処理部で得られ関係情報及び色情報（図４、５、７、８）＞
本実施の形態では、画像処理部１４は、図４に示すように、画像データから、近似度（関係情報の一例）及び色情報（追跡情報の一例）を取得可能に構成されている。具体的に、画像処理部１４は、図５に示すように、ＢＭデータを基に、第１判定領域８１と第２判定領域９１の近似度を求めることができる。また、画像処理部１４は、図５に示すように、ＹＣデータを基に、ある追跡領域７１の色情報を求めることができる。以下、詳細を説明する。

＜４．１．判定領域間の近似度（関係情報）＞
判定領域間の近似度の求め方を、図４を用いて説明する。図４は、ＢＭデータに基づいて得られる第１判定領域８１の色割合と第２判定領域９１の色割合を示したものである。

第１判定領域８１及び第２判定領域９１は、画像データＡのＹＣデータ（図示せず）に対して、設定されている。つまり、第１判定領域８１と第２判定領域９１は、画像データの画素に対応する形で、画像データＡに設定されている（図７）。例えば、画像データＡが横１６００×縦１６００画素と仮定した場合、第１判定領域８１は、左上端（７５０,７２０）と右下端（９００,８８０）の位置に設定される。また、第２判定領域９１は、左上端（６５０,６９０）と右下端（９５０,９１０）の位置に設定される。このようにして、第１判定領域及び第２判定領域は、ＹＣデータの一部に設定される。

画像処理部１４は、このように設定された第１判定領域８１を用いて、ＢＭデータから第１判定領域８１の色割合を取得する。この際、画像処理部１４は、第１判定領域８１内の画素が少なくとも一部に含まれる分割領域を抽出する。例えば、図７の右上図では、斜線部分が抽出対象の分割領域となる。そして画像処理部１４は、抽出した分割領域において、各々の領域の色割合（赤、緑、青）を取得し、積算する。このようにして、画像処理部１４は、第１判定領域８１の色割合を求めることができる。同様の方法で、画像処理部１４は、第２判定領域９１の色割合を求めることができる。

次に、画像処理部１４は、第１判定領域８１の色割合と第２判定領域９１の色割合を用いて、近似度を算出する。ここで、第１判定領域８１と第２判定領域９１は、領域の大きさが異なる。そのため、この状態で近似度を求めると、計算が複雑になる。そこで、本実施の形態では、第１判定領域８１と第２判定領域９１を同じ面積に換算した場合の各々の色割合を求める。そして、求めた色割合を減算することで、近似度を求める。

例えば、図７のように第１判定領域８１と第２判定領域９１の面積比が１：４である場合、第２判定領域の各々（Ｒ／Ｇ／Ｂ）の色割合を４で除算する。そして、第１判定領域８１の色割合と第２判定領域９１の色割合を減算する。このようにして、画像処理部１４は、第１判定領域８１と第２判定領域９１の近似度を求めることができる。

＜４．２．追跡領域内の色情報＞
追跡領域内の色情報の求め方を、図８を用いて説明する。図８は、ＹＣデータに基づいて得られる色情報を示す図である。図８では、ＹＣ変換後の画像データに、ある追跡領域７１が設定されている。追跡領域７１は、判定領域と同様、画像データの画素に対応する形で、画像データに設定されている。

画像処理部１４は、このように設定された追跡領域７１を用いて、ＹＣデータから色情報を取得する。詳しく説明すると、画像処理部１４は、追跡領域内におけるＹＣデータの各画素を色相角（０〜３５９度）に変換する。つまり、画像処理部１４は、各画素が色相角でいう何度に該当するかを取得する。例えば、ある画素は、色相角５度となる。そして画像処理部１４は、色相角に変換された各画素を、色相角全体を４０分割した色領域に振り分けていく。色領域は、色相角全体を４０分割しているので、第１色領域が０〜８度、第２色領域が９〜１７度、・・・のように分割される。そのため、画像処理部１４は、例えば、ある画素が色相角５度に変換された場合、この画素を、第１色領域（０〜８度）に振り分ける。画像処理部１４は、上記のようにして振り分けられた画素の数を、色領域毎に計算する。

このようにして、画像処理部１４は、ＹＣデータからある追跡領域の色情報を取得できるようにしている。

なお、ＹＣデータの各画素を色相角に変換する方法は、例えば、ＹＣｂＣｒをＲＧＢに変換する。そして、ＲＧＢを色相角に変換することで可能である。また、これに限らず、例えば、テーブル情報に基づいて、ＹＣｂＣｒを直接色相角に変換してもよい。

＜４．動作例（図１４、図１５、図４〜１２）＞
次に、本実施の形態に係るデジタルカメラ１の動作例を説明する。以下では、ユーザ操作によって、画像データに追跡領域を設定する際の動作と、画像データの一部に設定された追跡領域を、順次生成される画像データに継続して設定する動作を説明する。

＜４．１．ユーザ操作による追跡領域の設定動作（図１４）＞
まず、ユーザ操作により、撮像装置が画像データに追跡領域を設定する動作を説明する。図１４は、追跡領域の設定動作を説明するフローチャートである。

画像処理部１４は、画像データを取得する（Ｓ１）。この際、画像処理部１４は、画像データから、ＹＣデータとＢＭデータを生成する。画像処理部１４は、ユーザ操作によって、追跡領域が設定されたか否かを検知する（Ｓ２）。画像処理部１４は、ユーザによって所定のボタンが操作されたことを検知すると、画像データ（ＹＣデータ）の中央部に位置する被写体に対して追跡領域が設定されたと判断する。本実施の形態において、所定のボタンとは、十字キーの下ボタンのことである。すなわち、ユーザは、追跡領域で被写体を追跡する場合、デジタルカメラ１のアングルを移動して、追跡したい被写体を画像データ（ＹＣデータ）の中央部に移動させる。そして、ユーザは、画像データの中央部に、追跡したい被写体が移動したところで、下ボタンを押下する。これによって、ユーザは、追跡したい被写体に対して、追跡領域を設定できる。

図１４の説明に戻って、画像処理部１４は、追跡領域の大きさを調整する（Ｓ３）。具体的には以下の方法で実現できる。

画像処理部１４は、画像データ（ＹＣデータ）において、設定された追跡領域と対応する位置に、図１６のパターン１のような仮領域と補助領域を設ける。画像処理部１４は、このようにして設定された仮領域と第１補助領域と第２補助領域から、色情報を取得する。画像処理部１４は、仮領域と補助領域の色情報が分離できるか否かを判別する。ここで仮領域と補助領域の色情報が分離できるとは、色情報において画素数が最も多い色領域が一致しないことをいう。したがって、画像処理部１４は、例えば、仮領域の色情報において第１色領域（０〜８度）の画素数が最も多く、第１補助領域の色情報において第２色領域（９〜１７度）の画素数が最も多い場合、仮領域と第１補助領域の色情報は分離できると判断する。なお、仮領域と補助領域内の色情報は、追跡領域の色情報と同様の方法で取得できる。

本実施の形態では、画像処理部１４は、仮領域の色情報が、第１補助領域及び第２補助領域の両方の色情報と分離できるか否かを判別する。したがって、画像処理部１４は、仮領域の色情報が、第１補助領域及び第２補助領域の両方の色情報と分離できる場合、現在の仮領域の大きさを、追跡領域の大きさに決定する。一方画像処理部１４は、仮領域の色情報が、第１補助領域及び第２補助領域の両方の色情報と分離できない場合、図１６のパターン２のような、先ほどの仮領域より大きい仮領域と補助領域を設ける。このようにして、画像処理部１４は、仮領域と補助領域が分離できるまで、仮領域の大きさを大きくしていく。これによって、画像処理部１４は、追跡領域の設定時において、追跡領域の大きさをより最適なサイズに調整できるようにしている。このようにして画像処理部１４は、ステップＳ２で設定された追跡領域の大きさを調整する（Ｓ３）。

この後、画像処理部１４は、追跡領域内の色情報を取得し、バッファメモリ１５に記憶する（Ｓ４）。この追跡領域内の色情報が追跡情報の一例である。なお、画像処理部１４は、画像データ（ＹＣデータ）における、追跡領域の設定位置・サイズを示す情報を記憶する。例えば、追跡領域の設定位置・サイズを示す情報は、左上端（７５０,７２０）と右下端（９００,８８０）のような情報となる。

次に画像処理部１４は、画像データ（ＹＣデータ）において、追跡領域と同じ位置に第１の判定領域を設定する。また、画像処理部１４は、画像データ（ＹＣデータ）において、第１の判定領域に対して縦横が２倍である第２の判定領域を設定する。画像処理部１４は、例えば、画像データＡ（ＹＣデータ）の図９のような位置に、第１判定領域８１及び第２判定領域９１を設定する。

そして画像処理部１４は、図７に示すように、画像データＡ（ＢＭデータ）において、画像データＡ（ＹＣデータ）に設定された第１判定領域８１及び第２判定領域９１に対応する位置から、色割合を取得する（Ｓ５）。また、画像処理部１４は、図７のように、取得した色割合に基づいて、第１判定領域８１及び第２判定領域８２の近似度を算出し、バッファメモリ１５に記憶する（Ｓ６）。ここで画像処理部１４が算出して記憶した近似度を、第１近似度と呼ぶ。

ここで、画像処理部１４は、上記設定した第１及び第２判定領域の設定位置及びサイズを示す情報を記憶する（Ｓ７）。例えば、第１判定領域の設定位置・サイズを示す情報は、追跡領域と同様に、左上端（７５０,７２０）と右下端（９００,８８０）のような情報となる。また、第２判定領域の設定位置・サイズを示す情報は、左上端（６５０,６９０）と右下端（９５０,９１０）のような情報となる。

画像処理部１４は、画像データ及び追跡領域を表示画面として液晶モニタ２０に表示させる（Ｓ８）。例えば、図３の画像データＡが表示画面として表示されることになる。この後、画像処理部１４は、画像データに対する追跡動作を繰り返す（Ｓ９）。

＜４．２．画像データに対する追跡動作（繰り返し）（図１５）＞
画像処理部１４における画像データに対する追跡動作を説明する。図１５は、追跡動作を説明するためのフローチャートである。

まず、画像処理部１４は、新たな画像データをＡＤコンバータ１３から取得する（Ｔ１）。この際、画像処理部１４は、画像データから、ＹＣデータとＢＭデータを生成する。画像処理部１４は、バッファメモリ１５に記憶した追跡領域内の色情報に基づいて、ステップＴ１で取得した画像データ（ＹＣデータ）に新たな追跡領域を設定する（Ｔ２）。

色情報に基づく新たな追跡領域の設定方法を説明する。画像処理部１４は、過去の追跡領域の設定位置・サイズを示す情報に基づいて、ステップＴ１で取得した画像データ（ＹＣデータ）に、過去の追跡領域よりも大きい検索領域を設定する。画像処理部１４は、検索領域内の画像データ（ＹＣデータ）において、追跡領域の色情報と最も近似する領域を探索する。画像処理部１４は、このようにして探索した領域に、新たな追跡領域を設定する。この際、画像処理部１４が設定する追跡領域は、過去の追跡領域と同じサイズになる。

図１５の説明に戻って、画像処理部１４は、ステップＳ４で追跡領域を設定した際、追跡精度が悪化したか否かを判別する（Ｔ３）。ここで、追跡精度の悪化の判別は、例えば、以下の方法で実現できる。

追跡領域の悪化は、例えば、バッファメモリ１５に記憶された追跡領域の色情報と、ステップＴ２で設定された追跡領域内の色情報との比較によって判別できる。例えば、本実施の形態では、画像処理部１４は、バッファメモリ１５に記憶された色情報に最も多く含まれる色領域の画素数と、ステップＴ２で設定された追跡領域内の色情報に最も多く含まれる色領域の画素数を比較する。そして画像処理部１４は、色領域の画素数の差が、ある閾値以上である場合、追跡精度が悪化したと判断する。一方で画像処理部１４は、色領域の画素数の差が、ある閾値未満である場合、追跡精度は悪化していないと判断する。これによって、画像処理部１４は、追跡精度が悪化したか否かを判断できる。

画像処理部１４は、追跡精度が悪化していない場合、ステップＴ９に移行する。一方、画像処理部１４は、追跡精度が悪化している場合、図１０のように、バッファメモリ１５に記憶された第１及び第２判定領域の設定位置・サイズの情報に基づき、ステップＴ１で取得した画像データ（ＢＭデータ）に、第１判定領域８２及び第２判定領域９２を設定する。そして、画像処理部１４は、第１判定領域８２及び第２判定領域９２に対応する位置から、各々の色割合を取得する（Ｔ４）。この後、画像処理部１４は、第１判定領域８２の色割合と第２判定領域９２の色割合を基に、第１及び第２判定領域の近似度を算出する（Ｔ５）。本実施の形態では、このステップＴ５で算出した近似度を、第２近似度と呼ぶ。

画像処理部１４は、バッファメモリ１５に記憶された近似度（第１近似度）及びステップＴ５で算出した近似度（第２近似度）を比較する。具体的には、画像処理部１４は、第１近似度と第２近似度の差が所定値以上か否かを判別する（Ｔ６１）。画像処理部１４は、第１近似度と第２近似度の差が所定値未満である場合、ステップＴ９に移行する。つまり、画像処理部１４では、被写体の大きさは大きく変化していないとして、追跡領域の大きさの変更は行なわない。

一方、画像処理部１４は、第１近似度と第２近似度の差が所定値以上である場合、第２近似度が第１近似度よりも小さいか否かを判別する（Ｔ６２）
画像処理部１４は、第２近似度が第１近似度よりも小さい場合、追跡領域の大きさを拡大するように調整する（Ｔ７）。この場合、図１１に示すように、画像処理部１４は、被写体が撮像装置に近づいたと判断している。一方、画像処理部１４は、第２近似度が第１近似度よりも小さくない場合、追跡領域の大きさを縮小するように調整する。この場合、図１２に示すように、画像処理部１４は、被写体が撮像装置から遠ざかったと判断している。

ここで追跡領域の調整方法は、例えば、以下の方法で実現できる。２つの方法を例示するが、これに限られない。本実施の形態では、１つ目の方法で実現しているものとする。

１つ目の方法は、予め規定された追尾領域のサイズを１段階大きく、又は、小さくする方法である。

追跡領域は、予め複数のサイズで規定されているものとする。例えば、画面全体がＱＶＡ１６０×１２０画素である場合、画像処理部は、１６×１６画素、２０×２０画素、２４×２４画素、・・・４８×４８画素を追跡領域のサイズとして規定できる。２０×２０画素の追跡領域で追跡を行なっていた場合を例にして説明を行なう。画像処理部１４は、第２近似度が第１近似度よりも小さい場合、追跡領域のサイズを１段階拡大する。つまり、画像処理部１４は、追尾領域を、２４×２４画素に変更する。一方、画像処理部１４は、第２近似度が第１近似度よりも小さくない場合、追跡領域のサイズを１段階縮小する。例えば、画像処理部１４は、追尾領域を、１６×１６画素に変更する。このように追跡領域のサイズを調整する。このようにすれば、追尾領域のサイズを段階的に変更することになる。このため、追跡領域の変化を滑らかにできる。

２つ目の方法は、第２近似度の大きさに応じて、追跡領域のサイズを調整するものである。具体的に説明する。

本実施の形態では、画像処理部は、第２近似度のＲ画素、Ｇ画素、Ｂ画素から、一つの画素を選択する。例えば、画像処理部は、第１判別領域８２の色割合のうち、最も大きい値を持つ画素を選択する。つまり、画像処理部は、第１判別領域８２の色割合のうち、Ｒ画素の値が、Ｇ及びＢ画素よりも大きければ、Ｒ画素を選択する。

そして、画像処理部は、第２近似度のＲ画素の値に基づいて、追跡領域のサイズを調整する。ここで本実施の形態では、第１判別領域８２と第２判別領域９２の面積比を１：４にしている。そのため、第２近似度（第１判別領域と第２判別領域内の色割合の差）のＲ画素の値が０である場合、追跡領域の面積を４倍にすべきと仮定できる。反対に、第２近似度のＲ画素の値が所定値（Ｚ）である場合、追跡領域の面積を１／４倍にすべきと仮定できる。よって、画像処理部は、第２近似度のＲ画素の値が０であれば４倍、第２近似度のＲ画素の値が所定値（Ｚ）であれば１／４倍という情報から、線形補間を用いて、第２近似度のＲ画素の値に基づく拡大倍率を計算する。画像処理部は、拡大倍率に応じて、追跡領域のサイズを調整する。

なお、画像処理部１４は、追跡領域のサイズを調整する際、ステップＴ２で設定された領域の略中心を基準にして、拡大又は縮小する。このようにして、画像処理部１４は、図３のように、追跡領域のサイズを調整できる。

画像処理部１４は、サイズ調整後の追跡領域内の画像データ（ＹＣデータ）から色情報を取得し、バッファメモリ１５に記憶する（Ｔ９）。そして画像処理部１４は、画像データ（ＹＣデータ）において、サイズ調整後の追跡領域に対応する第１判定領域及び第２判定領域を設定する。具体的に画像処理部１４は、画像データ（ＹＣデータ）において、サイズ調整後の追跡領域と同じ位置で、かつ、同じサイズの第１の判定領域を設定する。また、画像処理部１４は、画像データ（ＹＣデータ）において、第１の判定領域に対して縦横が２倍である第２の判定領域を設定する。

この後、画像処理部１４は、画像データ（ＢＭデータ）において、画像データ（ＹＣデータ）に設定された第１判定領域及び第２判定領域に対応する位置から、色割合を取得する。また、画像処理部１４は、取得した色割合に基づいて、第１判定領域及び第２判定領域の近似度を算出し、バッファメモリ１５に記憶する（Ｔ１０）。つまり、画像処理部１４は、バッファメモリ１５に記憶された第１近似度を更新する。

次に、画像処理部１４は、ステップＴ１０で設定した第１及び第２判定領域の設定位置及びサイズを示す情報を記憶する（Ｔ１１）。この後、画像処理部１４は、図３の画像データＢのように、画像データ及びサイズ調整後の追跡領域を表示画面として液晶モニタ２０に表示させる（Ｔ１２）。

このようにして、画像処理部１４は、ある画像データに対して追跡動作を実現できる。画像処理部１４は、上記動作を繰り返して、ＣＣＤイメージセンサー１２から順次生成される画像データに対し、追跡領域の設定動作を繰り返す。例えば、図３のように、順次生成される画像データに対して、追跡領域７３，７４が設定される。

＜５．まとめ＞
デジタルカメラ１は、被写体像を撮像して、画像データを順次生成するＣＣＤイメージセンサー１２と、被写体像を追跡するための追跡情報に基づいて、ＣＣＤイメージセンサー１２で順次生成される画像データに追跡領域を設定する画像処理部１４と、画像データの一部に設定される第１判定領域及び第２判定領域から近似度を取得する画像処理部１４と、を備える。そして画像処理部１４は、ある画像データに対して追跡領域を設定する際、この画像データで取得される第２近似度、及び、以前に取得した画像データで取得される第１近似度の変化の大きさに応じて、追跡領域の大きさを調整する。

このようにすれば、デジタルカメラは、ある画像データの近似度と以前の画像データの近似度の変化の大きさに応じて追跡領域の大きさを調整できる。そのため、被写体がデジタルカメラに対して遠近方向で移動した場合であっても、より適切な大きさに追跡領域を調整して被写体像を追跡できる。
（他の実施の形態）
本発明の実施の形態として、上記実施の形態を例示した。しかし、本発明は、上記実施の形態に限定されず、他の実施の形態においても実現可能である。そこで、本発明の他の実施の形態を以下まとめて説明する。

本実施の形態では、第１の判定領域を追跡領域と同じ位置に設定するようにした。しかし、これに限られず、第１判定領域は、追跡領域とは異なる位置に設定してもかまわない。例えば、図１３に示すように、他の実施の形態Ａのように、被写体の違う箇所に判定領域を設定してもよい。また、他の実施の形態Ｂのように、被写体が保持している物に判定領域を設定してもよい。

また、本実施の形態では、画像処理部１４は、ステップＴ４及びＴ５で第２の近似度を算出する際、第１の判定領域と第２の判定領域を、過去の画像データで設定された位置と同じ位置に設定するようにした。しかし、これに限られず、画像処理部は、パンニングによって撮影画像に画角ズレが生じた場合は、ステップＴ４〜Ｔ８の動作を行なわないようにしてもよい。ここでパンニングによって撮影画像に画角ズレが発生したか否かは、ぶれ検出器３０の出力が、画像データ間で所定閾値以上になったか否かで判断すればよい。また、画像処理部は、パンニングによって撮影画像に画角ズレが生じた場合、ぶれ検出器の出力に応じて、ステップＴ４で設定する判定領域の位置をずらすようにしてもよい。このようにすれば、撮像装置がパンニングされることによって、画角ズレが生じた場合であっても、追跡領域の大きさをより適切な大きさに調整できるようになる。

また、本実施の形態では、色情報の分離を、色相角を用いて行なうようにした。しかし、これに限られず、色情報の分離を、色相角と彩度を用いるようにしてもよい。この場合、本実施の形態では、位相角全体を４０分割としているところを、他の実施の形態では、例えば、位相角全体を２０分割し、彩度を２分割すればよい。また、色情報の分離を、彩度のみで実現でしてもよい。

さらに、本実施の形態では、仮領域内の色情報と補助領域内の色情報が分離できるか否かを判別する際、色情報において画素数が最も多い色領域が一致するか否かで判断するようにした。しかし、これに限られず、画像処理部は、各色領域（単位）の一致度の合計を利用して判断するようにしてもよい。例えば、画像処理部は、各色領域（単位）の画素数がどれだけ一致しているかを判断する。そして、画像処理部は、一致した画素数の合計が、所定閾値以上である場合、仮領域と補助領域が色情報で分離できないと判断すればよい。

すなわち、本発明は、上記実施の形態に限られず、様々な形態で実現できる。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等に適用することが可能である。

１ デジタルカメラ
１１ 光学系
１２ ＣＣＤイメージセンサー
１２１ タイミングジェネレータ
１３ ＡＤコンバータ
１４ 画像処理部
１５ バッファメモリ
１６ フラッシュメモリ
１７ コントローラ
２０ 液晶モニタ
２１ 操作部
７１、７２、７３、７４ 追跡領域
８１、８２ 第１判定領域
９１、９２ 第２判定領域

Claims (10)

1. 被写体像を撮像して、画像データを順次生成する撮像手段と、
   被写体像を追跡するための追跡情報に基づいて、前記撮像手段で順次生成される画像データに追跡領域を設定する追跡領域設定手段と、
   前記画像データの一部に設定される追跡領域に関連する第１の判定領域及び当該第１の判定領域と異なるサイズの第２の判定領域から判定領域間の関係情報を取得する関係情報取得手段と、
   前期関係情報取得手段によって前記撮像手段で生成された第１画像データから取得される第１の関係情報と、前記関係情報取得手段によって前記第１画像データよりも後に取得される第２画像データから取得される第２の関係情報とに基づいて、前記追跡領域設定手段で設定された第２画像データの追跡領域のサイズを調整する追跡領域調整手段と、
   を備える撮像装置。
2. 前記撮像手段によって生成された画像データの一部に設定される追跡領域に基づいて、被写体像を追跡するための追跡情報を取得する追跡情報取得手段をさらに備え、
   前記追跡領域設定手段は、前記追跡情報取得手段で取得した追跡情報に基づいて、追跡領域を設定する、
   請求項１に記載の撮像装置。
3. 前記撮像手段で生成された画像データ及び当該画像データに設定される追跡領域を示す表示画面を表示する表示手段と、をさらに備える請求項１に記載の撮像装置。
4. 前記追跡領域と前記第１の判定領域は同じ領域である、請求項１に記載の撮像装置。
5. 前記撮像手段で生成された画像データから、色の割合を示す色割合情報を取得する色割合取得手段をさらに備え、
   前記関係情報取得手段は、前記色割合取得手段で取得した色割合情報を用いて、前記関係情報を取得する、
   請求項１に記載の撮像装置。
6. 前記追跡情報と前記関係情報は、同じ指標の情報である、請求項１に記載の撮像装置。
7. 前記追跡情報及び前記関係情報には、色に関する情報が用いられる、請求項１に記載の撮像装置。
8. 前記追跡情報及び前記関係情報には、コントラストに関する情報が用いられる、請求項１に記載の撮像装置。
9. 前記追跡情報と前記関係情報は、異なる指標の情報である、請求項１に記載の撮像装置。
10. 被写体像を撮像して、画像データを順次生成する撮像手段と、
    前記生成される画像データの一部に設けられる追跡領域の第１特徴情報、当該追跡領域と関連する第１の判定領域の第２特徴情報、及び、前記第１の判定領域と同じ位置に設けられ、当該第１の判定領域とサイズが異なる第２の判定領域の第２特徴情報を取得する特徴情報取得手段と、
    前記取得手段で取得された前記第１の判定領域の第２特徴情報及び前記第２の判定領域の第２特徴情報に基づいて、前記判定領域間の関係情報を取得する関係情報取得手段と、
    前記撮像手段で生成された第１画像データの一部に設定される追跡領域の第１特徴情報に基づいて、前記第１画像データの後に生成される第２画像データに追跡領域の設定する追跡領域設定手段と、
    前記第１画像データにおいて前記関係取得手段で取得される第１関係情報と、前記第２画像データにおいて前記関係取得手段で取得される第２関係情報とに基づいて、前記追跡領域設定手段で設定された第２画像データの追跡領域のサイズを調整する調整手段と、
    を備える撮像装置。

Images