JP2009159356A

JP2009159356A - 被写対象追跡装置、被写対象追跡プログラム及び被写対象追跡方法

Info

Publication number: JP2009159356A
Application number: JP2007335713A
Authority: JP
Inventors: Toshiya Kiso; 俊也木曽
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2007-12-27
Filing date: 2007-12-27
Publication date: 2009-07-16
Anticipated expiration: 2027-12-27
Also published as: JP5024033B2

Abstract

【課題】逐次撮像されるフレーム中における被写対象を精度よく追跡することができるようにする。
【解決手段】ステップＳ４での処理により、評価値がしきい値以下であるブロックが選択対象ブロックとして選定する。このステップＳ４で選定された選択対象ブロックが複数である場合には、ブロック間距離を算出し（ステップＳ９）、「ブロック間距離係数×評価差分絶対値」を算出する（ステップＳ１０）。この算出された値が所定値以下の範囲である選定範囲内であるか否かを判断し（ステップＳ１１）、選定範囲外である場合には、当該一対のブロックを選択対象ブロックから除外する（ステップＳ１２）。選択対象ブロックとして残存した複数のブロックにおいて、最もブロック評価値の少ないブロックである最少評価値ブロックを最終的に追跡ブロックとして決定する（ステップＳ１４）。
【選択図】図４

Description

本発明は、逐次撮像されるフレーム内における被写対象を追跡する被写対象追跡装置、被写対象追跡プログラム及び被写対象追跡方法に関する。

近年、撮像装置においては、逐次撮像されるフレームから追跡すべき被写対象（画素ブロック）を抽出し、これを次フレームで検出することにより、被写対象を追跡しつつフォーカス制御を行う技術が存在する。

また、追跡すべき被写対象の移動が速く、小さいものであっても確実に追跡できるよう、フレームを更新する毎に被写対象とする抽出対象を更新する被写対象追跡装置も提案されるに至っている（例えば、特許文献１参照）。
特開平９−１３４４１８号公報

しかしながら、前述した被写対象追跡装置の場合、追跡対象が明確に識別できるものであれば有効であって追跡可能となるが、全体的に均一で変化の少ないフレームを撮像する場合、これらのフレームにおいて追跡対象を特定することが困難となる。このため、追跡対象を見失ったり、誤って検出した誤対象を追跡してしまうという問題が生ずる。

本発明は、かかる従来の課題に鑑みてなされたものであり、逐次撮像されるフレーム中における被写対象を精度よく追跡することのできる被写対象追跡装置、被写対象追跡プログラム及び被写対象追跡方法を提供することを目的とする。

前記課題を解決するため請求項１記載の発明は、逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する被写対象追跡装置であって、前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定手段と、この選定手段により複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外手段と、この除外手段の除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定手段とを備えることを特徴とする。

また、請求項２記載の発明は、上記請求項１記載の発明において、前記次フレームにおける所定の探査範囲内において、前記追跡対象画素ブロックと同サイズの画素ブロック毎に近似度を示す評価値を算出する評価値算出手段を更に備え、前記選定手段は、この評価値算出手段により算出された画素ブロック毎の評価値に基づき、前記追跡対象とすべき候補画素ブロックを選定することを特徴とする。

また、請求項３記載の発明は、上記請求項２記載の発明において、前記選定された候補画素ブロック間の距離を算出する距離算出手段と、この距離算出手段によって算出された前記候補画素ブロック間の距離に反比例する係数値を算出する係数値算出手段と、前記距離算出手段により前記画素ブロック間距離が算出された一対の候補画素ブロックの評価値を前記評価値算出手段から取得し、両候補画素ブロックの評価値差の絶対値を算出する絶対値算出手段と、を更に備え、前記除外手段は、前記係数値算出手段によって算出された係数値及び前記絶対値算出手段により取得された評価値差の絶対値に基づき、前記非追跡対象とすべき画素ブロックを除外することを特徴とする。

また、請求項４記載の発明は、上記請求項２又は３記載の発明において、前記決定手段は、前記評価値算出手段により算出された画素ブロックの評価値に基づき、前記除外手段の除外により残存した候補画素ブロックから前記次フレームにおける追跡対象画素ブロックを決定することを特徴とする。

また、請求項５記載の発明は、上記請求項１乃至４のいずれかに記載の発明において、撮像して前記フレームを逐次出力する撮像手段と、この撮像手段に被写体像を結像させる光学系と、この光学系を駆動する駆動手段と、前記決定手段により決定された追跡対象ブロック内の画像が合焦するよう、前記駆動手段を制御する制御手段と、を更に備えることを特徴とする。

また、請求項６記載の発明は、逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する装置が有するコンピュータを、前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定手段、この選定手段により複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外手段、この除外手段の除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定手段、として機能させることを特徴とする。

また、請求項７記載の発明は、逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する被写対象追跡方法であって、前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定ステップと、この選定ステップにより複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外ステップと、この除外ステップでの除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定ステップとを含むことを特徴とする。

本発明によれば、逐次撮像されるフレーム中における被写対象を精度よく追跡することができる。

以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係るデジタルカメラの概略構成を示すブロック図である。このデジタルカメラはＡＥ（自動露出）や、被写対象を追跡してＡＦ（オートフォーカス）を行う機能を備えたものであって、主として以下の各部から構成されている。

すなわちデジタルカメラは、光学系１により結像された被写体の光学像を光電変換し撮像信号として出力する撮像手段としてＣＣＤ２を有している。ＣＣＤ２は、タイミングジェネレータ（ＴＧ）３により生成されるタイミング信号に基づきＣＣＤ駆動回路４によって生成される駆動信号により駆動される。ＣＣＤ２の出力信号はＡ／Ｄ変換器５でデジタル信号に変換された後、画像処理部６へ送られる。

前記光学系１には、フォーカスレンズ及びそれを光軸上で移動させるためのレンズモータが含まれ、レンズモータが制御部７の指令に従いレンズ駆動回路８により生成される駆動信号によって駆動されることによりフォーカスレンズが光軸上での位置を制御される。

前記画像処理部６は、Ａ／Ｄ変換後の撮像信号に対して、画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成するＲＧＢ補間処理、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成するＹＵＶ変換処理、さらにオートホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。画像処理部６で変換されたＹＵＶデータは逐次ＳＤＲＡＭ９に格納される。

また、デジタルカメラは、液晶モニタ及びその駆動回路から構成される表示部１０を有している。撮影用の記録モードが設定されているときＳＤＲＡＭ９に格納されたＹＵＶデータは、ＳＤＲＡＭ９において１フレーム分が蓄積される毎に画像処理部６においてビデオ信号に変換された後、表示部１０（液晶モニタ）においてスルー画像として画面表示される。そして、記録モードにおける撮影時には、ＳＤＲＡＭ９に一時記憶された画像データがＪＰＥＧ変換部１１においてＪＰＥＧ方式により圧縮符号化された後、外部メモリＩ／Ｆ１２を介して、例えば各種のメモリカードにより構成される外部メモリ１３に静止画ファイルとして記録される。

前記外部メモリ１３に記録された静止画ファイルは、再生モードにおいてユーザーの選択操作に応じて適宜読み出されるとともに、ＪＰＥＧ変換部１１において伸張されＹＵＶデータとしてＳＤＲＡＭ９に展開された後、表示部１０において静止画像として表示される。

キー入力ブロック１４は、シャッターキーやモード選択キー、電源キーやＭＥＮＵキー等の複数キーを含み、各キーの操作状態を制御部７により随時スキャンされる。尚、シャッターキーは、ユーザーが撮影予告を行うための半押し位置と、実際の撮影動作を指示するための全押し位置との２段階の操作が可能な所謂ハーフシャッター機能を有するものである。

制御部７は、ＣＰＵ及びその周辺回路等とから構成され、カウンタＴを内蔵するとともに、デジタルカメラの各部の制御、及び、撮像信号に含まれる輝度情報に基づいたＡＥ制御や、コントラスト検出方式によるＡＦ制御、後述の被写対象追跡制御等を行う。尚、これらの制御を制御部７に行わせるための各種のプログラムや、各々の制御に必要な各種データは、記憶データの書き換えが可能な不揮発性メモリであるフラッシュメモリ１６に記憶されている。

次に、以上の構成からなるデジタルカメラの動作について説明する。電源スイッチをＯＮにして、撮影モードを設定すると、ＴＧ３により生成されるタイミング信号に基づきＣＣＤ駆動回路４がＣＣＤ２を駆動することにより、画像処理部６で変換されたフレームＦ（ＹＵＶデータ）が、図２に示すように逐次ＳＤＲＡＭ９に格納される。また、ＳＤＲＡＭ９において１フレーム分が蓄積される毎に画像処理部６においてビデオ信号に変換された後、表示部１０（液晶モニタ）においてスルー画像として画面表示される。

図２に示したフレームＦ・・・において、連続した二つのフレームのうち一方を現フレームＦ１とし、他方を参照フレームＦ２とする。参照フレームＦ２は、現フレームＦ１の次のフレーム（次フレーム）である。また、図３（１ａ）に示すように、本実施の形態においては、現フレームＦ１における８×８ピクセルの範囲が基準画素ブロックＢ１、つまり追跡中の画素ブロックである。尚、本実施の形態においては、１フレームにおいて、前記基準画素ブロックＢ１に対応する領域を中心として、水平方向及び垂直方向に１６ピクセルの領域を探査範囲とする。したがって、この探査範囲内において、８×８ピクセルの評価画素ブロック毎に後述する処理を行って、次の基準画素ブロックを追跡することとなる。

一方、制御部７はフラッシュメモリ１６に記憶されている制御プログラムに基づき、図４のフローチャートに示すように処理を実行する。先ず、前記探査範囲内において評価済となった画素ブロック（８×８ピクセル）の数をカウントするためのカウンタＴの値に「１」をセットする（ステップＳ１）。次に、探査範囲において、前記基準画素ブロックＢ１に対応する領域を中心として１ピクセルずらした画素ブロックである１番目（Ｃ番目）の評価画素ブロックの評価値を算出する（ステップＳ２）。

すなわち、前記探査範囲に内在する複数の評価画素ブロックから、図３（２ｂ）に破線で示す評価画素ブロックＢ２を選択し、この選択した評価画素ブロックＢ２を構成する各画素の値である画素データと、同図（１ｂ）に示した基準画素ブロックＢ１を構成する各画素の画素データとに基づき、両画素ブロックＢ１、Ｂ２を重ね合わせたときに対応し合う一対の画素毎に両者の近似度を表す画素評価値（両画素の画素データの差分絶対値や差分自乗値等）を求め、これら画素評価値の総和を、選択された評価画素ブロックＢ２のブロック評価値とする。したがって、両画素データ間の近似度が高いほど、画素評価値は小さな値となり、つまりは評価画素ブロックＢ２が基準画素ブロックＢ１と近似度（相関度）が高いほどブロック評価値は小さな値となる。

より具体的には、前述のように、８×８ピクセルの範囲を基準画素ブロックＢ１とし、基準画素ブロックＢ１内と評価画素ブロックＢ２内の同じ位置を原点（０，０）とし、探索範囲を水平方向及び垂直方向に１６ピクセルとした場合、下記式によりブロック評価値を算出する。
Ｂ（ｘ，ｙ）＝Σ（Ｐｒｅｆ（ｘ，ｙ）［ｉ］−Ｐｃｕｒ（ｘ，ｙ）［ｉ］）＾２
（ただし、ｉ＝０〜６３、ｘ＝−１６〜１６、ｙ＝−１６〜１６、（Ｐｒｅｆ、Ｐｃｕｒに関しては図３参照）。

次に、この算出した評価値が所定のしきい値以下であるか否かを判断する（ステップＳ３）。このステップＳ３での判断の結果、算出した評価値が所定のしきい値以下である場合、つまりステップＳ２で評価値が算出された評価画素ブロックＢ２と基準画素ブロックＢ１との近似度（相関度）が高い場合には、当該評価画素ブロックＢ２を選択対象画素ブロックに選定する（ステップＳ４）。

引き続き、評価した画素ブロックの個数をカウントしているカウンタＴの値が、探索範囲内における全画素ブロック数となったか否かを判断する（ステップＳ５）。カウンタＴ≠全画素ブロック数であって、探索範囲内における全画素ブロックに対して評価値の算出を終了していない場合には、カウンタＴをカウントアップさせて（ステップＳ６）、ステップＳ２からの処理を繰り返す。

したがって、ステップＳ５の判断がＹＥＳとなるまで、ステップＳ２〜Ｓ５の処理は、探索範囲内における画素ブロック数に対応する回数繰り返される。また、ステップＳ４での処理により、評価値がしきい値以下である画素ブロック、つまり基準画素ブロックＢ１と近似度（相関度）が高い単数又は複数の画素ブロックが選択対象画素ブロックとして選定されることとなる。

そして、探索範囲内における全画素ブロックに対しての評価値の算出が終了し、ステップＳ５の判断がＹＥＳとなると、前記ステップＳ４で選定された選択対象画素ブロックが複数であるか否かを判断する（ステップＳ７）。このとき、追跡対象が明確に識別できるものであれば、評価値がしきい値以下である画素ブロックは単一であって、ステップＳ３で選択対象画素ブロックに選定された画素ブロックは単一となり、ステップＳ７の判断がＮＯとなる。したがって、ステップＳ７からステップＳ８に進み、この単一の選択対象画素ブロックを追跡画素ブロックとして決定する。

しかし、全体的に均一で変化の少ないフレームを撮像しようとしている状況下においては、ステップＳ４で複数の画素ブロックが選択対象画素ブロックとして選定される場合が生じ、この場合にはステップＳ７の判断がＹＥＳとなる。したがって、この場合には、ステップＳ７からステップＳ９に進んで、画素ブロック間距離を算出する。

すなわち、図５に例示するように、４個の画素ブロックＢａ、Ｂｂ、Ｂｃ，Ｂｄが選択対象画素ブロックとして選定された場合、最も遠い位置関係であるＢａ〜Ｂｂ間の距離Ｌ１と、最も近い位置関係であるＢｃ〜Ｂｄ間の距離Ｌ２とを算出する。次に、この距離Ｌに反比例する係数（パラメータ）として用意されたブロック間距離係数Ｃ（Ｌ）と、この算出した画素ブロック間距離とを用いて、「ブロック間距離係数×評価差分絶対値」を算出する（ステップＳ１０）。ここで、評価差分値は前記例において、画素ブロックＢａと画素ブロックＢｂとの評価値の差のＢａ−Ｂｂ、及び画素ブロックＢｃと画素ブロックＢｄとの評価値の差のＢｃ−Ｂｄである。よって、ステップＳ９においては、Ｃ（Ｌ１）×｜Ｂａ−Ｂｂ｜、Ｃ（Ｌ２）×｜Ｂｃ−Ｂｄ｜が算出されることとなる。

次に、前記ステップＳ１０で算出された値が所定値以下の範囲である選定範囲内であるか否かを判断する（ステップＳ１１）。このステップＳ１１での判断の結果、選定範囲外である場合（ステップＳ１１；ＮＯ）には、当該一対の画素ブロックを選択対象画素ブロックから除外し（ステップＳ１２）、選定範囲内である場合（ステップＳ１１；ＹＥＳ）には、当該一対の画素ブロックを選択対象画素ブロックとして残存させる（ステップＳ１３）。

したがって、例えばＣ（Ｌ１）×｜Ｂａ−Ｂｂ｜が選定範囲外であって、Ｃ（Ｌ２）×｜Ｂｃ−Ｂｄ｜が選定範囲内であったとすると、ステップＳ１２での処理により、画素ブロックＢａ、Ｂｂは選択対象画素ブロックから除外され、ステップＳ１３での処理により、画素ブロックＢｃ、Ｂｄは選択対象画素ブロックとして残存することとなる。

そこで、ステップＳ１４においては、この選択対象画素ブロックとして残存した複数の画素ブロックにおいて、最もブロック評価値の少ない画素ブロックである最少評価値画素ブロックを最終的に追跡画素ブロックとして決定する。したがって、選択対象画素ブロックとして残存した画素ブロックＢｃ、Ｂｄにおいて、例えば画素ブロックＢｄの方がブロック評価値が低く、基準画素ブロックＢ１との近似度（相関度）が高い場合には、当該画素ブロックＢｄが追跡画素ブロックとして決定される。

したがって、全体的に均一で変化の少ないフレームを撮像する場合であっても、追跡対象を見失ったり、誤って検出した誤対象を追跡してしまうことがなく、逐次撮像されるフレーム中における被写対象を精度よく追跡することができる。

そして、このようにステップＳ１４又は前記ステップＳ８で追跡画素ブロックが決定されると、当該追跡画素ブロックが基準画素ブロックＢ１となって、前述した処理が繰り返される。これにより、逐次撮像されるフレームから追跡すべき被写対象（画素ブロック）を抽出し、これを次フレームで検出することにより、被写対象を追跡しつつフォーカス制御を行うことが可能となる。

つまり、前述のように光学系１には、フォーカスレンズ及びそれを光軸上で移動させるためのレンズモータが含まれ、レンズモータが制御部７の指令に従いレンズ駆動回路８により生成される駆動信号によって駆動されることによりフォーカスレンズが光軸上での位置を制御される。このとき、前記基準画素ブロックＢ１とした領域が合焦するようにフォーカス制御を行うことにより、被写対象が移動してもこれを合焦させた状態を継続しつつ撮影を行うことが可能となる。

尚、本実施の形態においては、「ブロック間距離係数×評価値差分絶対値」に基づき、選択対象画素ブロックから除外するか選択対象画素ブロックとして残存させるかを決定するようにしたが、「ブロック間距離」のみに基づいて、この決定を行うようにしてもよい。また、ブロック間距離ではなく、基準画素ブロックＢ１の中心点からの距離に基づき、該距離が所定以上の画素ブロックを選択対象画素ブロックから除外するようにしてもよい。さらに、実施の形態では、本発明をデジタルカメラに適用させた場合について詳述したがこれに限ることなく、撮像部を有する、若しくは、撮像処理を含むプログラムを実行できる装置であればこれに限定されることなく適用可能である。

本発明の一実施の実施形態に係るデジタルカメラのブロック図である。逐次撮像されるフレームと現フレーム及び参照フレームを示す説明図である。基準画素ブロックと評価画素ブロックを示す説明図である。本発明の一実施の形態における処理手順を示すフローチャートである。選択対象画素ブロックとブロック間距離の一例を示す説明図である。

符号の説明

１光学系
２ＣＣＤ
３ＴＧ
４ＣＣＤ駆動回路
５Ａ／Ｄ変換器
６画像処理部
７制御部
８レンズ駆動回路
９ＳＤＲＡＭ
１０表示部
１１ＪＰＥＧ変換部
１３外部メモリ
１４キー入力ブロック
１６フラッシュメモリ

Claims

逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する被写対象追跡装置であって、
前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定手段と、
この選定手段により複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外手段と、
この除外手段の除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定手段と
を備えることを特徴とする被写対象追跡装置。
前記次フレームにおける所定の探査範囲内において、前記追跡対象画素ブロックと同サイズの画素ブロック毎に近似度を示す評価値を算出する評価値算出手段を更に備え、
前記選定手段は、この評価値算出手段により算出された画素ブロック毎の評価値に基づき、前記追跡対象とすべき候補画素ブロックを選定することを特徴とする請求項１記載の被写対象追跡装置。
前記選定された候補画素ブロック間の距離を算出する距離算出手段と、
この距離算出手段によって算出された前記候補画素ブロック間の距離に反比例する係数値を算出する係数値算出手段と、
前記距離算出手段により前記画素ブロック間距離が算出された一対の候補画素ブロックの評価値を前記評価値算出手段から取得し、両候補画素ブロックの評価値差の絶対値を算出する絶対値算出手段と、を更に備え、
前記除外手段は、前記係数値算出手段によって算出された係数値及び前記絶対値算出手段により取得された評価値差の絶対値に基づき、前記非追跡対象とすべき画素ブロックを除外することを特徴とする請求項２記載の被写対象追跡装置。
前記決定手段は、前記評価値算出手段により算出された画素ブロックの評価値に基づき、前記除外手段の除外により残存した候補画素ブロックから前記次フレームにおける追跡対象画素ブロックを決定することを特徴とする請求項２又は３記載の被写対象追跡装置。
撮像して前記フレームを逐次出力する撮像手段と、
この撮像手段に被写体像を結像させる光学系と、
この光学系を駆動する駆動手段と、
前記決定手段により決定された追跡対象ブロック内の画像が合焦するよう、前記駆動手段を制御する制御手段と、
を更に備えることを特徴とする請求項１乃至４のいずれかに記載の被写対象追跡装置。
逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する装置が有するコンピュータを、
前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定手段、
この選定手段により複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外手段、
この除外手段の除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定手段、
として機能させることを特徴とする被写対象追跡プログラム。
逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する被写対象追跡方法であって、
前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定ステップと、
この選定ステップにより複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外ステップと、
この除外ステップでの除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定ステップと
を含むことを特徴とする被写対象追跡方法。