JP2019192048A

JP2019192048A - 撮像装置

Info

Publication number: JP2019192048A
Application number: JP2018085951A
Authority: JP
Inventors: 俊宏望月; Toshihiro Mochizuki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-04-27
Filing date: 2018-04-27
Publication date: 2019-10-31

Abstract

【課題】特徴点追跡を行うベクトル検出において画角内で処理対象のテンプレート領域が偏った場合においても、１フレーム期間など所定期間内に処理が完了する撮像装置を提供する。【解決手段】撮像装置は、特徴点追跡を行うベクトル検出においてベクトル検出領域が偏った場合に、テンプレートマッチングの探索範囲を削減することでベクトル検出処理を高速化し、１フレーム期間内など所定期間内に処理を完了する。【選択図】図７

Description

本発明は、複数のフレーム画像間で特徴点を追跡し、動きベクトルを検出するハードウェアの構成に関する。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して手ぶれ補正を施すためには、フレーム画像間の動き量を検出して複数枚の画像に対して位置合わせを行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定したりする方法等がある。

フレーム画像を用いた動き量推定の方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず映像中のある２枚のフレーム画像の一方を原画像、もう一方を参照画像とする。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の画素値の分布との相関を求める。

このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。動きベクトルの検出率を向上させるため、特徴点を抽出し、抽出した特徴点にテンプレートブロックを配置し、フレーム画像でテンプレートマッチングを行う技術がある。

ここで、画像全体で特徴点抽出を行うと、特徴点の分布は不均一になることが多い。不均一な特徴点に対して得られた動きベクトルを手ぶれ補正の用途で使用する場合、特徴の集中した領域が主となる手ぶれ補正となってしまう。そこで、特徴点を均一に分布させるため、画像をグリッド状に分割して、特徴の大きさを表す特徴値を画素ごとに計算し、各グリッド内で特徴値が最も大きい画素を特徴点として抽出する技術がある（例えば特許文献１）。

さらに動きベクトルの検出率を向上させるため、特徴点を追跡する技術がある。特徴点追跡は、画像から抽出された特徴点の動きベクトルを、連続する複数のフレーム画像に渡って逐次検出することで実現できる（例えば特許文献２）。

図１２は、特徴点追跡処理の概略を示す図である。図１２（ａ）において特徴点抽出を行う特徴点グリッド１００４内で特徴点１００１を算出し、テンプレート領域１００３内でテンプレートマッチングを実施してベクトル値１００４を算出する。特徴点抽出グリッドの周囲には、特徴点抽出は実施されないが、テンプレートマッチングで使用される周辺グリッド１００５が配置される。

次のフレームの処理では算出されたベクトル値１００４を特徴点１００１に加算した追跡先となる特徴点（以下、追跡先特徴点）１００２を中心にテンプレートマッチングを実施する。以後、複数フレームに渡って、追跡先特徴点に対して、ベクトル値を加算して特徴点の追跡を実施する。

ただし、特徴点追跡では、追跡している特徴点が画角外に消えてしまったり、何らかの物体に隠れて見えなくなってしまったりすることで、特徴点が消失し、追跡が失敗してしまうことがある。このような追跡の失敗により追跡対象の特徴点の数が減ってしまった際に、別の特徴点を追跡対象として設定する（補填する）ことが必要である。

特開２００８−１９２０６０号公報特開２００７−３３４６２５号公報

特徴点追跡処理を含むテンプレートマッチングをハードウェア化する際に、図１２（ｂ）のように追跡先特徴点が画角の下端部に集中した場合は、追跡先特徴点を中心としたテンプレートマッチングの処理時間によって、所定の時間内に終了しないという課題が発生する。

図１３は、特徴点追跡処理の処理タイミングを示す図（処理時間がセンサの１フレーム出力期間に収まる例）である。図１４は、特徴点追跡処理の処理タイミングを示す図（処理時間がセンサの１フレーム出力期間に収まらない例）である。

図１３（ａ）及び図１４（ａ）は、センサ出力からテンプレートマッチング終了までの処理タイミングを、図１３（ｂ）及び図１４（ｂ）は、追跡先特徴点の画角内の分布を示す図である。図１３（ａ）において、ＶＤ信号のパルス間がセンサ出力の１フレーム分の期間を示している。センサ出力された画像データに対して、テンプレートマッチング用画像が生成される。テンプレートマッチングの処理は、テンプレートマッチング用画像に対して行われる。テンプレートマッチングの丸１〜丸８の各期間が一つのテンプレートマッチングの処理を実行するために要する時間で、テンプレートのサイズによって増減する。防振処理の性能向上のためにはセンサ出力の１フレーム期間内など一定期間内にテンプレートマッチングの処理を完了して、次のフレームの防振処理にフィードバックする使用する必要がある。

図１３（ｂ）のように追跡先特徴点が、画角内に分散して分布する場合には、処理が終了する場合であっても、図１４（ｂ）のように追跡先特徴点が画角内の下側に集中することがある。このような場合、図１３（ｂ）のテンプレートマッチング処理が開始できる最初のテンプレート位置１１０１までの期間（１１００）に対して、図１４（ｂ）のテンプレートマッチング処理が開始できるテンプレート位置１２０１までの期間（１２００）が長くなる。この遅延により、テンプレートマッチングの丸１〜丸８の期間がセンサ出力の１Ｖ期間など一定期間内に完了しない場合が起こりうる。

従来開示されている技術では、前記のような特徴点追跡を行うテンプレートマッチングにおいて画角内でテンプレートが偏り、テンプレートマッチングの処理が所定の期間内に終了しない課題に対する解決手段には言及されていない。

本発明は、前記課題を鑑みて成されたものである。本発明の目的は、特徴点追跡を行うベクトル検出において特徴点の初期座標から追跡範囲を設定し、追跡範囲を超えた場合、破棄・補填処理をすることで１フレーム期間内など所定期間内に処理が完了する撮像装置を提供することである。

画像を複数の領域に分割する領域分割手段、各領域内で所定数の特徴点を抽出する特徴点抽出手段、映像中の２枚のフレーム画像の一方を原画像、もう一方を参照画像とし、特徴点を中心とする参照画像の矩形領域内と原画像の矩形領域内の画素値で相関値演算処理を行い、動きベクトルを検出するベクトル検出手段、ベクトル検出手段で取得した前フレームのベクトル値と特徴点抽出手段で取得した前フレームの特徴点から続くフレームの追跡対象となる追跡先特徴点を算出する追跡先特徴点算出手段、前記追跡先特徴点算出手段により算出された特徴点を保持する特徴点保持手段を有し、ベクトル検出手段は、保持されている特徴点に応じて、用いる特徴点の探索範囲を削減することを特徴としている。

本発明によれば、特徴点追跡を行うベクトル検出においてベクトル検出領域が偏った場合に、テンプレートマッチングの探索範囲を削減することでベクトル検出処理を高速化し、１フレーム期間内など所定期間内に処理が完了することが可能となる。

本発明の実施形態に係る撮像装置であるデジタルカメラのブロック図である。本発明の実施形態に係る撮像装置が具備するベクトル検出回路のブロック図である。本発明の実施形態に係る撮像装置が具備するベクトル検出回路が読み出すグリッド配置と特徴点、テンプレートマッチング領域の関係を示す図である。本発明の実施形態に係る撮像装置が具備するベクトル検出回路の処理フローを示す図である。本発明の実施形態に係る撮像装置が具備する特徴点算出手段のブロック図である。本発明の実施形態に係る撮像装置が具備する精度判定手段における画像解析で画素値と判定の関係を示すグラフである。本発明の実施形態に係る撮像装置が具備するテンプレートマッチング処理手段２０３のブロック図である。本発明の実施形態に係る撮像装置が具備するテンプレートマッチング処理手段２０３の処理を示すフローチャートである。本発明の実施形態に係る撮像装置が具備する領域区分手段８０１の処理について説明する図である。本発明の実施形態に係る撮像装置が具備する第一のテンプレート追跡範囲削減８０４について説明する図である。本発明の実施形態に係る撮像装置が具備する第二のテンプレート追跡範囲削減８０５について説明する図である。特徴点追跡処理の概略を示す図である。特徴点追跡処理の処理タイミングを示す図（処理時間がセンサの１フレーム出力期間に収まる例）である。特徴点追跡処理の処理タイミングを示す図（処理時間がセンサの１フレーム出力期間に収まらない例）である。

以下、添付図面を参照して、本発明を実施するための最良の形態を説明する。図１は、本発明に係る撮像装置であるデジタルカメラのブロック図である。図１において、結像光学部１０１はレンズおよび絞りなどを備えており、撮影の際、結像光学部１０１はフォーカス調節および露出調節を行い、撮像素子１０２に光学像を結像する。撮像素子１０２は、光学像を電気信号（アナログ画像信号）に変換する光電変換機能を有し、ＣＣＤやＣＭＯＳセンサ等で構成される。Ａ／Ｄ変換部１０３は撮像素子部１０２からのアナログ画像信号をデジタル画像信号に変換する。

ＣＰＵ１１２は、撮像装置全体の制御を司るマイクロコンピュータ等で構成され、各機能ブロックに対して動作指示を行い、各種の制御処理を実行する。バス１１４はシステムバスであり、バス１１５は画像データバスである。ＤＲＡＭ（メモリ）１０７は、データを記憶するメモリで、所定枚数の静止画像や所定時間の動画像、音声等のデータやＣＰＵ１１２の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える。メモリ制御部１０６は、ＣＰＵ１１２或いはデータ転送部１０５からの指示に応じて、ＤＲＡＭ１０７へのデータ書き込み及びデータ読み出しを行う。

不揮発性メモリ制御部１０８は、ＣＰＵ１１２からの指示に応じて、ＲＯＭ（不揮発性メモリ）１０９にデータの書き込み及び読み出しを行う。ＲＯＭ１０９は、電気的に消去・記録可能なメモリであり、ＥＥＰＲＯＭ等が用いられる。ＲＯＭ１０９には、ＣＰＵ１１２の動作用の定数、プログラム等が記憶される。

ＣＰＵ１１２は、バス１１４を介して画像処理部１０４、データ転送部１０５、メモリ制御部１０６、不揮発性メモリ制御部１０８、表示制御部１１０、操作部１１３、撮像素子１０２を制御する。マイクロコンピュータの実行は、ＲＯＭ１０９に記録されたプログラムを実行することにより、本実施例の各処理を実現する。表示部１１１は、液晶モニタ等から成り、表示制御部１１０により制御され、各種画像データ等を表示部１１１に表示する。操作部１１３は、ユーザーにより操作されるスイッチやボタン等を含み、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦ等の操作に使用される。

画像処理部１０４は、各種画像処理部及びバッファメモリ等から構成されており、ベクトル検出回路を具備する。データ転送部１０５は、データ転送を行う複数のＤＭＡＣ（Direct Memory Access Controller）で構成されている。

本発明に係る撮像装置に関わるＣＰＵ１１２は撮像素子部１０１を制御してＡ／Ｄ変換部１０３にアナログ信号を読み出す際の設定を読み出し順序設定としてＲＯＭ１０９に記憶する。更にＣＰＵ１１２はＲＯＭ１０９に記録されている読み出し順序設定を読み込み、設定に応じて画像処理部１０４の各主画像処理部を制御することができる。

図３は、本発明の実施形態に係る撮像装置が具備するベクトル検出回路が読み出すグリッド配置と特徴点、テンプレートマッチング領域の関係を示す図である。設定されたサイズの特徴点抽出グリッド０３０２（図３中の白色グリッド）と周辺グリッド０３０１（図３中の網点グリッド）が、水平、垂直方向に設定された個数分配置されており、特徴点０３０３が各特徴点抽出グリッド０３０２に一つ抽出される。周辺グリッド０３０１は、特徴点抽出グリッドの周囲に配置され、特徴点抽出は実施されないが、テンプレートマッチングで使用される領域である。抽出された特徴点０３０３を中心として、設定されたサイズの矩形状のサーチ領域０３０５及びテンプレート領域０３０４が設けられる。

図２は、本発明の実施形態に係る撮像装置が具備するベクトル検出回路のブロック図である。図４は、本発明の実施形態に係る撮像装置が具備するベクトル検出回路の処理フローを示す図である。

以下、図４の処理フローをもとに、ベクトル検出回路の各ブロックの処理の概要を説明する。

・ステップＳ４０１の処理：
データ転送部１０５が具備するＲＤＤＭＡＣ１（０２２１）は、バス１１５を介してＤＲＡＭ１０７からベクトル検出対象となる現フレームの入力画像データ０２４１を読み出す。読み出すデータ量は、図３に示されるように設定された特徴点抽出グリッド０３０２及び周辺グリッド０３０１のサイズに従う。なお、入力画像データ０２４１は画像処理部１０４で、各種画像処理が実施されている。ＲＤＤＭＡＣ１（０２２１）によりグリッド単位で読み出された画像データ０２４１は、テンプレートマッチング用画像生成手段０２０１及び新規特徴点算出手段０２０２に出力される。また、ＲＤＤＭＡＣ１（０２２１）は、読み出したグリッドの左上座標位置を示すグリッド座標情報０２５２をＲＤＤＭＡＣ２（０２２２）に出力する。

・ステップＳ４０２の処理：
テンプレートマッチング用画像生成手段０２０１は、ベクトル検出時のテンプレートマッチングに使用するテンプレートマッチング用画像を生成し、ＷＲＤＭＡＣ１（０２３１）に出力する。ベクトル検出画像生成手段０２０１は、バンドパスフィルタ回路であり、テンプレートマッチング処理に不要な画像信号の高周波成分と低周波成分をカットする。

・ステップＳ４０３の処理：
データ転送部１０５が具備するＷＲＤＭＡＣ１（０２３１）は、バス１１５を介してＤＲＡＭ１０７に対して入力されたテンプレートマッチング用画像データ１（０２４２）を書き出す処理を行う。また、ＤＲＡＭ１０７には前フレームで生成されたテンプレートマッチング用画像データ２（０２４３）が格納されている。

・ステップＳ４０４の処理：
前記ステップＳ４０２、ステップＳ４０３の処理と並列に、新規特徴点算出手段０３０２は、現フレームの新規特徴点を算出する。

ここで、図５は、新規特徴点算出手段０３０２のブロック図である。特徴フィルタ部０５０１、特徴評価部０５０２、特徴点決定部０５０３からなる。特徴フィルタ部０５０１は、バンドパスフィルタ、水平微分フィルタ、垂直微分フィルタ、平滑化フィルタなど、複数のフィルタから構成される。本実施形態においては、バンドパスフィルタで、不要な画像信号の高周波成分と低周波成分をカットし、水平方向の微分フィルタ処理を施した信号と、垂直方向の微分フィルタ処理を施した信号、各々に対して、平滑化フィルタ処理が施したものを出力する。

特徴評価部０５０２は、特徴フィルタ部０５０１によりフィルタ処理されたグリッドに対し、画素ごとに２つのエッジの交点や曲率が極大である曲線状の点など画素の周辺の微分値が多方向に大きい点を特徴評価式により特徴値として算出する。

以下、本実施形態で使用するＳｈｉａｎｄＴｏｍａｓｉの手法で説明をする。水平微分フィルタと垂直微分フィルタを施した結果から、自己相関行列Ｈを作成する。自己相関行列Ｈの式を式１に示す。

式１においてＩｘを水平微分フィルタを施した結果、Ｉｙを垂直微分フィルタを施した結果を表しており、ガウシアンフィルタＧを畳み込む。ＳｈｉａｎｄＴｏｍａｓｉの特徴評価式を式２に示す。

（式２）は、（式１）の自己相関行列Ｈの固有値λ１，λ２のうち小さい方の固有値を特徴値とすることを示す。

特徴点決定部０５０３は、グリッド毎に、特徴評価部０５０２によって画素ごとに算出された特徴値の最も大きい値を持つ画素を特徴点と決定する。本実施形態においては、特徴点の座標は、グリッドの左上端を（０，０）とした相対座標（ＰＸ，ＰＹ）で表現するが、画像信号における絶対座標で表現してもよい。

なお、算出された新規特徴点は、新規特徴点算出手段０２０２が具備するメモリに格納される。メモリは、前フレームの特徴点と現フレームの特徴点を格納するための容量を有している。

テンプレートマッチング処理手段０２０３にて、対応するグリッドのテンプレートマッチング処理が開始される際に、前フレームで算出された特徴点と現フレームで算出された特徴点が、特徴点座標情報０２５１として追跡先特徴点決定手段２０５に出力される。

・ステップＳ４０５の処理：
ＲＤＤＭＡＣ２（０２２２）では、入力された追跡特徴点座標情報０２５７を基に、前フレームで算出された特徴点を中心とした矩形領域を、現フレームで生成されたテンプレートマッチング用画像データ１及び前フレームで生成されたテンプレートマッチング用画像データ２から読み出す。

なお、テンプレートマッチング用画像データ１からサーチ領域０３０５を読み出し、前フレームで生成されたテンプレートマッチング用画像データ２から、テンプレート領域０３０４を読み出す。読み出した各画像データはサーチ領域画像データ０２５３、テンプレート領域画像データ０２５４として、テンプレートマッチング処理手段０２０３へ出力される。ただし、１番最初のテンプレートマッチング処理では、前フレームから特徴点座標を算出することができないため、全て現フレームで算出した特徴点座標を用いて処理を実施する。

・ステップＳ４０６の処理：
テンプレートマッチング処理手段０２０３では、入力されたサーチ領域画像データ０２５３、テンプレート領域画像データ０２５４、グリッド座標情報０２５２を用いて、相関値を算出し、その相関値よりベクトル値を算出する。算出されたベクトル値情報及び相関値情報０２５５を精度判定手段０２０４に出力する。

・ステップＳ４０７の処理：
精度判定手段２０４では、ステップＳ４０６において算出された相関値情報０２５５を用いて、相関値の最大値、最小値、平均値、極小値を求めて低コントラスト判定、画素値の最大値突出判定、繰り返しパターン判定を行う。

図６に画素値とそれぞれの判定の関係をグラフで示す。ただし本実施形態では相関値が小さいほど類似度が高いため同図の画素値の最大値は相関値では最小値、画素値の最小値は相関値では最大値、画素値の極大値は相関値では極小値を表す。

同図（ａ）は前記それぞれの判定が良好な結果となる。低コントラスト判定とは相関値算出領域内の相関値の最大値と最小値の差分があらかじめ設定されている閾値よりも小さい場合、相関値算出領域内は低コントラストであると判定される。

同図（ｂ）は低コントラスト判定で低コントラストの結果を示しており、（ａ）に比べて（ｂ）では画素値の最大値と最小値の差は少ない。画素値の最大値突出判定とは、相関値算出領域内の相関値の最小値がどれだけ際立っているかを判定する。画素値の最大値と平均値の差分と、画素値の最大値と最小値の差分の除算が、あらかじめ設定されている閾値よりも小さい場合、相関値算出領域内は低ピークであると判定され、閾値よりも大きい場合、相関値算出領域内は高ピークであると判定される。

同図（ｃ）は画素値の最大値突出判定で低ピークの結果を示しており、（ａ）に比べて（ｃ）では画素値の最大値と平均値の差分と、画素値の最大値と最小値の差分の除算が小さい。繰り返しパターン判定とは、相関値算出領域内の画素値の最小値と極小値の差分があらかじめ設定されている閾値よりも小さい場合に繰り返しパターンであると判定される。同図（ｄ）は繰り返しパターン判定で繰り返しパターンとなる結果を示しており、（ａ）に比べて（ｄ）では画素値の最大値と極大値の差分が小さい。

・ステップＳ４０８の処理：
低コントラスト、低ピーク、繰り返しパターンの判定情報及びベクトル情報０２５６をＳＲＡＭ（メモリ）０２０６に出力する。

・ステップＳ４０９の処理：
追跡先特徴点決定手段２０５では、次フレームのテンプレートマッチング処理に用いるための追跡先特徴点を算出する。算出した追跡先特徴点は追跡先設定情報０２５７としてＳＲＡＭ（メモリ）２０６と、ＲＤＤＭＡＣ２（０２２２）に出力される。

以上が、本発明の実施形態におけるベクトル検出回路の処理フローである。

［第１の実施形態］
本発明の実施形態に係る撮像装置におけるテンプレートマッチング処理手段２０３の処理内容について図７から図１１を参照して説明を行う。図７はテンプレートマッチング処理手段２０３のブロック図である。図８はテンプレートマッチング処理手段２０３の処理を示すフローチャートである。図９は領域区分手段８０１の処理について説明する図である。図１０は第１のテンプレート領域削減手段８０４の処理について説明する図である。図１１は第２のテンプレート領域削減手段８０５の処理について説明する図である。

以下、図８のフローチャートをもとに、テンプレートマッチング処理手段２０３の概要を説明する。尚、本実施例では、ＣＰＵ１１２はテンプレートマッチング処理手段２０３内の各処理ブロックに関して制御することができる。また、ベクトル情報保持部８０３はメモリ等で構成され、テンプレートマッチング処理実行部８０７により算出されたベクトル値情報及び相関値情報を、追跡先特徴点ごとに関連付け、予め４フレーム分保持している。ＣＰＵ１１２は、ベクトル値保持部８０３に保持されている所望のベクトル値情報及び相関値情報を読み出すことができる。

□ステップＳ９０１の処理：
ＣＰＵ１１２は現フレームのグリッド座標情報を領域区分手段８０１に入力し、該当するグリッドが属する指定領域を算出し、ステップＳ９０２に遷移する。

ここで図９を用いて本発明の実施形態における指定領域の算出設定方法を具体的に説明する。図９(ａ)は、現フレームを水平５分割、垂直５分割の計２５個のグリッドに区切った場合の画像読み出し順序を示す概念図である。図９(ａ)の場合、現フレームの画像読み出しは矢印のようにラスタスキャン方式で読み出される。図９（ｂ）は、ラスタスキャン方式の場合、２５個のグリッドに割り当てられる指定領域を示す概念図である。上端より垂直３グリッドは前半部として、第２の指定領域を割り当てる。下端より垂直２グリッドは後半部として、第１の指定領域を割り当てる。

尚、本実施例では、下端より垂直２グリッドは後半部として、第１の指定領域を割り当ているが特に限定せず、任意の領域に第１の指定領域、第２の指定領域を割り当てることができる。

□ステップＳ９０２の処理：
ＣＰＵ１１２は、領域区分手段８０１により算出された指定領域が第一の指定領域か否かを判断する。第一の指定領域の場合、ステップＳ９０３に遷移し、第一の指定領域ではない場合、サーチ領域画像データを更新せず、テンプレートマッチング処理実行部８０７に出力してステップＳ９１１に遷移する。

□ステップＳ９０３の処理：
ＣＰＵ１１２は特徴点カウント手段８０２内に具備されているグリッド毎のカウンタ群から、現フレームのグリッド座標情報から該当するグリッドのカウンタを更新し、ステップＳ９０４に遷移する。

□ステップＳ９０４の処理：
ＣＰＵ１１２は、ＲＯＭ１０９内に設定されている閾値を読み出し、該当するグリッドのカウンタが閾値を超えるか否かを判断する。カウンタが閾値を超えない場合、ＣＰＵ１１２は現状のサーチ領域画像データをテンプレートマッチング処理実行部８０７に出力し、ステップＳ９１１に遷移する。一方、カウンタが閾値を超える場合、ステップＳ９０５に遷移する。

尚、閾値は予めグリッド毎に設定されており、撮影条件などに応じてＣＰＵ１１２を介して適宜更新することができる。

□ステップＳ９０５の処理：
ＣＰＵ１１２は、グリッド内に存在する追跡先特徴点をベクトル値保持部８０３から読み出し、相関値の差分から、ベクトルの方向が水平、垂直に一定であるか否かを判断する。ベクトルの方向が一定であると判断した場合、ベクトルの方向を第一のテンプレート追跡範囲削減８０４に出力し、ステップＳ９０６に遷移する。一方、ベクトルの方向が一定ではないと判断した場合、ステップＳ９０７に遷移する。

ここで図１０を用いて本発明の実施形態におけるベクトルの方向が水平、垂直に一定であるか否かの判断方法を具体的に説明する。図１０(ａ)は、ベクトル情報保持部８０３に保持されている４フレーム分の相関値を示す。ここで図１０(ａ)において、ｘ、ｙは相関値の水平、垂直座標を示している。また、ｄｘ、ｄｙは各フレーム間の相関値の差分を示している。ＣＰＵ１１２は（式３）を用いてベクトルの方向が一定であるか否かを判断する。

dmin1 < dx < dmax1 （式３）
dmin1 < dy < dmax1
ここで式３において上限閾値dmin1、下限閾値dmax1を示し、ＣＰＵ１１２は保持されている全てのフレーム間でｄｘまたはｄｙが（式３）の範囲内にある場合、ベクトルの方向が一定であると判断する。尚、閾値は予めグリッド毎に設定されており、撮影条件などに応じてＣＰＵ１１２を介して適宜更新することができる。

□ステップＳ９０６の処理：
第一のテンプレート追跡範囲削減８０４は、入力されたベクトルの方向を基に、テンプレート追跡範囲を削減し、ステップＳ９０７に遷移する。

ここで図１０（ｂ）、（ｃ）を用いて本発明の実施形態における第一のテンプレート追跡範囲削減８０４の処理を説明する。図１０（ｂ）は本実施例における第一のテンプレート追跡範囲削減８０４を実行前のテンプレート追跡範囲の概念図を示す。本実施例においてテンプレートマッチングで使用するテンプレート３０４は正方形であり、テンプレート追跡範囲３０５はテンプレート３０４に対して、水平方向に±ｍｘ、垂直方向に±ｍｙ移動することでテンプレートを追跡する。図１０（ｃ）は、ＣＰＵ１１２により水平方向に一定であると判断した場合の第一のテンプレート追跡範囲削減８０４実行後のテンプレート追跡範囲の概念図を示す。ＣＰＵ１１２が水平方向に一定であると判断した場合、第一のテンプレート追跡範囲削減８０４は垂直方向の移動量を±ｍｙから±ｍｙ／２に削減する。

□ステップＳ９０７の処理：
ＣＰＵ１１２は、グリッド内に存在する追跡先特徴点をベクトル値保持部８０３から読み出し、動きベクトル値情報の差分を算出し、速度が閾値未満であるか否かを判断する。速度が閾値未満であると判断した場合、ステップＳ９０８に遷移する。一方、速度が閾値以上であると判断した場合、ステップＳ９０９に遷移する。

□ステップＳ９０８の処理：
第二のテンプレート追跡範囲削減８０５は、テンプレート追跡範囲を削減し、ステップＳ９０９に遷移する。

□ステップＳ９０９の処理：
推定手段８０４は、更新されたテンプレート領域画像データサイズに応じて、相関値を算出する演算数から処理時間を推定する処理時間係数を算出し、ステップＳ９１０に遷移する。

□ステップＳ９１０の処理：
ＣＰＵ１１２は、算出された処理時間係数を基に、追跡先特徴点を中心としたテンプレートマッチングの処理が所定の時間内に終了するか否かを判断する。所定の時間内に終了すると判断した場合、削減したテンプレート領域画像データをテンプレートマッチング処理実行部８０５に出力し、ステップＳ９１１に遷移する。一方、所定の時間内に終了しないと判断した場合、該当する追跡特徴点のテンプレートマッチング処理を終了する。

□ステップＳ９１１の処理：
テンプレートマッチング処理実行部８０５は、入力されたサーチ領域画像データ、テンプレート領域画像データを用いて、相関値を算出し、その相関値よりベクトル値を算出する。算出されたベクトル値情報及び相関値情報を精度判定手段０２０４に出力し、テンプレートマッチング処理を終了する。

ここで本実施例において、相関値の算出は差分絶対値和（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を用いる。

式４において、ｆ（ｉ，ｊ）はテンプレート領域画像データ０２５４内の座標（ｉ，ｊ）における画素値を表しており、ｇ（ｉ，ｊ）はサーチ領域画像データ０２５３において相関値算出の対象となる領域内の各画素値を表す。相関値算出対象領域は、テンプレート領域画像データ０２５４と同じ大きさである。そしてＳＡＤでは、両ブロック内の各画素値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレート領域画像データ０２５４と相関値算出領域内のテクスチャが類似していることを表している。

本実施例では、第一のテンプレート追跡範囲削減８０４、第二のテンプレート追跡範囲削減８０５により、サーチ領域画像データ０２５３のサイズを削減することで、前述したＳＡＤ計算量を削減し、１フレームの期間内にテンプレートマッチング処理を完了することが出来る。

以上が、本発明の実施形態におけるテンプレートマッチングの処理フローである。本処理フレームは１フレーム分の処理を示しているが、毎フレームに対して同様の処理を施し、毎フレームでベクトル値を算出する。

１０１結像光学部
１０２撮像素子
１０３Ａ／Ｄ変換部
１１２ＣＰＵ

Claims

画像を複数の領域に分割する領域分割手段、
各領域内で所定数の特徴点を抽出する特徴点抽出手段、
映像中の２枚のフレーム画像の一方を原画像、もう一方を参照画像とし、
特徴点を中心とする参照画像の矩形領域内と原画像の矩形領域内の画素値で
相関値演算処理を行い、動きベクトルを検出するベクトル検出手段、
ベクトル検出手段で取得した前フレームのベクトル値と
特徴点抽出手段で取得した前フレームの特徴点から
続くフレームの追跡対象となる追跡先特徴点を算出する追跡先特徴点算出手段、
前記追跡先特徴点算出手段により算出された特徴点を保持する特徴点保持手段を有し、
ベクトル検出手段は、保持されている特徴点に応じて、用いる特徴点の探索範囲を削減することを特徴とする撮像装置。
前記追跡先特徴点が、対応する前記取得したベクトル値と、他のベクトル値から少なくとも２つの領域区分のうちどの領域に属する特徴点であるか判別する領域区分手段を備え、
前記領域区分手段は、フレーム画像の順次入力される画素のうち、後半に相当する領域を第１の指定領域、フレーム画像の順次入力される画素のうち、前半に相当する領域を第２の指定領域とすることを特徴とする請求項１に記載の撮像装置。
前記ベクトル検出手段は、前記領域区分手段により第１の指定領域に属する特徴点と判別された場合、テンプレートマッチングに用いる特徴点の探索範囲を削減することを特徴とすることを特徴とする請求項２に記載の撮像装置。
前記特徴点保持手段により保持された特徴点を比較することで、方向及び速度を算出する特徴点属性算出手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記特徴点属性算出手段により算出された特徴点の方向が一定であるか否かを判断する方向判断手段を有することを特徴とする請求項４に記載の撮像装置。
前記方向手段により方向が水平方向に一定であると判断された場合、ベクトル検出時に垂直方向の探索範囲を制限することを特徴とする請求項４に記載の撮像装置。
前記方向手段により方向が垂直方向に一定であると判断された場合、ベクトル検出時に水平方向の探索範囲を制限することを特徴とする請求項４に記載の撮像装置。
速度の閾値を設定する閾値設定手段と、前記特徴点属性算出手段により算出された特徴点の速度が閾値以下であるか否かを判断する速度判断手段を有し、前記速度判断手段により速度が閾値以下であると判断された場合、ベクトル検出時に探索範囲を削除することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。