JP2021044653A - 動きベクトル検出装置及び動きベクトル検出方法 - Google Patents

Abstract

【課題】 誤差が抑制された動きベクトル検出を行うことができる動きベクトル検出装置を提供する。【解決手段】 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、慣性センサの検出結果に基づく動き情報を取得する情報取得手段と、前記情報取得手段が取得した動き情報に基づいて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、を有する。【選択図】 図４

Description

本発明は、動きベクトル検出に関する。

近年、ビデオカメラ等の撮像装置に加わる手ぶれ等によって生じた撮影画像の像振れを補正する像振れ補正機能が種々提案されている。撮像装置に加わるぶれを検出する方法には、ジャイロセンサのような慣性センサを用いる方法や動きベクトルのように画像を用いる方法がある。このうち、動きベクトルを検出して撮像装置に加わるぶれを検出する場合には、一般に最新の画像と１フレーム以上前の画像と比較し、画像間における代表点の移動量から画像の動き量、すなわち撮像装置の動き量を求める。

しかしながら、この動きベクトルは、画像の蓄積時間、読み出し時間及び画像のマッチング時間などの影響によって生じたぶれに対して遅れを伴う。動きベクトルで検出したぶれの情報をもとに、ぶれ補正部材を駆動させてぶれ補正を行う場合、ぶれ補正部材を介した帰還制御系が形成される。そのため、このぶれに対する動きベクトルの遅れは、帰還制御系内に位相遅れ要素を追加し、ぶれ補正性能を低下させるおそれがある。また、ぶれに対する動きベクトルの遅れを極力低減させるために、蓄積時間や読み出し時間を短くした低解像度画像から動きベクトルを求める方法が考えられる。この方法では、高解像度画像よりも動きベクトルの検出精度が低く、動きベクトルの誤差が蓄積されることによってぶれ検出結果にドリフト誤差が生じる場合がある。

そこで、特許文献１には、過去に検出した動き量の差分に応じて現在の動き量を制御することで、動きベクトルに重畳された高周波成分のみを減衰させる技術が提案されている。特許文献１では、この技術により動きベクトル検出誤差などのノイズ成分を含んだ周波数帯、及び発振の要因となり得る周波数帯域を減衰させることで帰還制御系の安定性を確保しつつ、補正ゲインを上げることが可能であるとしている。

特開２０１５−５７６７０号公報

しかしながら、動きベクトルで検出される撮像装置のぶれ成分中に常に比較的大きなノイズが重畳されている場合には、厳密にノイズと撮像装置のぶれ成分を分離することは困難である。そのため、特許文献１に記載された技術は、高周波ノイズの影響で帰還制御系が不安定になるおそれがある。

そこで、本発明は、誤差が抑制された動きベクトル検出を行うことができる動きベクトル検出装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る動きベクトル検出装置は、撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、慣性センサの検出結果に基づく動き情報を取得する情報取得手段と、前記情報取得手段が取得した動き情報に基づいて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、を有することを特徴とする。

本発明によれば、誤差が抑制された動きベクトル検出を行うことができる動きベクトル検出装置を提供することができる。

本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。 第１の実施形態に係る撮像装置の像振れ補正動作を示す図である。 動きベクトルのドリフト誤差を説明する図である。 撮像装置の動きの速度と映像信号のサンプリングレートの関係を示す図である。 動きベクトル検出方法の一例であるテンプレートマッチングの概要図である。 本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。 第２の実施形態に係る撮像装置の像振れ補正動作を示す図である。 撮像装置の動きの速度と映像信号のフレームレートの関係を示す図である。 本発明の第３の実施形態に係る撮像装置の構成を示すブロック図である。 第３の実施形態に係る撮像装置の動作を示す図である。 撮像装置の動きの速度と基準画像の関係を示す図である。

以下では図面を用いて本発明の実施形態について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態にかかる動きベクトル検出装置としての撮像装置の構成を示すブロック図である。本実施形態の撮像装置は、被写体像を形成する光学系１０１、光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子１０２、撮像素子１０２から出力される電気信号から映像信号を形成する現像処理部１０３を備える。現像処理部１０３は、不図示のＡ／Ｄ変換回路、オートゲイン制御回路（ＡＧＣ）、オートホワイトバランス回路を含み、デジタル信号を形成する。撮像素子１０２及び現像処理部１０３により、画像の取得を行う撮像系が構成される。また、現像処理部１０３により形成された映像信号（画像）は、そのまま表示や処理に使用されると共に、不図示のメモリに一時的に記憶保持される。

さらに、撮像装置は、ぶれ補正部材駆動部１０４を備え、駆動制御部１０９から出力される駆動情報に基づいて、ぶれ補正部材駆動部１０４により光学系１０１もしくは撮像素子１０２に付随しているぶれ補正のための駆動部材を駆動させる。さらに撮像装置は、動き情報取得部１０５、動き解析部１０６、サンプリングレート制御部１０７、動きベクトル検出部１０８、駆動制御部１０９、表示部１１０を備える。動き情報取得部１０５は、例えばジャイロセンサのような慣性センサ等を用いて、撮像装置の動き情報を取得する。本実施形態における撮像装置の動き情報とは、撮像装置の位置や姿勢の時間的な変動を表す情報であり、手ぶれのような撮影者が意図していない動きの他に、パンニングやチルティングといった撮影者の意図による動きも含まれる。ジャイロセンサのような慣性センサ等を用いて撮像装置の動き情報を取得する方法は公知の方法を用いればよいため詳細な説明は省略する。

動き解析部１０６は、動き情報取得部１０５から得られる撮像装置の動き情報を解析することで、撮像装置にどのような動きが生じているかを解析する。サンプリングレート制御部１０７では、撮像装置の動き情報の解析結果に基づいて動きベクトル検出部１０８に入力される映像信号のサンプリングレートを決定する。そして、動きベクトル検出部１０８では、サンプリングレート制御部１０７で決定されたサンプリングレートに従って順次入力されてくる２つの映像信号間の動きベクトルを検出する。駆動制御部１０９は、動き情報取得部１０５から得られる撮像装置の動き情報と、動きベクトル検出部１０８から得られる動きベクトルを用いて、ぶれを補正するためのぶれ補正部材１０４の駆動量を算出する。そして、像振れが補正された映像信号はＬＣＤなどの表示部１１０に表示されたり不図示の画像記憶装置に記憶保持される。なお、本実施形態では、現像処理部１０３、動き情報取得部１０５、動き解析部１０６、サンプリングレート制御部１０７、動きベクトル検出部１０８、駆動制御部１０９は、少なくとも１つのＣＰＵなどの処理回路により実行されるものとする。また、光学系１０１、撮像素子１０２、表示部１１０は、不図示のマイコンにより制御されるものとする。

次に、撮像装置の動作を図２を用いて説明する。図２は、撮像装置の像振れ補正動作を示す図である。

ステップＳ２０１では、光学系１０１によって形成された被写体像を撮像素子１０２で被写体輝度に応じたアナログ信号として出力し、現像処理部１０３の処理を施すことで映像信号を生成する（画像を取得する）。以下では生成された映像信号を画像とも称して説明する。現像処理部１０３は、不図示のＡ／Ｄ変換部によってアナログ信号を例えば１４ビットのデジタル信号に変換する。さらに不図示のＡＧＣ及びＡＷＢによって信号レベル補正や白レベル補正が行われたデジタル映像信号は、動きベクトル検出部１０８及び表示部１１０に伝送されると共に、不図示のメモリに記憶保持される。本実施形態では、所定のフレームレートで順次画像が生成され、伝送及び記憶保持される画像も順次更新される。

ステップＳ２０２では、動き情報取得部１０５において撮像装置の動き情報を取得する。本ステップで取得された動き情報は、動き解析部１０６及び駆動制御部１０９に伝送される。

ステップＳ２０３では、まず動き解析部１０６において、動き情報取得部１０５で取得された撮像装置の動き情報を用いて撮像装置の動きを解析する。そして、サンプリングレート制御部１０７において、その動き解析の結果を用いて、検出された動きベクトルを積算することによって生じるドリフト誤差を抑制するように、動き情報取得部１０５に入力される画像のサンプリングレートを制御する。撮像装置の動きを解析する方法は、撮像装置に搭載されているジャイロセンサから得られた動き情報を解析する以外にも、加速度センサ等の撮像装置の動きが計測可能な他の手段を用いた方法でもよい。

ここで、検出された動きベクトルを積算することで生じるドリフト誤差について図３の模式図を用いて説明する。図３は、動きベクトルのドリフト誤差を説明する図であり、撮像装置に動きの一例として正弦波の動きが与えられている状態で撮影して得た画像を用いて検出された動きベクトルを積算して算出された撮像装置の位置を模式的に表している。同図において、横軸は時間を表しており、縦軸は検出された動きベクトルを積算して算出された撮像装置の位置を表している。動きベクトルは、時間的に差異がある２枚の画像間での動き量に相当する情報なので、検出した動きベクトルを順次積算していくことで、撮像装置の位置の時間変動を得ることができる。図３の曲線３０１は動きベクトルの検出結果に誤差が全くない場合の撮像装置の位置を表しており、長時間が経過しても与えられた正弦波の動きをし続けていることが確認できる。それに対して、曲線３０２は検出された動きベクトルに誤差成分が含まれている場合に算出された撮像装置の位置を表している。曲線３０２は曲線３０１とは異なり、時間が経過するにつれて正しい位置を示す波形に対して一定の方向及び大きさで波形がずれていくことが確認できる。このように、波形が一定方向にずれていく現象を動きベクトルのドリフト誤差と呼ぶ。動きベクトルのドリフト誤差は、各画像間で検出した動きベクトルに含まれる誤差が、時間的に積算されることで累積することで生じる。１つの画像間で生じる誤差の量が無視できるほど微小であったとしても、それが長期間にわたって積算されることでドリフト誤差となり、無視することができなくなる。

画像間で検出された動きベクトルに誤差が生じる原因としては、例えば種々のノイズ及び収差の影響や、撮像素子のライン毎の読み出し時間の差異によって生じるローリングシャッタ歪み、検出された動きベクトルの小数精度の丸め込みの影響等が考えられる。その他、画像中から検出された複数の動きベクトルを用いて画像全体の動きを推定する際の、実際に撮像装置に生じている動きと推定モデルの不一致や、推定の差異の演算誤差等も要因として考えられる。そして、これらの誤差要因は、現実のシーンを撮影する際には完全に回避することが困難であり、良好な条件下で撮影を行ってもわずかな誤差が生じてしまう。

そこで本実施形態では、撮像装置にどのような動きが生じているか解析し、動きベクトル検出に用いる画像のサンプリングレートを制御することで、ドリフト誤差の増大を抑制する。以下では、動きベクトル検出に用いる画像のサンプリングレートを制御することでドリフト誤差の増大を抑制する方法について説明する。

図４は、撮像装置の動きの速度と画像のサンプリングレートの関係を示す図であり、横軸は時間を表しており、縦軸は各時間における撮像装置の位置を表している。また、曲線４０１は撮像装置の動きを表しており、例えば、ジャイロセンサから得られた撮像装置の角速度情報を積算することで得ることができる。図４に示すように、期間４０２では撮像装置の位置が激しく変化している（撮像装置が高速で動いている）のに対して、期間４０３では期間４０２よりも低速で動いていることを表している。さらに、点線４０４は現像処理部１０３で生成された画像の出力タイミングであり、一定の間隔（フレームレート）で画像を出力し続けている。そして、動きベクトル検出部１０８に入力される画像は、通常時は矢印４０５で示すサンプリングレート（点線４０４のフレームレートと同じ間隔）で入力されており、動きベクトルの検出結果も同じ間隔で出力される。

前述のように、動きベクトルのドリフト誤差の主要因は各画像間で検出された動きベクトルに含まれる誤差成分が積算されることにある。そのため、動きベクトルの積算の回数が多くなるほど（動きベクトル検出に用いる画像のサンプリングレートが高くなるほど）ドリフト誤差が大きくなる傾向にある。そのため、ドリフト誤差の増大を抑制するためには、動きベクトル検出部１０８へ入力される画像の数を少なくする（動きベクトル検出に用いる画像のサンプリングレートを低くする）ことが有効である。

一方、期間４０２に示すように撮像装置の動きが速い状態で画像のサンプリングレートを低くしてしまうと、高周波の動きが検出できなくなってしまうため、動きベクトルの検出精度を低下させてしまう。

そのため、撮像装置の動きが速い場合には画像のサンプリングレートは高いほうが好ましい。それに対して、期間４０３に示すように撮像装置の動きが遅い状態では画像のサンプリングレートを低くしても撮像装置の動きを良好に検出することができる。

以上をふまえて、期間４０３に示すように撮像装置の動きが遅い状態では、矢印４０６で示すサンプリングレートのように、現像処理部１０３で生成された画像を１枚おきに動きベクトル検出部１０８に入力する。すなわち、動きベクトル検出部１０８へ入力される画像のサンプリングレートを下げるようにする。これにより、動きベクトルが検出されるタイミングが減少し、それに伴い動きベクトルを積算する回数も減ることになるためドリフト誤差の増大を抑制することができる。サンプリングレートの決定方法としては、例えば６０ｄｅｇ／ｓといったように予め閾値となる角速度を決めておき、撮像装置の角速度が閾値を下回ったらサンプリングレートを半分に下げるようにする。あるいは、別途作成したルックアップテーブルを参照したりするといった方法等が挙げられる。

以上のようなサンプリングレートの制御は、動き解析部１０６で解析された撮像装置の動き情報に基づいてサンプリングレート制御部１０７にて実行される。なお、撮像装置の動きの速さが急激に変わってしまった場合に、それに併せてサンプリングレートも急激に変更してしまうと、動きベクトルの検出頻度や精度も急激に変わってしまうおそれがある。動きベクトルの検出頻度や精度が急激に変わってしまうと、これらの動きベクトル検出結果を使用する後段の処理の性能に悪影響を与えてしまう。そこで、撮像装置の動きの傾向が急激に変わってしまってもサンプリングレートは目標の値へ一度に変更させず、予め定められた時定数に基づいて段階的に変更するようにするようにしてもよい。

以上の実施形態では、撮像装置の動きを解析するために撮像装置の速度の大きさを用いる方法について述べたが、その他の方法として撮像装置の動きの周波数を用いる方法もある。この場合は、撮像装置の動きの主成分が高周波成分である場合には、動きベクトル検出に用いる画像のサンプリングレートを上げることで、高周波の動きを良好に検出できるようにする。そして、低周波成分が主成分である場合は、画像のサンプリングレートを下げて動きベクトルが積算される回数を削減する。このようにして、撮像装置の動きの周波数成分に応じて動きベクトル検出に用いる画像のサンプリングレートを変更することで、ドリフト誤差の増大を抑制することができる。また、この場合のサンプリングレートの決定方法については、上述と同様に予め閾値を設定しておく方法の他にも、動きの主たる周波数成分のナイキスト周波数を下回らないように設定するといった方法もある。また、撮像装置の動きの周波数成分を解析するより簡便な方法として、所定時間内に撮像装置の移動方向が反転する回数をカウントするという方法もある。

図２の説明に戻って、ステップＳ２０４では、動きベクトル検出部１０８において、現像処理部１０３や不図示のメモリから入力される２つの画像を用いて動きベクトルの検出を行う。この際の動きベクトル検出部１０８に入力される画像のサンプリングレートは、ステップＳ２０３においてサンプリングレート制御部１０７で決定されたサンプリングレートを使用する。

ここで、本実施形態で用いる動きベクトル検出方法であるテンプレートマッチングを用いた方法について説明する。図５は、テンプレートマッチングの概要図であり、同図において、図５（ａ）は基準画像、図５（ｂ）は参照画像であり、これらは現像処理部１０３や不図示のメモリから入力される画像である。そして、図５（ａ）に示すように基準画像中の任意の位置にテンプレートブロック５０１を配置し、テンプレートブロック５０１と参照画像の各領域との相関値を算出する。なお、図５（ａ）ではテンプレートブロック５０１が１つしか設定されていないが、複数のテンプレートブロックを設定して動きベクトルの検出精度を高めてもよい。

このとき、参照画像の全領域に対して相関値を算出すると演算量が膨大なものとなるため、参照画像にサーチ範囲５０２を設定してサーチ範囲５０２内で相関値を算出する。そして、相関値の算出方法として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。ＳＡＤの計算式を式１に示す。

式１において、ｆ（ｉ，ｊ）はテンプレートブロック５０１内の座標（ｉ，ｊ）における輝度値を表しており、ｇ（ｉ，ｊ）はサーチ範囲５０２において相関値算出の対象となる対象ブロック５０３内の各輝度値を表す。そしてＳＡＤでは、両ブロック内の各輝度値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることができる。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい（テンプレートブロック５０１と相関値算出領域５０３のブロック内のテクスチャが類似している）ことを表している。本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。そして、サーチ範囲５０２の全領域について対象ブロック５０３を移動させて相関値を算出する。そして、テンプレートブロック５０１とサーチ範囲５０２との間で相関値を算出し、最も相関が高くなる位置を判定することにより、基準画像上のテンプレートブロック５０１が参照画像においてどの位置に移動したかがわかる。すなわち、基準画像に対する参照画像の動きベクトル（画像間の動きベクトル）を検出することができる。なお、動きベクトル検出方法の例として、テンプレートマッチングを用いた方法について説明したが、他にも勾配法を用いた方法や、特徴点抽出による対応点探索等の方法を用いてもよい。

上述の方法では、画像中の複数の領域から動きベクトルを検出する場合に、検出された動きベクトルはそれぞれの領域の局所的な動きを表すものとなっている。それに対してパンニング等の撮像装置の動きや手ぶれの動きは画像全体の動きとして画像に現れるので、これらの動きベクトル群から画像全体の動きとしてパンニング等の撮像装置の動きや手ぶれの動きを算出する必要がある。本実施形態では、画像全体の動きを算出する方法として動きベクトルのヒストグラム処理について説明する。まず、各動きベクトルの水平方向及び垂直方向のそれぞれについて、その移動量に着目したヒストグラムを生成する。そして、生成されたヒストグラムの最頻値を画像全体の動きとする。ヒストグラム処理により画像全体の動きを算出することで、検出に失敗した動きベクトルや、画像全体の動きとは無関係の移動物体の動きを排除して精度よく画像全体の動きを算出することができる。そして、ステップＳ２０４で検出された動きベクトルは駆動制御部１０９に伝送される。

ステップＳ２０５では、駆動制御部１０９において、動き情報取得部１０５で取得された撮像装置の動き情報及び動きベクトル検出部１０８で検出された動きベクトルに基づいて、像振れ補正に用いる駆動部材を駆動させるための駆動情報を算出する。そして、ぶれ補正部材駆動部１０４は、算出された駆動情報に基づいて、光学系１０１が有するぶれ補正レンズ及び撮像素子１０２の少なくとも一方を移動させるための駆動部材を駆動させる。

ここで、駆動制御部１０９において、撮像装置の動き情報に基づいて駆動情報を算出する方法を以下に示す。まず、動き情報取得部１０５から取得した撮像装置の動き情報の周波数成分のうち、予め設定された低域カットオフ周波数以下の低周波成分を遮断し、低域カットオフ周波数を超える高周波成分を出力するようなハイパスフィルタをかける。ハイパスフィルタがかけられた撮像装置の動き情報にはぶれの動きである高周波の動きのみが残っているので、この動きを打ち消すことができる値がぶれ補正量ということになる。次にぶれ補正量に対して所定の誤差量を減算する処理を行う。誤差量の推定方法としては、検出された動きベクトル情報をぶれの補正残りとし、ぶれ補正量との差分を計算する。これにより、ジャイロセンサ等の出力値に誤差成分として含まれるドリフト量を算出することができ、その値を用いることでジャイロセンサを校正することができるようになる。すなわち、撮像装置の動き情報に含まれている誤差成分を除去するためには、撮影された映像信号間から検出される動きベクトルの情報が必要となる。しかしながら、その動きベクトルの情報にドリフト等の誤差成分が含まれていると、撮像装置の動き情報に含まれている誤差成分を精度良く除去することができなくなってしまうため、像振れを良好に補正することもできなくなる。したがって、動きベクトルに含まれている誤差成分は小さいことが望ましい。そして、誤差量が減算されたぶれ補正量を積分し、積分されたぶれ補正量に対応した駆動情報をぶれ補正部材駆動部１０４に伝送する。ぶれ補正部材駆動部１０４では、駆動制御部１０９で算出された駆動情報に基づいて、光学系１０１が有するぶれ補正レンズ及び撮像素子１０２の少なくとも一方を移動させるための駆動部材を駆動させる。

以上説明したように、動きベクトルに生じているドリフト誤差を抑制するために、撮像装置の動き情報に基づいて動きベクトル検出に用いる画像のサンプリングレートを変更する。これにより、ジャイロセンサ等を用いて検出した動き情報に生じる誤差成分を動きベクトルを用いて良好に補正することができ、像振れ補正の精度を向上させることができる。

なお、上記の実施形態では、動きベクトルをジャイロセンサ等の出力値の校正に用いる例を説明しているが、ジャイロセンサを用いることなく動きベクトルをぶれ補正量の算出に用いてもよい。

（第２の実施形態）
図６は、本発明の第２の実施形態にかかる撮像装置の構成を示すブロック図である。本実施形態では、撮像装置の動きを解析した結果に基づいて撮像の間隔（フレームレート）を変更する。同図において、図１に示した構成要素と共通するものについては図１と同符号を付す。本実施形態の撮像装置は、図１に示した構成に対して、サンプリングレート制御部１０７に変えてフレームレート制御部６０１を有している。また、図７は本実施形態にかかる撮像装置の像振れ補正動作を示す図であるが、本実施形態では、図７において第１の実施形態と異なる処理を行う部分についてのみ説明する。図７におけるステップＳ７０１、Ｓ７０２、Ｓ７０４及びＳ７０５については、図２におけるステップＳ２０１、Ｓ２０２、Ｓ２０４及びＳ２０５と同じである。

ステップＳ７０３では、まず動き解析部１０６において、動き情報取得部１０５で取得された撮像装置の動き情報を用いて撮像装置の動きを解析する。この解析方法については第１の実施形態と同様でよい。そして、フレームレート制御部６０１において、その動き解析の結果を用いて、検出された動きベクトルを積算することによって生じるドリフト誤差を抑制するように、撮像素子１０２による撮像のフレームレートを制御する。本実施形態ではフレームレートの制御方法の一例として撮像装置の動きの速度を用いる方法について説明する。

図８は、撮像装置の動きの速度とフレームレートの関係を示す図であり、横軸は時間を表しており、縦軸は各時間における撮像装置の位置を表している。曲線８０１は撮像装置の動きを表しており、例えば、ジャイロセンサから得られた撮像装置の角速度情報を積算することで得ることができる。図８に示すように、期間８０２では撮像装置の位置が激しく変化している（撮像装置が高速で動いている）のに対して、期間８０３では期間８０２よりも低速で動いていることを表している。

さらに、点線８０４、８０７は現像処理部１０３で生成された画像の出力タイミングを示しており、動きベクトル検出部１０８に入力される画像は、撮像素子１０２による撮像のフレームレートと同じ間隔で入力される。従って、矢印８０５及び矢印８０６で示すフレームレートの画像間で動きベクトルが検出され、その結果が出力される。また前述の通り、動きベクトルのドリフト誤差の主要因は各画像間で検出された動きベクトルに含まれる誤差成分が積算されることにある。そのため、動きベクトルの積算の回数が多くなる（動きベクトル検出部１０８へ入力される画像のフレームレートが高い）ほどドリフト誤差が大きくなる傾向にある。そのため、ドリフト誤差の増大を抑制するためには、撮像装置１０２による撮像のフレームレートを低くすることが有効である。

一方、期間８０２に示すように撮像装置の動きが速い状態で画像のフレームレートを低くしてしまうと、高周波の動きが検出できなくなってしまうため、動きベクトルの検出精度を低下させてしまう。そのため、撮像装置の動きが速い場合には画像のフレームレートは高いほうが好ましい。それに対して、期間８０３に示すように撮像装置の動きが遅い状態では画像のフレームレートを低くしても撮像装置の動きを良好に検出することができる。

以上をふまえて、期間８０３に示すように撮像装置の動きが遅い状態では、点線８０７で示すように撮像のフレームレートを期間８０２の時の半分にして（画像の取得間隔を２倍にして）、動きベクトル検出部１０８へ入力される画像のフレームレートを下げる。これにより、動きベクトルの検出は矢印８０６に示すようなタイミングで行われるようになるため検出の回数が減少し、それに伴い動きベクトルを積算する回数も減るのでドリフト誤差の増大を抑制することができる。フレームレートの決定方法としては、予め閾値となる角速度を決めておき、撮像装置の角速度が閾値を下回ったらフレームレートを半分に下げるようにしたり、別途作成したルックアップテーブルを参照したりするといった方法等が挙げられる。以上のようなフレームレートの制御は、動き解析部１０６で解析された撮像装置の動き情報に基づいてフレームレート制御部６０１にて実行される。

なお、撮像装置の動きが期間８０２よりもさらに速くなった場合には、期間８０２よりも撮像のフレームレートを高くすることもできる。ただし、撮像のフレームレートが高くなると、画像の露光時間が不足することによる明るさの低下や高感度化によるノイズの増大等が生じるおそれがある。これらの現象は、動きベクトル検出精度の低下を招くため、例えば撮像時に用いられる測光データを参照することで撮影シーンの明るさを評価して、暗いと判定された時には撮像のフレームレートが予め定められた上限値を超えないようにすることが好ましい。以上説明したように、動きベクトルのドリフト誤差を抑制するために、撮像装置の動き情報に基づいて撮像のフレームレートを変更する。動きベクトルの検出には不要な画像を取得することが無いため、現像処理などの演算リソースの節約や消費電力の削減を図ることができ、ライブビュー画像を用いて動きベクトルの検出を行うような場合に特に有効な方法となる。これにより、ジャイロセンサ等を用いて検出した動き情報に生じる誤差成分を動きベクトルを用いて良好に補正することができ、像振れ補正の精度を向上させることができる。

（第３の実施形態）
図９は、本発明の第３の実施形態にかかる撮像装置の構成を示すブロック図である。本実施形態では、撮像装置の動きを解析した結果に基づいて動きベクトル検出に用いる基準画像の更新タイミングを変更する。同図において、図１に示した構成要素と共通するものについては図１と同符号を付す。本実施形態の撮像装置は、図１に示した構成に対して、サンプリングレート制御部１０７に変えて基準画像制御部９０１を有している。また、図１０は本実施形態にかかる撮像装置の像振れ補正動作を示す図であるが、本実施形態では、図１０において第１の実施形態と異なる処理を行う部分についてのみ説明する。図１０におけるステップＳ１００１、Ｓ１００２、Ｓ１００４及びＳ１００５については、図２におけるステップＳ２０１、Ｓ２０２、Ｓ２０４及びＳ２０５と同じである。

ステップＳ１００３では、まず動き解析部１０６において、動き情報取得部１０５で取得された撮像装置の動き情報を用いて撮像装置の動きを解析する。この解析方法については第１の実施形態と同様でよい。そして、基準画像制御部９０１において、その動き解析の結果を用いて、検出された動きベクトルを積算することによって生じるドリフト誤差を抑制するように、動きベクトル検出の基準画像を制御する。本実施形態では基準画像の制御方法の一例として撮像装置の動きの速度を用いる方法について説明する。

図１１は、撮像装置の動きの速度と動きベクトル検出に用いる基準画像の関係を示す図であり、横軸は時間を表しており、縦軸は各時間における撮像装置の位置を表している。また、曲線１１０１は撮像装置の動きを表しており、例えば、ジャイロセンサから得られた撮像装置の角速度情報を積算することで得ることができる。図１１に示すように、期間１１０２では撮像装置の位置が激しく変化している（撮像装置が高速で動いている）のに対して、期間１１０３では期間１１０２よりも低速で動いていることを表している。

さらに、点線１１０４は現像処理部１０３で生成された画像の出力タイミングを示していて、動きベクトル検出部１０８に入力される画像のサンプリングレートは点線１１０４のフレームレートと同じ間隔である。

本実施形態における動きベクトル検出部１０８は、点線１１０４に示すサンプリングレートで入力されてくる画像の中から基準画像を設定し、基準画像以降に入力されてくる画像を参照画像に設定して動きベクトル検出を行う。すなわち、撮像素子１０２を用いて得られた複数の画像を基準画像または参照画像に設定し、基準画像と参照画像の組み合わせを変えて複数回の動きベクトル検出を行う。

図４及び図８に示したような、動き検出を行う２つの画像を逐次更新していく検出方法は、歩きながらの撮影のように撮像装置の位置が大きく変わっていくような場合の動きの検出に適している。それに対して、撮影者がその場から動かず、手持ちで静止して撮影を行うような場合に、基準画像を決めて、基準画像以降の複数の画像と基準画像との差異に基づいて像振れ補正を行うことで良好に像振れ補正することができる。

矢印１１０５は、期間１１０２において動きベクトル検出に用いる２つの画像のサンプリングタイミングの時間的差異を示しており、矢印１１０５の元の画像が基準画像となる。すなわり、期間１１０２では、取得した画像を１つおきに基準画像に設定していて、同じ画像を基準画像に設定して２回の動きベクトル検出を行っている。このような場合には、撮像装置の位置の時間変動を求めるために基準画像間の動きベクトルを積算すればよい。また、期間１１０６では、取得した映像信号を３つおきに基準画像に設定していて、同じ画像を基準画像に設定して３回の動きベクトル検出を行っている。

前述のように、動きベクトルのドリフト誤差の主要因は各画像間で検出された動きベクトルに含まれる誤差成分が積算されることにあり、積算の回数が多くなるほどドリフト誤差が大きくなりやすい。そのため、ドリフト誤差の増大を抑制するためには、基準画像の更新頻度を低く（同じ画像を基準画像に設定して動きベクトル検出を行う回数を多く）して、動きベクトルが積算される回数を減らすことが有効である。

一方、期間１１０２に示すように撮像装置の動きが速い状態で更新頻度を低くしてしまうと、高周波の動きが検出できなくなってしまうため、動きベクトルの検出精度を低下させてしまう。そのため、撮像装置の動きが速い場合には動きベクトル検出に用いる基準画像の更新頻度は高いほうが好ましい。それに対して、期間１１０３に示すように撮像装置の動きが遅い状態では、基準画像の更新頻度を低くしても撮像装置の動きを良好に検出することができる。

以上をふまえて、期間１１０３に示すように撮像装置の動きが遅い状態では動きベクトル検出に用いる基準画像の更新頻度を期間１１０２の時よりも低くすると、動きベクトルを積算する回数も減るのでドリフト誤差の増大を抑制することができる。以上のような更新頻度の制御は、動き解析部１０６で解析された撮像装置の動き情報に基づいて基準画像制御部９０１にて実行される。

以上説明したように、動きベクトルに生じているドリフト誤差を抑制するために、撮像装置の動き情報に基づいて動きベクトル検出時の基準画像の更新頻度を変更する。これにより、ジャイロセンサ等を用いて検出した動き情報に生じる誤差成分を動きベクトルを用いて良好に補正することができ、像振れ補正の精度を向上させることができる。

なお、上記の３つの実施形態で説明したそれぞれの構成を適宜組み合わせることも可能である。例えば、動画記録中は第１の実施形態の制御をし、動画記録を伴わないライブビュー中は第２の実施形態の制御をするようにしてもよい。あるいは、第２の実施形態のようにフレームレートの制御を行う構成において、フレームレートが所定範囲の上限値または下限値に達した場合に第１、第３の実施形態の制御を行うようにしてもよい。

また、上記の３つの実施形態における光学系１０１は撮像装置と一体型でも着脱可能であってもよく、動き情報取得部１０５は撮像装置に着脱可能な交換レンズが備えるジャイロセンサ等であってもよい。光学系１０１や動き情報取得部１０５を交換レンズが備えている構成の場合、交換レンズの動き情報取得部１０５が取得した動き情報は撮像装置の動き情報と等価とみなし、各種情報を撮像装置と交換レンズとの間で通信を行い本発明を実施すればよい。また、上記の３つの実施形態では動きベクトル検出装置の例として撮像装置を説明したが、撮像素子や光学系を有していないＰＣなどの外部機器が各種情報を受信して動きベクトル検出装置として機能しても構わない。

１０２ 撮像素子
１０５ 動き情報取得部
１０６ 動き解析部
１０７ サンプリングレート制御部
１０８ 動きベクトル検出部
１０９ 駆動制御部
６０１ フレームレート制御部
９０１ 基準画像制御部

Claims (14)

1. 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、
   慣性センサの検出結果に基づく動き情報を取得する情報取得手段と、
   前記情報取得手段が取得した動き情報に基づいて、前記検出手段が動きベクトル検出に用いる画像のサンプリングレートを制御する制御手段と、
   を有することを特徴とする動きベクトル検出装置。
2. 前記制御手段は、前記動き情報により示される動きの速度が第１の速度である場合、前記動き情報により示される動きの速度が前記第１の速度よりも速い第２の速度である場合よりも前記サンプリングレートを低くすることを特徴とする請求項１に記載の動きベクトル検出装置。
3. 前記制御手段は、前記動き情報により示される動きの主成分が第１の周波数である場合、前記動き情報により示される動きの主成分が前記第１の周波数よりも高い第２の周波数であることを示す場合よりも前記サンプリングレートを低くすることを特徴とする請求項１に記載の動きベクトル検出装置。
4. 前記制御手段は、前記動き情報に基づいて前記サンプリングレートを変更する際に、段階的に前記サンプリングレートを変更することを特徴とする請求項１ないし３のいずれか１項に記載の動きベクトル検出装置。
5. 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出手段と、
   慣性センサの検出結果に基づく動き情報を取得する情報取得手段と、
   前記情報取得手段が取得した動き情報に基づいて、前記撮像素子を用いた撮像のフレームレートを制御する制御手段と、
   を有することを特徴とする動きベクトル検出装置。
6. 前記制御手段は、前記動き情報により示される動きの速度が第１の速度である場合、前記動き情報により示される動きの速度が前記第１の速度よりも速い第２の速度である場合よりも前記フレームレートを低くすることを特徴とする請求項５に記載の動きベクトル検出装置。
7. 前記制御手段は、前記動き情報により示される動きの主成分が第１の周波数である場合、前記動き情報により示される動きの主成分が前記第１の周波数よりも高い第２の周波数である場合よりも前記フレームレートを低くすることを特徴とする請求項５に記載の動きベクトル検出装置。
8. 前記制御手段は、撮影シーンの明るさに応じて設定される上限値を超えない範囲で、前記動き情報に基づいて前記フレームレートを変更することを特徴とする請求項５ないし７のいずれか１項に記載の動きベクトル検出装置。
9. 撮像素子を用いて得られた複数の画像を基準画像または参照画像に設定し、前記基準画像に対する前記参照画像の動きベクトル検出を行う検出手段と、
   慣性センサの検出結果に基づく動き情報を取得する情報取得手段と、
   前記基準画像と前記参照画像の組み合わせを変えて複数回の動きベクトル検出を行う際に、前記情報取得手段が取得した動き情報に基づいて、前記検出手段が同じ画像を前記基準画像に設定して動きベクトル検出を行う回数を制御する制御手段と、
   を有することを特徴とする動きベクトル検出装置。
10. 前記制御手段は、前記動き情報により示される動きの速度が第１の速度である場合、前記動き情報により示される動きの速度が前記第１の速度よりも速い第２の速度である場合よりも前記同じ画像を前記基準画像に設定して動きベクトル検出を行う回数を多くすることを特徴とする請求項９に記載の動きベクトル検出装置。
11. 前記制御手段は、前記動き情報により示される動きの主成分が第１の周波数である場合、前記動き情報により示される動きの主成分が前記第１の周波数よりも高い第２の周波数である場合よりも前記同じ画像を前記基準画像に設定して動きベクトル検出を行う回数を多くすることを特徴とする請求項９に記載の動きベクトル検出装置。
12. 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出ステップと、
    慣性センサの検出結果に基づく動き情報を取得する情報取得ステップと、
    前記動き情報に基づいて、前記動きベクトル検出に用いる画像のサンプリングレートを制御する制御ステップと、を有することを特徴とする動きベクトル検出方法。
13. 撮像素子を用いて得られた複数の画像に基づいて動きベクトル検出を行う検出ステップと、
    慣性センサの検出結果に基づく動き情報を取得する情報取得ステップと、
    前記動き情報に基づいて、前記撮像素子を用いた撮像のフレームレートを制御する制御ステップと、を有することを特徴とする動きベクトル検出方法。
14. 撮像素子を用いて得られた複数の画像を基準画像または参照画像に設定し、前記基準画像に対する前記参照画像の動きベクトル検出を行う検出ステップと、
    慣性センサの検出結果に基づく動き情報を取得する情報取得ステップと、
    前記基準画像と前記参照画像の組み合わせを変えて複数回の動きベクトル検出を行う際に、前記動き情報に基づいて、同じ画像を前記基準画像に設定して動きベクトル検出を行う回数を制御する制御ステップと、を有することを特徴とする動きベクトル検出方法。

Images