JP2012018328A - 光学機器、撮像装置、及び光学機器の制御方法 - Google Patents

Abstract

【課題】振れ補正機能を有する光学機器において、その姿勢を変更する動作が終了した後でも振れ補正性能が劣化しないように防止すること。
【解決手段】角速度センサ１０１は、撮像装置１００に加わる振れを検出して、検出信号をＤＣカットフィルタ１０２に出力する。制御部２００はＤＣカットフィルタ１０２からの信号に基づいて振れ補正量を算出する。ＨＰＦ（ハイパスフィルタ）１０６は、ＤＣカットフィルタ１０２の出力信号から低周波数成分を除去する。制御部２００は、補正光学系１１６を制御することにより、振れ補正量に基づいて画像の振れを補正する。パン・チルト判定部１０９によってパンニング動作又はチルティング動作が終了したと判定された場合、オフセット演算部１０８はＨＰＦ１０６の入力値と出力値の差分としてのオフセット量を算出し、オフセット除去部１０５はＤＣカットフィルタ１０２の出力信号からオフセット量を除去する。
【選択図】図１

Description

本発明は、例えば、手振れ等による撮像画像の振れを光学的に補正する技術に関するものである。

近年のビデオカメラ等の撮像装置や光学機器では、装置に加わる揺れ（手振れ等）により生じた撮像画像の像振れを補正する振れ補正機能が種々提案されている。振れ補正機能を備えた撮像装置では、角速度センサや加速度センサを用いて装置本体の揺れを検出して、揺れに応じた補正処理が行われる。センサの出力信号は、揺れがないときに定常的に出力される低周波数の揺らぎ成分を含むが、ハイパスフィルタ（以下、ＨＰＦともいう）によってセンサの出力信号から低周波成分を除去できる。
しかしながら、ＨＰＦを用いて低周波成分を減衰させる構成では以下のような問題がある。例えば、パンニング動作またはチルティング動作が継続して行われている場合、ある一定以上の角速度検出信号をセンサが継続して出力していると、角速度の検出信号成分はＤＣ（直流）カットフィルタによって減衰されるので、徐々に基準値に近づいていく。なお基準値とは揺れがない状態において検出信号が示す値である。その後、パンニング動作またはチルティング動作が終了すると、角速度センサの出力する角速度検出信号は急速に基準値に戻る。すなわち、センサの出力信号は基準値から逆方向へと変化し、その後、ＨＰＦの時定数に応じて徐々に基準値へと収束する。このような基準値から逆方向へと変化する信号（以下、揺り戻し信号といい、その大きさを揺り戻し量という）は実際の撮像装置本体の振れに対応する信号ではない。つまり、この信号をそのまま使用して手振れ補正を行った場合、補正精度が低下するおそれがある。
そこで、ＨＰＦによる揺り戻し信号を除去する方法として、特許文献１に開示の技術が知られている。

特開平７−２０３２８５号公報

しかしながら、従来の振れ補正機能には、次のような問題があった。特許文献１に記載の方法では、第２のＨＰＦによって、パンニング動作の終了が判定されてから所定時間をかけて第２のＨＰＦのカットオフ周波数を徐々に戻していくことで、揺り戻しの影響がないように制御している。ところが、カットオフ周波数を高域側に変移させることは、本来振れ補正の対象となる手振れ成分に含まれる低周波成分も減衰させてしまうことになり、低周波域での振れ補正性能が劣化してしまう。すなわち、パンニング動作またはチルティング動作の終了が判定された時点から所定時間が経過するまでの間、振れ補正性能が劣化することが問題となる。
そこで本発明は、振れ補正機能を有する光学機器の姿勢変更動作が終了したと判定された後でも振れ補正性能が劣化しないように防止することを目的とする。

上述した課題を解決して目的を達成するために、本発明に係る装置は、振れを検出して光学的に像ぶれを補正する機能を有する光学機器であって、前記光学機器に加わる振れを検出する振れ検出手段と、前記振れ検出手段の出力信号から直流成分を除去する第１のフィルタ手段と、前記第１のフィルタ手段の出力信号から第２のフィルタ手段によって低周波数成分を除去して振れ補正量を算出する制御手段と、前記振れ補正量に基づいて画像の振れを補正する補正手段と、を備える。前記制御手段は、前記光学機器の姿勢を変更する動作が終了した場合、前記第２のフィルタ手段の入力値と出力値との差分を算出して前記第１のフィルタ手段の出力信号から減算する。

本発明によれば、光学機器の姿勢を変更する動作が終了したと判定された後でも、振れ補正性能が劣化しないように防止できる。

図２乃至４と併せて本発明の第１実施形態を説明するために、撮像装置の構成例を示すブロック図である。 処理の流れを説明するフローチャートである。 パンニング動作時の各部の波形を（ａ）乃至（ｆ）に例示したグラフである。 図１のＨＰＦ１０６の構成例を示す図である。 図６及び７と併せて本発明の第２実施形態を説明するために、撮像装置の構成例を示すブロック図である。 図５の動きベクトル検出部１２３の構成例を示す図である。 パンニング動作時の各部の波形を（ａ）乃至（ｆ）に例示したグラフである。

以下、本発明を実施するための好適な実施形態について図面を用いて説明する。
［第１実施形態］
図１に示す撮像装置１００の各構成部とその動作について具体的に説明する。振れ検出部としての角速度センサ１０１は撮像装置１００に加わる揺れを検出する。例えば、振動ジャイロセンサを用いる場合、手振れ等によって装置に加わる揺れが角速度検出信号として検出され、ＤＣ（直流）カットフィルタ１０２に送られる。ここで、角速度センサ１０１の角速度検出信号に含まれる直流成分が除去され、該角速度検出信号の交流成分、すなわち振動成分のみがアンプ１０３に供給される。尚、本例では第１のフィルタ手段としてのＤＣカットフィルタ１０２が、所定の周波数帯域で入力信号を遮断するハイパスフィルタである。アンプ１０３は、角速度検出信号（振動成分）を最適な感度に増幅して、Ａ／Ｄ変換器１０４に供給する。Ａ／Ｄ変換器１０４は、アンプ１０３からの角速度検出信号をデジタル信号に変換し、角速度データとして制御部２００（図１のμＣＯＭ参照）に送る。なお、制御部２００には中央演算処理装置（ＣＰＵ）やマイクロプロセッサ（ＭＰＵ）などが使用され、図１には内部処理を機能ブロックで視覚化して示す。
制御部２００は、ＤＣカットフィルタ１０２を通した角速度検出信号から低周波数成分を除去して振れ補正量を算出する。オフセット除去部１０５はＡ／Ｄ変換器１０４の出力信号を受けて、オフセット演算部１０８が算出したオフセット量をＡ／Ｄ変換器１０４の出力信号から減算し、オフセット除去後の出力信号をＨＰＦ（高域通過フィルタ）１０６に送る。ＨＰＦ１０６は、任意の周波数帯域でその特性を可変し得る機能を有しており、オフセット除去部１０５から得た角速度データに含まれる低周波成分を遮断して高周波数帯域の信号を出力する。第２のフィルタ手段であるＨＰＦ１０６は、本例では後述のように制御部２００によるデジタルフィルタリング処理で実現されるソフトウェアフィルタである。積分器１０７は、任意の周波数帯域でその特性を可変し得る機能を有しており、ＨＰＦ１０６から得た角速度データを積分する。積分結果は角変位データとして後述の焦点距離補正部１１１に出力される。

撮像光学系１１９は、ズーミングやフォーカシング等を行い、被写体からの光を撮像素子１２１に結像させる。補正光学系１１６は、例えば撮像光学系１１９の一部の補正レンズであり、光軸に対して直交する方向に移動可能に配置される。もしくは撮像素子１２１を光軸に対して直交する方向に駆動する機構であってもよい。ズームエンコーダ１２０は、撮像光学系１１９のズーム位置を検出し、制御部２００内の焦点距離補正部１１１に出力する。焦点距離補正部１１１は、ズームエンコーダ１２０の出力信号を受けて撮像光学系１１９の焦点距離を算出し、該焦点距離と積分器１０７の出力に基づいて補正光学系１１６の駆動量を算出する。焦点距離補正部１１１の出力信号は減算部１１２ａを介して制御フィルタ１１２に送出される。なお符号１１２乃至１１５に示す構成部によって補正光学系１１６の駆動制御部が構成され、補正光学系１１６の位置検出センサ１１７からＡ／Ｄ変換器１１８を介して減算部１１２ａに至る帰還路によってフィードバック系が形成される。減算部１１２ａは、焦点距離補正部１１１の出力する角変位データから、Ａ／Ｄ変換器１１８によってデジタル化した値（位置検出データ）を減算し、差分データを制御フィルタ１１２に出力する。制御フィルタ１１２の出力はパルス幅変調部１１３に送られ、ここでＰＷＭ（Pulse Width Modulation）信号に変換される。モータ駆動部１１４は、パルス幅変調部１１３からのＰＷＭ出力に基づいてモータ１１５を駆動し、補正光学系１１６の移動制御を行う。つまり補正光学系１１６は、撮像面への入射光の光軸を変えることで、撮像光学系１１９によって結像される光学像のぶれ、即ち撮像画像に生じるぶれを光学的に補正する。
撮像素子１２１は、撮像光学系１１９によって結像した被写体像を画像信号に変換し、信号処理部１２２に供給する。信号処理部１２２は、撮像素子１２１によって得た信号から、例えばＮＴＳＣフォーマットに準拠した映像信号を生成して不図示の表示部や記録部等に出力する。

制御部２００内のセンタリング制御部１１０は、ＨＰＦ１０６の出力する角速度データ及び積分器１０７の出力する角変位データに基づいて、パンニング及びチルティングの状態について判定し、センタリング制御を行う。撮像装置１００の姿勢検出に係る判定条件は、例えば以下に示す通りである。
（１）角速度データが所定の閾値以上の場合。
（２）角速度データが所定の閾値未満であって、かつ角変位データ（積分結果）が所定の閾値以上である場合。
センタリング制御部１１０は（１）または（２）の条件を満たす場合に、装置姿勢の変更中、つまりパンニング状態またはチルティング状態と判定し、センタリング制御が行われる。このセンタリング制御とは、補正光学系１１６の位置をその駆動可能な範囲（制御範囲）の中心位置に固定すること、つまり補正レンズ位置の保持制御を意味する。但し、同様の効果が得られるのであれば、補正光学系１１６の固定位置は必ずしも制御範囲の中心でなくとも構わない。
本実施形態のセンタリング制御は、積分器１０７での積分演算に用いる時定数の値を小さくする方向に変移させることによって実行する。これにより、補正レンズ位置が徐々に制御範囲の中心位置へとセンタリングされ、積分器１０７から出力される角変位データの値が基準値（振れがない状態において角変位データが示す値）に漸近していく。一方、上記（１）または（２）の条件を満たさない場合、センタリング制御部１１０はパンニング状態又はチルティング状態でないと判定し、積分器１０７での積分演算に用いる時定数の値を大きくする方向に変移させる。これにより、積分器１０７での積分演算に用いる時定数の値が元の値に戻り、センタリング制御が解除されることになる。なお、本例では積分器１０７の時定数の値を小さくする方向に変移させることでセンタリング制御を行うが、これ以外の実施形態も可能である。例えば、ＨＰＦ１０６のカットオフ周波数を変更し、あるいは補正レンズ（シフトレンズ）の補正目標位置をセンタリング制御の目標値として強制的に設定することにより、センタリング制御を実現できる。

パン・チルト判定部１０９は、オフセット除去部１０５の出力する角速度データ（ＨＰＦ１０６の入力信号）、およびＨＰＦ１０６の出力する角速度データに基づいて、パンニング動作やチルティング動作の開始や終了を判定する。パン・チルト判定部１０９は、揺り戻し信号を除去するようにオフセット演算部１０８およびＨＰＦ１０６を制御するために設けられる。パン・チルト判定部１０９によってパンニング動作またはチルティング動作の開始が判定された場合、ＨＰＦ１０６のカットオフ周波数が一時的に高域側へ変移し、角速度データの低周波成分を減衰させる制御が行われる。その後、パン・チルト判定部１０９は、パンニング動作またはチルティング動作の終了と判定した場合に、初期オフセット量を算出する。初期オフセット量は、ＨＰＦ１０６の出力する角速度データ（揺り戻し信号が減衰された角速度データ）から、ＨＰＦ１０６に入力される角速度データ（揺り戻し信号が含まれる角速度データ）を減算することで求まる。さらにオフセット演算部１０８では、オフセット量をＤＣカットフィルタ１０２の減衰率に応じて減衰させるように演算する。このように、パンニング動作またはチルティング動作が終了したと判定された場合、ＨＰＦ１０６の入力信号と出力信号に基づいてＤＣカットフィルタ１０２による揺り戻し量に相当するオフセット量が算出される。ＤＣカットフィルタ１０２の減衰率に応じてオフセット量を減衰させるようにオフセット演算が行われ、角速度データからオフセット量を除去するように制御が行われる。その詳細な説明は後述する。

次に撮像装置１００の動作について説明する。以下に示す処理は主として、パン・チルト判定部１０９、オフセット演算部１０８及びオフセット除去部１０５が実行する。なお以下ではパンニング動作について説明するが、チルティング動作の場合にも同様の処理が行われる（以下の説明にて「パンニング」を「チルティング」に読み替えればよい）。
図２は、撮像装置１００における処理の流れを例示したフローチャートである。Ｓ２０１でパン・チルト判定部１０９は、ＨＰＦ１０６の演算に用いるカットオフ周波数を低域側に設定し、パンニング及びチルティング状態でない場合の応答特性とする。次のＳ２０２では、パンニングの制御状態を管理するために使用する内部のフラグ（以下、パンニング制御フラグという）がＯＦＦにセットされる。そしてＳ２０３ではオフセット演算部１０８が出力するオフセット量がゼロに設定されてクリアとなる。なお、Ｓ２０１乃至２０３は初期状態に一度だけ行われる処理である。
Ｓ２０４でパン・チルト判定部１０９は、パンニング制御フラグがＯＮであるか否かを判定する。フラグ値がＯＮの場合、Ｓ２０５に進み、フラグがＯＦＦの場合Ｓ２１１に進む。Ｓ２０５でパン・チルト判定部１０９は、角速度データ（オフセット除去部１０５の出力信号）を微分し、角加速度データを求める。本ステップはパンニング動作が終了したか否かを判断するために必要とされる。なおパンニング動作が終了している場合であっても角速度データには揺り戻し信号の成分が含まれるので、本例では、角加速度データを使用してカメラ本体の姿勢が安定しているか否かをパン・チルト判定部１０９が判断している。具体的にはＳ２０５にて、角加速度データが所定の閾値以内である状態が一定時間に亘って継続しているか否かが判定される。その結果、角加速度データが所定の閾値以内である状態が一定時間に亘って継続している場合、Ｓ２０６に進み、そうでない場合は、Ｓ２０４の処理に戻る。

Ｓ２０６でパンニング制御フラグがＯＦＦにセットされる。次のＳ２０７でパン・チルト判定部１０９は、ＨＰＦ１０６の出力信号からＨＰＦ１０６の入力信号（すなわちＡ／Ｄ変換器１０４から出力される角速度データ）を減算することにより、初期オフセット量を算出する。Ｓ２０８でパン・チルト判定部１０９は、前記Ｓ２０７で求めた初期オフセット量をオフセット演算部１０８に渡し、オフセット除去部１０５はＡ／Ｄ変換器１０４の出力（揺り戻し信号の成分を含む角速度データ）から初期オフセット量を減算する。Ｓ２０９でパン・チルト判定部１０９は、初期オフセット量の値に応じてＨＰＦ１０６の演算に用いる遅延量の値を更新する。これは、Ｓ２０８にてＡ／Ｄ変換器１０４の出力する角速度データから初期オフセット量が減算されることによってＨＰＦ１０６に入力される角速度データに不連続が生じるので、これを補正するためであるが、その詳細は後述する。Ｓ２１０でパン・チルト判定部１０９は、ＨＰＦ１０６での演算に用いるカットオフ周波数を低域側に変移させ、パンニング制御フラグがＯＦＦである場合の応答特性に設定する。なお、Ｓ２０６乃至２１０の処理は、パンニング動作が終了したと判断された場合に実行される処理である。

Ｓ２０４からＳ２１１に進むと、パン・チルト判定部１０９はオフセット除去部１０５の出力する角速度データが所定の閾値以上であるか否かを判定する。その結果、角速度データが所定の閾値未満の場合、Ｓ２１２に進み、角速度データが所定の閾値以上の場合、Ｓ２１４に進む。Ｓ２１２でオフセット演算部１０８は、前記Ｓ２０７で算出した初期オフセット量を、ＤＣカットフィルタ１０２の時定数に応じた減衰率で減衰させ、徐々に基準値に漸近させるように演算する。Ｓ２１３では、前記Ｓ２１２で算出したオフセット量がオフセット除去部１０５に渡される。オフセット除去部１０５はＡ／Ｄ変換器１０４の出力（揺り戻し信号の成分を含む角速度データ）からオフセット量を減算した後、Ｓ２０４に戻る。
一方、Ｓ２１１からＳ２１４に進んだ場合、パンニング制御フラグがＯＮに設定される。次のＳ２１５でオフセット演算部１０８のオフセット量がゼロに設定されてクリアとなる。Ｓ２１６でパン・チルト判定部１０９は、ＨＰＦ１０６での演算に用いるカットオフ周波数を高域側に変移させ、パンニング制御フラグがＯＮである場合の応答特性に設定する。そしてＳ２０４に戻る。

次に図３を用いて、本実施形態に係る撮像装置の有効性について説明する。図３は撮影者が撮像装置１００のパンニングを行ったときに、図２のフローチャートに示した処理が実行された場合の波形例を示す。図３（ａ）乃至（ｆ）は以下の通りである。
・図３（ａ）：撮影者がパンニングを行ったときの角速度センサ１０１の出力信号について時間的変化を例示したグラフ。
・図３（ｂ）：パンニング動作時にＤＣカットフィルタ１０２を経た角速度データについて時間的変化を例示したグラフ。「Ｐａｎ＿ｔｈ１」はパンニング制御の移行判定に用いる閾値を示す。「Ｇｙｒｏ＿ｏｕｔ１」は時刻Ｔ４でのＡ／Ｄ変換器１０４から出力される角速度データの値を示す。
・図３（ｃ）：パンニング動作時にＡ／Ｄ変換器１０４の出力を微分して求めた角加速度データについて時間的変化を例示したグラフ。「ＰａｎＥｎｄ＿ｔｈ１」及び「−ＰａｎＥｎｄ＿ｔｈ１」は動作終了の判定に用いる閾値を示す。
・図３（ｄ）：パンニング動作時にパン・チルト判定部１０９によって設定されるＨＰＦ１０６のカットオフ周波数について時間的変化を例示したグラフ。「ＨＰＦ＿ｆｃ１」は高域側に変移したＨＰＦ１０６のカットオフ周波数を示す。
・図３（ｅ）：パンニング動作時にオフセット演算部１０８が出力するオフセット量について時間的変化を例示したグラフ。「Ｏｆｆｓｅｔ１」は初期オフセット量（時刻Ｔ４でのオフセット量）を示す。
・図３（ｆ）：パンニング動作時にＨＰＦ１０６が出力する角速度データについて時間的変化を例示したグラフ。「ＨＰＦ＿ｏｕｔ１」は時刻Ｔ４でのＨＰＦ１０６が出力する角速度データの値を示す。
図３に示す時刻Ｔ１乃至５の意味は下記の通りである。
・Ｔ１：パンニング動作の開始時刻。
・Ｔ２：図３（ｂ）にて角速度データの値がＰａｎ＿ｔｈ１に到達した時刻。
・Ｔ３：実際のパンニング動作の終了時刻。
・Ｔ４：パンニング動作が終了したと判断される時刻。
・Ｔ５：パンニング動作の終了時点から所定時間が経過し、図３（ｅ）に示すオフセット量が漸近してほぼゼロとなった時刻。

時刻Ｔ１からＴ３にかけて撮影者が一方向にパンニングを行った場合、角速度は図３（ａ）に示すように一方向に大きく振れる。そして、パンニング動作が終了すると角速度センサの出力は基準値付近に戻り、時刻Ｔ３乃至Ｔ５においては手振れを示す小刻みな信号のみが出力される。図３（ｂ）に示す角速度データについては、角速度センサ１０１の出力信号がＤＣカットフィルタ１０２（ハイパスフィルタ）を経ているので、低周波成分が減衰している。つまり、時刻Ｔ１乃至Ｔ３の区間では角速度データが徐々に減衰する。そのため、パンニング動作の終了時刻Ｔ３では、角速度データの値がマイナス側に振れる現象が発生する。その後、時刻Ｔ３からＴ５にかけて角速度データはＤＣカットフィルタ１０２の時定数に応じて基準値に漸近していく波形となる。このように、角速度センサ１０１の出力信号をＤＣカットフィルタ１０２に通過させると、パンニングやチルティングの動作終了後に撮像装置１００の揺れを示す方向とは逆方向の信号が出力される。本実施形態では、このような逆方向への信号を揺り戻し信号と呼ぶ。この揺り戻し信号を含む角速度データに基づいて画像の振れ補正を行うと、撮影者の意図に反して画像が動いてしまうという不都合が生じるおそれがある。

従来技術として、パンニング動作の終了を検出してから所定時間をかけてデジタルＨＰＦのカットオフ周波数を下げることで、揺り戻し信号を取り除く方法が提案されている。しかしながら、ＨＰＦのカットオフ周波数を上げている間、本来振れ補正の対象としている手振れによる角速度データの低周波数成分が減衰されてしまう。このため、手振れ補正性能が劣化し、根本的な問題の解決には至らなかった。
そこで、本発明の実施形態に係る撮像装置では、パンニングまたはチルティングの動作が終了したと判定した時点においてＨＰＦ１０６から出力される角速度データからＨＰＦ１０６に入力される角速度データを減算した値を揺り戻し量として算出する。この揺り戻し量を角速度データから差し引くことで揺り戻し信号の成分を含まない角速度データが得られる。以下、その方法について説明する。
図３（ｂ）のグラフにて、パンニング制御に移行する閾値が「Ｐａｎ＿ｔｈ１」として設定されており、角速度データの値が時刻Ｔ２でこの閾値に到達する。角速度データの値がＰａｎ＿ｔｈ１を超えた場合、パンニング状態であるという判定がなされ、パンニング制御に移行する（パンニング制御フラグＯＮ）。パン・チルト判定部１０９は、図３（ｄ）に「ＨＰＦ＿ｆｃ１」で示すように、ＨＰＦ１０６のカットオフ周波数を一時的に高域側へ変移させる。

次にパンニング動作の終了時点の検出について説明する。図３（ｂ）のグラフに示す角速度データには、ＤＣカットフィルタ１０２によって発生する揺り戻し信号の成分が含まれているため、そのままではパンニング動作の終了を正しく判断することが困難である。そこで、本実施形態では、角速度データを微分して角加速度データを求め、それに基づいてパンニング動作の終了判定を行っている。図２のＳ２０５で角加速度データの判定に用いる閾値は、図３（ｃ）のグラフに示すように「ＰａｎＥｎｄ＿ｔｈ１」及び「−ＰａｎＥｎｄ＿ｔｈ１」として設定されている。実際にパンニング動作が終了した時刻Ｔ３から、角加速度データは「−ＰａｎＥｎｄ＿ｔｈ１」と「ＰａｎＥｎｄ＿ｔｈ１」との間に示す範囲内に収束していく。角加速度データが当該範囲内に収まっている状態が所定時間に亘って継続すると、パンニング動作が終了したと判断され、そのときの時刻がＴ４である。なお、ＰａｎＥｎｄ＿ｔｈ１の値は手振れによって発生する角加速度に対して十分大きい値が設定される。
時刻Ｔ４でパンニング動作が終了したと判断された場合、図２のＳ２０７で説明したように初期オフセット量が算出される。図３（ｂ）にて時刻Ｔ４での角速度データを「Ｇｙｒｏ＿ｏｕｔ１」と記し、図３（ｆ）にて時刻Ｔ４での角速度データを「ＨＰＦ＿ｏｕｔ１」と記すとき、初期オフセット量「Ｏｆｆｓｅｔ１」は次式（１）から算出される。

前述したように、時刻Ｔ２でパンニング制御に移行すると、ＨＰＦ１０６のカットオフ周波数が高域側に設定される（図３（ｄ）のＨＰＦ＿ｆｃ１参照）。よって、ＨＰＦ１０６は、図３（ｆ）の時刻Ｔ２乃至４に示すように、低周波成分が減衰された角速度データを出力する。つまり時刻Ｔ４においては、ＤＣカットフィルタ１０２の影響によって発生するマイナス側への振れ量が除去され、負のＤＣ成分をもたない値が角速度データとして出力される。このように上述の演算によれば、角速度センサ１０１の出力信号がＤＣカットフィルタ１０２を経ることで発生する揺り戻し量を求め、これを角速度データから除去することが可能である。
また、時刻Ｔ４付近でＤＣカットフィルタ１０２の出力する角速度データには、揺り戻し信号の他に手振れを示す信号が含まれているため、時間経過に伴って角速度が変化する。しかし、手振れの周波数成分はＨＰＦ１０６のカットオフ周波数に比べて高い周波数をもつので、ＨＰＦ１０６をそのまま通過する。つまりＨＰＦ１０６が出力する角速度データにも同様に手振れを示す信号成分が含まれる。したがって、ＨＰＦ＿ｏｕｔ１からＧｙｒｏ＿ｏｕｔ１を減算することで、時刻Ｔ４付近においても手振れの影響を受けることなく、揺り戻し量に相当するオフセット量を正しく算出できる。

図２のＳ２１１からＳ２１２に進む処理は、パンニング動作が終了したと判定された時刻Ｔ４からＴ５にかけて実行される処理に相当する。図３（ｅ）に示すように、時刻Ｔ４にて算出された初期オフセット量がＯｆｆｓｅｔ１であり、時刻Ｔ４からＴ５にかけてＤＣカットフィルタ１０２の減衰率に応じてデータ値が減衰するように演算が行われる。なお、図３（ｅ）に示すように、オフセット量は時刻Ｔ４においてゼロからＯｆｆｓｅｔ１へと不連続に変化しているが、この不連続な信号をそのままＨＰＦ１０６に入力すると、出力される角速度データに不連続が生じてしまう。そこで、本実施形態では、時刻Ｔ４で初期オフセット量を角速度データから減算すると同時に、ＨＰＦ１０６の演算に用いる遅延素子の値を更新してＨＰＦ１０６の出力が不連続にならないように制御を行っている。

ＨＰＦ１０６の構成例を図４に示す。本例では入力信号及びゲイン要素４０１の出力信号が減算要素に送られて減算され、減算後の出力信号と遅延素子４０２（「Ｚ^-1」参照）を経た信号が加算要素にて加算される。加算結果は遅延素子４０２を介してゲイン要素４０１に送られる。なおデジタルハイパスフィルタの詳細な動作については既知であるため説明は省略する。時刻Ｔ４におけるＨＰＦ１０６の遅延素子４０２の値を「ＨＰＦ＿ｂｕｆ１」と記し、ゲイン要素４０１の倍率を「Ｋ１」と記すとき、更新後の遅延素子４０２の値「ＨＰＦ＿ｂｕｆ２」は次式（２）のように求められる。

このように、角速度データから初期オフセット量を減算すると同時に、ＨＰＦ１０６の遅延素子４０２の値を上式（２）に従って更新することによって、ＨＰＦ１０６から出力される角速度データが不連続とならないように制御できる。
以上説明したように本実施形態では、Ａ／Ｄ変換器１０４の出力する角速度データから、オフセット演算部１０８の出力するオフセット量（図３（ｅ）参照）がオフセット除去部１０５によって差し引かれてＨＰＦ１０６に入力される。よって、ＨＰＦ１０６の出力する角速度データは、図３（ｆ）のグラフに示すように、揺り戻し信号の成分が除去された角速度データとなる。また時刻Ｔ４乃至Ｔ５では、オフセット除去部１０５によって揺り戻し信号の成分が除去されるので、ＨＰＦ１０６のカットオフ周波数を低域側に変移させることができ、パンニングやチルティングの動作後でも手振れ補正性能が劣化することはない。
なお、本実施形態として撮像装置１００への適用例を説明したが、振れ補正装置を備えた各種光学機器、例えば一眼レフ用の撮影レンズなどに幅広く適用できる。

［第２実施形態］
次に本発明の第２実施形態を説明する。第２実施形態では角速度センサを用いて撮像装置本体に加わる揺れを検出するとともに、複数の画像間における動きベクトルによって画像振れを検出する構成を有する。
図５は第２実施形態に係る撮像装置１０００の構成例を示す。なお、図５において図１に示す第１実施形態と同様の構成部分については既に使用した符号と同一の符号を付すことにより、それらの詳細な説明を省略する。第１実施形態との相違点は、動きベクトル検出部１２３及び動きベクトル処理部１２４である。動きベクトル検出部１２３は信号処理部１２２からの画像信号を受けて、画像から得られた動きベクトルに基づいて連続的な画像の移動量を求める。動きベクトルの検出結果は動きベクトル処理部１２４に送られ、画像の移動量に基づいてパンニングまたはチルティングの動作終了が判定される。

以下、動きベクトル検出部１２３及び動きベクトル処理部１２４の具体的な動作を説明する。動きベクトル検出部１２３は、信号処理部１２２からの映像信号に含まれる輝度信号に基づき、動きベクトルを検出する。動きベクトル検出法には、相関法やブロックマッチング法等がある。ここでは、その一例として、ブロックマッチング法を動きベクトル検出部１２３での検出に採用するものとする。このブロックマッチング法では、まず入力画像信号を複数の適当な大きさのブロック（例えば、８×８画素）に分割する。そして現フィールド又は現フレームについて、ブロック単位で前フィールド又は前フレームにおける一定範囲の画素との間で差が計算される。そして、この差の絶対値の和が最小となる前フィールド又は前フレームのブロックが検索され、当該ブロックの相対的なズレがそのブロックの動きベクトルとして検出される。尚、ブロックマッチング法でのマッチング演算については既知であるため、詳細な説明は省略する。

図６は動きベクトル検出部１２３の構成例を示す。フィルタ６０１は、画像信号の高空間周波数成分等を除去するために設けられ、信号処理部１２２から供給された映像信号から、動きベクトル検出に有用な空間周波数成分を抽出して出力する。２値化部６０２は、フィルタ６０１が出力した画像信号を所定のレベルと比較し、該レベルを境として２値化処理を行う。２値化した信号は相関演算部６０３及び記憶部６０６に各々供給される。記憶部６０６は２値化部６０２での前回のサンプルデータを記憶し、２値化部６０２からの画像信号を、１フィールド期間だけ遅延させて相関演算部６０３に供給する。相関演算部６０３は２値化部６０２及び記憶部６０６の各出力の相関演算を行う。即ち、相関演算部６０３には、２値化部６０２からの画像信号（現フィールドの画像信号）と、記憶部６０６からの画像信号（前フィールドの画像信号）が供給される。そして相関演算部６０３は、上述したブロックマッチング法に従って、ブロック単位で現フィールドと前フィールドの相関演算を行い、その演算結果である相関値を動きベクトル検出処理部６０４に供給する。動きベクトル検出処理部６０４は相関演算部６０３からの相関値に基づいてブロック単位の動きベクトルを検出する。すなわち、相関値が最小となる前フィールドのブロックが探索され、その相対的なズレが動きベクトルとして検出される。動きベクトル決定部６０５は動きベクトル検出処理部６０４からのブロック単位の動きベクトルに基づいて全体の動きベクトルを決定する。例えば、ブロック単位の動きベクトルの中央値又は平均値が全体の動きベクトルとして決定される。そして、動きベクトル決定部６０５の出力が、制御部２０００内の動きベクトル処理部１２４に供給される。
上述の構成により、動きベクトル検出部１２３は、画素単位での垂直方向及び水平方向における各移動量（即ち、動きベクトル）を求める。この動きベクトルは、連続した撮像画像の単位時間当たりの移動量、すなわち撮像画像の振れ残りを示すものである。換言すれば、角速度センサ１０１に基づく振れ補正に誤差がない場合には、撮像画像上の動きベクトルは検出されないことになる。

再び図５に戻って、動きベクトル処理部１２４を説明する。該処理部は、動きベクトル検出部１２３から出力された動きベクトルのデータに対し、所定の係数を掛けることで角変位に正規化する。つまり、角速度センサ１０１から出力される角速度データとの対応が取れるように、ベクトル角変位データが求められる。動きベクトル処理部１２４が出力するベクトル角変位データは、パン・チルト判定部１０９に供給され、パンニングまたはチルティングの動作終了を判断するためのデータとして用いられる。
パン・チルト判定部１０９は、動きベクトル処理部１２４が出力するベクトル角変位データを用いてパンニングまたはチルティングの動作終了を判定する。これが第１実施形態との相違点である。つまり、図２のフローチャートに示すＳ２０５にて角加速度データではなく、ベクトル角変位データを用いて、パンニング動作が終了したか否かの判定処理が行われる。

図７は、撮影者が撮像装置１００のパンニングを行った場合の波形例を示す。なお、図３との相違点は、図７（ｃ）が角変位データ（上記ベクトル角変位データ）の時間的変化を示すことであり、図７（ａ）、（ｂ）、（ｄ）乃至（ｆ）の波形は図３にてそれぞれ対応する波形と同様である。よって、以下では主に相違点を説明する。
時刻Ｔ２でパンニング動作の開始が判断されると、ＨＰＦ１０６の演算に用いるカットオフ周波数が高域側に変移するので、振れ補正の対象から低周波成分が除去される。これによって補正光学系１１６によって補正されなかった低周波成分の画像の動きが、動きベクトル検出部１２３によって動きベクトルとして検出され、動きベクトル処理部１２４は角変位データを出力し始める。そして、時刻Ｔ３でパンニング動作が終了すると、画像の動きが小さくなり、動きベクトル処理部１２４が出力する角変位データがゼロに近い値となる。図７（ｃ）に示す「ＰａｎＥｎｄ＿ｔｈ２」及び「−ＰａｎＥｎｄ＿ｔｈ２」は、図２のＳ２０５において、ベクトル角変位データを用いたパンニング動作の終了判定処理で使用する閾値に相当する。実際にパンニング動作が終了した時刻Ｔ３付近から、角変位データは「−ＰａｎＥｎｄ＿ｔｈ２」と「ＰａｎＥｎｄ＿ｔｈ２」の間の範囲内に収束していく。角変位データが当該範囲内に収まっている状態が所定の判定基準時間以上に亘って継続した場合、パンニング動作が終了したと判断され、図２のＳ２０７で説明したように初期オフセット量が算出される。
ベクトル角変位データを用いてパンニング動作の終了を判断する場合においても、第１実施形態の場合と同等の効果を得ることが出来る。なお、チルティング動作についても上記と同様の処理が行われることは勿論である。
以上のように本発明の各実施形態では、パンニングまたはチルティングの動作が終了したと判断した場合に、ＨＰＦの出力値と入力値の差に応じて揺り戻し量に相当するオフセット量を算出する。これを振れ検出信号から減算することで揺り戻し信号の成分が除去される。よって、パンニングまたはチルティングの動作後における振れ補正効果を向上させた撮像装置が提供可能となる。

［その他の実施形態］
図２のＳ２０９で説明した、ＨＰＦ１０６の遅延の更新動作については、例えば、ＨＰＦ１０６より前に第２のオフセット除去部を設けることにより、オフセット除去部１０５における初期オフセット量の減算による不連続を相殺することができる。
また、図２のＳ２０５における動作終了の判断処理では、角加速度データまたはベクトル角変位データを用いたが、これに限定されるものではない。例えば角速度データを平均化したデータ、あるいはＬＰＦ（ローパスフィルタ）を通過させて高周波成分を除去したデータを用いることができる。また、複数の判定処理を併用してもよい。
前記実施形態では、ＨＰＦの一例として１次ＩＩＲ（Infinite Impulse Response）フィルタを説明したが、これに限らず、２次以上のＩＩＲフィルタ等を用いてもよい。また振れ補正手段として、補正光学系１１６（例えばシフトレンズ）を説明したが、例えば、可変頂角プリズム（ＶＡＰ）や、撮像素子を光軸に垂直な方向に駆動する手段を講じてもよい。
本発明の第２実施形態は撮像装置に限らず、振れ補正装置を備えた光学機器、例えば一眼レフ用の撮影レンズなどに適用可能である。その場合、撮像素子１２１、信号処理部１２２、動きベクトル検出部１２３、動きベクトル処理部１２４はカメラ本体側に設けられ、他の構成部はレンズ（光学機器）側に設けられる。

１００，１０００ 撮像装置
１０１ 角速度センサ（振れ検出手段）
１０２ ＤＣカットフィルタ（第１のフィルタ手段）
１０５ オフセット除去部
１０６ ＨＰＦ（第２のフィルタ手段）
１０７ 積分器
１０８ オフセット演算部
１０９ パン・チルト判定部
１１０ センタリング制御部
１１６ 補正光学系
１１９ 撮像光学系
１２３ 動きベクトル検出部
２００，２０００ 制御部
４０２ 遅延素子

Claims (10)

1. 振れを検出して光学的に像ぶれを補正する機能を有する光学機器であって、
   前記光学機器に加わる振れを検出する振れ検出手段と、
   前記振れ検出手段の出力信号から直流成分を除去する第１のフィルタ手段と、
   前記第１のフィルタ手段の出力信号から第２のフィルタ手段によって低周波数成分を除去して振れ補正量を算出する制御手段と、
   前記振れ補正量に基づいて画像の振れを補正する補正手段と、を備え、
   前記制御手段は、前記光学機器の姿勢を変更する動作が終了した場合、前記第２のフィルタ手段の入力値と出力値との差分を算出して前記第１のフィルタ手段の出力信号から減算することを特徴とする光学機器。
2. 前記制御手段は、
   前記光学機器の姿勢を変更する動作について判定する判定手段と、
   前記判定手段によって前記光学機器の姿勢を変更する動作が終了したと判定された場合に、前記差分を、前記光学機器に振れが加わらない状態で前記振れ検出手段が出力する基準値からのオフセット量として演算するオフセット演算手段と、
   前記第１のフィルタ手段の出力から、前記オフセット量を除去して前記第２のフィルタ手段に出力するオフセット除去手段を備えることを特徴とする、請求項１に記載の光学機器。
3. 前記第２のフィルタ手段の出力信号を積分する積分手段と、
   前記判定手段によって前記光学機器の姿勢が変更中であると判定された場合、前記積分手段を制御して前記補正手段の位置を徐々に制御範囲の中心位置へと移動させるセンタリング制御手段をさらに備えることを特徴とする、請求項２に記載の光学機器。
4. 前記オフセット演算手段は、予め定めた時定数に従って前記オフセット量を減衰させて前記オフセット除去手段に出力することを特徴とする、請求項２又は３に記載の撮像装置。
5. 前記制御手段は、前記光学機器の姿勢を変更する動作が終了したと判定された場合に、揺り戻し量に相当する前記オフセット量に応じて前記第２のフィルタ手段の演算に用いる遅延素子の値を変更するように制御することを特徴とする、請求項２から４の何れか１項に記載の光学機器。
6. 前記制御手段は、
   前記第１のフィルタ手段の出力信号のレベルが閾値を超えた時点から、前記光学機器の姿勢を変更する動作が終了したと判定される時点までの間、前記オフセット量をゼロに設定し、かつ前記第２のフィルタ手段のカットオフ周波数を高域側へ変移させ、
   前記光学機器の姿勢を変更する動作が終了したと判定した時点で前記第２のフィルタ手段のカットオフ周波数を低域側へ戻すことを特徴とする、請求項１から５の何れか１項に記載の光学機器。
7. 前記判定手段は、前記振れ検出手段の出力信号を微分した信号のレベルが、予め定めた範囲内に収まっているか否かを判定し、該信号のレベルが当該範囲内である状態が判定基準時間以上に亘って継続した場合に、前記光学機器の姿勢を変更する動作が終了したと判定することを特徴とする、請求項２から６の何れか１項に記載の光学機器。
8. 請求項１から７の何れか１項に記載の光学機器と、
   撮像光学系を通した被写体像を画像信号に変換する撮像素子を備えたことを特徴とする撮像装置。
9. 前記撮像素子によって得た画像信号に基づいて複数の画像間における動きベクトルを検出する動きベクトル検出手段と、
   前記動きベクトル検出手段の出力する動きベクトルに基づき、該動きベクトルに対応する角変位データを閾値と比較して、前記光学機器の姿勢を変更する動作が終了したか否かを判定する判定手段を備えることを特徴とする、請求項８に記載の撮像装置。
10. 振れを検出して光学的に像ぶれを補正する機能を有する光学機器の制御方法であって、
    前記光学機器に加わる振れを検出する検出ステップと、
    前記検出ステップで得た検出信号から第１のフィルタ手段によって直流成分を除去するステップと、
    前記第１のフィルタ手段の出力信号から第２のフィルタ手段によって低周波数成分を除去して振れ補正量を算出する算出ステップと、
    前記振れ補正量に基づいて画像の振れを補正する補正ステップを有し、
    前記算出ステップでは、前記光学機器の姿勢を変更する動作が終了した場合、前記第２のフィルタ手段の入力値と出力値との差分を算出して前記第１のフィルタ手段の出力信号から減算することを特徴とする光学機器の制御方法。

Images