JP3642085B2 - 手振れ補正装置及びビデオカメラ - Google Patents
手振れ補正装置及びビデオカメラ Download PDFInfo
- Publication number
- JP3642085B2 JP3642085B2 JP13235495A JP13235495A JP3642085B2 JP 3642085 B2 JP3642085 B2 JP 3642085B2 JP 13235495 A JP13235495 A JP 13235495A JP 13235495 A JP13235495 A JP 13235495A JP 3642085 B2 JP3642085 B2 JP 3642085B2
- Authority
- JP
- Japan
- Prior art keywords
- shake
- signal
- shake correction
- mode
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、画像の手振れ成分を補正する手振れ補正装置及びビデオカメラに関する。
【０００２】
【従来の技術】
近年は、いわゆるＣＣＤ（charge coupled device、固体撮像素子）イメージセンサを備えたハンディタイプのビデオカメラが普及している。
【０００３】
上記ビデオカメラでは、手持ちで撮影を行うことが多いため、撮影時に手振れを生じ易いという問題がある。このように、撮影時に手振れが生ずると、例えば、ズームアップして撮影した画像を再生した場合に、上記手振れによる画質劣化が生じてしまい、再生画像が大変見にくくなってしまう。
【０００４】
このため、近年は、上記手振れを補正することができる手振れ補正装置を搭載することで、撮影時の手振れを補正できるビデオカメラが製品化されている。
【０００５】
また、ビデオカメラでは、撮影時にパンニング（カメラを左右に振って撮影する手法）やチルティング（カメラを上から下、または下から上に動かして撮影する手法）等が行われることが多い。
【０００６】
ここで、ビデオカメラに搭載される手振れ補正装置の従来の構成について、図２８及び図２９を用いて説明する。手振れ補正の方式には各種あるが、ここではいわゆるメモリ制御方式を使用した例について説明する。当該メモリ制御方式は、手振れを検出すると、ビデオでカメラのＣＣＤイメージセンサによって撮像して得た映像信号の一部を画像枠として取り出し、手振れ量に応じて前フィールドの画像枠と現フィールドの画像枠とを互いに合わせるように動かし、これら両画像枠を互いに一致させることにより、手振れを補正する方式である。また、ここでは、上記手振れの量を検出する方式として、例えば角速度検出方式を採用した例を挙げている。上記角速度検出方式は、圧電振動ジャイロ等による角速度センサを用いて、手振れに起因する角速度を検出し、当該検出した角速度に応じて手振れの量を求める方式である。
【０００７】
図２８において、端子１２０には、角速度センサからの角速度データが供給される。この角速度データは、ハイパスフィルタ１２１に送られる。当該ハイパスフィルタ１２１は、上記角速度データから、ビデオカメラのパンニング，チルティングに起因する低周波成分を主に削除し、手振れ成分についてはそのまま通過させるようなフィルタとなっている。
【０００８】
このハイパスフィルタ１２１からの出力データは、乗算器１２７にて、トータルゲイン調整器１２８からの所定の乗算係数と乗算され、さらに乗算器１２９にて光学ズームにおけるズーム倍率に応じた乗算係数が乗算された後、ローパスフィルタ１５４に送られる。なお、上記トータルゲイン調整器１２８は、ビデオカメラの光学系及角速度センサにより得られる補正信号のゲインが、必ずしも設計中心値にはなっていないため、そのゲインのバラツキを修正するための乗算係数を発生することを目的として設けられている。また、ズームゲインテーブル１３０には、ビデオカメラの光学ズームにおけるズーム倍率に応じた複数のゲイン補正用の乗算係数が格納されており、このズームゲインテーブル１３０から光学ズームの現在のズーム倍率に応じた乗算係数が読み出されて、上記乗算器１２９に送られるようになっている。この乗算器１２９からの出力データは、ローパスフィルタ１５４に送られる。
【０００９】
当該ローパスフィルタ１５４は、前段の乗算器１２９から供給されたデータを、積分係数テーブル１３６からの積分係数を用いて積分する。
【００１０】
ここで、上記積分係数テーブル１３６に格納されている積分係数は、ローパスフィルタ１５４の積分出力との関係が例えば図２９に示すようなものとなされている。当該積分係数テーブル１３６からは、上記ローパスフィルタ１５４の積分値（ＬＰＦ積分値）に応じた積分係数が取り出され、ローパスフィルタ１５４ではこの積分係数を用いて上記乗算器１２９から供給されたデータを積分する。なお、図２９に示す積分係数とローパスフィルタ積分値の関係を示す曲線は水平（Ｈ）方向と垂直（Ｖ）方向の両方を示している。また、この図２９中のローパスフィルタ積分値（ＬＰＦ積分値）のうち、積分値（例えばＳＨ）はＣＣＤイメージセンサの水平方向の余剰エリアの１／２の画素数に対応し、積分値（例えばＳＶ）はＣＣＤイメージセンサの垂直方向の余剰エリアの１／２の画素数に対応している。すなわち、この図２９に示すように、既存の振れ補正装置では、手振れに対する補正処理とパンニングやチルティング時の収束処理とを共通の積分係数を用いて行っている。
【００１１】
このローパスフィルタ１５４の出力データが端子１４５から手振れ補正信号として出力されるようになる。ビデオカメラは、当該手振れ補正信号に基づいて画像の振れ成分を補正する手振れ補正処理を行う。
【００１２】
【発明が解決しようとする課題】
しかし、上述のように、手振れに対する補正及びパンニング及びチルティング時の収束処理に共通の積分係数を用いると、手振れに対する補正領域を大きくとれず、また、パンニング，チルティングの追従性も良くない。ここで、手振れの補正範囲（振幅）を拡げるためには、線形補正領域を拡げれば良いが、副作用として残留手振れ量が増加することになる。逆に、パンニング，チルティングの追従性を良くするためには、線形補正領域を小さくする必要があり、この場合の副作用としては補正性能が劣化することになる。
【００１３】
また、図２９に示すように、従来のメモリ制御方式を採用する手振れ補正装置では、垂直方向に関してＣＣＤイメージセンサの余剰画素が、垂直方向で例えば±４０画素及び水平方向で例えば±６０画素あったとしても、線形補正領域として例えば±１０画素程度しか使用されていないのが現状である。
【００１４】
そこで、本発明は、この様な実情に鑑みてなされたものであり、手振れを効果的に補正することができると共に、パンニングやチルティングによる振れに対する追従性も良く、さらにＣＣＤイメージセンサの余剰画素をも有効に使用することができる手振れ補正装置及びビデオカメラを提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明に係る手振れ補正装置は、振動を検出する振動検出手段と、上記振動検出手段からの振動検出信号に基づいて、振れの状態として少なくとも作為的な振れと手振れとを判別可能な振れ状態判別手段と、上記振れ状態判別手段からの振れ状態判別信号に基づいて、上記振動検出信号から振れ補正量を演算し、振れ補正信号を出力する振れ補正信号出力手段とを有し、上記振れ補正信号出力手段は、上記振動検出信号を減衰する減衰手段と上記減衰手段の出力信号を積分するローパスフィルタとを少なくとも有してなり、上記振れ状態判別信号に応じて上記減衰手段の減衰係数とローパスフィルタの積分係数とを制御することにより、上述の課題を解決する。
【００１６】
また、本発明に係るビデオカメラによれば、撮像面上に入射した光に応じた電気信号を生成する撮像手段と、上記撮像手段の撮像面上に入射光像を形成する光学系と、上記撮像手段の電気信号から映像信号を生成する映像信号生成手段と、振動を検出する振動検出手段と、上記振動検出手段からの振動検出信号に基づいて、振れの状態として少なくとも作為的な振れと手振れとを判別可能な振れ状態判別手段と、上記振れ状態判別手段からの振れ状態判別信号に基づいて、上記振動検出信号から振れ補正量を演算し、振れ補正信号を出力する振れ補正信号出力手段と、上記振れ補正信号に応じて振れ補正を行う振れ補正手段とを有し、上記振れ補正信号出力手段は、上記振動検出信号を減衰する減衰手段と上記減衰手段の出力信号を積分するローパスフィルタとを少なくとも有してなり、上記振れ状態判別信号に応じて上記減衰手段の減衰係数とローパスフィルタの積分係数とを制御することにより、上述の課題を解決する。
【００１７】
【作用】
本発明によれば、振れ状態判別手段は振れの状態を判別しており、振れ補正手段はその振れの状態に応じた振れ補正量を演算している。したがって、振れの状態として例えばパンニングやチルティングのような作為的な振れと作為的でない手振れとを判別すれば、これら振れの状態に応じた補正量、すなわち例えばパンニングやチルティング時にはゼロを、また手振れ時には計算値を、使用することができるようになる。
【００１８】
【実施例】
以下、本発明の好ましい実施例について、図面を参照にしながら説明する。
【００１９】
本実施例の手振れ補正装置は例えばハンディタイプのビデオカメラに搭載されるものであり、手振れ補正の方式には後述するように各種あるが、ここでは例えばいわゆるメモリ制御方式を使用した例について説明する。なお、本実施例にて使用する上記ＣＣＤイメージセンサの大きさは、垂直方向で前記画像枠よりも±４８画素分大きく、かつ、水平方向で画像枠よりも±６３画素分大きいものを使用している。したがって、手振れの最大補正量としては、垂直方向で±４８画素分、水平方向で±６３画素分となる。また、本発明実施例では、上記手振れの量を検出する方式として、例えば角速度検出方式を採用している。
【００２０】
本発明実施例の手振れ補正装置が搭載されたビデオカメラの構成について、図１を用いて説明する。
【００２１】
この図１において、光学系１を介して入射した被写体等からの光は、ＣＣＤイメージセンサ２に入射し、当該ＣＣＤイメージセンサ２によって電気信号に変換される。なお、光学系１は、例えば、入射像をＣＣＤイメージセンサ２上に結像させるためのレンズ系と、当該レンズ系を動かしてズーミングする際の光学ズーム機構及び当該光学ズーム機構の駆動系、レンズ系を動かしてフォーカシンを行う際のフォーカシング機構及び当該フォーカシング機構の駆動系、アイリス機構及び当該アイリス機構の駆動系から構成される。また、この場合のＣＣＤイメージセンサ２は、光学フィルタ及び各色光をそれぞれ受光する３つのＣＣＤイメージセンサからなるものである。
【００２２】
上記ＣＣＤイメージセンサ２からの撮像信号は、信号調整回路３にてゲインコントロール及びサンプルホールドされた後、アナログ／ディジタル（Ａ／Ｄ）コンバータ４にてディジタル撮像信号に変換される。このディジタル撮像信号は、カメラ信号処理回路５に送られる。
【００２３】
当該カメラ信号処理回路５は、ディジタル撮像信号から輝度（Ｙ）信号，クロマ（Ｃ）信号の生成等のＣＣＤカラーカメラの信号処理をディジタル処理により行っている。このカメラ信号処理回路５により得られたカメラ信号が出力端子６から出力される。
【００２４】
また、カメラコントロール回路９は、前記光学ズーム機構の駆動制御、フォーカシング機構においてオートフォーカス制御を行うための駆動制御、アイリス機構においてオートアイリス制御を行うための駆動制御、当該ビデオカメラのシステム全体のタイミングのコントロール等の、後述する手振れ補正処理以外のコントロールを行う。
【００２５】
手振れ補正指示手段１６は、例えばビデオカメラの筐体に設けられるボタン等からなり、当該ビデオカメラの使用者が手振れ補正を行うか行わないかを指示するためのものである。この手振れ補正指示手段１６を操作して当該使用者が手振れ補正を行うことを指示したときには、上記カメラコントロール回路９から、手振れ補正処理を行うべき旨の信号がイメージコントロール回路８に送られる。
【００２６】
さらに、角速度センサ１２及び１３は、共に圧電振動ジャイロ等により構成されており、角速度センサ１２の角速度検出面がＣＣＤイメージセンサ２の水平方向に対応し、角速度センサ１３の角速度検出面がＣＣＤイメージセンサ２の垂直方向に対応するように、当該ビデオカメラ本体に配設されている。すなわち、上記角速度センサ１２は当該ビデオカメラ本体がヨーイング方向に振れたときの角速度を検出し、上記角速度センサ１３は当該ビデオカメラ本体がピッチング方向に振れたときの角速度を検出する。これら角速度センサ１２，１３からの角速度検出信号は、Ａ／Ｄコンバータ１１によってディジタル信号に変換され、角速度データとしてイメージコントロール回路８に送られる。
【００２７】
シンクジェネレータ（ＳＧ）１４は、水平同期信号ＨＤ及び垂直同期信号ＶＤと、フィールド判別信号ＦＰを生成し、上記水平同期信号ＨＤ及び垂直同期信号ＶＤがタイミングジェネレータ（ＴＧ）１０へ、フィールド判別信号ＦＰがイメージコントロール回路８へ送られる。
【００２８】
上記イメージコントロール回路８は、ＣＣＤイメージセンサ２により撮像された画像を拡大する電子ズームのコントロールを行うと共に、前記カメラコントロール回路９から手振れ補正を行う旨の信号が供給されたときに、内部に格納された手振れ補正処理プログラムに従って、上記Ａ／Ｄコンバータ１１を介した角速度センサ１２，１３からの角速度データに基づいた手振れ補正量計算を行う。なお、前記カメラコントロール回路９が制御するのは、光学系１による光学ズームであり、当該イメージコントロール回路９での電子ズームとは異なる。また、光学ズームによるズーミングを行うと、ズーム倍率に応じてビデオカメラが振れたときの振れ角とＣＣＤイメージセンサ２上での振れ量との対応が変わることになるため、上記カメラコントロール回路９からは、光学ズームにおけるズーム倍率情報も上記イメージコントロール回路８に送られるようになっている。したがって、当該イメージコントロール回路８では、上記手振れ補正量計算の際に、上記ズーム倍率情報も加味した計算を行うようにしている。
【００２９】
上記イメージコントロール回路８での手振れ補正量計算により得られた補正値は、タイミングジェネレータ１０及び線形補間演算回路７へ、シリアルデータとして転送される。
【００３０】
ここで、当該イメージコントロール回路８から線形補間演算回路７へ転送されるシリアルデータとしては、水平方向の拡大／縮小倍率ＨＭＡＧ及び垂直方向の拡大／縮小倍率値ＶＭＡＧと、水平方向の補間オフセット値ＨＯＦＦと、偶数フィールドの垂直補間オフセット値ＶＯＦＦＥ及び奇数フィールドの垂直補間オフセット値ＶＯＦＦＯと、線形補間演算回路７内に配されるラインメモリへの書き込み終了アドレス値ＨＳＴＯＰと、ラインメモリへの書き込み開始アドレス値ＨＳＴＡＲＴと、ラインメモリの書き込み／読み出し制御用立ち上がり位相値ＨＣＰＳと、ラインメモリの書き込み／読み出し制御用立ち下がり位相値ＨＣＰＥと、ラインメモリの書き込み開始位相値ＭＷＢＳと、ラインメモリへの書き込み終了位相値ＭＷＢＥと、ラインメモリの読み出し開始位相値ＭＲＢＳと、ラインメモリの読み出し終了位相値ＭＲＢＥとがある。
【００３１】
ここで、本実施例では、垂直（Ｖ）方向の手振れ補正処理及び水平（Ｈ）方向の手振れ補正処理を以下のようにして行っている。
【００３２】
先ず、垂直方向の手振れ補正処理について説明する。
【００３３】
各フィールドの初期値設定について、整数部の補正処理においては、イメージコントロール回路８から、ＣＣＤイメージセンサ２のフィールド読み出し制御信号ＦＬＤとＣＣＤイメージセンサ２からの出画までの垂直方向掃出画素数値ＶＴＢの信号を、タイミングジェネレータ１０へ送ることにより、ＣＣＤイメージセンサ２のオフセット読み出しで制御する。また、小数部の補正処理においては、イメージコントロール回路８から偶数フィールドの垂直補間オフセット値ＶＯＦＦＥ及び奇数フィールドの垂直補間オフセット値ＶＯＦＦＯの信号を線形補間演算回路７へ送ることにより補間処理にて制御する。
【００３４】
また、各ラインの逐次補間処理については、イメージコントロール回路８から垂直方向の拡大／縮小倍率値ＶＭＡＧの信号を線形補間演算回路７へ、また、水平同期信号ＨＤに同期して線形補間演算回路７から小数加算部のキャリアウトの有無を示すＶＧＡＴ信号をタイミングジェネレータ１０へ送ることにより制御する。
【００３５】
次に、水平方向の手振れ補正処理について説明する。
【００３６】
各ラインの初期値設定について、整数部の補正処理においては、イメージコントロール回路８から、線形補間演算回路７内に配されるラインメモリへの書き込み開始アドレス値ＨＳＴＡＲＴとラインメモリへの書き込み終了アドレス値ＨＳＴＯＰの信号を線形補間演算回路７へ送ることにより制御する。また、小数部の補正処理においては、イメージコントロール回路８から水平方向の補間オフセット値ＨＯＦＦの信号を線形補間演算回路７へ送ることにより補間処理にて制御する。
【００３７】
また、各画素の逐次補間処理については、イメージコントロール回路８から水平方向の拡大／縮小倍率ＨＭＡＧの信号を線形補間演算回路７へ送ることにより制御する。
【００３８】
なお、前記小数部の補間処理については、水平，垂直両方向共に、線形補間演算回路７にて行うため、イメージコントロール回路８から、ラインメモリの書き込み／読み出し制御用立ち上がり位相値ＨＣＰＳと、ラインメモリの書き込み／読み出し制御用立ち下がり位相値ＨＣＰＥと、ラインメモリの書き込み開始位相値ＭＷＢＳと、ラインメモリへの書き込み終了位相値ＭＷＢＥと、ラインメモリの読み出し開始位相値ＭＲＢＳと、ラインメモリの読み出し終了位相値ＭＲＢＥの各信号を線形補間演算回路７へ転送する。
【００３９】
また、タイミングジェネレータ１０は、ＣＣＤイメージセンサ２の駆動を担当するＶ−ドライブ１５に対して、手振れ補正量に相当したフレームシフト動作制御信号ＸＶ１〜ＸＶ４を転送し、また、高速掃き出し操作制御信号ＸＳＵＢを転送する。
【００４０】
次に、上記イメージコントロール回路８内に設けられる手振れ補正信号を生成する一具体例の構成について、図２を用いて説明する。
【００４１】
当該イメージコントロール回路８内の手振れ補正信号生成のための構成は、振動検出手段としての角速度センサ１２，１３が検出した角速度データを用いてビデオカメラの振れの動作分析を行うモニタ部（すなわち振れ状態判別手段）と、この動作分析結果に応じて手振れの補正量を計算して手振れ補正信号を出力する演算部（すなわち振れ補正信号出力手段）とに大別される。上記モニタ部は、主要構成要素としてハイパスフィルタ５２と平滑化フィルタ４３とモード検出回路４４とを有してなり、上記演算部は、主要構成要素としてハイパスフィルタ５１とリミッタ３１と減衰器（アッテネータ）５３とローパスフィルタ５４とを有してなるものである。
【００４２】
この図２において、端子２０には、図１のＡ／Ｄコンバータ１１によってディジタル信号に変換された角速度センサ１２，１３からの角速度データが供給される。加算器２２には、上記端子２０を介した角速度データが加算信号として送られると共に、レジスタ２１を介した角速度データが減算信号として送られ、当該加算器２２ではこれら角速度データの加算（すなわち減算）を行う。この加算器２２の出力は、上記演算部のハイパスフィルタ５１とモニタ部のハイパスフィルタ５２に送られる。
【００４３】
上記演算部のハイパスフィルタ５１は、加算器２３とレジスタ２６とレジスタ２１と加算器２２と乗算器２４とを有してなり、角速度データから、ビデオカメラのパンニング，チルティングに起因する低周波成分を主に削除し、手振れ成分（周波数的には２Ｈｚ〜３Ｈｚが主）についてはそのまま通過させるようなフィルタとなっている。すなわち、上記加算器２３には、前段の加算器２２からの角速度データが加算信号として供給され、この加算器２３の出力データがレジスタ２６を介して上記乗算器２４に送られる。当該乗算器２４には、所定のフィルタ係数Ｋ2が端子２５から供給されており、上記レジスタ２６の出力データに当該フィルタ係数Ｋ2が乗算される。この乗算器２４の出力データが上記加算器２３に送られ、当該加算器２３において前段の加算器２２からの角速度データと加算される。ここで、上記所定のフィルタ係数Ｋ2として、当該ハイパスフィルタ５１のカットオフ周波数を高めるための値（例えばＫ2＝０．９９５）を用いている。
【００４４】
上記ハイパスフィルタ５１からの出力データは、乗算器２７にて、トータルゲイン調整器２８からの所定の乗算係数と乗算され、さらに乗算器２９にて光学ズームにおけるズーム倍率に応じた乗算係数が乗算された後、リミッタ３１に送られる。なお、上記トータルゲイン調整器２８は、光学系１及び角速度センサ１２，１３により得られる補正信号のゲインが、必ずしも設計中心値にはなっていないため、そのゲインのバラツキを修正するための乗算係数を発生することを目的として設けられている。また、ズームゲインテーブル３０には、光学ズームにおけるズーム倍率に応じた複数のゲイン補正用の乗算係数が格納されており、このズームゲインテーブル３０から光学ズームの現在のズーム倍率に応じた乗算係数が読み出されて、上記乗算器２９に送られるようになっている。
【００４５】
リミッタ３１は、ビデオカメラの振れに対応する角速度データが所定のリミット値以上になっているとき、すなわち言い換えればビデオカメラの振れに起因したＣＣＤイメージセンサ２上での画像の移動速度量（画素数に対応する移動速度量）が所定リミット値以上になっているときに、後段のローパスフィルタ５４に当該リミット値以上の値が入力しないように制限するものである。また、このリミット値は、角速度データがパンニングやチルティングに起因するものか否かを、モード検出回路４４において検出するために設定されているものでもある。このリミッタ３１の出力データ、すなわち振れ補正量の計算値は、減衰器５３の乗算器３２に送られる。
【００４６】
当該減衰器５３は、乗算器３２と、当該乗算器３２にてリミッタ３１の出力データ、すなわち振れ補正量の計算値に乗算する減衰係数Ｋ3を発生する減衰係数発生器３３とからなるものであり、後段のローパスフィルタ５４へ送るデータのゲインをコントロールする。なお、減衰係数発生器３３からは、減衰係数Ｋ3として、後述するように、モニタ部のモード検出回路４４での検出結果に応じて、０≦Ｋ3≦１の値が出力される。この減衰器５３からの出力データは、ローパスフィルタ５４に送られる。
【００４７】
当該ローパスフィルタ５４は、加算器３４とレジスタ３７と乗算器３５と積分係数発生器３６とを有してなり、前段の減衰器５３から供給されたデータを、モード検出回路４４で検出した各モードに応じて積分する。すなわち、上記加算器３４には、前段の減衰器５３からの出力データが加算信号として供給され、この加算器３４の出力データがレジスタ３７を介して上記乗算器３５に送られる。当該乗算器３５には、所定のフィルタ係数（積分係数Ｋ4）が積分係数発生器３６から供給されており、上記レジスタ３７の出力データに当該積分係数Ｋ4が乗算される。この乗算器３５の出力データが上記加算器３４に送られ、当該加算器３４において前段の減衰器５３からの出力データと加算される。ここで、上記積分係数発生器３６からは、後述するモード検出回路４４でのモード検出結果に応じて、例えば、０．８０≦Ｋ4≦０．９９９の積分係数Ｋ4が出力される。このローパスフィルタ５４の出力データが端子４５から手振れ補正信号として出力される。
【００４８】
一方、モニタ部の上記ハイパスフィルタ５２は、加算器３８とレジスタ４１レジスタ２１と加算器２２と乗算器３９とからなり、角速度データの直流（ＤＣ）成分の削除を行う。すなわち、上記加算器３８には、前段の加算器２２からの角速度データが加算信号として供給され、この加算器３８の出力データがレジスタ４１を介して上記乗算器３９に送られる。当該乗算器３９には、所定のフィルタ係数Ｋ1として１に近い値（例えばＫ1＝０．９９９）が端子４０から供給されており、上記レジスタ４１の出力データに当該フィルタ係数Ｋ1が乗算される。この乗算器３９の出力データが上記加算器３８に送られ、当該加算器３８において前段の加算器２２からの角速度データと加算される。
【００４９】
上記ハイパスフィルタ５２からの出力データは、乗算器４２にて、トータルゲイン調整器２８からの所定の乗算係数と乗算された後、平滑化フィルタ４３に送られる。なお、上記トータルゲイン調整器２８は、角速度センサ１２，１３により得られる角速度信号のゲインが、必ずしも設計中心値にはなっていないため、そのゲインのバラツキを修正するための乗算係数を発生することを目的として設けられている。
【００５０】
上記平滑化フィルタ４３は、供給されたデータを平滑化することで当該データからノイズを除去するために設けられたものであり、具体的には、現データから３データ前までの４つのデータを時間平均して出力するものである。この平滑化フィルタ４３の出力データは、モード検出回路４４に送られる。
【００５１】
当該モード検出回路４４は、ある一定時間（例えば約０．５秒＝１２８サンプル分）分、ローパスフィルタ５４の出力データと当該モニタ部の平滑化フィルタ４３の出力データとを受け取ると共に、演算部のリミッタ３１で上記所定のリミット値を越えた角速度データのサンプル数のカウント及び当該カウントのリセットを行う。そして、当該モード検出回路４４は、これらのデータを基に、ビデオカメラの振れの状態の分析（動作分析）を行い、当該分析して得たビデオカメラの振れの状態に応じて、上記減衰係数発生器３３から出力される減数係数Ｋ3をコントロールし、また上記積分係数発生器３６から出力される積分係数Ｋ4をコントロールする。
【００５２】
ここで、本実施例では、上記減衰係数発生器３３の減数係数Ｋ3と積分係数発生器３６の積分係数Ｋ4とを、以下のようにコントロールすることで、ビデオカメラの振れの補正を行う。
【００５３】
先ず、上記ビデオカメラの振れの状態として、例えば、撮影者が作為的にカメラを振るような場合には、パンニング若しくはチルティング動作とみなす。この場合には、極力、パンニング若しくはチルティング動作に画像の動きがついていくように、手振れ補正処理は行わない。具体的には、図３に示すように、減衰係数Ｋ3と積分係数Ｋ4とを極力小さくし、手振れ補正出力となるローパスフィルタ５４の出力値を０にする。このように、パンニング若しくはチルティング動作時のように、補正量を極力小さくする補正処理のモードを、以下、収束モードと呼ぶ。なお、図３のローパスフィルタ積分値（ＬＰＦ積分値）のうち、積分値ＳＨはＣＣＤイメージセンサ２の水平方向の余剰エリアの１／２の画素数に対応し、積分値ＳＶはＣＣＤイメージセンサ２の垂直方向の余剰エリアの１／２の画素数に対応している。
【００５４】
次に、上記ビデオカメラの振れの状態として、撮影者の意志とは無関係にビデオカメラが振れるような場合には、手振れにより振れている状態とみなす。この場合には、極力、画振れをなくすような手振れ補正処理を行う。具体的には、図４に示すように、減衰係数Ｋ3と積分係数Ｋ4とを、極力１に近づけ、手振れ補正の計算値がそのままローパスフィルタ５４の出力値となるようにする。このような撮影者の意志とは無関係にビデオカメラが振れる場合のように、補正量を極力大きくする（１００％補正に近づける）補正処理のモードを、以下、補正モードと呼ぶ。なお、図４のＬＰＦ積分値のうち、積分値ＳＨはＣＣＤイメージセンサ２の水平方向の余剰エリアの１／２の画素数に対応し、積分値ＳＶはＣＣＤイメージセンサ２の垂直方向の余剰エリアの１／２の画素数に対応しており、定常状態のときに上記補正モードで補正処理を行う場合には、上記ＣＣＤイメージセンサ２の水平，垂直方向の余剰エリアの画素数の１／２以内が手振れ補正に使用可能な領域となる。ただし、定常状態において当該水平，垂直方向の画素数の余剰エリアの１／２全てを補正処理に使用すると、当該余剰エリアの１／２の範囲を越えたときに画像の連続性が損なわれることになるので、実際には、図４に示すように、上記余剰エリアの画素数の１／２よりも所定画素数だけ少ないエリア（水平方向ではＬＰＦ積分値ｓｈ，垂直方向ではＬＰＦ積分値ｓｖまで）を補正処理に使用し、それ以上は補正量が少なくなるように、積分係数Ｋ4を小さくして、収束させるようにしている。
【００５５】
また、上記ビデオカメラの振れの状態として、撮影者が作為的にカメラを振るパンニング若しくはチルティング動作と、撮影者の意志とは無関係にビデオカメラが振れる手振れ状態との中間の状態である場合には、手振れ補正を行いながら収束させるような補正処理を行う。具体的には、図５に示すように、減衰係数Ｋ3と積分係数Ｋ4とを適当な値に設定することにより、補正しながら収束することを実現する。このように、パンニング若しくはチルティング動作と手振れ状態との中間の状態である場合の補正と収束とを行う補正処理のモードを、以下、準補正モードと呼ぶ。なお、図５の場合もＬＰＦ積分値のうち、積分値ＳＨはＣＣＤイメージセンサ２の水平方向の余剰エリアの１／２の画素数に対応し、積分値ＳＶはＣＣＤイメージセンサ２の垂直方向の余剰エリアの１／２の画素数に対応しており、定常状態のときに上記準補正モードで補正処理を行う場合には、上記ＣＣＤイメージセンサ２の水平，垂直方向の余剰エリアの画素数の１／２以内が手振れ補正に使用可能な領域となる。ただし、定常状態において当該水平，垂直方向の画素数の余剰エリアの１／２全てを補正処理に使用すると、当該余剰エリアの１／２の範囲を越えたときに画像の連続性が損なわれることになるので、実際には、図５に示すように、上記余剰エリアの画素数の１／２よりも所定画素数だけ少ないエリア（水平方向ではＬＰＦ積分値ｓｈ，垂直方向ではＬＰＦ積分値ｓｖまで）を補正処理に使用し、それ以上は補正量が少なくなるように、積分係数Ｋ4を小さくして、収束させるようにしている。
【００５６】
なお、上述した減衰係数Ｋ3はＫ3X＜Ｋ3Y＜Ｋ3Zの関係を有し、積分係数Ｋ4はＫ4X＜Ｋ4Y＜Ｋ4Zの関係を有している。ただし、当該関係式において、Ｘは収束モードを、Ｙは準補正モードを、Ｚは補正モードに対応し、これらは定常時の場合である。
【００５７】
本実施例においては、上記収束モード，補正モード，準補正モードの何れかの処理モードを使用してビデオカメラの振れの補正処理を行うことになるが、これら処理モードのうちいずれの処理モードを使用するかの判定を、上記モード検出回路４４がビデオカメラの振れの状態を分析することで行っている。すなわち、このモード検出回路４４では、ビデオカメラの振れの状態が以下の７種類の判定条件のうちのいずれかの条件に合致するかに応じて、上記処理モードの何れのモードを使用するか判定している。
【００５８】
上記モード検出回路４４におけるモード判定のための基準（判定条件）と、当該モード判定結果に応じた本実施例の手振れ補正装置での補正処理について説明する。
【００５９】
ここで、本実施例の手振れ補正装置は、図６に示すように、規定時間ｔ0秒（角速度データの例えば１２８サンプル分）の間、モード検出回路４４において後述する図９〜図１５のような７種類の判定条件でモード判定を行い、次の規定時間ｔ0〜２ｔ0でその判定結果に応じた補正処理を行うと共にさらに次の規定時間のモード判定を行う。なお、後述する強制的な収束モードの場合には、図７に示すように、いずれのモードの処理を行っている最中でも、当該強制的な収束モードの判定条件が成立しだい、強制割り込みを行い、当該収束モードの処理を即実行する。
【００６０】
また、以下のモード判定の説明において使用する角速度データのゼロクロス数は、図８に示すように定義している。この図８において、規定時間内の角速度データのサンプル数（１２８サンプル）をＳｍとし、所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）内を０値とみなし、角速度データが当該スレシホールドレベルをクロスする部分が規定時間ｔ0内に存在する数をゼロクロス数（１２８サンプル間の角速度データの符号が反転する数）Ｐｎとし、角速度データ値がリミッタ３１の前記所定のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越えている間のサンプル数をＳｘとする。また、当該角速度データ値が５０サンプル連続して、リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越えた場合、その時点でゼロクロス数のカウントはリセットされ、当該カウントリセット後の初めてのゼロクロス点から規定時間Ｓｍの終端までのサンプル数をＳｎとしている。したがって、図８において、例えばＳｘ＜５０のときＰｎ＝９でサンプル数Ｓ＝Ｓｍとなり、Ｓｘ≧５０のときＰｎ＝４でサンプル数Ｓ＝Ｓｎとなる。
【００６１】
このような前提の元、上記モード検出回路４４では以下のようなモード判定条件によるモード判定を行い、本実施例の手振れ補正装置では当該モード判定結果に応じて振れの補正処理を行う。
【００６２】
先ず、図９に示すように、判定条件として、現モード判定時において、前記リミッタ３１の所定のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続することはなく、角速度データがスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）をクロスするゼロクロス数が３以上７以下であるときには、処理のモードを前記図４に示した補正モードとする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該モード判定を行った規定時間の次の１２９サンプル目（次の規定時間の最初のサンプル）から、減衰係数Ｋ3＝１とし、積分係数は図４の積分係数Ｋ4を使用した前記補正モードでの処理を行う。なお、本実施例装置では、サンプル周波数ｆｓ＝２４０Ｈｚであるため、上記１２９サンプル目までは約０．５秒に相当する。
【００６３】
次に、図１０に示すように、判定条件として、前モードが補正又は準補正モードであり、現モード判定時において、前記リミッタ３１の所定リミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続するときには、処理のモードを強制的に前記図３に示した収束モードにする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該判定条件を満たした時ｔ1から強制的に収束モードの処理に入り、減衰係数Ｋ3＝０とし、積分係数は図３の積分係数Ｋ4（＝０．９）を使用した処理を行う。なお、現モード判定時の前半に補正又は準補正モードが存在していても、当該判定条件を満たしたときには上記強制的な収束モードが優先される。
【００６４】
次に、図１１に示すように、判定条件として、前モードが上記強制的な収束モード又はここで述べる連続的な収束モードとなっており、現モード判定時において、前記リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続するときには、処理のモードを連続的に前記図３に示した収束モードにする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該モード判定を行った規定時間の次の１２９サンプル目（次の規定時間の最初のサンプル）以降も、減衰係数Ｋ3＝０とし、積分係数は図３の積分係数Ｋ4（＝０．９）を使用して連続的な収束モードの処理を行う。なお、現モード判定時の後半に補正モードが発生した場合には、当該補正モードが優先される。
【００６５】
次に、図１２に示すように、判定条件として、角速度データが１２８サンプルの間、所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）を越えなかったときには、処理のモードを前記図３に示した収束モードにする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該モード判定を行った規定時間の次の１２９サンプル目（次の規定時間の最初のサンプル）から、減衰係数Ｋ3＝０とし、積分係数は図３の積分係数Ｋ4（＝０．９）を使用する静止的な収束モードの処理を行う。なお、スレシホールドレベルの設定は、例えばビデオカメラを三脚上若しくは机等の上に固定静止させた時の、ハイパスフィルタ５２の出力データの最大値で代表する。
【００６６】
次に、図１３に示すように、判定条件として、現モード判定時において、リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続することはなく、角速度データが所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）をクロスするゼロクロス数が２以下であり、上記静止的な収束モードではないときには、処理のモードを前記図５に示した準補正モードとする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該モード判定を行った規定時間の次の１２９サンプル目（次の規定時間の最初のサンプル）から、減衰係数Ｋ3をＫ3＜１とし、積分係数は図５の積分係数Ｋ4を使用した前記準補正モードでの処理を行う。
【００６７】
次に、図１４に示すように、判定条件として、前モードが補正モードであり、現モード判定時において、リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続することはなく、角速度データが所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）をクロスするゼロクロス数が８以上存在するときには、処理のモードを前記図４に示した補正モードにする。すなわち、この判定条件を満たしているときの定常状態での処理では、当該モード判定を行っている規定時間内で図４の積分係数Ｋ4を使用した前記補正モードでの処理を行う。なお、この判定条件を満たしたときに補正モードを使用するのは、例えばビデオカメラの固有振動ではなく、角速度データのノイズによって誤った判定を行わないようにするためである。
【００６８】
次に、図１５に示すように、判定条件として、前モードが補正モード以外のモードであり、現モード判定時において、リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続することはなく、角速度データが所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）をクロスするゼロクロス数が８以上存在するときには、処理のモードを前記図１１で説明したように連続的な収束モードにする。すなわち、この判定条件を満たしているときの定常状態での処理では、当該モード判定を行っている規定時間内で図３の積分係数Ｋ4（＝０．９）を使用した連続的な収束モードの処理を行う。また、この判定条件を満たしたときに連続的な収束モードを使用するのは、角速度データがビデオカメラの固有振動に基づくものであるからである。
【００６９】
ここで、上述したモード検出回路４４は、モード判定の際に、リミッタ３１の所定のリミット値ＬＩＭを越えた角速度データのカウント（カウント値は００ｈ〜０Ｆｈまで）と、当該カウントのリセット及びリカウント（再カウント）動作とを、以下のような条件に従って行っている。
【００７０】
すなわち、次のような場合、モード検出回路４４は、上記所定のリミット値ＬＩＭを越える角速度データのサンプル数のカウントをクリアし、再カウント動作に入る。例えば、図１６に示すように、前モード判定区間（規定時間）の最終値（角速度データ値）が前記所定のリミット値ＬＩＭより小さい状態で現モード判定区間（規定時間）に移行した場合にクリアする。また、図１７に示すように、リミット値ＬＩＭを越える角速度データのカウントの動作中において、カウント値が５０より小さく、角速度データがリミット値ＬＩＭより小さな値をとったときにはクリアする。さらに、図１８に示すように、前モードで強制的な収束モードが成立しており、次の現モード判定区間へ移行するときにクリアする。
【００７１】
一方、図１９に示すように、前モードが強制的な収束モードではなく、かつ当該前モードの判定区間の最終値（最後の角速度データのサンプル値）がリミット値ＬＩＭより大きな値をとったとき（ただし、カウント値が５０より小さい時）、当該前モード判定区間から現モードの判定区間へ移行する場合には、カウントのクリアは行わず、カウント動作を続行する。また、図２０に示すように、前モードが強制的な収束モード又は連続的な収束モードで、現モード判定時においてリミット値ＬＩＭを越える角速度データのカウント値が５０になった時点（５０を越えた時点）では、リミットフラグがセットされて、カウント値を５１に保持する。ただし、このリミットフラグがセットされた後、同じ判定区間（現モードの判定区間）において、角速度データ値かゼロクロスしたとき、又は補正モードと判定された場合には、カウントがクリアされる。
【００７２】
なお、上述の例では、モード検出回路４４におけるモード判定の際には、前述した７種類のモード判定条件にて判定を行っているが、次のようなことを行うことも可能である。例えば、補正、収束モードの定義変更を行い、準補正モードをどちらか一方に取り込み処理するようにすることが可能である。このときは、前記図３〜図５にて示した減衰係数Ｋ3と積分係数Ｋ4に示す補正係数の変更も同時に行う。また例えば、連続的な収束モードと強制的な収束モードを１つのモードとして定義し、処理することもできる。さらに、例えば、リミッタ３１での所定のリミット値を越える角速度データを用いた判定を設定せず、補正モードと静止的な収束モード以外を１つのモードとして処理することもできる。上述のように、前述した実施例以外に補正処理のアルゴリズムは多数考えることができる。
【００７３】
ところで、前述のようにしてモード判定を行い、当該判定した各モードに応じて処理を行うようにする場合において、モードが変化するモード遷移時には、補正処理も切り替わることになるため、滑らかな画像の動き得られないことが考えられる。したがって、本実施例では、モード遷移時に画像の動きを滑らかにするために、以下のようにして上記減衰係数Ｋ3と積分係数Ｋ4の連続性をもたせるようにしている。なお、モード遷移は、補正モードから収束モード、収束モードから補正モード、補正モードから準補正モード、準補正モードから補正モード、収束モードから準補正モード、準補正モードから収束モードの６つのケースが考えられるが、いずれの場合も処理方法は同じなので、補正モードから収束モードへのモード遷移のケースを例に挙げて説明を行い、他のケースについては省略する。
【００７４】
先ず、前述した図３〜図５のように、垂直（Ｖ）方向の積分係数Ｋ4は、ローパスフィルタ５４の積分値がＳＶからＳＭの区間ではモードによって変化しないので、この区間ではあえて係数の連続性処理を行う必要はない。また、水平（Ｈ）方向の積分係数Ｋ4は、ローパスフィルタ５４の積分値がＳＨからＳＭの区間ではモードによって変化しないので、この区間ではあえて係数の連続性処理を行う必要はない。
【００７５】
次に、ローパスフィルタ５４の積分値が（０）からＳＶの区間での垂直方向の処理について、図２１を用いて説明する。
【００７６】
この図２１において、図中Ｑ1の点に着目すると、補正モードから収束モードへ連続的にモードを遷移させるためには、積分係数Ｋ4を０．９９９から０．９へ１２８サンプルの間に連続して変化させなければならない。したがって、当該補正モードから収束モードへ遷移させる際には、補正モードにおける積分係数Ｋ4の０．９９９と収束モードにおける積分係数Ｋ4の０．９との間（すなわち０．９９９−０．９）を１２８サンプルで分割し、１サンプルたつ毎に、０．０９９／１２８ずつ積分係数Ｋ4を減らしていくようにする。ローパスフィルタ５４の積分値が（０）からｓｈの区間については、このように１サンプルたつ毎に０．０９９／１２８ずつ積分係数Ｋ4を減らしていくようにする。一方、ローパスフィルタ５４の積分値がｓｈからＳＨの区間については、Ｑ1点の積分係数Ｋ4を１サンプルたつ毎に０．０９９／１２８ずつ減らして求めたＱ2と、固定点である図中Ｑ3の点とを線分で結び、その線分から現在のローパスフィルタ５４の積分値に対応する積分係数Ｋ4を求めるようにする。
【００７７】
このように、補正モードから収束モードへのモード遷移の際には、ローパスフィルタ５４の積分値（０）からｓｈまでの区間と、積分値ｓｈからＳＨまでの区間、積分値ＳＨからＳＭまでの各区間について、上述のような処理を１２８サンプル連続して行うことで、積分係数Ｋ4の連続性を保つことができる。
【００７８】
なお、減衰係数Ｋ3の連続性処理については、ローパスフィルタ５４の積分値の函数でないため、減衰係数Ｋ3の値１から値０まで１サンプルたつ毎に（１−０）／１２８ずつ積分係数Ｋ4を減らすように処理する。
【００７９】
次に、上記図１のイメージコントロール回路８内に設けられる手振れ補正信号生成のための構成は、図２の構成以外に、例えば図２２〜図２７に示すような構成とすることもできる。これら図２２〜図２７において、図２と同一の構成要素には同じ指示符号を付している。すなわち、図２２には図２の構成から平滑化フィルタ４３と減衰器５３を取り除きローパスフィルタ５４にそれらの機能を付加した構成を示し、図２３には図２の構成のモニタ部と演算部のハイパスフィルタを一つのハイパスフィルタ６１にまとめた構成を、図２４には図２の構成のリミッタ及び減衰器を取り除きローパスフィルタ５４にそれらの機能を付加した構成を、図２５には図２４の構成のモニタ部と演算部のハイパスフィルタを一つのハイパスフィルタ６１にまとめた構成を、図２６には図２３の構成の減衰器５３を取り除きリミッタ３１にその機能を付加した構成を、図２７には図２３の構成の減衰器５３を取り除きローパスフィルタ５４にその機能を付加した構成を示している。
【００８０】
上述したように、本実施例では、角速度センサ１２，１３から得られたデータ及びローパスフィルタ５４の出力データ（積分値）等により、ビデオカメラの振れの状態をいくつかのモードに分類し、それらに適した処理を組み合わせることにより、手振れ補正性能とパンニング，チルティングの追従性能との総合性能の向上を図るようにしている。すなわち、本実施例の手振れ補正装置及びビデオカメラによれば、ローパスフィルタに入るデータとして、パンニング，チルティング成分の大半が削除され、かつ入力データは周期性の強い成分のため線形補正領域を大きく確保できる（同じＣＣＤ余剰エリア量でも大きな補正能力をもたせることができる）。また、本実施例の手振れ補正装置及びビデオカメラによれば、パンニング，チルティング時には収束処理に入るため、従来の手振れ補正装置と比較して残留手振れが出難い（パンニング，チルティングの追従性が良い）。さらに、本実施例の手振れ補正装置及びビデオカメラによれば、ＣＣＤイメージセンサの余剰画素を有効に活用することも可能となっている。
【００８１】
なお、上述した本実施例では、手振れ補正のための方法としてメモリ制御方式を例に挙げているが、その他に光学的な処理によって手振れを補正する方法を使用することも可能である。上記光学的処理により手振れを補正する方法としては、ジンバルメカ方式と、アクティブプリズム方式とが知られている。上記ジンバルメカ方式は、手振れを検出すると、光学系駆動手段によって手振れをキャンセルする方向にレンズユニット全体を動かして手振れを補正するものである。この方式によれば、レンズユニット全体を動かすため、メカニズムが大きくなり、消費電力も大きくなるが、解像度の劣化がなく、補正範囲も比較的広くとれるため、多少大型となっても高解像度を得たい場合に適している。また、上記アクティブプリズム方式は、手振れを検出すると、光学系駆動手段によって手振れをキャンセルする方向にレンズユニットの一部のみを動かして手振れを補正するものである。この方式によれば、上記ジンバルメカ方式に比べれば、消費電力が小さく、小型化が容易であり、また解像度の劣化もなく、補正範囲も比較的広くとれるので、高画質で小型且つ軽量なカメラに適している。すなわち、これら光学的処理により手振れを補正する方式を使用した場合でも、前述したように手振れのモード判定を行い、このモード判定結果に応じて補正を行うことで、パンニングやチルティングによる振れに対する追従性が良く、且つ手振れも効果的に補正することが可能となる。
【００８２】
また、前述した本発明実施例では、手振れの検出方法として角速度検出方式を採用しているが、この他に、例えばいわゆる動きベクトル検出方式を使用することも可能である。当該動きベクトル検出方式は、半導体メモリに格納された、現フィールドと前フィールドとの被写体の画像信号の差を画像処理により得ることで、被写体の移動量と方向とを検出するものである。この方式によれば、ＩＣのみで構成できるため、小型且つ低価格化が可能となる。
【００８３】
【発明の効果】
以上の説明からも明らかなように、本発明によれば、振れ状態判別手段は振れの状態を判別しており、振れ補正手段はその振れの状態に応じた振れ補正量を演算している。このとき、振れの状態として例えばパンニングやチルティングのような作為的な振れと作為的でない手振れとを判別すれば、これら振れの状態に応じた補正量、すなわち例えばパンニングやチルティング時には小さい補正量、手振れ時には大きい補正量を、使用することができ、したがって、本発明においては、手振れを効果的に補正することができると共に、パンニングやチルティングによる振れに対する追従性も良くすることが可能であり、さらにＣＣＤイメージセンサの余剰画素をも有効に使用することができるようになる。なお、実施例では手振れ補正指示手段を設けているが、カメラ操作に適した補正処理をその度に行っているため、従来のビデオカメラにある手振れ補正のＯＮ／ＯＦＦボタンは不要となる。
【図面の簡単な説明】
【図１】本発明実施例の手振れ補正装置を組み込んだビデオカメラの概略構成を示すブロック回路図である。
【図２】本発明実施例ビデオカメラのイメージコントロール回路内に設けられる手振れ補正信号生成のための構成を示すブロック回路図である。
【図３】収束モード時の積分係数とローパスフィルタ積分値の関係を示す図である。
【図４】補正モード時の積分係数とローパスフィルタ積分値の関係を示す図である。
【図５】準補正モード時の積分係数とローパスフィルタ積分値の関係を示す図である。
【図６】モード判定と補正の実行処理の流れを説明するための図である。
【図７】モード判定の補正の実行処理の流れを、具体的なモード名を挙げて説明するための図である。
【図８】各用語の定義を説明するための図である。
【図９】補正モードの判定条件について説明するための図である。
【図１０】強制的な収束モードの判定条件について説明するための図である。
【図１１】連続的な収束モードの判定条件について説明するための図である。
【図１２】静止的な収束モードの判定条件について説明するための図である。
【図１３】準補正モードの判定条件について説明するための図である。
【図１４】ビデオカメラの固有振動ではなく角速度データのノイズによってモード判定を行わないようにするためのモード判定の条件について説明するための図である。
【図１５】ビデオカメラの固有振動によってモード判定を行わないようにするためのモード判定の条件について説明するための図である。
【図１６】所定のリミット値を越える角速度データの連続サンプル数のカウントクリアと再カウント動作の条件（前モードの最終値がリミット値より小さい状態で現モード判定区間に移行する場合）について説明するための図である。
【図１７】所定のリミット値を越える角速度データの連続サンプル数のカウントクリアと再カウント動作の条件（カウントの動作中に角速度データ値がリミッタ値より小さな値をとった場合）について説明するための図である。
【図１８】所定のリミット値を越える角速度データの連続サンプル数のカウントクリアと再カウント動作の条件（強制的な収束モードが成立し、次のモード判定区間へ移行する場合）について説明するための図である。
【図１９】所定のリミット値を越える角速度データの連続サンプル数のカウントをクリアせずにカウント動作を続行する条件（リミット値を越える角速度データのカウントの動作中、現モード判定区間から次の判定区間へ移行する場合）について説明するための図である。
【図２０】所定のリミット値を越える角速度データの連続サンプル数のカウント値を保持する条件（前モードが強制的な収束モード又は連続的な収束モードで、現モード判定時においてリミット値を越える角速度データのカウント値が所定値になった時点）について説明するための図である。
【図２１】モード遷移時のモード切り替えについて説明するための図である。
【図２２】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２の構成から平滑化フィルタと減衰器を取り除きローパスフィルタにそれらの機能を付加した構成を示すブロック回路図である。
【図２３】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２の構成のモニタ部と演算部のハイパスフィルタを一つのハイパスフィルタにまとめた構成を示すブロック回路図である。
【図２４】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２の構成のリミッタ及び減衰器を取り除きローパスフィルタにそれらの機能を付加した構成を示すブロック回路図である。
【図２５】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２４の構成のモニタ部と演算部のハイパスフィルタを一つのハイパスフィルタにまとめた構成を示すブロック回路図である。
【図２６】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２３の構成の減衰器を取り除きリミッタにその機能を付加した構成を示すブロック回路図である。
【図２７】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２３の構成の減衰器を取り除きローパスフィルタにその機能を付加した構成を示すブロック回路図である。
【図２８】従来の手振れ補正信号を生成する構成の概略構成を示すブロック回路図である。
【図２９】従来の手振れの補正及び収束処理を行うための共通の積分係数について説明するための図である。
【符号の説明】
５ カメラ信号処理回路
７ 線形補間演算回路
８ イメージコントロール回路
９ カメラコントロール回路
１０ タイミングジェネレータ
１２，１３ 角速度センサ
１６ 手振れ補正指示手段
３１ リミッタ
４４ モード検出回路
５１，５２ ハイパスフィルタ
５３ 減衰器
５４ ローパスフィルタ
【産業上の利用分野】
本発明は、画像の手振れ成分を補正する手振れ補正装置及びビデオカメラに関する。
【０００２】
【従来の技術】
近年は、いわゆるＣＣＤ（charge coupled device、固体撮像素子）イメージセンサを備えたハンディタイプのビデオカメラが普及している。
【０００３】
上記ビデオカメラでは、手持ちで撮影を行うことが多いため、撮影時に手振れを生じ易いという問題がある。このように、撮影時に手振れが生ずると、例えば、ズームアップして撮影した画像を再生した場合に、上記手振れによる画質劣化が生じてしまい、再生画像が大変見にくくなってしまう。
【０００４】
このため、近年は、上記手振れを補正することができる手振れ補正装置を搭載することで、撮影時の手振れを補正できるビデオカメラが製品化されている。
【０００５】
また、ビデオカメラでは、撮影時にパンニング（カメラを左右に振って撮影する手法）やチルティング（カメラを上から下、または下から上に動かして撮影する手法）等が行われることが多い。
【０００６】
ここで、ビデオカメラに搭載される手振れ補正装置の従来の構成について、図２８及び図２９を用いて説明する。手振れ補正の方式には各種あるが、ここではいわゆるメモリ制御方式を使用した例について説明する。当該メモリ制御方式は、手振れを検出すると、ビデオでカメラのＣＣＤイメージセンサによって撮像して得た映像信号の一部を画像枠として取り出し、手振れ量に応じて前フィールドの画像枠と現フィールドの画像枠とを互いに合わせるように動かし、これら両画像枠を互いに一致させることにより、手振れを補正する方式である。また、ここでは、上記手振れの量を検出する方式として、例えば角速度検出方式を採用した例を挙げている。上記角速度検出方式は、圧電振動ジャイロ等による角速度センサを用いて、手振れに起因する角速度を検出し、当該検出した角速度に応じて手振れの量を求める方式である。
【０００７】
図２８において、端子１２０には、角速度センサからの角速度データが供給される。この角速度データは、ハイパスフィルタ１２１に送られる。当該ハイパスフィルタ１２１は、上記角速度データから、ビデオカメラのパンニング，チルティングに起因する低周波成分を主に削除し、手振れ成分についてはそのまま通過させるようなフィルタとなっている。
【０００８】
このハイパスフィルタ１２１からの出力データは、乗算器１２７にて、トータルゲイン調整器１２８からの所定の乗算係数と乗算され、さらに乗算器１２９にて光学ズームにおけるズーム倍率に応じた乗算係数が乗算された後、ローパスフィルタ１５４に送られる。なお、上記トータルゲイン調整器１２８は、ビデオカメラの光学系及角速度センサにより得られる補正信号のゲインが、必ずしも設計中心値にはなっていないため、そのゲインのバラツキを修正するための乗算係数を発生することを目的として設けられている。また、ズームゲインテーブル１３０には、ビデオカメラの光学ズームにおけるズーム倍率に応じた複数のゲイン補正用の乗算係数が格納されており、このズームゲインテーブル１３０から光学ズームの現在のズーム倍率に応じた乗算係数が読み出されて、上記乗算器１２９に送られるようになっている。この乗算器１２９からの出力データは、ローパスフィルタ１５４に送られる。
【０００９】
当該ローパスフィルタ１５４は、前段の乗算器１２９から供給されたデータを、積分係数テーブル１３６からの積分係数を用いて積分する。
【００１０】
ここで、上記積分係数テーブル１３６に格納されている積分係数は、ローパスフィルタ１５４の積分出力との関係が例えば図２９に示すようなものとなされている。当該積分係数テーブル１３６からは、上記ローパスフィルタ１５４の積分値（ＬＰＦ積分値）に応じた積分係数が取り出され、ローパスフィルタ１５４ではこの積分係数を用いて上記乗算器１２９から供給されたデータを積分する。なお、図２９に示す積分係数とローパスフィルタ積分値の関係を示す曲線は水平（Ｈ）方向と垂直（Ｖ）方向の両方を示している。また、この図２９中のローパスフィルタ積分値（ＬＰＦ積分値）のうち、積分値（例えばＳＨ）はＣＣＤイメージセンサの水平方向の余剰エリアの１／２の画素数に対応し、積分値（例えばＳＶ）はＣＣＤイメージセンサの垂直方向の余剰エリアの１／２の画素数に対応している。すなわち、この図２９に示すように、既存の振れ補正装置では、手振れに対する補正処理とパンニングやチルティング時の収束処理とを共通の積分係数を用いて行っている。
【００１１】
このローパスフィルタ１５４の出力データが端子１４５から手振れ補正信号として出力されるようになる。ビデオカメラは、当該手振れ補正信号に基づいて画像の振れ成分を補正する手振れ補正処理を行う。
【００１２】
【発明が解決しようとする課題】
しかし、上述のように、手振れに対する補正及びパンニング及びチルティング時の収束処理に共通の積分係数を用いると、手振れに対する補正領域を大きくとれず、また、パンニング，チルティングの追従性も良くない。ここで、手振れの補正範囲（振幅）を拡げるためには、線形補正領域を拡げれば良いが、副作用として残留手振れ量が増加することになる。逆に、パンニング，チルティングの追従性を良くするためには、線形補正領域を小さくする必要があり、この場合の副作用としては補正性能が劣化することになる。
【００１３】
また、図２９に示すように、従来のメモリ制御方式を採用する手振れ補正装置では、垂直方向に関してＣＣＤイメージセンサの余剰画素が、垂直方向で例えば±４０画素及び水平方向で例えば±６０画素あったとしても、線形補正領域として例えば±１０画素程度しか使用されていないのが現状である。
【００１４】
そこで、本発明は、この様な実情に鑑みてなされたものであり、手振れを効果的に補正することができると共に、パンニングやチルティングによる振れに対する追従性も良く、さらにＣＣＤイメージセンサの余剰画素をも有効に使用することができる手振れ補正装置及びビデオカメラを提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明に係る手振れ補正装置は、振動を検出する振動検出手段と、上記振動検出手段からの振動検出信号に基づいて、振れの状態として少なくとも作為的な振れと手振れとを判別可能な振れ状態判別手段と、上記振れ状態判別手段からの振れ状態判別信号に基づいて、上記振動検出信号から振れ補正量を演算し、振れ補正信号を出力する振れ補正信号出力手段とを有し、上記振れ補正信号出力手段は、上記振動検出信号を減衰する減衰手段と上記減衰手段の出力信号を積分するローパスフィルタとを少なくとも有してなり、上記振れ状態判別信号に応じて上記減衰手段の減衰係数とローパスフィルタの積分係数とを制御することにより、上述の課題を解決する。
【００１６】
また、本発明に係るビデオカメラによれば、撮像面上に入射した光に応じた電気信号を生成する撮像手段と、上記撮像手段の撮像面上に入射光像を形成する光学系と、上記撮像手段の電気信号から映像信号を生成する映像信号生成手段と、振動を検出する振動検出手段と、上記振動検出手段からの振動検出信号に基づいて、振れの状態として少なくとも作為的な振れと手振れとを判別可能な振れ状態判別手段と、上記振れ状態判別手段からの振れ状態判別信号に基づいて、上記振動検出信号から振れ補正量を演算し、振れ補正信号を出力する振れ補正信号出力手段と、上記振れ補正信号に応じて振れ補正を行う振れ補正手段とを有し、上記振れ補正信号出力手段は、上記振動検出信号を減衰する減衰手段と上記減衰手段の出力信号を積分するローパスフィルタとを少なくとも有してなり、上記振れ状態判別信号に応じて上記減衰手段の減衰係数とローパスフィルタの積分係数とを制御することにより、上述の課題を解決する。
【００１７】
【作用】
本発明によれば、振れ状態判別手段は振れの状態を判別しており、振れ補正手段はその振れの状態に応じた振れ補正量を演算している。したがって、振れの状態として例えばパンニングやチルティングのような作為的な振れと作為的でない手振れとを判別すれば、これら振れの状態に応じた補正量、すなわち例えばパンニングやチルティング時にはゼロを、また手振れ時には計算値を、使用することができるようになる。
【００１８】
【実施例】
以下、本発明の好ましい実施例について、図面を参照にしながら説明する。
【００１９】
本実施例の手振れ補正装置は例えばハンディタイプのビデオカメラに搭載されるものであり、手振れ補正の方式には後述するように各種あるが、ここでは例えばいわゆるメモリ制御方式を使用した例について説明する。なお、本実施例にて使用する上記ＣＣＤイメージセンサの大きさは、垂直方向で前記画像枠よりも±４８画素分大きく、かつ、水平方向で画像枠よりも±６３画素分大きいものを使用している。したがって、手振れの最大補正量としては、垂直方向で±４８画素分、水平方向で±６３画素分となる。また、本発明実施例では、上記手振れの量を検出する方式として、例えば角速度検出方式を採用している。
【００２０】
本発明実施例の手振れ補正装置が搭載されたビデオカメラの構成について、図１を用いて説明する。
【００２１】
この図１において、光学系１を介して入射した被写体等からの光は、ＣＣＤイメージセンサ２に入射し、当該ＣＣＤイメージセンサ２によって電気信号に変換される。なお、光学系１は、例えば、入射像をＣＣＤイメージセンサ２上に結像させるためのレンズ系と、当該レンズ系を動かしてズーミングする際の光学ズーム機構及び当該光学ズーム機構の駆動系、レンズ系を動かしてフォーカシンを行う際のフォーカシング機構及び当該フォーカシング機構の駆動系、アイリス機構及び当該アイリス機構の駆動系から構成される。また、この場合のＣＣＤイメージセンサ２は、光学フィルタ及び各色光をそれぞれ受光する３つのＣＣＤイメージセンサからなるものである。
【００２２】
上記ＣＣＤイメージセンサ２からの撮像信号は、信号調整回路３にてゲインコントロール及びサンプルホールドされた後、アナログ／ディジタル（Ａ／Ｄ）コンバータ４にてディジタル撮像信号に変換される。このディジタル撮像信号は、カメラ信号処理回路５に送られる。
【００２３】
当該カメラ信号処理回路５は、ディジタル撮像信号から輝度（Ｙ）信号，クロマ（Ｃ）信号の生成等のＣＣＤカラーカメラの信号処理をディジタル処理により行っている。このカメラ信号処理回路５により得られたカメラ信号が出力端子６から出力される。
【００２４】
また、カメラコントロール回路９は、前記光学ズーム機構の駆動制御、フォーカシング機構においてオートフォーカス制御を行うための駆動制御、アイリス機構においてオートアイリス制御を行うための駆動制御、当該ビデオカメラのシステム全体のタイミングのコントロール等の、後述する手振れ補正処理以外のコントロールを行う。
【００２５】
手振れ補正指示手段１６は、例えばビデオカメラの筐体に設けられるボタン等からなり、当該ビデオカメラの使用者が手振れ補正を行うか行わないかを指示するためのものである。この手振れ補正指示手段１６を操作して当該使用者が手振れ補正を行うことを指示したときには、上記カメラコントロール回路９から、手振れ補正処理を行うべき旨の信号がイメージコントロール回路８に送られる。
【００２６】
さらに、角速度センサ１２及び１３は、共に圧電振動ジャイロ等により構成されており、角速度センサ１２の角速度検出面がＣＣＤイメージセンサ２の水平方向に対応し、角速度センサ１３の角速度検出面がＣＣＤイメージセンサ２の垂直方向に対応するように、当該ビデオカメラ本体に配設されている。すなわち、上記角速度センサ１２は当該ビデオカメラ本体がヨーイング方向に振れたときの角速度を検出し、上記角速度センサ１３は当該ビデオカメラ本体がピッチング方向に振れたときの角速度を検出する。これら角速度センサ１２，１３からの角速度検出信号は、Ａ／Ｄコンバータ１１によってディジタル信号に変換され、角速度データとしてイメージコントロール回路８に送られる。
【００２７】
シンクジェネレータ（ＳＧ）１４は、水平同期信号ＨＤ及び垂直同期信号ＶＤと、フィールド判別信号ＦＰを生成し、上記水平同期信号ＨＤ及び垂直同期信号ＶＤがタイミングジェネレータ（ＴＧ）１０へ、フィールド判別信号ＦＰがイメージコントロール回路８へ送られる。
【００２８】
上記イメージコントロール回路８は、ＣＣＤイメージセンサ２により撮像された画像を拡大する電子ズームのコントロールを行うと共に、前記カメラコントロール回路９から手振れ補正を行う旨の信号が供給されたときに、内部に格納された手振れ補正処理プログラムに従って、上記Ａ／Ｄコンバータ１１を介した角速度センサ１２，１３からの角速度データに基づいた手振れ補正量計算を行う。なお、前記カメラコントロール回路９が制御するのは、光学系１による光学ズームであり、当該イメージコントロール回路９での電子ズームとは異なる。また、光学ズームによるズーミングを行うと、ズーム倍率に応じてビデオカメラが振れたときの振れ角とＣＣＤイメージセンサ２上での振れ量との対応が変わることになるため、上記カメラコントロール回路９からは、光学ズームにおけるズーム倍率情報も上記イメージコントロール回路８に送られるようになっている。したがって、当該イメージコントロール回路８では、上記手振れ補正量計算の際に、上記ズーム倍率情報も加味した計算を行うようにしている。
【００２９】
上記イメージコントロール回路８での手振れ補正量計算により得られた補正値は、タイミングジェネレータ１０及び線形補間演算回路７へ、シリアルデータとして転送される。
【００３０】
ここで、当該イメージコントロール回路８から線形補間演算回路７へ転送されるシリアルデータとしては、水平方向の拡大／縮小倍率ＨＭＡＧ及び垂直方向の拡大／縮小倍率値ＶＭＡＧと、水平方向の補間オフセット値ＨＯＦＦと、偶数フィールドの垂直補間オフセット値ＶＯＦＦＥ及び奇数フィールドの垂直補間オフセット値ＶＯＦＦＯと、線形補間演算回路７内に配されるラインメモリへの書き込み終了アドレス値ＨＳＴＯＰと、ラインメモリへの書き込み開始アドレス値ＨＳＴＡＲＴと、ラインメモリの書き込み／読み出し制御用立ち上がり位相値ＨＣＰＳと、ラインメモリの書き込み／読み出し制御用立ち下がり位相値ＨＣＰＥと、ラインメモリの書き込み開始位相値ＭＷＢＳと、ラインメモリへの書き込み終了位相値ＭＷＢＥと、ラインメモリの読み出し開始位相値ＭＲＢＳと、ラインメモリの読み出し終了位相値ＭＲＢＥとがある。
【００３１】
ここで、本実施例では、垂直（Ｖ）方向の手振れ補正処理及び水平（Ｈ）方向の手振れ補正処理を以下のようにして行っている。
【００３２】
先ず、垂直方向の手振れ補正処理について説明する。
【００３３】
各フィールドの初期値設定について、整数部の補正処理においては、イメージコントロール回路８から、ＣＣＤイメージセンサ２のフィールド読み出し制御信号ＦＬＤとＣＣＤイメージセンサ２からの出画までの垂直方向掃出画素数値ＶＴＢの信号を、タイミングジェネレータ１０へ送ることにより、ＣＣＤイメージセンサ２のオフセット読み出しで制御する。また、小数部の補正処理においては、イメージコントロール回路８から偶数フィールドの垂直補間オフセット値ＶＯＦＦＥ及び奇数フィールドの垂直補間オフセット値ＶＯＦＦＯの信号を線形補間演算回路７へ送ることにより補間処理にて制御する。
【００３４】
また、各ラインの逐次補間処理については、イメージコントロール回路８から垂直方向の拡大／縮小倍率値ＶＭＡＧの信号を線形補間演算回路７へ、また、水平同期信号ＨＤに同期して線形補間演算回路７から小数加算部のキャリアウトの有無を示すＶＧＡＴ信号をタイミングジェネレータ１０へ送ることにより制御する。
【００３５】
次に、水平方向の手振れ補正処理について説明する。
【００３６】
各ラインの初期値設定について、整数部の補正処理においては、イメージコントロール回路８から、線形補間演算回路７内に配されるラインメモリへの書き込み開始アドレス値ＨＳＴＡＲＴとラインメモリへの書き込み終了アドレス値ＨＳＴＯＰの信号を線形補間演算回路７へ送ることにより制御する。また、小数部の補正処理においては、イメージコントロール回路８から水平方向の補間オフセット値ＨＯＦＦの信号を線形補間演算回路７へ送ることにより補間処理にて制御する。
【００３７】
また、各画素の逐次補間処理については、イメージコントロール回路８から水平方向の拡大／縮小倍率ＨＭＡＧの信号を線形補間演算回路７へ送ることにより制御する。
【００３８】
なお、前記小数部の補間処理については、水平，垂直両方向共に、線形補間演算回路７にて行うため、イメージコントロール回路８から、ラインメモリの書き込み／読み出し制御用立ち上がり位相値ＨＣＰＳと、ラインメモリの書き込み／読み出し制御用立ち下がり位相値ＨＣＰＥと、ラインメモリの書き込み開始位相値ＭＷＢＳと、ラインメモリへの書き込み終了位相値ＭＷＢＥと、ラインメモリの読み出し開始位相値ＭＲＢＳと、ラインメモリの読み出し終了位相値ＭＲＢＥの各信号を線形補間演算回路７へ転送する。
【００３９】
また、タイミングジェネレータ１０は、ＣＣＤイメージセンサ２の駆動を担当するＶ−ドライブ１５に対して、手振れ補正量に相当したフレームシフト動作制御信号ＸＶ１〜ＸＶ４を転送し、また、高速掃き出し操作制御信号ＸＳＵＢを転送する。
【００４０】
次に、上記イメージコントロール回路８内に設けられる手振れ補正信号を生成する一具体例の構成について、図２を用いて説明する。
【００４１】
当該イメージコントロール回路８内の手振れ補正信号生成のための構成は、振動検出手段としての角速度センサ１２，１３が検出した角速度データを用いてビデオカメラの振れの動作分析を行うモニタ部（すなわち振れ状態判別手段）と、この動作分析結果に応じて手振れの補正量を計算して手振れ補正信号を出力する演算部（すなわち振れ補正信号出力手段）とに大別される。上記モニタ部は、主要構成要素としてハイパスフィルタ５２と平滑化フィルタ４３とモード検出回路４４とを有してなり、上記演算部は、主要構成要素としてハイパスフィルタ５１とリミッタ３１と減衰器（アッテネータ）５３とローパスフィルタ５４とを有してなるものである。
【００４２】
この図２において、端子２０には、図１のＡ／Ｄコンバータ１１によってディジタル信号に変換された角速度センサ１２，１３からの角速度データが供給される。加算器２２には、上記端子２０を介した角速度データが加算信号として送られると共に、レジスタ２１を介した角速度データが減算信号として送られ、当該加算器２２ではこれら角速度データの加算（すなわち減算）を行う。この加算器２２の出力は、上記演算部のハイパスフィルタ５１とモニタ部のハイパスフィルタ５２に送られる。
【００４３】
上記演算部のハイパスフィルタ５１は、加算器２３とレジスタ２６とレジスタ２１と加算器２２と乗算器２４とを有してなり、角速度データから、ビデオカメラのパンニング，チルティングに起因する低周波成分を主に削除し、手振れ成分（周波数的には２Ｈｚ〜３Ｈｚが主）についてはそのまま通過させるようなフィルタとなっている。すなわち、上記加算器２３には、前段の加算器２２からの角速度データが加算信号として供給され、この加算器２３の出力データがレジスタ２６を介して上記乗算器２４に送られる。当該乗算器２４には、所定のフィルタ係数Ｋ2が端子２５から供給されており、上記レジスタ２６の出力データに当該フィルタ係数Ｋ2が乗算される。この乗算器２４の出力データが上記加算器２３に送られ、当該加算器２３において前段の加算器２２からの角速度データと加算される。ここで、上記所定のフィルタ係数Ｋ2として、当該ハイパスフィルタ５１のカットオフ周波数を高めるための値（例えばＫ2＝０．９９５）を用いている。
【００４４】
上記ハイパスフィルタ５１からの出力データは、乗算器２７にて、トータルゲイン調整器２８からの所定の乗算係数と乗算され、さらに乗算器２９にて光学ズームにおけるズーム倍率に応じた乗算係数が乗算された後、リミッタ３１に送られる。なお、上記トータルゲイン調整器２８は、光学系１及び角速度センサ１２，１３により得られる補正信号のゲインが、必ずしも設計中心値にはなっていないため、そのゲインのバラツキを修正するための乗算係数を発生することを目的として設けられている。また、ズームゲインテーブル３０には、光学ズームにおけるズーム倍率に応じた複数のゲイン補正用の乗算係数が格納されており、このズームゲインテーブル３０から光学ズームの現在のズーム倍率に応じた乗算係数が読み出されて、上記乗算器２９に送られるようになっている。
【００４５】
リミッタ３１は、ビデオカメラの振れに対応する角速度データが所定のリミット値以上になっているとき、すなわち言い換えればビデオカメラの振れに起因したＣＣＤイメージセンサ２上での画像の移動速度量（画素数に対応する移動速度量）が所定リミット値以上になっているときに、後段のローパスフィルタ５４に当該リミット値以上の値が入力しないように制限するものである。また、このリミット値は、角速度データがパンニングやチルティングに起因するものか否かを、モード検出回路４４において検出するために設定されているものでもある。このリミッタ３１の出力データ、すなわち振れ補正量の計算値は、減衰器５３の乗算器３２に送られる。
【００４６】
当該減衰器５３は、乗算器３２と、当該乗算器３２にてリミッタ３１の出力データ、すなわち振れ補正量の計算値に乗算する減衰係数Ｋ3を発生する減衰係数発生器３３とからなるものであり、後段のローパスフィルタ５４へ送るデータのゲインをコントロールする。なお、減衰係数発生器３３からは、減衰係数Ｋ3として、後述するように、モニタ部のモード検出回路４４での検出結果に応じて、０≦Ｋ3≦１の値が出力される。この減衰器５３からの出力データは、ローパスフィルタ５４に送られる。
【００４７】
当該ローパスフィルタ５４は、加算器３４とレジスタ３７と乗算器３５と積分係数発生器３６とを有してなり、前段の減衰器５３から供給されたデータを、モード検出回路４４で検出した各モードに応じて積分する。すなわち、上記加算器３４には、前段の減衰器５３からの出力データが加算信号として供給され、この加算器３４の出力データがレジスタ３７を介して上記乗算器３５に送られる。当該乗算器３５には、所定のフィルタ係数（積分係数Ｋ4）が積分係数発生器３６から供給されており、上記レジスタ３７の出力データに当該積分係数Ｋ4が乗算される。この乗算器３５の出力データが上記加算器３４に送られ、当該加算器３４において前段の減衰器５３からの出力データと加算される。ここで、上記積分係数発生器３６からは、後述するモード検出回路４４でのモード検出結果に応じて、例えば、０．８０≦Ｋ4≦０．９９９の積分係数Ｋ4が出力される。このローパスフィルタ５４の出力データが端子４５から手振れ補正信号として出力される。
【００４８】
一方、モニタ部の上記ハイパスフィルタ５２は、加算器３８とレジスタ４１レジスタ２１と加算器２２と乗算器３９とからなり、角速度データの直流（ＤＣ）成分の削除を行う。すなわち、上記加算器３８には、前段の加算器２２からの角速度データが加算信号として供給され、この加算器３８の出力データがレジスタ４１を介して上記乗算器３９に送られる。当該乗算器３９には、所定のフィルタ係数Ｋ1として１に近い値（例えばＫ1＝０．９９９）が端子４０から供給されており、上記レジスタ４１の出力データに当該フィルタ係数Ｋ1が乗算される。この乗算器３９の出力データが上記加算器３８に送られ、当該加算器３８において前段の加算器２２からの角速度データと加算される。
【００４９】
上記ハイパスフィルタ５２からの出力データは、乗算器４２にて、トータルゲイン調整器２８からの所定の乗算係数と乗算された後、平滑化フィルタ４３に送られる。なお、上記トータルゲイン調整器２８は、角速度センサ１２，１３により得られる角速度信号のゲインが、必ずしも設計中心値にはなっていないため、そのゲインのバラツキを修正するための乗算係数を発生することを目的として設けられている。
【００５０】
上記平滑化フィルタ４３は、供給されたデータを平滑化することで当該データからノイズを除去するために設けられたものであり、具体的には、現データから３データ前までの４つのデータを時間平均して出力するものである。この平滑化フィルタ４３の出力データは、モード検出回路４４に送られる。
【００５１】
当該モード検出回路４４は、ある一定時間（例えば約０．５秒＝１２８サンプル分）分、ローパスフィルタ５４の出力データと当該モニタ部の平滑化フィルタ４３の出力データとを受け取ると共に、演算部のリミッタ３１で上記所定のリミット値を越えた角速度データのサンプル数のカウント及び当該カウントのリセットを行う。そして、当該モード検出回路４４は、これらのデータを基に、ビデオカメラの振れの状態の分析（動作分析）を行い、当該分析して得たビデオカメラの振れの状態に応じて、上記減衰係数発生器３３から出力される減数係数Ｋ3をコントロールし、また上記積分係数発生器３６から出力される積分係数Ｋ4をコントロールする。
【００５２】
ここで、本実施例では、上記減衰係数発生器３３の減数係数Ｋ3と積分係数発生器３６の積分係数Ｋ4とを、以下のようにコントロールすることで、ビデオカメラの振れの補正を行う。
【００５３】
先ず、上記ビデオカメラの振れの状態として、例えば、撮影者が作為的にカメラを振るような場合には、パンニング若しくはチルティング動作とみなす。この場合には、極力、パンニング若しくはチルティング動作に画像の動きがついていくように、手振れ補正処理は行わない。具体的には、図３に示すように、減衰係数Ｋ3と積分係数Ｋ4とを極力小さくし、手振れ補正出力となるローパスフィルタ５４の出力値を０にする。このように、パンニング若しくはチルティング動作時のように、補正量を極力小さくする補正処理のモードを、以下、収束モードと呼ぶ。なお、図３のローパスフィルタ積分値（ＬＰＦ積分値）のうち、積分値ＳＨはＣＣＤイメージセンサ２の水平方向の余剰エリアの１／２の画素数に対応し、積分値ＳＶはＣＣＤイメージセンサ２の垂直方向の余剰エリアの１／２の画素数に対応している。
【００５４】
次に、上記ビデオカメラの振れの状態として、撮影者の意志とは無関係にビデオカメラが振れるような場合には、手振れにより振れている状態とみなす。この場合には、極力、画振れをなくすような手振れ補正処理を行う。具体的には、図４に示すように、減衰係数Ｋ3と積分係数Ｋ4とを、極力１に近づけ、手振れ補正の計算値がそのままローパスフィルタ５４の出力値となるようにする。このような撮影者の意志とは無関係にビデオカメラが振れる場合のように、補正量を極力大きくする（１００％補正に近づける）補正処理のモードを、以下、補正モードと呼ぶ。なお、図４のＬＰＦ積分値のうち、積分値ＳＨはＣＣＤイメージセンサ２の水平方向の余剰エリアの１／２の画素数に対応し、積分値ＳＶはＣＣＤイメージセンサ２の垂直方向の余剰エリアの１／２の画素数に対応しており、定常状態のときに上記補正モードで補正処理を行う場合には、上記ＣＣＤイメージセンサ２の水平，垂直方向の余剰エリアの画素数の１／２以内が手振れ補正に使用可能な領域となる。ただし、定常状態において当該水平，垂直方向の画素数の余剰エリアの１／２全てを補正処理に使用すると、当該余剰エリアの１／２の範囲を越えたときに画像の連続性が損なわれることになるので、実際には、図４に示すように、上記余剰エリアの画素数の１／２よりも所定画素数だけ少ないエリア（水平方向ではＬＰＦ積分値ｓｈ，垂直方向ではＬＰＦ積分値ｓｖまで）を補正処理に使用し、それ以上は補正量が少なくなるように、積分係数Ｋ4を小さくして、収束させるようにしている。
【００５５】
また、上記ビデオカメラの振れの状態として、撮影者が作為的にカメラを振るパンニング若しくはチルティング動作と、撮影者の意志とは無関係にビデオカメラが振れる手振れ状態との中間の状態である場合には、手振れ補正を行いながら収束させるような補正処理を行う。具体的には、図５に示すように、減衰係数Ｋ3と積分係数Ｋ4とを適当な値に設定することにより、補正しながら収束することを実現する。このように、パンニング若しくはチルティング動作と手振れ状態との中間の状態である場合の補正と収束とを行う補正処理のモードを、以下、準補正モードと呼ぶ。なお、図５の場合もＬＰＦ積分値のうち、積分値ＳＨはＣＣＤイメージセンサ２の水平方向の余剰エリアの１／２の画素数に対応し、積分値ＳＶはＣＣＤイメージセンサ２の垂直方向の余剰エリアの１／２の画素数に対応しており、定常状態のときに上記準補正モードで補正処理を行う場合には、上記ＣＣＤイメージセンサ２の水平，垂直方向の余剰エリアの画素数の１／２以内が手振れ補正に使用可能な領域となる。ただし、定常状態において当該水平，垂直方向の画素数の余剰エリアの１／２全てを補正処理に使用すると、当該余剰エリアの１／２の範囲を越えたときに画像の連続性が損なわれることになるので、実際には、図５に示すように、上記余剰エリアの画素数の１／２よりも所定画素数だけ少ないエリア（水平方向ではＬＰＦ積分値ｓｈ，垂直方向ではＬＰＦ積分値ｓｖまで）を補正処理に使用し、それ以上は補正量が少なくなるように、積分係数Ｋ4を小さくして、収束させるようにしている。
【００５６】
なお、上述した減衰係数Ｋ3はＫ3X＜Ｋ3Y＜Ｋ3Zの関係を有し、積分係数Ｋ4はＫ4X＜Ｋ4Y＜Ｋ4Zの関係を有している。ただし、当該関係式において、Ｘは収束モードを、Ｙは準補正モードを、Ｚは補正モードに対応し、これらは定常時の場合である。
【００５７】
本実施例においては、上記収束モード，補正モード，準補正モードの何れかの処理モードを使用してビデオカメラの振れの補正処理を行うことになるが、これら処理モードのうちいずれの処理モードを使用するかの判定を、上記モード検出回路４４がビデオカメラの振れの状態を分析することで行っている。すなわち、このモード検出回路４４では、ビデオカメラの振れの状態が以下の７種類の判定条件のうちのいずれかの条件に合致するかに応じて、上記処理モードの何れのモードを使用するか判定している。
【００５８】
上記モード検出回路４４におけるモード判定のための基準（判定条件）と、当該モード判定結果に応じた本実施例の手振れ補正装置での補正処理について説明する。
【００５９】
ここで、本実施例の手振れ補正装置は、図６に示すように、規定時間ｔ0秒（角速度データの例えば１２８サンプル分）の間、モード検出回路４４において後述する図９〜図１５のような７種類の判定条件でモード判定を行い、次の規定時間ｔ0〜２ｔ0でその判定結果に応じた補正処理を行うと共にさらに次の規定時間のモード判定を行う。なお、後述する強制的な収束モードの場合には、図７に示すように、いずれのモードの処理を行っている最中でも、当該強制的な収束モードの判定条件が成立しだい、強制割り込みを行い、当該収束モードの処理を即実行する。
【００６０】
また、以下のモード判定の説明において使用する角速度データのゼロクロス数は、図８に示すように定義している。この図８において、規定時間内の角速度データのサンプル数（１２８サンプル）をＳｍとし、所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）内を０値とみなし、角速度データが当該スレシホールドレベルをクロスする部分が規定時間ｔ0内に存在する数をゼロクロス数（１２８サンプル間の角速度データの符号が反転する数）Ｐｎとし、角速度データ値がリミッタ３１の前記所定のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越えている間のサンプル数をＳｘとする。また、当該角速度データ値が５０サンプル連続して、リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越えた場合、その時点でゼロクロス数のカウントはリセットされ、当該カウントリセット後の初めてのゼロクロス点から規定時間Ｓｍの終端までのサンプル数をＳｎとしている。したがって、図８において、例えばＳｘ＜５０のときＰｎ＝９でサンプル数Ｓ＝Ｓｍとなり、Ｓｘ≧５０のときＰｎ＝４でサンプル数Ｓ＝Ｓｎとなる。
【００６１】
このような前提の元、上記モード検出回路４４では以下のようなモード判定条件によるモード判定を行い、本実施例の手振れ補正装置では当該モード判定結果に応じて振れの補正処理を行う。
【００６２】
先ず、図９に示すように、判定条件として、現モード判定時において、前記リミッタ３１の所定のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続することはなく、角速度データがスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）をクロスするゼロクロス数が３以上７以下であるときには、処理のモードを前記図４に示した補正モードとする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該モード判定を行った規定時間の次の１２９サンプル目（次の規定時間の最初のサンプル）から、減衰係数Ｋ3＝１とし、積分係数は図４の積分係数Ｋ4を使用した前記補正モードでの処理を行う。なお、本実施例装置では、サンプル周波数ｆｓ＝２４０Ｈｚであるため、上記１２９サンプル目までは約０．５秒に相当する。
【００６３】
次に、図１０に示すように、判定条件として、前モードが補正又は準補正モードであり、現モード判定時において、前記リミッタ３１の所定リミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続するときには、処理のモードを強制的に前記図３に示した収束モードにする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該判定条件を満たした時ｔ1から強制的に収束モードの処理に入り、減衰係数Ｋ3＝０とし、積分係数は図３の積分係数Ｋ4（＝０．９）を使用した処理を行う。なお、現モード判定時の前半に補正又は準補正モードが存在していても、当該判定条件を満たしたときには上記強制的な収束モードが優先される。
【００６４】
次に、図１１に示すように、判定条件として、前モードが上記強制的な収束モード又はここで述べる連続的な収束モードとなっており、現モード判定時において、前記リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続するときには、処理のモードを連続的に前記図３に示した収束モードにする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該モード判定を行った規定時間の次の１２９サンプル目（次の規定時間の最初のサンプル）以降も、減衰係数Ｋ3＝０とし、積分係数は図３の積分係数Ｋ4（＝０．９）を使用して連続的な収束モードの処理を行う。なお、現モード判定時の後半に補正モードが発生した場合には、当該補正モードが優先される。
【００６５】
次に、図１２に示すように、判定条件として、角速度データが１２８サンプルの間、所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）を越えなかったときには、処理のモードを前記図３に示した収束モードにする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該モード判定を行った規定時間の次の１２９サンプル目（次の規定時間の最初のサンプル）から、減衰係数Ｋ3＝０とし、積分係数は図３の積分係数Ｋ4（＝０．９）を使用する静止的な収束モードの処理を行う。なお、スレシホールドレベルの設定は、例えばビデオカメラを三脚上若しくは机等の上に固定静止させた時の、ハイパスフィルタ５２の出力データの最大値で代表する。
【００６６】
次に、図１３に示すように、判定条件として、現モード判定時において、リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続することはなく、角速度データが所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）をクロスするゼロクロス数が２以下であり、上記静止的な収束モードではないときには、処理のモードを前記図５に示した準補正モードとする。すなわち、この判定条件を満たしたときの定常状態での処理では、当該モード判定を行った規定時間の次の１２９サンプル目（次の規定時間の最初のサンプル）から、減衰係数Ｋ3をＫ3＜１とし、積分係数は図５の積分係数Ｋ4を使用した前記準補正モードでの処理を行う。
【００６７】
次に、図１４に示すように、判定条件として、前モードが補正モードであり、現モード判定時において、リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続することはなく、角速度データが所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）をクロスするゼロクロス数が８以上存在するときには、処理のモードを前記図４に示した補正モードにする。すなわち、この判定条件を満たしているときの定常状態での処理では、当該モード判定を行っている規定時間内で図４の積分係数Ｋ4を使用した前記補正モードでの処理を行う。なお、この判定条件を満たしたときに補正モードを使用するのは、例えばビデオカメラの固有振動ではなく、角速度データのノイズによって誤った判定を行わないようにするためである。
【００６８】
次に、図１５に示すように、判定条件として、前モードが補正モード以外のモードであり、現モード判定時において、リミッタ３１のリミット値ＬＩＭ（例えばＬＩＭ＝８）を越える角速度データが５０サンプル連続することはなく、角速度データが所定のスレシホールドレベル（ＴＨＬ+又はＴＨＬ-）をクロスするゼロクロス数が８以上存在するときには、処理のモードを前記図１１で説明したように連続的な収束モードにする。すなわち、この判定条件を満たしているときの定常状態での処理では、当該モード判定を行っている規定時間内で図３の積分係数Ｋ4（＝０．９）を使用した連続的な収束モードの処理を行う。また、この判定条件を満たしたときに連続的な収束モードを使用するのは、角速度データがビデオカメラの固有振動に基づくものであるからである。
【００６９】
ここで、上述したモード検出回路４４は、モード判定の際に、リミッタ３１の所定のリミット値ＬＩＭを越えた角速度データのカウント（カウント値は００ｈ〜０Ｆｈまで）と、当該カウントのリセット及びリカウント（再カウント）動作とを、以下のような条件に従って行っている。
【００７０】
すなわち、次のような場合、モード検出回路４４は、上記所定のリミット値ＬＩＭを越える角速度データのサンプル数のカウントをクリアし、再カウント動作に入る。例えば、図１６に示すように、前モード判定区間（規定時間）の最終値（角速度データ値）が前記所定のリミット値ＬＩＭより小さい状態で現モード判定区間（規定時間）に移行した場合にクリアする。また、図１７に示すように、リミット値ＬＩＭを越える角速度データのカウントの動作中において、カウント値が５０より小さく、角速度データがリミット値ＬＩＭより小さな値をとったときにはクリアする。さらに、図１８に示すように、前モードで強制的な収束モードが成立しており、次の現モード判定区間へ移行するときにクリアする。
【００７１】
一方、図１９に示すように、前モードが強制的な収束モードではなく、かつ当該前モードの判定区間の最終値（最後の角速度データのサンプル値）がリミット値ＬＩＭより大きな値をとったとき（ただし、カウント値が５０より小さい時）、当該前モード判定区間から現モードの判定区間へ移行する場合には、カウントのクリアは行わず、カウント動作を続行する。また、図２０に示すように、前モードが強制的な収束モード又は連続的な収束モードで、現モード判定時においてリミット値ＬＩＭを越える角速度データのカウント値が５０になった時点（５０を越えた時点）では、リミットフラグがセットされて、カウント値を５１に保持する。ただし、このリミットフラグがセットされた後、同じ判定区間（現モードの判定区間）において、角速度データ値かゼロクロスしたとき、又は補正モードと判定された場合には、カウントがクリアされる。
【００７２】
なお、上述の例では、モード検出回路４４におけるモード判定の際には、前述した７種類のモード判定条件にて判定を行っているが、次のようなことを行うことも可能である。例えば、補正、収束モードの定義変更を行い、準補正モードをどちらか一方に取り込み処理するようにすることが可能である。このときは、前記図３〜図５にて示した減衰係数Ｋ3と積分係数Ｋ4に示す補正係数の変更も同時に行う。また例えば、連続的な収束モードと強制的な収束モードを１つのモードとして定義し、処理することもできる。さらに、例えば、リミッタ３１での所定のリミット値を越える角速度データを用いた判定を設定せず、補正モードと静止的な収束モード以外を１つのモードとして処理することもできる。上述のように、前述した実施例以外に補正処理のアルゴリズムは多数考えることができる。
【００７３】
ところで、前述のようにしてモード判定を行い、当該判定した各モードに応じて処理を行うようにする場合において、モードが変化するモード遷移時には、補正処理も切り替わることになるため、滑らかな画像の動き得られないことが考えられる。したがって、本実施例では、モード遷移時に画像の動きを滑らかにするために、以下のようにして上記減衰係数Ｋ3と積分係数Ｋ4の連続性をもたせるようにしている。なお、モード遷移は、補正モードから収束モード、収束モードから補正モード、補正モードから準補正モード、準補正モードから補正モード、収束モードから準補正モード、準補正モードから収束モードの６つのケースが考えられるが、いずれの場合も処理方法は同じなので、補正モードから収束モードへのモード遷移のケースを例に挙げて説明を行い、他のケースについては省略する。
【００７４】
先ず、前述した図３〜図５のように、垂直（Ｖ）方向の積分係数Ｋ4は、ローパスフィルタ５４の積分値がＳＶからＳＭの区間ではモードによって変化しないので、この区間ではあえて係数の連続性処理を行う必要はない。また、水平（Ｈ）方向の積分係数Ｋ4は、ローパスフィルタ５４の積分値がＳＨからＳＭの区間ではモードによって変化しないので、この区間ではあえて係数の連続性処理を行う必要はない。
【００７５】
次に、ローパスフィルタ５４の積分値が（０）からＳＶの区間での垂直方向の処理について、図２１を用いて説明する。
【００７６】
この図２１において、図中Ｑ1の点に着目すると、補正モードから収束モードへ連続的にモードを遷移させるためには、積分係数Ｋ4を０．９９９から０．９へ１２８サンプルの間に連続して変化させなければならない。したがって、当該補正モードから収束モードへ遷移させる際には、補正モードにおける積分係数Ｋ4の０．９９９と収束モードにおける積分係数Ｋ4の０．９との間（すなわち０．９９９−０．９）を１２８サンプルで分割し、１サンプルたつ毎に、０．０９９／１２８ずつ積分係数Ｋ4を減らしていくようにする。ローパスフィルタ５４の積分値が（０）からｓｈの区間については、このように１サンプルたつ毎に０．０９９／１２８ずつ積分係数Ｋ4を減らしていくようにする。一方、ローパスフィルタ５４の積分値がｓｈからＳＨの区間については、Ｑ1点の積分係数Ｋ4を１サンプルたつ毎に０．０９９／１２８ずつ減らして求めたＱ2と、固定点である図中Ｑ3の点とを線分で結び、その線分から現在のローパスフィルタ５４の積分値に対応する積分係数Ｋ4を求めるようにする。
【００７７】
このように、補正モードから収束モードへのモード遷移の際には、ローパスフィルタ５４の積分値（０）からｓｈまでの区間と、積分値ｓｈからＳＨまでの区間、積分値ＳＨからＳＭまでの各区間について、上述のような処理を１２８サンプル連続して行うことで、積分係数Ｋ4の連続性を保つことができる。
【００７８】
なお、減衰係数Ｋ3の連続性処理については、ローパスフィルタ５４の積分値の函数でないため、減衰係数Ｋ3の値１から値０まで１サンプルたつ毎に（１−０）／１２８ずつ積分係数Ｋ4を減らすように処理する。
【００７９】
次に、上記図１のイメージコントロール回路８内に設けられる手振れ補正信号生成のための構成は、図２の構成以外に、例えば図２２〜図２７に示すような構成とすることもできる。これら図２２〜図２７において、図２と同一の構成要素には同じ指示符号を付している。すなわち、図２２には図２の構成から平滑化フィルタ４３と減衰器５３を取り除きローパスフィルタ５４にそれらの機能を付加した構成を示し、図２３には図２の構成のモニタ部と演算部のハイパスフィルタを一つのハイパスフィルタ６１にまとめた構成を、図２４には図２の構成のリミッタ及び減衰器を取り除きローパスフィルタ５４にそれらの機能を付加した構成を、図２５には図２４の構成のモニタ部と演算部のハイパスフィルタを一つのハイパスフィルタ６１にまとめた構成を、図２６には図２３の構成の減衰器５３を取り除きリミッタ３１にその機能を付加した構成を、図２７には図２３の構成の減衰器５３を取り除きローパスフィルタ５４にその機能を付加した構成を示している。
【００８０】
上述したように、本実施例では、角速度センサ１２，１３から得られたデータ及びローパスフィルタ５４の出力データ（積分値）等により、ビデオカメラの振れの状態をいくつかのモードに分類し、それらに適した処理を組み合わせることにより、手振れ補正性能とパンニング，チルティングの追従性能との総合性能の向上を図るようにしている。すなわち、本実施例の手振れ補正装置及びビデオカメラによれば、ローパスフィルタに入るデータとして、パンニング，チルティング成分の大半が削除され、かつ入力データは周期性の強い成分のため線形補正領域を大きく確保できる（同じＣＣＤ余剰エリア量でも大きな補正能力をもたせることができる）。また、本実施例の手振れ補正装置及びビデオカメラによれば、パンニング，チルティング時には収束処理に入るため、従来の手振れ補正装置と比較して残留手振れが出難い（パンニング，チルティングの追従性が良い）。さらに、本実施例の手振れ補正装置及びビデオカメラによれば、ＣＣＤイメージセンサの余剰画素を有効に活用することも可能となっている。
【００８１】
なお、上述した本実施例では、手振れ補正のための方法としてメモリ制御方式を例に挙げているが、その他に光学的な処理によって手振れを補正する方法を使用することも可能である。上記光学的処理により手振れを補正する方法としては、ジンバルメカ方式と、アクティブプリズム方式とが知られている。上記ジンバルメカ方式は、手振れを検出すると、光学系駆動手段によって手振れをキャンセルする方向にレンズユニット全体を動かして手振れを補正するものである。この方式によれば、レンズユニット全体を動かすため、メカニズムが大きくなり、消費電力も大きくなるが、解像度の劣化がなく、補正範囲も比較的広くとれるため、多少大型となっても高解像度を得たい場合に適している。また、上記アクティブプリズム方式は、手振れを検出すると、光学系駆動手段によって手振れをキャンセルする方向にレンズユニットの一部のみを動かして手振れを補正するものである。この方式によれば、上記ジンバルメカ方式に比べれば、消費電力が小さく、小型化が容易であり、また解像度の劣化もなく、補正範囲も比較的広くとれるので、高画質で小型且つ軽量なカメラに適している。すなわち、これら光学的処理により手振れを補正する方式を使用した場合でも、前述したように手振れのモード判定を行い、このモード判定結果に応じて補正を行うことで、パンニングやチルティングによる振れに対する追従性が良く、且つ手振れも効果的に補正することが可能となる。
【００８２】
また、前述した本発明実施例では、手振れの検出方法として角速度検出方式を採用しているが、この他に、例えばいわゆる動きベクトル検出方式を使用することも可能である。当該動きベクトル検出方式は、半導体メモリに格納された、現フィールドと前フィールドとの被写体の画像信号の差を画像処理により得ることで、被写体の移動量と方向とを検出するものである。この方式によれば、ＩＣのみで構成できるため、小型且つ低価格化が可能となる。
【００８３】
【発明の効果】
以上の説明からも明らかなように、本発明によれば、振れ状態判別手段は振れの状態を判別しており、振れ補正手段はその振れの状態に応じた振れ補正量を演算している。このとき、振れの状態として例えばパンニングやチルティングのような作為的な振れと作為的でない手振れとを判別すれば、これら振れの状態に応じた補正量、すなわち例えばパンニングやチルティング時には小さい補正量、手振れ時には大きい補正量を、使用することができ、したがって、本発明においては、手振れを効果的に補正することができると共に、パンニングやチルティングによる振れに対する追従性も良くすることが可能であり、さらにＣＣＤイメージセンサの余剰画素をも有効に使用することができるようになる。なお、実施例では手振れ補正指示手段を設けているが、カメラ操作に適した補正処理をその度に行っているため、従来のビデオカメラにある手振れ補正のＯＮ／ＯＦＦボタンは不要となる。
【図面の簡単な説明】
【図１】本発明実施例の手振れ補正装置を組み込んだビデオカメラの概略構成を示すブロック回路図である。
【図２】本発明実施例ビデオカメラのイメージコントロール回路内に設けられる手振れ補正信号生成のための構成を示すブロック回路図である。
【図３】収束モード時の積分係数とローパスフィルタ積分値の関係を示す図である。
【図４】補正モード時の積分係数とローパスフィルタ積分値の関係を示す図である。
【図５】準補正モード時の積分係数とローパスフィルタ積分値の関係を示す図である。
【図６】モード判定と補正の実行処理の流れを説明するための図である。
【図７】モード判定の補正の実行処理の流れを、具体的なモード名を挙げて説明するための図である。
【図８】各用語の定義を説明するための図である。
【図９】補正モードの判定条件について説明するための図である。
【図１０】強制的な収束モードの判定条件について説明するための図である。
【図１１】連続的な収束モードの判定条件について説明するための図である。
【図１２】静止的な収束モードの判定条件について説明するための図である。
【図１３】準補正モードの判定条件について説明するための図である。
【図１４】ビデオカメラの固有振動ではなく角速度データのノイズによってモード判定を行わないようにするためのモード判定の条件について説明するための図である。
【図１５】ビデオカメラの固有振動によってモード判定を行わないようにするためのモード判定の条件について説明するための図である。
【図１６】所定のリミット値を越える角速度データの連続サンプル数のカウントクリアと再カウント動作の条件（前モードの最終値がリミット値より小さい状態で現モード判定区間に移行する場合）について説明するための図である。
【図１７】所定のリミット値を越える角速度データの連続サンプル数のカウントクリアと再カウント動作の条件（カウントの動作中に角速度データ値がリミッタ値より小さな値をとった場合）について説明するための図である。
【図１８】所定のリミット値を越える角速度データの連続サンプル数のカウントクリアと再カウント動作の条件（強制的な収束モードが成立し、次のモード判定区間へ移行する場合）について説明するための図である。
【図１９】所定のリミット値を越える角速度データの連続サンプル数のカウントをクリアせずにカウント動作を続行する条件（リミット値を越える角速度データのカウントの動作中、現モード判定区間から次の判定区間へ移行する場合）について説明するための図である。
【図２０】所定のリミット値を越える角速度データの連続サンプル数のカウント値を保持する条件（前モードが強制的な収束モード又は連続的な収束モードで、現モード判定時においてリミット値を越える角速度データのカウント値が所定値になった時点）について説明するための図である。
【図２１】モード遷移時のモード切り替えについて説明するための図である。
【図２２】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２の構成から平滑化フィルタと減衰器を取り除きローパスフィルタにそれらの機能を付加した構成を示すブロック回路図である。
【図２３】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２の構成のモニタ部と演算部のハイパスフィルタを一つのハイパスフィルタにまとめた構成を示すブロック回路図である。
【図２４】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２の構成のリミッタ及び減衰器を取り除きローパスフィルタにそれらの機能を付加した構成を示すブロック回路図である。
【図２５】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２４の構成のモニタ部と演算部のハイパスフィルタを一つのハイパスフィルタにまとめた構成を示すブロック回路図である。
【図２６】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２３の構成の減衰器を取り除きリミッタにその機能を付加した構成を示すブロック回路図である。
【図２７】イメージコントロール回路内に設けられる手振れ補正信号生成のための構成の他の具体例として、図２３の構成の減衰器を取り除きローパスフィルタにその機能を付加した構成を示すブロック回路図である。
【図２８】従来の手振れ補正信号を生成する構成の概略構成を示すブロック回路図である。
【図２９】従来の手振れの補正及び収束処理を行うための共通の積分係数について説明するための図である。
【符号の説明】
５ カメラ信号処理回路
７ 線形補間演算回路
８ イメージコントロール回路
９ カメラコントロール回路
１０ タイミングジェネレータ
１２，１３ 角速度センサ
１６ 手振れ補正指示手段
３１ リミッタ
４４ モード検出回路
５１，５２ ハイパスフィルタ
５３ 減衰器
５４ ローパスフィルタ
Claims (6)
- 振動を検出する振動検出手段と、
上記振動検出手段からの振動検出信号に基づいて、振れの状態として少なくとも作為的な振れと手振れとを判別可能な振れ状態判別手段と、
上記振れ状態判別手段からの振れ状態判別信号に基づいて、上記振動検出信号から振れ補正量を演算し、振れ補正信号を出力する振れ補正信号出力手段とを有し、
上記振れ補正信号出力手段は、上記振動検出信号を減衰する減衰手段と上記減衰手段の出力信号を積分するローパスフィルタとを少なくとも有してなり、上記振れ状態判別信号に応じて上記減衰手段の減衰係数とローパスフィルタの積分係数とを制御すること
を特徴とする手振れ補正装置。 - 上記振れ補正信号出力手段は、上記振れ状態判別信号が上記作為的な振れ状態を示すときに振れ補正量をゼロにし、上記手振れ状態を示すときに振れ補正量を計算値そのままの値とすることを特徴とする請求項１記載の手振れ補正装置。
- 撮像面上に入射した光に応じた電気信号を生成する撮像手段と、
上記撮像手段の撮像面上に入射光像を形成する光学系と、
上記撮像手段の電気信号から映像信号を生成する映像信号生成手段と、
振動を検出する振動検出手段と、
上記振動検出手段からの振動検出信号に基づいて、振れの状態として少なくとも作為的な振れと手振れとを判別可能な振れ状態判別手段と、
上記振れ状態判別手段からの振れ状態判別信号に基づいて、上記振動検出信号から振れ補正量を演算し、振れ補正信号を出力する振れ補正信号出力手段と、
上記振れ補正信号に応じて振れ補正を行う振れ補正手段とを有し、
上記振れ補正信号出力手段は、上記振動検出信号を減衰する減衰手段と上記減衰手段の出力信号を積分するローパスフィルタとを少なくとも有してなり、上記振れ状態判別信号に応じて上記減衰手段の減衰係数とローパスフィルタの積分係数とを制御すること
を特徴とするビデオカメラ。 - 上記振れ補正信号出力手段は、上記振れ状態判別信号が上記作為的な振れ状態を示すときに振れ補正量をゼロにし、上記手振れ状態を示すときに振れ補正量を計算値そのままの値とすることを特徴とする請求項３記載のビデオカメラ。
- 上記振れ補正手段は、上記映像信号の一部を画像枠として取り出し、上記振れ補正量に応じて前フィールドの画像枠と現フィールドの画像枠とを互いに合わせるように動かし、上記両画像枠を互いに一致させることにより、振れを補正することを特徴とする請求項３記載のビデオカメラ。
- 上記振れ補正手段は、上記光学系を駆動して上記撮像手段の撮像面上に形成する入射光像の位置をシフトさせる光学系駆動手段を有し、上記振れ補正量に応じて上記撮像手段の撮像面上に形成する入射光像の位置をシフトすることにより、振れを補正することを特徴とする請求項３記載のビデオカメラ。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13235495A JP3642085B2 (ja) | 1995-05-30 | 1995-05-30 | 手振れ補正装置及びビデオカメラ |
| US08/652,337 US5959666A (en) | 1995-05-30 | 1996-05-22 | Hand deviation correction apparatus and video camera |
| KR1019960018640A KR100423380B1 (ko) | 1995-05-30 | 1996-05-30 | 손떨림정정장치및비디오카메라 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13235495A JP3642085B2 (ja) | 1995-05-30 | 1995-05-30 | 手振れ補正装置及びビデオカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08331429A JPH08331429A (ja) | 1996-12-13 |
| JP3642085B2 true JP3642085B2 (ja) | 2005-04-27 |
Family
ID=15079405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13235495A Expired - Fee Related JP3642085B2 (ja) | 1995-05-30 | 1995-05-30 | 手振れ補正装置及びビデオカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3642085B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8953053B2 (en) | 2009-07-21 | 2015-02-10 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, and image processing method |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6747691B1 (en) | 1997-09-09 | 2004-06-08 | Minolta Co., Ltd. | Apparatus capable of determining shake of the apparatus relative to an object |
| US7064777B2 (en) | 2000-08-31 | 2006-06-20 | Canon Kabushiki Kaisha | Blur correction aparatus, control apparatus to be used in a blur correction apparatus, image taking apparatus, control method to be used in these apparatuses and computer program product to be used with these apparatuses |
| JP4739797B2 (ja) * | 2005-04-04 | 2011-08-03 | 株式会社 ニコンビジョン | 光学観察装置 |
| JP5662787B2 (ja) * | 2010-12-14 | 2015-02-04 | 株式会社Ｎｔｔドコモ | 携帯端末および画像処理方法 |
| US9049374B2 (en) * | 2011-11-28 | 2015-06-02 | Panasonic Intellectual Property Management Co., Ltd. | Imaging apparatus with camera shake correction function |
-
1995
- 1995-05-30 JP JP13235495A patent/JP3642085B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8953053B2 (en) | 2009-07-21 | 2015-02-10 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08331429A (ja) | 1996-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5959666A (en) | Hand deviation correction apparatus and video camera | |
| US6734901B1 (en) | Vibration correction apparatus | |
| KR100312139B1 (ko) | 비디오카메라및비디오신호재생장치 | |
| US6424372B1 (en) | Electronic image-movement correcting device with a variable correction step feature | |
| US6342918B1 (en) | Image-shake correcting device having first and second correcting means and control means for proportionately applying same | |
| US6573930B2 (en) | Image pickup apparatus for storing, reading-out and processing a signal during predetermined time periods | |
| JP6581352B2 (ja) | 像振れ補正装置及びその制御方法、撮像装置、レンズ装置、プログラム、記憶媒体 | |
| JP3538965B2 (ja) | 手振れ補正装置及び方法並びに手振れ補正処理装置及び方法 | |
| JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
| JP3642085B2 (ja) | 手振れ補正装置及びビデオカメラ | |
| JP3402770B2 (ja) | 像安定化装置及び撮影装置 | |
| JPH09163215A (ja) | 撮像装置 | |
| JP3279342B2 (ja) | ビデオカメラにおける手振れ補正装置 | |
| JPH06133211A (ja) | 画像揺れ補正機能付光学装置 | |
| JP3610210B2 (ja) | 撮像装置及び交換レンズ式撮像装置 | |
| JP3298211B2 (ja) | ビデオカメラ及びビデオ再生装置 | |
| JPH11266391A (ja) | 撮像装置 | |
| JP2792767B2 (ja) | 撮像装置 | |
| JP3937574B2 (ja) | 撮像装置 | |
| JP4227213B2 (ja) | 撮像装置 | |
| JP3199834B2 (ja) | 防振装置及び振れ検出装置 | |
| JP3460382B2 (ja) | 振れ補正装置及びビデオカメラ | |
| JP7214424B2 (ja) | 撮像装置およびその制御方法 | |
| JP4011723B2 (ja) | 撮像方法及び装置並びに記憶媒体 | |
| JP3697050B2 (ja) | 撮像方法及び装置並びに記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050118 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |