JP4227213B2

JP4227213B2 - Imaging device

Info

Publication number: JP4227213B2
Application number: JP09267198A
Authority: JP
Inventors: 裕人大川原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-03-20
Filing date: 1998-03-20
Publication date: 2009-02-18
Anticipated expiration: 2018-03-20
Also published as: JPH11275443A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像手段で生成された撮像信号から該撮像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段を有し、撮像手段の揺動の大きさに応じて映像信号の生成に関する補正動作を行うビデオカメラなどの撮像装置に関する。
【０００２】
【従来の技術】
近年、光学レンズが捕らえた光学像をＣＣＤなどの撮像素子により電気信号に変換して撮像信号を生成する撮像系を有するビデオカメラなどにおいては、一般に、手ぶれ防止機能が搭載されている。この手ぶれ防止機能は、手ぶれによる映像の乱れを防止する機能であり、この機能を実現する方式としては、光学式手ぶれ補正方式と電子式手ぶれ補正方式とがある。
【０００３】
光学式手ぶれ補正方式では、撮像素子に入射される撮像光の光路途中に、光軸変位が可能なプリズムやレンズ部材を配置し、手ぶれに応じて光軸の変位を行うことによりぶれ補正を行う。この補正方式においては、手ぶれを検出する手段として振動ジャイロなどの角速度センサを用いてカメラに直接加わる揺れ成分の検出を行い、この検出された揺れ成分の積分によりカメラの角変位を検出する方法が採用されている。
【０００４】
これに対し、電子式手ぶれ補正方式は、フィールド間での映像信号の変化からカメラの動き量を算出し、この算出された動き量を手ぶれ量とする動きベクトル検出方式と併用される場合が多く、この場合には、動きベクトル検出用のフィールドメモリの蓄積画像における動きを除去するように対応する画像を該メモリから抽出することにより、補正が行われる。また、他の電子式手ぶれ補正方式として、センサを用いて手ぶれを検出し、この検出した手ぶれに応じて撮像素子で受光された画像の一部を切り出す位置を制御し、この位置での画像の切り出しを行うことにより手ぶれを補正するものがある。
【０００５】
電子式手ぶれ補正方式の場合、映像信号に対して信号処理による補正すなわち電気的な補正を行うから、補正周期はフィールド周期となり、露光時間中の手ぶれを除去することはできないが、光学方式手ぶれ補正方式により小型軽量化することができるというメリットがある。また、撮像素子に高密度の大型のものを用いて切り出しまたはメモリから抽出される撮影像の解像度を上げることにより、光学式手ぶれ補正方式に比して不利であった画質劣化という点も、改良がなされつつある。
【０００６】
ところで、ビデオカメラを意図的に動かすパンニング、チルティングなどのカメラワークを行いながら撮影を行う場合がある。これらのカメラワークでの撮影時には、手ぶれ補正に制限をかけて補正能力を低下させることにより、この制限された手ぶれ補正範囲の境界部分にカメラワークによる揺れがくることによって生じる撮影画像の乱れの防止、および撮影者の意図する方向への素早い応答を図る手法が本出願人により提案されている。
【０００７】
この本出願人により提案されている手法について図７ないし図１０を参照しながら説明する。図７は従来の撮像装置の構成を示すブロック図、図８は図７の撮像装置における防振制御システムの処理手順を示すフローチャート、図９は図７の撮像装置の防振制御システムにおける補正量に対する制限量を成すカットオフ周波数の特性を示す図、図１０は図７の撮像装置のシフトレンズ７０４の最大シフト移動量と最大補正値との関係を表す図である。
【０００８】
この従来例として、焦点距離がいずれの焦点に設定されていも、また焦点距離により補正限界が変化するような場合であっても、制限量の特性設定を簡単に行うことが可能な光学式手ぶれ補正機能を有する撮像装置を例に説明する。
【０００９】
この撮像装置は、図７に示すように、インナーフォーカスタイプの構成を有するレンズ群を備え、該レンズ群は、固定レンズ７０１、ズームレンズ７０２、絞り７０３、光軸に対し垂直方向に移動可能なシフトレンズ７０４およびフォーカスレンズ７０５を有する。レンズ群が捕らえた光学像はＣＣＤ（電荷結合素子）などからなる撮像素子７０６の撮像面に結像され、撮像素子７０６は撮像面に結像された光学像を電気信号に変換して出力する。撮像素子７０６からの電気信号は増幅器７１８で増幅された後にカメラ信号処理回路７１９に入力され、カメラ信号処理回路７１９は入力された電気信号を所定規格（例えばＮＴＳＣ）の映像信号に変換して出力するとともに、映像信号の焦点状態を表す焦点信号を生成して後述する制御マイコン７１６に出力する。
【００１０】
レンズ群のズームレンズ７０２による変倍動作およびフォーカスレンズ７０５による焦点位置調整動作は、制御マイコン７１６により制御される。具体的には、ズームレンズ７０２による変倍動作に対する制御では、押し圧により抵抗値が可変する回転操作タイプのズームユニットスイッチ７１７が用いられ、ズームユニットスイッチ７１７からはその回転操作に応じてズームレンズ７０２の変倍率を指示する信号が制御マイコン７１６に出力される。制御マイコン７１６は、ズームユニットスイッチ７１７からの指示信号に基づき指示された変倍率が得られるようにモータ（Ｍｏ）７０７の駆動命令をモータドライバ７１２に出力する。この駆動命令を受けたモータドライバ７１２は、ズームレンズ７０２を指示された変倍率に応じた光軸方向への位置に移動するようにモータ７０７を駆動する。
【００１１】
フォーカスレンズ７０５による焦点位置調整動作に対する制御では、制御マイコン７１６がカメラ信号処理回路７１９からの焦点信号に基づき焦点状態を検出し、最適な焦点状態が得られるようにモータ（Ｍｏ）７０９の駆動命令をモータドライバ７１０に出力する。この駆動命令を受けたモータドライバ７１０は、フォーカスレンズ７０５を最適な焦点状態が得られる光軸方向への位置に移動するようにモータ７０９を駆動する。
【００１２】
この撮像装置には、シフトレンズ７０４を光軸と垂直方向へ駆動させることにより手ぶれ補正を行う防振制御システムが搭載されている。この防止制御システムでは、防振スイッチ７２０と、ピッチ角速度センサ７２１と、ヨウ角速度センサ７２２とが用いられている。防振スイッチ７２０は、この防止制御システムのオン、オフを指示するスイッチであり、オン動作が行われると、定電圧Ｖに接続されている抵抗７２０ａにより生じる電圧がオン信号として制御マイコン７１６に入力される。ピッチ角速度センサ７２１は、カメラ本体のピッチ方向の揺れ角速度を検出するセンサからなり、この出力は増幅器７２３で増幅された後に制御マイコン７１６のＡ／Ｄコンバータに入力される。ヨウ角速度センサ７２２は、カメラ本体のヨウ方向の揺れ角速度を検出するセンサからなり、この出力は増幅器７２４で増幅された後に制御マイコン７１６のＡ／Ｄコンバータに入力される。
【００１３】
制御マイコン７１６は、入力された各方向の角速度をそれぞれ積分して角変位に変換し、各方向への角変位すなわち各方向への揺れ角θと光学系（レンズ群）の焦点距離ｆとに応じて撮像素子７０６上の揺れる撮影像の移動分（ｆ＊tanθに相当する距離）をゆれる移動方向とは逆の方向に動かすように、シフトレンズ７０４を光軸に対して垂直方向に移動させることにより揺れ補正を行う。このシフトレンズ７０４を移動させる制御に際して、制御マイコン７１６は、シフトレンズ７０４の移動位置に対する補正量（シフト目標量）を算出して加算器７１５に出力する。
【００１４】
加算器７１５は、制御マイコン７１６からの補正量とともに、エンコーダ７１３からシフトレンズ７０４の位置信号（光軸と垂直な方向における移動位置を示す信号）を増幅器７１４を介して取り込み、補正量とシフトレンズ７０４の位置信号とを比較し、その差を零にするように駆動信号をモータドライバ７１２に出力する。モータドライバ７１２は、加算器７１５からの駆動信号に基づきモータ（Ｍｏ）７１１を駆動してシフトレンズ７０４の移動位置を制御する。このように、シフトレンズ７０４の位置はループ制御され、最終的に補正量で表される目標位置に一致される。
【００１５】
ここで、前記シフトレンズ７０４に対する補正量は光学系の焦点距離ｆとシフトレンズ７０４の最大補正限界（シフトレンズ７０４の最大シフト移動量）とで規格化されており、次の（１）、（２）式に基づき算出される。
【００１６】
ピッチ規格化補正量＝（ピッチ補正量／ピッチ最大シフト限界／２）
＊１００（％） …（１）
ヨウ規格化補正量＝（ヨウ補正量／ヨウ最大シフト限界／２）
＊１００（％） …（２）
この規格化補正量は、手ぶれ補正能力に制限を加えるための制限量の算出に用いられ、この制限量は所定の特性となるように決定される。よって、全ての焦点距離の変化に対応可能な防振制御システムが構築されていることになる。
【００１７】
次に、防振制御システムにおける制御マイコン７１６による補正量および制限量を算出する処理手順について図８を参照しながら具体的に説明する。この処理は定周期割込み処理であり、その割込みの起動要因を、例えば発振クロックを分周してアップまたはダウンカウント動作しているカウンタが１ｍｓｅｃに相当するカウント値を計数する毎に発生するように構成することができる。また、各角速度センサ７２１，７２２の出力は制御マイコン７１６のＡ／Ｄコンバータに取り込まれるが、本例では、簡単のため、Ａ／Ｄコンバータの動作モードがスキャンモードで、常時Ａ／Ｄ動作を繰り返しているものとする。
【００１８】
割込みの起動要因の発生により処理が開始されると、まず、ステップＳ８０１において、制御マイコン７１６のＡ／Ｄコンバータに取り込まれた各角速度センサ７２１，７２２の出力をそれぞれＡ／Ｄサンプリングして角速度信号に変換し、この角速度信号に対しカットオフ周波数が固定されているハイパスフィルタ処理を施す。このフィルタ処理により角速度信号からＤＣ成分が除去され、ＡＣ成分の角速度信号が得られる。
【００１９】
続くステップＳ８０２では、角速度信号に対して帯域制限処理を施す。このカットオフ周波数は後述する処理により設定される周波数であり、このカットオフ周波数を低域から高域まで変化させることにより所望の帯域制限を行うことが可能である。ここで、パンニングなどのカメラワークが行われている最中には、手ぶれ補正能力を低下させるために、カットオフ周波数を上げるように制御し、通常撮影時には、手ぶれ補正能力（手ぶれ除去能力）を高めるために、カットオフ周波数を下げるように制御する。また、補正可能範囲の限界よりも大きな揺れを補正しようとして、補正端に衝突したときに生じる画面に不自然さを防止するためにも、この帯域制限処理が有効に作用する。
【００２０】
次いで、ステップＳ８０３に進み、帯域制限された角速度信号に対して積分処理を施し、角変位を算出する。この算出された角変位がカメラ本体に加わる揺れ角θに相当する。続くステップＳ８０４では、上記ステップＳ８０３で算出された揺れ角θと光学系の焦点距離ｆとから、シフトレンズ７０４に対する補正量（シフト目標量）を算出する。ここで、補正量はｆ＊tanθで表される。そして、ステップＳ８０５に進み、算出した補正量をシフトレンズ７０４の最大補正限界（シフトレンズ７０４の最大シフト移動量）で規格化する処理を行う。この処理では、上記（１）、（２）式に基づき規格化補正量を算出する。
【００２１】
次いで、ステップＳ８０６に進み、算出された規格化補正量に基づき手ぶれ補正能力に制限を加えるための制限量を算出する。ここで、制限量は、上記ステップＳ８０２の帯域制限処理により制御されるカットオフ周波数に相当する物理量である。この制限量すなわちカットオフ周波数は、図9に示すように、規格化補正量の２乗の関数として一意に決定される。ここで、図９の横軸は規格化補正量であり、最大シフト限界の１／２までシフトして補正する場合に対する、現在の揺れの補正に必要な補正量の割合を示している。縦軸は制限量のパラメータである帯域制限のカットオフ周波数を示している。また、補正量に対して制限をかける度合いを閾値設定による設定ではなく関数的に設定することから、カットオフ周波数を制御してパンニング動作に対応する場合に、円滑な切替を行うことができる。本例では、最大カットオフ周波数を６Ｈｚとしているが、これは、主となる手ぶれの周波数成分が５Ｈｚ以下であることによるものである。さらに、カットオフ周波数は規格化補正量の２乗の関数として設定されているから、補正量が大きいほど急峻にカットオフ周波数を上げ、補正量が零近傍の値である場合には、カットオフ周波数をできる限り低くして手ぶれ補正能力を高めるように制御することが可能になる。なお、手ぶれ補正能力が高い範囲（補正量が零近傍の範囲）をできる限り拡大したいときには、補正量の２乗としていた次数をさらに増していけばよく、補正量がより大きくなったときにカットオフ周波数が急峻に立ち上がるように係数などを設定すればよい。
【００２２】
また、最大シフト限界について図１０を参照しながら説明する。ここで、本図（ａ）は焦点距離の変化に対し有効像円径が変化する様子、（ｂ）は焦点距離に対し最大補正範囲（最大シフト限界）が変化する様子をそれぞれ示している。図１０（ａ）の直線１００１は、ワイド側からテレ側までの焦点距離に対しシフトレンズ７０４のメカニカル的な最大移動距離を有効像円径に換算した点を表す直線であり、直線１００２は、ワイド側からテレ側までの焦点距離に対しシフトレンズ７０４がメカニカル的な最大移動距離までの距離を移動した際に撮影画面にけられがないことを示している。従って、直線１００２で示される有効像円径の変化に対してその最大補正範囲は、図１０（ｂ）の直線１００５で表され、一定になることが分かる。これに対し、図１０（ａ）の直線１００３は、焦点距離１００４よりテレ側の焦点距離に対し、直線１００１が示す有効像円径より大きな像円径が得られるが、焦点距離１００４よりワイド側の焦点距離に対しては、像円径が直線１００１が示す有効像円径より大きくならない状態を示している。この直線１００３で示される有効像円径の変化に対しては、図１０（ｂ）の直線１００６が表すように、最大補正範囲が焦点距離１００４よりワイド側では小さくなることが分かる。
【００２３】
一般には、図１０（ａ）の直線１００３で表されるような有効像円径の変化状態を示す光学系が設計され、レンズの小型化が図られる場合が多い。この場合、上述したように、図１０（ｂ）の直線１００６が表すように、最大補正範囲が焦点距離１００４よりワイド側で小さくなるように変化するが、補正量は最大補正範囲で規格化されるから、焦点距離毎に制限特性を変更しなくても（特性変更パラメタを多数持たくても）、補正範囲の端との衝突防止と円滑なパンニング動作への移行と解除とを実現することができる。
【００２４】
このように、カットオフ周波数（制限量）が算出されると、このカットオフ周波数は次回の帯域制限処理時に設定されることになる。ここで、算出されたカットオフ周波数が大きいときには、カットオフ周波数以下の手ぶれ周波数の揺れに対し、手ぶれ補正による効果が減少することになる。
【００２５】
次いで、ステップＳ８０７に進み、上記ステップＳ８０４で算出された補正量（シフト目標量）を加算器７１５に対して出力し、本処理を終了する。
【００２６】
【発明が解決しようとする課題】
しかし、上述の従来の撮像装置におけるパンニング制御動作では、最大補正範囲で規格化された補正量に応じて制御量を決定するから、電子ズームなどによる画面拡大時（例えばレンズの焦点距離がテレ端に設定されいてる状態で２倍の拡大を行うとき）には、以下のような問題が生じる。
【００２７】
電子ズームによる画面拡大時（例えばレンズの焦点距離がテレ端に設定されている状態で２倍の拡大を行うとき）には、焦点距離をテレ端に設定しているときと同じぶれ量に対して、画像の動き量が焦点距離をテレ端に設定している場合の２倍になる。一方、撮影者が意図的にパンニングする速度は、画面変化がどの画角でも一定とする傾向があり、２倍の電子ズーム時には、パンニング速度は焦点距離をテレ端に設定している場合に比してほぼ１／２となる。ここで、２倍の電子ズーム時においては最大補正量が焦点距離がテレ端に設定されている場合と同じであるから、パンニング時の制限量を図９に示す制限量特性に基づき算出すると、焦点距離がテレ端に設定されている場合より２倍速く見えるパンニング動作から制限がかかり始めることになり、最適なパンニング速度（焦点距離をテレ端に設定した場合よりゆっくりしたカメラ操作）に対しては、手ぶれ補正が強くかかり、円滑なパンニング動作、自然なカメラワークに支障をきたし、自然な撮影を行うことができないことがある。
【００２８】
また、画角が望遠側になるほど制限を小さな揺れ量からかけるようにする提案（特開平９−５１４６６号公報）がなされているが、望遠領域を閾値で分けており、電子ズーム動作のように画面が滑らかに拡大されていく場合には、制限を変更する領域の境界で、画面に乱れを生じる場合がある。また、同一領域内では同じように制限特性で制御することになるから、ある画角では最適化さているが、他の画角では、パンニング動作の自然さを欠くような場合がある。
【００２９】
本発明の目的は、あらゆるカメラワークで自然な撮影を行うことができる撮像装置を提供することにある。
【００３０】
【課題を解決するための手段】
本発明の撮像装置は、光学像を電気信号に変換して画像信号を生成する撮像手段と、前記撮像手段で生成された前記画像信号から該画像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段と、前記撮像手段の揺動の大きさを検出する検出手段と、前記検出手段により検出された揺動の大きさに応じて前記画像信号の生成に関する補正動作を行う補正手段と、前記補正手段の前記補正動作に用いられる補正量を算出する補正量算出手段と、前記算出された補正量に応じて前記補正手段の前記補正動作に制限をかける制限手段と、前記補正量の変化に応じて、前記制限手段による前記補正動作の制限に関する制限量を前記補正量の正の整数乗を変数とする関数で表される特性となるように、前記電子拡大手段オフ時の特性を決定する制限量決定手段と、前記電子拡大手段に設定された前記拡大率に応じて前記特性を線形的に変更する特性変更手段とを設けたことを特徴とする。
【００３３】
本発明の撮像装置は、光学像を電気信号に変換して画像信号を生成する撮像手段と、前記撮像手段で生成された前記画像信号から該画像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段と、前記撮像手段の揺動の大きさを検出する検出手段と、前記検出手段により検出された揺動の大きさに応じて前記画像信号の生成に関する補正動作を行う補正手段と、前記補正手段の前記補正動作に用いられる補正量を、前記撮像手段の焦点距離と前記補正手段の最大補正範囲とで規格化しながら決定する補正量決定手段と、前記決定された補正量に応じて前記補正動作に制限をかける制限手段と、前記決定された補正量に応じて、前記制限手段による前記補正動作の制限に関する制限量を前記補正量の正の整数乗を変数とする関数で表される特性となるように、前記電子拡大手段オフ時の特性を決定する制限量決定手段と、前記電子拡大手段に設定された前記拡大率に応じて前記特性を線形的に変更する特性変更手段とを設けたことを特徴とする。
【００３６】
【発明の実施の形態】
以下に本発明の実施の形態について図を参照しながら説明する。
【００３７】
図１は本発明の撮像装置の実施の一形態の構成を示すブロック図、図２は図１の撮像装置の撮像素子からの画像抽出状態を示す図である。
【００３８】
撮像装置は、図１に示すように、インナーフォーカスタイプの構成を有するレンズ群を備え、該レンズ群は、第１の固定レンズ１０１、ズームレンズ１０２、絞り１０３、第２の固定レンズ１０４およびフォーカスレンズ１０５を有する。レンズ群が捕らえた光学像はＣＣＤからなる撮像素子１０６の撮像面に結像され、撮像素子１０６は撮像面に結像された光学像を電気信号に変換して出力する。撮像素子１０６からの電気信号は増幅器１０７で増幅された後にカメラ信号処理回路１０８に入力され、カメラ信号処理回路１０８は入力された電気信号を所定規格（例えばＮＴＳＣ）の映像信号に変換して出力するとともに、映像信号の焦点状態を表す焦点信号（ＡＦ信号）を生成して後述する防振制御部１１５に出力する。
【００３９】
レンズ群のズームレンズ１０２による変倍動作およびフォーカスレンズ１０５による焦点位置調整動作は、防振制御部１１５により制御される。具体的には、ズームレンズ１０２による変倍動作に対する制御では、押し圧により抵抗値が可変する回転操作タイプのズームユニットスイッチ１１８が用いられ、ズームユニットスイッチ１１８からはその回転操作に応じて変倍率を指示する信号が防振制御部１１５に出力される。防振制御部１１５は、ズームユニットスイッチ１１８からの指示信号に基づき指示された変倍率が得られるようにモータ（Ｍｏ）１１９の駆動命令をモータドライバ１２０に出力する。この駆動命令を受けたモータドライバ１２０は、ズームレンズ１０２を指示された変倍率に応じた光軸方向への位置に移動するようにモータ１１９を駆動する。
【００４０】
また、電子ズーム機能が搭載され、ズームレンズ１０２がテレ端位置に到達して光学的に最大の変倍が行われた状態からは、電子ズーム機能によりさらに画面拡大を行うことが可能である。この電子ズーム機能による画面拡大において、垂直方向への拡大に関してはＣＣＤ駆動回路１１６が拡大率に合せて間引き処理を行い（例えば拡大率が２倍ならインターレーズ走査で電荷転送を１ライン毎に行う）、カメラ信号処理回路１０８で、電荷の存在したラインのみをラインメモリ１１３に書き込むことにより行われる。水平方向への拡大は、ラインメモリ１１３に格納された画像データの読出し周期を拡大率に合せて間引くことにより行われる（例えば拡大率が２倍の場合、１倍の場合の２倍のクロック周期で読出し画素の更新が行われる）。ラインメモリ１１３への画像データの書込み、読出し動作はメモリ制御回路１１４により制御され、メモリ制御回路１１４は、防振制御部１１５により制御される。
【００４１】
フォーカスレンズ１０５による焦点位置調整動作に対する制御では、防振制御部１１５がカメラ信号処理回路１０８からの焦点信号（ＡＦ信号）に基づき焦点状態を検出し、最適な焦点状態が得られるようにモータ（Ｍｏ）１２１の駆動命令をモータドライバ１２２に出力する。この駆動命令を受けたモータドライバ１２２は、フォーカスレンズ１０５を最適な焦点状態が得られる光軸方向への位置に移動するようにモータ１２１を駆動する。
【００４２】
本撮像装置には、電子式手ぶれ補正システムが塔載されている。この手ぶれ補正システムでは、防振スイッチ１１７と、ピッチ角速度センサ１０９と、ヨウ角速度センサ１１０とが用いられている。防振スイッチ１１７は、この手ぶれ補正システムのオン、オフを指示するスイッチであり、オン動作が行われると、定電圧Ｖに接続されている抵抗１１７ａにより生じる電圧がオン信号として防振制御部１１５に入力される。ピッチ角速度センサ１０９は、カメラ本体のピッチ方向の揺れ角速度を検出するセンサからなり、この出力は増幅器１１１で増幅された後に防振制御部１１５のＡ／Ｄコンバータに入力される。ヨウ角速度センサ１１０は、カメラ本体のヨウ方向の揺れ角速度を検出するセンサからなり、この出力は増幅器１１２で増幅された後に防振制御部１１５のＡ／Ｄコンバータに入力される。
【００４３】
防振制御部１１５は、入力された各方向の角速度をそれぞれ積分して角変位に変換し、各方向への角変位すなわち各方向への揺れ角θと光学系（レンズ群）の焦点距離ｆとに応じて撮像素子１０６上の揺れによる画素移動分（ｆ＊tanθに相当する距離）を揺れによる移動方向とは逆の方向に動かすことにより揺れ補正を行う。
【００４４】
この手ぶれ補正システムでは、揺れの大きさに応じて、撮像素子１０６の撮像画面上から抽出する画像領域を特定するための基準位置を変えることによって、揺れ補正が行われる。具体的には、図２（ａ）に示すように、撮像素子１０６上の全撮像画面領域２０１に対して領域２０２が抽出されるとすると、この領域２０２が図２（ｂ）に示すように全画面２０４として表示されまた記録処理される。この抽出される画面領域２０２の位置は、揺れに大きさに応じて変更され、その位置変更は、画面領域２０２の基準位置を成す点２０３の位置座標（Ｖ０，Ｈ０）を変更することにより行われる。この点２０３の位置変更範囲は、全撮像画面２０１と画面領域２０２との水平／垂直画素数差（以下、余剰画素という）で決定される。すなわち、点２０３は、手ぶれがない場合には予め設定された原点位置に保持され、この原点位置を基準にして点２０３の位置を手ぶれの大きさとその方向とに応じて変更することにより補正が行われることになる。
【００４５】
この画面領域２０２の抽出する方法としては、フィールドメモリを用いて全撮像画面２０２の画像を一旦記憶し、領域２０２の画像のみを読み出しながら全撮像画面２０１の大きさになるように拡大処理を行うことにより、全画面２０４を得る方法と、領域２０２が予め所定規格の映像信号に必要な走査線数を満足するような高密度、高画素タイプのＣＣＤを撮像素子として用いる方法とがある。
【００４６】
しかし、いずれの方法も高価なフィールドメモリやＣＣＤを必要とするから、本実施の形態では、汎用のＰＡＬ用ＣＣＤを、ＮＴＳＣ規格のカメラに用いる構成とする。ＰＡＬ用ＣＣＤは垂直方向の画素密度が高いから、垂直走査方向に関しては、タイミングジェネレータなどのＣＣＤ駆動回路１１６で、ＮＴＳＣ規格に対して余分になるライン数の範囲内で高速掃出しべきライン数を角変位に応じて変化させれば、垂直の切出し画像の位置を変化させることが可能になる。また、水平方向に関しては、ラインメモリ１１３とメモリ制御回路１１４とにより縦横比分だけ拡大処理を行いながらラインメモリ１１３への書込み開始画素位置と読出し開始画素位置との関係を変化させれば、水平方向の画面位置変更が可能になる。すなわち、本実施の形態では、垂直走査方向の画素移動は、防振制御部１１５によりＣＣＤ駆動回路１１６を制御して高速掃出し制御を行うことにより、所望の走査領域の抽出を行い、水平走査方向の画素移動は、ラインメモリ１１３とメモリ制御回路１１４とにより記憶された水平走査画素の読出し位置を揺れ補正画素移動量に応じて可変しながらかつその縦横比に見合うだけの拡大処理を行い、その信号をカメラ信号処理回路１０８に入力して色処理などの所定処理を施すことにより所定規格（ＮＴＳＣ）の映像信号に変換する。このような構成により、安価な電子式手ぶれ補正システムが提供されることになる。
【００４７】
次に、本実施の形態における防振制御部１１５による電子式手ぶれ補正システムに関する処理手順について図３ないし図６を参照しながら具体的に説明する。図３は図１の撮像装置の電子式手ぶれ補正システムにおける揺れ角算出処理を示すフローチャート、図４は図１の撮像装置の電子式手ぶれ補正システムにおける補正量算出および制限量算出の処理手順を示すフローチャート、図５は図１の撮像装置の電子式手ぶれ補正システムにおける補正量に対する制限量を成すカットオフ周波数の特性を示す図、図６は図５のカットオフ周波数の特性を変更するための特性変更係数と電子ズームの拡大率との関係を示す図である。
【００４８】
まず、揺れ角算出処理について図３を参照しながら説明する。この処理は定周期割込み処理であり、本実施の形態では、フィールド周波数の１０倍すなわちＮＴＳＣ規格においては６００Ｈｚの周波数周期で実行される。この周波数は、角速度信号のサンプリング周波数、角変位の算出周波数に相当する。この処理に対する割込みの起動要因を、例えば発振クロックを分周してアップまたはダウンカウント動作しているカウンタが１ｍｓｅｃに相当するカウント値を計数する毎に発生するように構成することができる。また、各角速度センサ１０９，１１０の出力は防振制御部１１５のＡ／Ｄコンバータに取り込まれるが、本例では、簡単のため、Ａ／Ｄコンバータの動作モードがスキャンモードで、常時Ａ／Ｄ動作を繰り返しているものとする。
【００４９】
割込みの起動要因の発生により揺れ角算出処理が開始されると、図３に示すように、まず、ステップＳ３０１において、防振制御部１１５のＡ／Ｄコンバータに取り込まれた各角速度センサ１０９，１１０の出力をそれぞれＡ／Ｄサンプリングして角速度信号に変換し、この角速度信号に対しカットオフ周波数が固定されているハイパスフィルタ処理を施す。このフィルタ処理により角速度信号からＤＣ成分が除去され、ＡＣ成分の角速度信号が得られる。
【００５０】
続くステップＳ３０２では、角速度信号に対して帯域制限処理を施す。この帯域制限処理では、カットオフ周波数を可変設定することが可能であり、このカットオフ周波数を低域から高域まで変化させることにより所望の帯域制限を行うことが可能である。この設定されるカットオフ周波数は、後述の図４に示すフローで決定される周波数であり、パンニングなどのカメラワークが行われている最中には、手ぶれ補正能力を低下させるために、カットオフ周波数を上げるように制御が行われ、通常撮影時には、手ぶれ補正能力（手ぶれ除去能力）を高めるために、カットオフ周波数を下げるように制御が行われる。また、補正可能範囲の限界よりも大きな揺れを補正しようとして、補正端に衝突したときに生じる画面に不自然さを防止するためにも、この帯域制限処理が実行される。
【００５１】
そして、ステップＳ３０３に進み、帯域制限された角速度信号に対して積分処理を施し、角変位を算出する。この算出された角変位がカメラ本体に加わる揺れ角θに相当する。
【００５２】
次いで、ステップＳ３０４に進み、１フィールド間の揺れ角θの算出回数を表す回数パラメータｍを１インクリメントし、続くステップＳ３０５で、回数パラメータｍが１０に等しいか否かを判定し、回数パラメータｍが１０に等しくないときには、１フィールド間の揺れ角θの算出回数が１０回に達していないと判断して本処理を抜ける。これに対し、回数パラメータｍが１０に等しいときには、１フィールド間の揺れ角θの算出回数が１０回に達したと判断してステップＳ３０６に進み、回数パラメータｍを零に初期化して本処理を抜ける。
【００５３】
なお、上記ステップＳ３０１，Ｓ３０２，Ｓ３０３の一連の処理において、垂直方向の揺れ角の算出に関しては、ピッチ角速度センサ１０９の出力に基づき行われ、水平方向の揺れ角の算出に関しては、ヨウ角速度センサ１１０の出力に基づき行われる。
【００５４】
揺れ角算出処理が所定回数すなわち１０回実行されると、算出された揺れ角θに応じた補正量、および制限量の算出をするための処理が実行される。この処理は、揺れ角算出処理が１０回実行されて次のフィールドにおいて開始されるまでの間、すなわち現フィールドにおいて、揺れ角算出処理の終了後に実行されることになる。
【００５５】
本処理では、まずステップＳ４０１で上記回数パラメータｍが零になるまで待機し、回数パラメータｍが零になると、揺れ角算出処理が１０回実行されて終了したと判断してステップＳ４０２に進み、上記ステップＳ３０３で算出された各方向の揺れ角θと光学系の焦点距離ｆとから、補正量の算出を行う。ここで、補正量はｆ＊tanθで表される。
【００５６】
次いで、ステップＳ４０３に進み、切出し位置を示す目標位置座標（Ｖ０，Ｈ０）を算出する。この目標位置座標（Ｖ０，Ｈ０）は次の（３）、（４）式で求められるとともに、ぶれ補正により移動すべき画素数が得られる。
【００５７】
Ｖ０＝垂直の原点位置±ピッチ方向の揺れ角を補正する移動画素数
＝垂直の原点位置±（−１）＊ピッチ補正量／垂直画素サイズ…（３）
Ｈ０＝水平の原点位置±ヨウ方向の揺れ角を補正する移動画素数
＝水平の原点位置±（−１）＊ヨウ補正量／水平画素サイズ…（４）
続くステップＳ４０４では、上記ステップＳ４０２で算出された補正量を最大補正範囲で規格化する処理を行う。この処理では、次の（５）、（６）式に基づき規格化補正量を算出する。
【００５８】
ピッチ規格化補正量＝（ピッチ補正量／垂直画素サイズ／垂直余剰画素数
／２）＊１００（％） …（５）
ヨウ規格化補正量＝（ヨウ補正量／水平画素サイズ／水平余剰画素数
／２）＊１００（％） …（６）
ここで、撮像素子１０６に５８２Ｖ＊７５２ＨのＣＣＤを用い、ＮＴＳＣ規格の垂直４８５ラインを切出すとすると、縦横比から水平方向の抽出画素は６２７Ｈとなる。従って、上記余剰画素数は９７Ｖ＊１２５Ｈとなり、手ぶれの方向に応じて補正方向が正負をとるので、余剰画素数の１／２で規格化が行われる。
【００５９】
次いで、ステップＳ４０５に進み、算出された規格化補正量に基づき手ぶれ補正能力に制限を加えるための制限量を算出する。ここで算出される制限量は、上記ステップＳ３０２の帯域制限処理により制御されるカットオフ周波数に相当する周波数である。この制限量すなわちカットオフ周波数は、図５に示すように、規格化補正量の２乗の関数として変化する特性を有する。ここで、図５の横軸は規格化補正量を示し、最大補正限界である余剰画素数の１／２すべてを使用して補正する場合を１００％としている。縦軸は制限量のパラメータである帯域制限のカットオフ周波数を示している。このカットオフ周波数は規格化補正量の２乗の関数として変化する特性を有するから、従来例と同様に、揺れ角が大きくなって補正端に衝突することにより撮影画像が乱れる現象を防止するためにも、補正比率が最大補正限界に近いほど、急峻にカットオフ周波数を高くすることが可能である。
【００６０】
本実施の形態では、電子ズームの倍率に応じて制限量の特性を変更するように設定されている。具体的には、電子ズームのオフすなわち電子ズームの倍率が１倍であるときには、図５に示すカットオフ周波数を表す特性曲線５０１を選択する。これに対し、電子ズームの倍率が２倍であるときには、図５に示すカットオフ周波数の特性曲線５０２を選択する。この特性曲線５０２は、｛２＊（規格化補正量）｝の２乗の関数で表わされ、規格化補正量で５０％でカットオフ周波数が最大になる特性を有する。このように、電子ズームの拡大率が１倍から順次大きくなるに従い、小さい規格化補正量でカットオフ周波数が高くなる特性を示す複数の特性曲線を電子ズームの拡大率に対応付けて準備し、電子ズームの拡大率に応じて対応する特性曲線を選択することにより、電子ズームの倍率に応じた制限量特性が変更されることになる。なお、本実施の形態では、複数の特性曲線を予めメモリに記憶して準備することに代えて、各特性曲線を定義可能な式を準備し、この式を用いてカットオフ周波数の特性を電子ズームの倍率に応じて変更するように設定されている。この各特性曲線を定義するための式は次の（７）式で表される。
【００６１】
変更特性量＝特性変更係数＊電子ズームＯＦＦ時の所定特性 …（７）
ただし、所定特性は（規格化補正量）ⁿ（ｎ＝１，２，３，…）の関数で表されるものとする。また、特性変更係数は、図６に示すように、電子ズームの拡大率に比例して線形的に変化する特性を有する係数である。この図６の例では、特性変更係数が電子ズームの拡大率に対して１：１の比の割合で比例するが、これに限定されるものではなく、実際には、所定倍の拡大画像の大きさ（光学ズームの倍率によって変わる）とパンニング時の画面移動速度とからより自然なカメラワークが可能なように特性変更係数を表す直線の傾きを決定することが望ましい。
【００６２】
このように、カットオフ周波数（制限量）が算出されると、このカットオフ周波数は次回の帯域制限処理時（上記ステップＳ３０２）に設定されることになる。ここで、算出されたカットオフ周波数が大きいときには、カットオフ周波数以下の手ぶれ周波数の揺れに対し、手ぶれ補正による効果が減少することになる。
【００６３】
次いで、ステップＳ４０６に進み、上記ステップＳ４０３で算出された目標位置座標（Ｖ０，Ｈ０）を切出し位置として指示する命令をＣＣＤ駆動回路１１６およびメモリ制御回路１１４に出力し、そして次のフィールドに備えるために、再度上記ステップＳ４０１に戻り、回数パラメータｍを監視する。
【００６４】
以上より、本実施の形態では、補正量に対する制限量すなわちカットオフ周波数を所定の特性に従いに変化するように設定し、かつその特性を電子ズーム機能の拡大率に応じて変更するから、補正量に対し制限をかける切替が、閾値比較による切替のようにオンオフ的に変化する不連続な切替にはならず、連続的に変化するような切替となる。また、電子ズームによる画面拡大時の、最適なパンニング速度（焦点距離をテレ端に設定した場合よりゆっくりしたカメラ操作）に対しても、最適な制限がかけられる。よって、円滑なパンニング動作、自然なカメラワークを行うことができ、あらゆるカメラワークで自然な撮影を行うことが可能になる。
【００６５】
なお、本実施の形態では、ＰＡＬ用ＣＣＤ１０６とラインメモリと１１３とを用いた構成を示したが、フィールドメモリを用いて抽出画像の位置を制御することにより補正することも可能であることはいうまでもない。また、拡大制御を行わずに済む大型または超高画素タイプのＣＣＤ、または光学式の補正手段を用いて補正を行うように構成することも可能である。
【００６６】
また、本実施の形態では、揺れ検出手段として角速度センサを用いているが、これに代えて加速度センサを用いて揺れを検出するように構成することもできる。この場合、防振制御部１１５または外部で余分に１回分の積分処理が必要である。
【００６７】
さらに、本実施の形態では、角速度センサの出力を用いて揺れ角を算出するための積分処理をソフトウェアにより実行しているが、積分器などのハードウェアを用いて構成することも可能である。
【００６８】
さらに、本実施の形態では、補正量に対する制限をカットオフ周波数の変更により行っているが、補正ゲインの変更によって制限を行うことも可能である。
【００６９】
さらに、本実施の形態では、電子ズームによる画像拡大が光学ズームがテレ端に到達した後に開始されるととして説明したが、光学ズーム倍率がいずれの倍率であっても電子的な画面拡大が行われると、同様に補正量に対する制限をかけるように動作するように設定することも可能である。特に、瞬時に所定倍率の電子ズームを作動させるいわゆるテレコンやインスタントズーム機能を有する場合には、有効に作用する。
【００７０】
【発明の効果】
以上説明したように、本発明の撮像装置によれば、円滑なパンニング動作、自然なカメラワークを行うことができ、あらゆるカメラワークで自然な撮影を行うことができる。
【００７１】
また、特性変更手段で、電子拡大手段に設定された拡大率に応じて補正量の正の整数乗を変数とする関数で表される電子拡大手段オフ時の特性を線形的に変化させるから、電子拡大手段により滑らかに画面が拡大される場合であっても、円滑に特性を変更することができ、閾値を設定して制限量を切り替える制御において発生する閾値前後の境界切替の画面の乱れ、同一制限量で制御される領域内での画角差によるパンニング動作の円滑性の違いをなくすことができる。
【図面の簡単な説明】
【図１】本発明の撮像装置の実施の一形態の構成を示すブロック図である。
【図２】図１の撮像装置の撮像素子からの画像抽出状態を示す図である。
【図３】図１の撮像装置の電子式手ぶれ補正システムにおける揺れ角算出処理を示すフローチャートである。
【図４】図１の撮像装置の電子式手ぶれ補正システムにおける補正量算出および制限量算出の処理手順を示すフローチャートである。
【図５】図１の撮像装置の電子式手ぶれ補正システムにおける補正量に対する制限量を成すカットオフ周波数の特性を示す図である。
【図６】図５のカットオフ周波数の特性を変更するための特性変更係数と電子ズームの拡大率との関係を示す図である。
【図７】従来の撮像装置の構成を示すブロック図である。
【図８】図７の撮像装置における防振制御システムの処理手順を示すフローチャートである。
【図９】図７の撮像装置の防振制御システムにおける補正量に対する制限量を成すカットオフ周波数の特性を示す図である。
【図１０】図７の撮像装置のシフトレンズ７０４の最大シフト移動量と最大補正値との関係を表す図である。
【符号の説明】
１０２ズームレンズ
１０５フォーカスレンズ
１０６撮像素子
１０８カメラ信号処理回路
１０９ピッチ角速度センサ
１１０ヨウ角速度センサ
１１５防振制御部
１１７防振スイッチ[0001]
BACKGROUND OF THE INVENTION
The present invention includes electronic enlargement means for electronically enlarging a part of an image indicated by the imaging signal from an imaging signal generated by the imaging means to a set enlargement ratio, and the magnitude of the oscillation of the imaging means is increased. Accordingly, the present invention relates to an imaging apparatus such as a video camera that performs a correction operation related to generation of a video signal.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a camera shake prevention function is generally installed in a video camera having an imaging system that generates an imaging signal by converting an optical image captured by an optical lens into an electrical signal by an imaging element such as a CCD. This camera shake prevention function is a function for preventing image distortion due to camera shake, and methods for realizing this function include an optical camera shake correction method and an electronic camera shake correction method.
[0003]
In the optical image stabilization method, a prism or a lens member capable of displacing the optical axis is arranged in the middle of the optical path of the imaging light incident on the image sensor, and the optical axis is displaced according to the camera shake to correct the image blur. . In this correction method, there is a method for detecting a shake component directly applied to the camera using an angular velocity sensor such as a vibration gyro as a means for detecting a camera shake, and detecting an angular displacement of the camera by integrating the detected shake component. It has been adopted.
[0004]
In contrast, the electronic image stabilization method is often used in combination with a motion vector detection method that calculates the amount of camera motion from the change in the video signal between fields and uses the calculated amount of motion as the amount of camera shake. In this case, the correction is performed by extracting a corresponding image from the memory so as to remove the motion in the image stored in the motion vector detection field memory. As another electronic camera shake correction method, a camera shake is detected using a sensor, and a position at which a part of an image received by an image sensor is cut out according to the detected camera shake is controlled. There is one that corrects camera shake by cutting out.
[0005]
In the case of the electronic image stabilization method, correction by signal processing, that is, electrical correction, is performed on the video signal. Therefore, the correction cycle is a field cycle, and it is not possible to remove camera shake during the exposure time, but optical image stabilization. There is an advantage that it can be reduced in size and weight by the method. In addition, the image quality degradation, which was disadvantageous compared to the optical image stabilization method, was improved by increasing the resolution of the captured image extracted or extracted from the memory using a large, high-density image sensor. Is being made.
[0006]
By the way, there are cases where shooting is performed while performing camera work such as panning and tilting that intentionally moves the video camera. When shooting with these camera works, the camera shake correction is limited to reduce the correction capability, thereby preventing the disturbance of the shot image caused by the camera work shaking at the boundary of the limited camera shake correction range. The applicant has proposed a method for achieving a quick response in the direction intended by the photographer.
[0007]
The method proposed by the present applicant will be described with reference to FIGS. FIG. 7 is a block diagram showing a configuration of a conventional imaging apparatus, FIG. 8 is a flowchart showing a processing procedure of the image stabilization control system in the imaging apparatus of FIG. 7, and FIG. 9 is a correction amount in the image stabilization control system of the imaging apparatus in FIG. FIG. 10 is a diagram showing the relationship between the maximum shift movement amount of the shift lens 704 and the maximum correction value of the imaging device of FIG. 7.
[0008]
As an example of this prior art, even if the focal length is set to any focal point, and even when the correction limit changes depending on the focal length, an optical camera shake that can easily set the characteristic of the limit amount. An imaging apparatus having a correction function will be described as an example.
[0009]
As shown in FIG. 7, the imaging apparatus includes a lens group having an inner focus type configuration, and the lens group is movable in a direction perpendicular to a fixed lens 701, a zoom lens 702, an aperture 703, and an optical axis. A shift lens 704 and a focus lens 705 are provided. An optical image captured by the lens group is formed on an image pickup surface of an image pickup device 706 made of a CCD (charge coupled device) or the like, and the image pickup device 706 converts the optical image formed on the image pickup surface into an electric signal and outputs it. . An electric signal from the image sensor 706 is amplified by an amplifier 718 and then input to a camera signal processing circuit 719. The camera signal processing circuit 719 converts the input electric signal into a video signal of a predetermined standard (for example, NTSC) and outputs it. At the same time, a focus signal representing the focus state of the video signal is generated and output to the control microcomputer 716 described later.
[0010]
The magnification change operation by the zoom lens 702 and the focus position adjustment operation by the focus lens 705 in the lens group are controlled by the control microcomputer 716. Specifically, in the control for zooming operation by the zoom lens 702, a zoom operation type zoom unit switch 717 whose resistance value is variable by pressing force is used, and the zoom unit switch 717 receives a zoom lens according to the rotation operation. A signal instructing the variable magnification 702 is output to the control microcomputer 716. The control microcomputer 716 outputs a drive command for the motor (Mo) 707 to the motor driver 712 so that the instructed magnification is obtained based on the instruction signal from the zoom unit switch 717. Upon receiving this drive command, the motor driver 712 drives the motor 707 so as to move the zoom lens 702 to a position in the optical axis direction corresponding to the instructed magnification.
[0011]
In the control for the focus position adjustment operation by the focus lens 705, the control microcomputer 716 detects the focus state based on the focus signal from the camera signal processing circuit 719, and the motor (Mo) 709 drive command so as to obtain the optimum focus state. Is output to the motor driver 710. Upon receiving this drive command, the motor driver 710 drives the motor 709 so as to move the focus lens 705 to a position in the optical axis direction where an optimum focus state can be obtained.
[0012]
This image pickup apparatus is equipped with an image stabilization control system that performs camera shake correction by driving the shift lens 704 in a direction perpendicular to the optical axis. In this prevention control system, an anti-vibration switch 720, a pitch angular velocity sensor 721, and a yaw angular velocity sensor 722 are used. The anti-vibration switch 720 is a switch that instructs on / off of the prevention control system. When the on-operation is performed, a voltage generated by the resistor 720a connected to the constant voltage V is input to the control microcomputer 716 as an on signal. Is done. The pitch angular velocity sensor 721 is a sensor that detects a swing angular velocity in the pitch direction of the camera body, and this output is amplified by the amplifier 723 and then input to the A / D converter of the control microcomputer 716. The yaw angular velocity sensor 722 is a sensor that detects the angular velocity of the camera body in the yaw direction. The output is amplified by the amplifier 724 and then input to the A / D converter of the control microcomputer 716.
[0013]
The control microcomputer 716 integrates the input angular velocities in each direction to convert them into angular displacements, and converts the angular displacements in each direction, that is, the swing angle θ in each direction, and the focal length f of the optical system (lens group). Accordingly, the shift lens 704 is moved in the direction perpendicular to the optical axis so as to move the moving amount of the swaying captured image on the image sensor 706 (distance corresponding to f * tan θ) in the direction opposite to the moving direction. To correct the shaking. In the control for moving the shift lens 704, the control microcomputer 716 calculates a correction amount (shift target amount) for the movement position of the shift lens 704 and outputs the correction amount to the adder 715.
[0014]
The adder 715 takes in the position signal of the shift lens 704 (signal indicating the movement position in the direction perpendicular to the optical axis) from the encoder 713 together with the correction amount from the control microcomputer 716 via the amplifier 714, and the correction amount and the shift lens. The position signal of 704 is compared, and a drive signal is output to the motor driver 712 so that the difference becomes zero. The motor driver 712 controls the movement position of the shift lens 704 by driving the motor (Mo) 711 based on the drive signal from the adder 715. In this way, the position of the shift lens 704 is loop-controlled and finally coincides with the target position represented by the correction amount.
[0015]
Here, the correction amount for the shift lens 704 is standardized by the focal length f of the optical system and the maximum correction limit of the shift lens 704 (the maximum shift movement amount of the shift lens 704), and the following (1), ( 2) Calculated based on the equation.
[0016]
Pitch normalization correction amount = (Pitch correction amount / Pitch maximum shift limit / 2)
* 100 (%) (1)
Yaw normalization correction amount = (Yaw correction amount / Yo maximum shift limit / 2)
* 100 (%) (2)
This standardized correction amount is used to calculate a limit amount for limiting the camera shake correction capability, and this limit amount is determined to have a predetermined characteristic. Therefore, an anti-vibration control system that can cope with changes in all focal lengths is constructed.
[0017]
Next, a processing procedure for calculating the correction amount and the limit amount by the control microcomputer 716 in the image stabilization control system will be specifically described with reference to FIG. This process is a periodic interrupt process, and causes the interrupt to be generated every time the counter that is counting up or down by dividing the oscillation clock, for example, counts a count value corresponding to 1 msec. Can be configured. In addition, the output of each angular velocity sensor 721, 722 is taken into the A / D converter of the control microcomputer 716. In this example, however, for simplicity, the operation mode of the A / D converter is the scan mode, and the A / D operation is always performed. It is assumed that it is repeated.
[0018]
When processing is started due to the occurrence of an interrupt activation factor, first, in step S801, the output of each angular velocity sensor 721, 722 fetched into the A / D converter of the control microcomputer 716 is A / D-sampled to obtain an angular velocity signal. And a high-pass filter process in which the cutoff frequency is fixed is applied to the angular velocity signal. By this filtering process, the DC component is removed from the angular velocity signal, and an AC component angular velocity signal is obtained.
[0019]
In subsequent step S802, band limiting processing is performed on the angular velocity signal. This cut-off frequency is a frequency set by processing to be described later, and desired band limitation can be performed by changing the cut-off frequency from a low frequency to a high frequency. Here, while camera work such as panning is being performed, control is performed to increase the cutoff frequency in order to reduce camera shake correction capability, and during normal shooting, camera shake correction capability (camera shake removal capability) is controlled. In order to increase, control is performed to decrease the cut-off frequency. In addition, this band limiting process effectively works in order to prevent unnaturalness in the screen that occurs when a collision occurs at the correction end in an attempt to correct a shake larger than the limit of the correctable range.
[0020]
Next, the process proceeds to step S803, where an integration process is performed on the band-limited angular velocity signal to calculate an angular displacement. This calculated angular displacement corresponds to the swing angle θ applied to the camera body. In the subsequent step S804, a correction amount (shift target amount) for the shift lens 704 is calculated from the swing angle θ calculated in step S803 and the focal length f of the optical system. Here, the correction amount is represented by f * tan θ. In step S805, the calculated correction amount is normalized by the maximum correction limit of the shift lens 704 (the maximum shift movement amount of the shift lens 704). In this processing, the normalized correction amount is calculated based on the above equations (1) and (2).
[0021]
Next, the process proceeds to step S806, where a limit amount for adding a limit to the camera shake correction capability is calculated based on the calculated normalized correction amount. Here, the limiting amount is a physical amount corresponding to the cutoff frequency controlled by the band limiting process in step S802. This limit amount, that is, the cutoff frequency, is uniquely determined as a function of the square of the normalized correction amount, as shown in FIG. Here, the horizontal axis of FIG. 9 is the normalized correction amount, and shows the ratio of the correction amount necessary for correcting the current fluctuation with respect to the case where the correction is performed by shifting to half the maximum shift limit. The vertical axis represents the cut-off frequency for band limitation, which is a parameter for the limit amount. In addition, since the degree of limitation on the correction amount is set not as a setting by threshold setting but as a function, smooth switching can be performed when the cutoff frequency is controlled to cope with the panning operation. In this example, the maximum cutoff frequency is set to 6 Hz, which is due to the fact that the frequency component of the main camera shake is 5 Hz or less. Furthermore, since the cutoff frequency is set as a function of the square of the standardized correction amount, the cutoff frequency is increased sharply as the correction amount increases, and when the correction amount is near zero, the cutoff frequency It is possible to control the frequency as low as possible to increase the image stabilization capability. If you want to enlarge the range where the image stabilization capability is high (the range where the correction amount is near zero) as much as possible, you can increase the order that was the square of the correction amount, and cut when the correction amount becomes larger A coefficient or the like may be set so that the off-frequency rises sharply.
[0022]
The maximum shift limit will be described with reference to FIG. Here, (a) in this figure shows how the effective image circle diameter changes with respect to the change in focal length, and (b) shows how the maximum correction range (maximum shift limit) changes with respect to the focal length. A straight line 1001 in FIG. 10A is a straight line representing a point obtained by converting the mechanical maximum moving distance of the shift lens 704 into an effective image circle diameter with respect to the focal length from the wide side to the telephoto side. This shows that there is no loss on the shooting screen when the shift lens 704 moves to a mechanical maximum moving distance with respect to the focal length from the wide side to the tele side. Therefore, it can be seen that the maximum correction range is represented by the straight line 1005 in FIG. 10B and is constant with respect to the change in effective image circle diameter indicated by the straight line 1002. On the other hand, the straight line 1003 in FIG. 10A can obtain an image circle diameter larger than the effective image circle diameter shown by the straight line 1001 with respect to the focal length on the telephoto side from the focal length 1004, but is wider than the focal length 1004. For the focal length, the image circle diameter does not become larger than the effective image circle diameter indicated by the straight line 1001. With respect to the change in effective image circle diameter indicated by the straight line 1003, it can be seen that the maximum correction range becomes smaller on the wide side than the focal length 1004, as indicated by the straight line 1006 in FIG.
[0023]
In general, an optical system showing a change state of an effective image circle diameter as represented by a straight line 1003 in FIG. 10A is designed, and the lens is often miniaturized. In this case, as described above, as indicated by the straight line 1006 in FIG. 10B, the maximum correction range changes so as to become smaller on the wide side than the focal length 1004, but the correction amount is normalized by the maximum correction range. Therefore, it is possible to achieve collision prevention with the end of the correction range and smooth transition to and release from the panning operation without changing the limiting characteristics for each focal length (even if there are many characteristic change parameters). Can do.
[0024]
When the cut-off frequency (limit amount) is calculated in this way, this cut-off frequency is set at the next band limit processing. Here, when the calculated cutoff frequency is large, the effect of camera shake correction is reduced with respect to shaking of the camera shake frequency equal to or lower than the cutoff frequency.
[0025]
Next, the process proceeds to step S807, where the correction amount (shift target amount) calculated in step S804 is output to the adder 715, and this process ends.
[0026]
[Problems to be solved by the invention]
However, in the panning control operation in the conventional imaging device described above, the control amount is determined according to the correction amount standardized in the maximum correction range. The following problems arise when the image is set to 2 × and is enlarged twice).
[0027]
When the screen is magnified by electronic zoom (for example, when the lens focal length is set to the tele end and the magnification is doubled), the same blur amount as when the focal length is set to the tele end is used. Thus, the amount of motion of the image is twice that when the focal length is set at the telephoto end. On the other hand, the speed at which the photographer intentionally pans tends to keep the screen change constant at any angle of view, and when the electronic zoom is doubled, the panning speed is higher than that when the focal length is set to the telephoto end. It becomes almost 1/2. Here, since the maximum correction amount is the same as that when the focal length is set at the tele end at the time of double electronic zoom, when the limit amount at the time of panning is calculated based on the limit amount characteristic shown in FIG. Limitations will begin to be applied from panning motions that appear twice as fast as when the focal length is set to the tele end, for optimal panning speed (slower camera operation than when the focal length is set to the tele end) However, there is a case where camera shake correction is strong, smooth panning operation and natural camera work are hindered, and natural shooting cannot be performed.
[0028]
In addition, there has been a proposal (Japanese Patent Application Laid-Open No. 9-51466) to apply a restriction from a small amount of shaking as the angle of view becomes closer to the telephoto side. When the screen is enlarged smoothly, the screen may be disturbed at the boundary of the region where the limit is changed. In the same area, control is similarly performed with the limiting characteristic, so that optimization is performed at a certain angle of view, but the natural panning operation may be lacking at other angles of view.
[0029]
An object of the present invention is to provide an imaging apparatus capable of performing natural shooting with any camera work.
[0030]
[Means for Solving the Problems]
Imaging device of the present invention An image pickup unit that converts an optical image into an electrical signal to generate an image signal, and a part of an image indicated by the image signal from the image signal generated by the image pickup unit is electronically set to a set enlargement ratio. An electronic enlarging means for enlarging, a detecting means for detecting the magnitude of the swing of the imaging means, and a correcting means for performing a correction operation relating to the generation of the image signal in accordance with the magnitude of the swing detected by the detecting means A correction amount calculation unit that calculates a correction amount used for the correction operation of the correction unit, a limitation unit that limits the correction operation of the correction unit according to the calculated correction amount, and the correction amount In accordance with a change in the amount of restriction regarding the restriction of the correction operation by the restriction means. Expressed as a function with a positive integer power of the correction amount as a variable To be characteristic , The characteristics when the electronic expansion means is off A limit amount determining means to be determined, and a predetermined amount according to the enlargement rate set in the electronic enlargement means. Special mention Sex Linearly A characteristic changing means for changing is provided.
[0033]
Imaging device of the present invention An image pickup unit that converts an optical image into an electrical signal to generate an image signal, and a part of an image indicated by the image signal from the image signal generated by the image pickup unit is electronically set to a set enlargement ratio. An electronic enlarging means for enlarging, a detecting means for detecting the magnitude of the swing of the imaging means, and a correcting means for performing a correction operation relating to the generation of the image signal in accordance with the magnitude of the swing detected by the detecting means A correction amount determining means for determining a correction amount used for the correction operation of the correction means while normalizing with a focal length of the imaging means and a maximum correction range of the correction means, and the determined correction amount. And a limiting unit for limiting the correction operation according to the control unit, and a limit amount for limiting the correction operation by the limiting unit according to the determined correction amount. Expressed as a function with a positive integer power of the correction amount as a variable To be characteristic , The characteristics when the electronic expansion means is off A limit amount determining means to be determined, and a predetermined amount according to the enlargement rate set in the electronic enlargement means. Special mention Sex Linearly A characteristic changing means for changing is provided.
[0036]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0037]
FIG. 1 is a block diagram showing a configuration of an embodiment of an imaging apparatus of the present invention, and FIG. 2 is a diagram showing an image extraction state from an imaging element of the imaging apparatus of FIG.
[0038]
As shown in FIG. 1, the imaging apparatus includes a lens group having an inner focus type configuration, and the lens group includes a first fixed lens 101, a zoom lens 102, a diaphragm 103, a second fixed lens 104, and a focus. A lens 105 is included. The optical image captured by the lens group is formed on the image pickup surface of the image pickup device 106 formed of a CCD, and the image pickup device 106 converts the optical image formed on the image pickup surface into an electric signal and outputs the electric signal. The electric signal from the image sensor 106 is amplified by the amplifier 107 and then input to the camera signal processing circuit 108. The camera signal processing circuit 108 converts the input electric signal into a video signal of a predetermined standard (for example, NTSC) and outputs it. At the same time, a focus signal (AF signal) representing the focus state of the video signal is generated and output to the image stabilization control unit 115 described later.
[0039]
The zooming operation by the zoom lens 102 of the lens group and the focus position adjustment operation by the focus lens 105 are controlled by the image stabilization control unit 115. More specifically, in the control of the zooming operation by the zoom lens 102, a rotary operation type zoom unit switch 118 whose resistance value is variable by pressing force is used, and the zoom unit switch 118 changes the magnification according to the rotation operation. Is output to the image stabilization control unit 115. The image stabilization control unit 115 outputs a drive command for the motor (Mo) 119 to the motor driver 120 so that the instructed magnification is obtained based on the instruction signal from the zoom unit switch 118. Upon receiving this drive command, the motor driver 120 drives the motor 119 to move the zoom lens 102 to a position in the optical axis direction corresponding to the instructed magnification.
[0040]
Further, from the state in which the electronic zoom function is installed and the zoom lens 102 reaches the telephoto end position and the optically maximum zooming is performed, the screen can be further enlarged by the electronic zoom function. In the enlargement of the screen by the electronic zoom function, the CCD drive circuit 116 performs a thinning process in accordance with the enlargement ratio for the enlargement in the vertical direction (for example, if the enlargement ratio is double, the charge transfer is performed for each line by interlace scanning. ), The camera signal processing circuit 108 writes only the lines where charges exist in the line memory 113. The enlargement in the horizontal direction is performed by thinning out the readout cycle of the image data stored in the line memory 113 in accordance with the enlargement rate (for example, when the enlargement rate is 2 times, the clock cycle is twice as much as 1 time. The readout pixel is updated in step (3). Image data writing and reading operations to the line memory 113 are controlled by the memory control circuit 114, and the memory control circuit 114 is controlled by the image stabilization control unit 115.
[0041]
In the control for the focus position adjustment operation by the focus lens 105, the image stabilization control unit 115 detects the focus state based on the focus signal (AF signal) from the camera signal processing circuit 108, and the motor ( Mo) The drive command of 121 is output to the motor driver 122. Upon receiving this drive command, the motor driver 122 drives the motor 121 so as to move the focus lens 105 to a position in the optical axis direction where an optimum focus state is obtained.
[0042]
This image pickup apparatus is equipped with an electronic image stabilization system. In this camera shake correction system, an anti-vibration switch 117, a pitch angular velocity sensor 109, and a yaw angular velocity sensor 110 are used. The anti-vibration switch 117 is a switch for instructing on / off of the camera shake correction system. When the on-operation is performed, the anti-vibration control unit 115 outputs a voltage generated by the resistor 117a connected to the constant voltage V as an on signal. Is input. The pitch angular velocity sensor 109 is a sensor that detects a swing angular velocity in the pitch direction of the camera body, and this output is amplified by the amplifier 111 and then input to the A / D converter of the image stabilization control unit 115. The yaw angular velocity sensor 110 is a sensor that detects the angular velocity of the camera body in the yaw direction. This output is amplified by the amplifier 112 and then input to the A / D converter of the image stabilization control unit 115.
[0043]
The image stabilization control unit 115 integrates the input angular velocities in the respective directions and converts them into angular displacements. The angular displacements in the respective directions, that is, the swing angles θ in the respective directions, and the focal length f of the optical system (lens group). Accordingly, the movement of the pixel (a distance corresponding to f * tanθ) due to the shake on the image sensor 106 is moved in the direction opposite to the movement direction due to the shake to perform the shake correction.
[0044]
In this camera shake correction system, shake correction is performed by changing a reference position for specifying an image area to be extracted from the imaging screen of the image sensor 106 in accordance with the magnitude of the shake. Specifically, as shown in FIG. 2A, if an area 202 is extracted from the entire imaging screen area 201 on the image sensor 106, the area 202 is as shown in FIG. It is displayed as a full screen 204 and recorded. The position of the screen area 202 to be extracted is changed according to the magnitude according to the shaking, and the position change is performed by changing the position coordinates (V0, H0) of the point 203 forming the reference position of the screen area 202. Is called. The position change range of this point 203 is determined by the horizontal / vertical pixel number difference (hereinafter referred to as surplus pixels) between the entire imaging screen 201 and the screen area 202. That is, when there is no camera shake, the point 203 is held at a preset origin position, and correction is performed by changing the position of the point 203 according to the magnitude and direction of the camera shake with reference to the origin position. Will be done.
[0045]
As a method of extracting the screen area 202, an image of the entire imaging screen 202 is temporarily stored using a field memory, and an enlargement process is performed so that the size of the entire imaging screen 201 is obtained while reading only the image of the area 202. Thus, there are a method of obtaining the full screen 204 and a method of using a high-density, high-pixel type CCD as an image sensor so that the region 202 satisfies the number of scanning lines necessary for a predetermined standard video signal in advance.
[0046]
However, since either method requires an expensive field memory or CCD, in this embodiment, a general-purpose PAL CCD is used for an NTSC standard camera. Since the CCD for PAL has a high pixel density in the vertical direction, in the vertical scanning direction, the CCD driving circuit 116 such as a timing generator is used to calculate the number of lines to be swept at a high speed within the range of extra lines with respect to the NTSC standard. If the position is changed according to the displacement, the position of the vertically cut out image can be changed. Further, regarding the horizontal direction, if the relationship between the write start pixel position and the read start pixel position to the line memory 113 is changed while the line memory 113 and the memory control circuit 114 perform the enlargement process by the aspect ratio, the horizontal direction The screen position can be changed. That is, in the present embodiment, pixel movement in the vertical scanning direction is performed by extracting a desired scanning region by controlling the CCD drive circuit 116 by the image stabilization control unit 115 and performing high-speed sweeping control, and in the horizontal scanning direction. In this pixel movement, the horizontal scanning pixel readout position stored by the line memory 113 and the memory control circuit 114 is changed in accordance with the shake correction pixel movement amount, and an enlargement process corresponding to the aspect ratio is performed. The signal is input to the camera signal processing circuit 108 and subjected to predetermined processing such as color processing to be converted into a video signal of a predetermined standard (NTSC). With such a configuration, an inexpensive electronic camera shake correction system is provided.
[0047]
Next, a processing procedure related to the electronic camera shake correction system by the image stabilization control unit 115 in the present embodiment will be specifically described with reference to FIGS. 3 is a flowchart showing a shake angle calculation process in the electronic camera shake correction system of the imaging apparatus of FIG. 1, and FIG. 4 shows a processing procedure of correction amount calculation and limit amount calculation in the electronic camera shake correction system of the imaging apparatus of FIG. FIG. 5 is a flow chart, FIG. 5 is a diagram showing a characteristic of a cut-off frequency that forms a limiting amount with respect to the correction amount in the electronic image stabilization system of the image pickup apparatus of FIG. 1, and FIG. It is a figure which shows the relationship between a change coefficient and the expansion rate of an electronic zoom.
[0048]
First, the swing angle calculation process will be described with reference to FIG. This process is a fixed-cycle interrupt process, and in this embodiment, the process is executed at a frequency period of 10 times the field frequency, that is, 600 Hz in the NTSC standard. This frequency corresponds to the sampling frequency of the angular velocity signal and the calculation frequency of the angular displacement. An interrupt activation factor for this process may be generated each time a counter that performs an up or down count operation by dividing the oscillation clock counts a count value corresponding to 1 msec, for example. Further, the outputs of the angular velocity sensors 109 and 110 are taken into the A / D converter of the image stabilization control unit 115, but in this example, for the sake of simplicity, the operation mode of the A / D converter is the scan mode, and the A / D is always A / D. It is assumed that the operation is repeated.
[0049]
When the swing angle calculation process is started due to the occurrence of an interrupt activation factor, as shown in FIG. 3, first, in step S301, each angular velocity sensor 109, 110 taken into the A / D converter of the image stabilization control unit 115 is displayed. Are output by A / D sampling and converted into angular velocity signals, and high-pass filter processing with a fixed cutoff frequency is applied to the angular velocity signals. By this filtering process, the DC component is removed from the angular velocity signal, and an AC component angular velocity signal is obtained.
[0050]
In the subsequent step S302, band limiting processing is performed on the angular velocity signal. In this band limiting process, it is possible to variably set the cutoff frequency, and it is possible to perform a desired band limitation by changing the cutoff frequency from a low frequency to a high frequency. The set cutoff frequency is a frequency determined by the flow shown in FIG. 4 described later. During camera work such as panning, the cutoff frequency is used to reduce the camera shake correction capability. Control is performed so as to increase the frequency, and during normal shooting, control is performed so as to decrease the cut-off frequency in order to increase the camera shake correction capability (camera shake removal capability). In addition, this band limiting process is executed in order to prevent unnaturalness in the screen that occurs when the camera collides with the correction end in an attempt to correct a shake larger than the limit of the correctable range.
[0051]
In step S303, integration processing is performed on the band-limited angular velocity signal to calculate an angular displacement. This calculated angular displacement corresponds to the swing angle θ applied to the camera body.
[0052]
Next, the process proceeds to step S304, where the number parameter m indicating the number of times of calculation of the swing angle θ between one field is incremented by 1, and in the subsequent step S305, it is determined whether or not the number parameter m is equal to 10, and the number parameter m is When it is not equal to 10, it is determined that the number of calculation of the swing angle θ between one field has not reached 10, and the process is exited. On the other hand, when the number parameter m is equal to 10, it is determined that the number of calculation of the swing angle θ between one field has reached 10, and the process proceeds to step S306, the number parameter m is initialized to zero, and this process is performed. Exit.
[0053]
In the series of processing in steps S301, S302, and S303, the vertical swing angle is calculated based on the output of the pitch angular velocity sensor 109, and the horizontal swing angle is calculated using the yaw angular velocity sensor 110. Based on the output of.
[0054]
When the swing angle calculation process is executed a predetermined number of times, that is, 10 times, a process for calculating a correction amount and a limit amount according to the calculated swing angle θ is executed. This process is executed after the swing angle calculation process is executed 10 times and started in the next field, that is, in the current field, after the swing angle calculation process is completed.
[0055]
In this process, first, in step S401, the process waits until the number of times parameter m becomes zero. When the number of times parameter m becomes zero, it is determined that the swing angle calculation process has been executed ten times, and the process proceeds to step S402. The correction amount is calculated from the swing angle θ in each direction calculated in step S303 and the focal length f of the optical system. Here, the correction amount is represented by f * tan θ.
[0056]
Next, the process proceeds to step S403, and target position coordinates (V0, H0) indicating the cutout position are calculated. The target position coordinates (V0, H0) are obtained by the following equations (3) and (4), and the number of pixels to be moved is obtained by blur correction.
[0057]
V0 = vertical origin position ± number of moving pixels for correcting the pitch angle in the pitch direction
= Vertical origin position ± (-1) * Pitch correction amount / Vertical pixel size (3)
H0 = horizontal origin position ± number of moving pixels for correcting yaw angle
= Horizontal origin position ± (-1) * Yaw correction amount / Horizontal pixel size (4)
In subsequent step S404, a process of normalizing the correction amount calculated in step S402 in the maximum correction range is performed. In this process, the normalized correction amount is calculated based on the following equations (5) and (6).
[0058]
Pitch normalization correction amount = (Pitch correction amount / vertical pixel size / vertical surplus pixel number
/ 2) * 100 (%) (5)
Yaw normalized correction amount = (Yaw correction amount / horizontal pixel size / horizontal surplus pixel number
/ 2) * 100 (%) (6)
Here, if a 582V * 752H CCD is used for the image sensor 106 and a vertical 485 line of the NTSC standard is cut out, the horizontal extraction pixel is 627H from the aspect ratio. Therefore, the number of surplus pixels is 97V * 125H, and the correction direction is positive or negative depending on the direction of camera shake, so that normalization is performed with 1/2 of the number of surplus pixels.
[0059]
Next, the process proceeds to step S405, and a limit amount for limiting the camera shake correction capability is calculated based on the calculated standardized correction amount. The limit amount calculated here is a frequency corresponding to the cutoff frequency controlled by the band limiting process in step S302. As shown in FIG. 5, the limit amount, that is, the cut-off frequency has a characteristic that changes as a function of the square of the normalized correction amount. Here, the horizontal axis of FIG. 5 indicates the normalized correction amount, and 100% is the case where correction is performed using all ½ of the number of surplus pixels which is the maximum correction limit. The vertical axis represents the cut-off frequency for band limitation, which is a parameter for the limit amount. Since this cutoff frequency has a characteristic that changes as a function of the square of the normalized correction amount, as in the conventional example, in order to prevent a phenomenon in which a captured image is disturbed due to a large swing angle and collision with the correction end. In addition, the cut-off frequency can be sharply increased as the correction ratio is closer to the maximum correction limit.
[0060]
In the present embodiment, the limit amount characteristic is set to be changed according to the magnification of the electronic zoom. Specifically, when the electronic zoom is off, that is, when the magnification of the electronic zoom is 1, the characteristic curve 501 representing the cutoff frequency shown in FIG. 5 is selected. On the other hand, when the magnification of the electronic zoom is double, the characteristic curve 502 of the cutoff frequency shown in FIG. 5 is selected. This characteristic curve 502 is represented by a square function of {2 * (normalization correction amount)}, and has a characteristic that the cutoff frequency becomes maximum when the normalization correction amount is 50%. As described above, as the enlargement ratio of the electronic zoom is sequentially increased from one time, a plurality of characteristic curves indicating characteristics in which the cutoff frequency is increased with a small normalized correction amount are prepared in association with the enlargement ratio of the electronic zoom, By selecting the corresponding characteristic curve according to the enlargement ratio of the electronic zoom, the limit amount characteristic according to the magnification of the electronic zoom is changed. In this embodiment, instead of preparing by storing a plurality of characteristic curves in the memory in advance, an equation that can define each characteristic curve is prepared, and the characteristic of the cut-off frequency is electronically converted using this equation. It is set to change according to the zoom magnification. An equation for defining each characteristic curve is expressed by the following equation (7).
[0061]
Change characteristic amount = characteristic change coefficient * predetermined characteristic when electronic zoom is OFF (7)
However, the specified characteristics are (normalized correction amount) ⁿ It is assumed that it is expressed by a function (n = 1, 2, 3,...). Further, the characteristic change coefficient is a coefficient having a characteristic that linearly changes in proportion to the enlargement ratio of the electronic zoom, as shown in FIG. In the example of FIG. 6, the characteristic change coefficient is proportional to the enlargement ratio of the electronic zoom at a ratio of 1: 1, but is not limited to this. It is desirable to determine the slope of the straight line representing the characteristic change coefficient so that more natural camera work is possible from the size (which changes depending on the magnification of the optical zoom) and the screen movement speed during panning.
[0062]
Thus, when the cut-off frequency (limit amount) is calculated, this cut-off frequency is set at the time of the next band limit process (step S302 above). Here, when the calculated cutoff frequency is large, the effect of camera shake correction is reduced with respect to shaking of the camera shake frequency equal to or lower than the cutoff frequency.
[0063]
Next, the process proceeds to step S406, and a command for instructing the target position coordinates (V0, H0) calculated in step S403 as a cut-out position is output to the CCD drive circuit 116 and the memory control circuit 114, and to prepare for the next field. Returning to step S401 again, the frequency parameter m is monitored.
[0064]
As described above, in this embodiment, the amount of correction, that is, the cut-off frequency is set so as to change according to the predetermined characteristic, and the characteristic is changed according to the enlargement ratio of the electronic zoom function. However, switching that restricts is not a discontinuous switching that changes on and off like a switching by threshold comparison, but a switching that changes continuously. In addition, an optimum limit can be applied to the optimum panning speed (camera operation slower than when the focal length is set to the tele end) when the screen is enlarged by electronic zoom. Therefore, a smooth panning operation and natural camera work can be performed, and natural shooting can be performed with any camera work.
[0065]
In this embodiment, the configuration using the PAL CCD 106, the line memory, and the 113 is shown. However, it can be corrected by controlling the position of the extracted image using the field memory. Not too long. It is also possible to perform correction using a large or ultra-high pixel type CCD that does not require enlargement control, or an optical correction means.
[0066]
In this embodiment, an angular velocity sensor is used as the shake detection means. However, instead of this, an acceleration sensor may be used to detect the shake. In this case, one extra integration process is required in the image stabilization control unit 115 or outside.
[0067]
Furthermore, in the present embodiment, the integration process for calculating the swing angle using the output of the angular velocity sensor is executed by software, but it can also be configured using hardware such as an integrator.
[0068]
Furthermore, in the present embodiment, the correction amount is limited by changing the cutoff frequency, but can also be limited by changing the correction gain.
[0069]
Furthermore, in the present embodiment, it has been described that the image enlargement by the electronic zoom is started after the optical zoom reaches the tele end. However, the electronic screen enlargement is performed regardless of the optical zoom magnification. It is also possible to set the operation so as to limit the correction amount. In particular, it works effectively when it has a so-called telecon or instant zoom function that instantly activates an electronic zoom at a predetermined magnification.
[0070]
【The invention's effect】
As explained above, Of the present invention According to the imaging device ,Circle Smooth panning operation and natural camera work can be performed, and natural shooting can be performed with any camera work.
[0071]
Also Depending on the enlargement rate set in the electronic enlargement means by the characteristic changing means When the electronic enlargement means is off, expressed as a function with a positive integer power of the correction amount as a variable Since the characteristic is linearly changed, even when the screen is smoothly enlarged by the electronic enlargement means, the characteristic can be changed smoothly, and the threshold value generated in the control for setting the threshold value and switching the limit amount It is possible to eliminate the difference in the smoothness of the panning operation due to the disturbance of the front and rear boundary switching screens and the difference in the angle of view within the region controlled by the same limit amount.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of an imaging apparatus of the present invention.
2 is a diagram illustrating an image extraction state from an image sensor of the image pickup apparatus of FIG. 1;
3 is a flowchart showing a shake angle calculation process in the electronic camera shake correction system of the imaging apparatus of FIG. 1;
4 is a flowchart illustrating a processing procedure of correction amount calculation and limit amount calculation in the electronic camera shake correction system of the imaging apparatus of FIG. 1;
5 is a diagram illustrating a characteristic of a cutoff frequency that forms a limit amount with respect to a correction amount in the electronic camera shake correction system of the imaging apparatus of FIG. 1;
6 is a diagram illustrating a relationship between a characteristic change coefficient for changing the characteristic of the cutoff frequency in FIG. 5 and an enlargement ratio of the electronic zoom. FIG.
FIG. 7 is a block diagram illustrating a configuration of a conventional imaging device.
8 is a flowchart showing a processing procedure of an image stabilization control system in the imaging apparatus of FIG.
9 is a diagram illustrating a characteristic of a cut-off frequency forming a limit amount with respect to a correction amount in the image stabilization control system of the image pickup apparatus of FIG.
10 is a diagram illustrating a relationship between a maximum shift movement amount and a maximum correction value of the shift lens 704 of the imaging apparatus in FIG.
[Explanation of symbols]
102 Zoom lens
105 Focus lens
106 Image sensor
108 Camera signal processing circuit
109 Pitch angular velocity sensor
110 Yaw angular velocity sensor
115 Anti-vibration control unit
117 Anti-vibration switch

Claims

光学像を電気信号に変換して画像信号を生成する撮像手段と、
前記撮像手段で生成された前記画像信号から該画像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段と、
前記撮像手段の揺動の大きさを検出する検出手段と、
前記検出手段により検出された揺動の大きさに応じて前記画像信号の生成に関する補正動作を行う補正手段と、
前記補正手段の前記補正動作に用いられる補正量を算出する補正量算出手段と、
前記算出された補正量に応じて前記補正手段の前記補正動作に制限をかける制限手段と、
前記補正量の変化に応じて、前記制限手段による前記補正動作の制限に関する制限量を前記補正量の正の整数乗を変数とする関数で表される特性となるように、前記電子拡大手段オフ時の特性を決定する制限量決定手段と、
前記電子拡大手段に設定された前記拡大率に応じて前記特性を線形的に変更する特性変更手段とを設けたことを特徴とする撮像装置。An imaging means for generating an image signal by converting an optical image into an electrical signal;
Electronic enlargement means for electronically enlarging a part of an image indicated by the image signal from the image signal generated by the imaging means to a set enlargement ratio;
Detecting means for detecting the magnitude of swinging of the imaging means;
Correction means for performing a correction operation related to generation of the image signal in accordance with the magnitude of the swing detected by the detection means;
Correction amount calculation means for calculating a correction amount used for the correction operation of the correction means;
Limiting means for limiting the correction operation of the correction means according to the calculated correction amount;
According to the change in the correction amount, the electronic enlargement unit is turned off so that the restriction amount related to the restriction of the correction operation by the restriction unit has a characteristic represented by a function having a positive integer power of the correction amount as a variable. Limit amount determining means for determining the characteristics of time ,
Imaging apparatus is characterized by providing a characteristic changing means for linearly changing the pre Kitoku property in accordance with the magnification set in the electronic enlargement means.

光学像を電気信号に変換して画像信号を生成する撮像手段と、
前記撮像手段で生成された前記画像信号から該画像信号が示す画像の一部を設定された拡大率に電子的に拡大する電子拡大手段と、
前記撮像手段の揺動の大きさを検出する検出手段と、
前記検出手段により検出された揺動の大きさに応じて前記画像信号の生成に関する補正動作を行う補正手段と、
前記補正手段の前記補正動作に用いられる補正量を、前記撮像手段の焦点距離と前記補正手段の最大補正範囲とで規格化しながら決定する補正量決定手段と、
前記決定された補正量に応じて前記補正動作に制限をかける制限手段と、
前記決定された補正量に応じて、前記制限手段による前記補正動作の制限に関する制限量を前記補正量の正の整数乗を変数とする関数で表される特性となるように、前記電子拡大手段オフ時の特性を決定する制限量決定手段と、
前記電子拡大手段に設定された前記拡大率に応じて前記特性を線形的に変更する特性変更手段とを設けたことを特徴とする撮像装置。An imaging means for generating an image signal by converting an optical image into an electrical signal;
Electronic enlargement means for electronically enlarging a part of an image indicated by the image signal from the image signal generated by the imaging means to a set enlargement ratio;
Detecting means for detecting the magnitude of swinging of the imaging means;
Correction means for performing a correction operation related to generation of the image signal in accordance with the magnitude of the swing detected by the detection means;
A correction amount determination means for determining a correction amount used for the correction operation of the correction means while normalizing with a focal length of the imaging means and a maximum correction range of the correction means;
Limiting means for limiting the correction operation according to the determined correction amount;
In accordance with the determined correction amount, the electronic enlargement means is configured so that the restriction amount related to the restriction of the correction operation by the restriction means has a characteristic represented by a function having a positive integer power of the correction amount as a variable. Limit amount determining means for determining the characteristics at the time of off ,
Imaging apparatus is characterized by providing a characteristic changing means for linearly changing the pre Kitoku property in accordance with the magnification set in the electronic enlargement means.