JP6960238B2 - 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、装置の振れによって生じる画像の像ブレを補正する技術に関するものである。

従来より、撮像装置に搭載される像ブレ補正装置として、次のような方式が知られている。１つとしては、手振れ量に応じてレンズや撮像素子を光軸と垂直な平面上で移動させることにより、像面上での画像の像ブレを抑制する方法である。また、撮像素子を光軸を中心に回転させることでロール回転によって生じる像ブレを補正する方法もある。さらに、撮影光学系と撮像素子を含む鏡筒をカメラの回転振れを打ち消すように回転駆動して像ブレを補正する方法もある。

また、動画撮影においては、電子式補正によって、撮像素子が出力する各撮影フレーム画像に発生する種々の像ブレを補正する方法がある。例えば、特許文献１には、撮影画像の画像変形量を算出し、その画像変形量を打ち消すように画像を変形する方法が開示されている。

また、特許文献２には、ローリングシャッタ歪の補正に関し、撮影者の手振れにより生じた歪を補正する技術が開示されている。特許文献２に記載の装置では、水平方向の手振れを補正するために、撮像素子のラインごとに読出し位置を変更し、垂直方向の手振れを補正するために、読み出すラインの位置を垂直方向に変更している。

特開２０１１−０２９７３５号公報 特開２００６−１８６４８１号公報

ところで、被写体像を結像させる撮像光学系と、撮像光学系を通過した被写体像を撮像する撮像素子とを含む撮像部全体を回転駆動する機構を撮像装置の一部、若しくは外部雲台や電動スタビライザーに組み込んだ像ブレ補正機構による像ブレ補正の方法がある。

このような回転駆動による像ブレ補正機構の場合、３軸分の回転駆動部を有することが望ましく、３軸分の駆動ができれば良好な像ブレ補正の効果を得ることができる。しかしその反面、装置の大型化、消費電力の増大などの問題がある。ここで、構図変更による被写体探索などを行う場合は、必ずしも光軸の回りのロール回転駆動は必要ではなく、パンニングとチルティングの大きな駆動が可能であれば十分である場合もある。その場合、ロール回転駆動を省き、パンニングとチルティングの２軸のみの回転駆動が可能なメカ構成とすることで、装置の大型化や消費電力の増大を防ぐことができる。

しかし、２軸の回転機構しか持たない像ブレ補正装置の場合、２つの軸方向に対する回転振れは補正可能であるが、残りの１軸に対する像ブレ補正は行うことができない課題がある。

例えば、図２（ａ）のように、鏡筒の光軸の方向が、図２（ｂ）のロール回転軸であるＺ軸と一致する場合について考える。この場合、パンニングユニット１０５を駆動することにより、撮像面上での横方向の像ブレ補正は可能であるが、撮像面上での回転方向の像ブレ補正は行うことができない。また、図２（ｃ）のように、鏡筒の光軸の方向が図２（ｂ）のヨー回転軸であるＹ軸と一致する場合、パンニングユニット１０５を駆動することにより、撮像面上での回転方向の像ブレ補正は可能であるが、撮像面上での横方向の像ブレ補正は行うことができない。

本発明は上述した課題に鏡みてなされたものであり、その目的は、２軸の回転機構しか持たない装置において、回転できない軸についても、良好な像ブレ補正効果を得ることができるようにすることである。

本発明に係わる像ブレ補正装置は、被写体像を結像させる撮像光学系により結像された被写体像を撮像する撮像手段を保持する保持手段と、前記保持手段を２軸方向に回転させる回転手段と、装置の振れを検出する振れ検出手段の出力と、前記回転手段を駆動することにより、装置の振れに起因する前記撮像手段の像面上での像ブレを補正する第１の像ブレ補正手段の動き量とに基づいて、前記第１の像ブレ補正手段により像ブレ補正を行った後の像ブレの補正残り量を算出する算出手段と、前記第１の像ブレ補正手段とは異なる方法で、前記像ブレの補正残り量を補正する第２の像ブレ補正手段と、前記回転手段の回転角度と、前記像ブレの補正残り量とに基づいて、前記第２の像ブレ補正手段による、前記撮像手段の像面上での縦横方向の像ブレの補正可能範囲と、前記像面上での回転方向の像ブレの補正可能範囲との割り当てを変更する変更手段と、を備えることを特徴とする。

本発明によれば、２軸の回転機構しか持たない装置において、回転できない軸についても、良好な像ブレ補正効果を得ることが可能となる。

本発明の実施形態における像ブレの定義を説明するための図。 本実施形態に係わるカメラを模式的に示す図。 第１の実施形態におけるカメラの構成を示す図。 第１の実施形態における振れ補正処理を示すフローチャート。 第１の実施形態における制御部のブロック図。 第１の実施形態における軸の定義を説明する図。 ピンホールカメラモデルを説明する図。 第１の実施形態における画像変形量算出部のブロック図。 第１の実施形態における回転軸変換の説明図。 第１の実施形態におけるチルト角度の変化に対する補正比率の変化を表す図。 第１の実施形態における並進補正量算出部のブロック図。 第１の実施形態におけるあおり補正量算出部のブロック図。 第１の実施形態における回転補正量算出部のブロック図。 第２の実施形態における画像変形量算出部のブロック図。 第２の実施形態におけるローリングシャッタ歪補正量算出部のブロック図。 第２の実施形態における回転ローリングシャッタ歪補正量算出部のブロック図。 第３の実施形態における画像変形量算出部のブロック図。 第４の実施形態における撮像装置の構成を示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。ここで、本発明の実施形態における像ブレの定義について説明する。撮像装置に加えられる振動を「振れ」とし、撮像装置に加えられた振れによって発生する撮像画像の変形を「像ブレ」とする。つまり、本発明の実施形態においては、図１（ａ）乃至図１（ｆ）に示すように、並進（水平・垂直）、回転、あおり（水平・垂直）、拡大縮小、せん断の各変形成分の総称を「像ブレ」と呼ぶ。

（第１の実施形態）
図２は、本発明の撮像装置の第１の実施形態としてのカメラ１０１を模式的に示す図である。図２（ａ）に示すカメラ１０１には、電源スイッチ、カメラ操作を行うことができる操作部材などが設けられている。撮像を行う撮像光学系としての撮影レンズ群や撮像素子を一体的に含む鏡筒１０２は、カメラ１０１に取り付けられている。そして、カメラ１０１は、鏡筒１０２を固定部（本体部）１０３に対して回転駆動（回転可能）できる機構を備えている。

チルト回転ユニット１０４は、鏡筒１０２を図２（ｂ）に示すピッチ方向に回転駆動することができるモーター駆動機構を備え、パン回転ユニット１０５は、鏡筒１０２を図２（ｂ）に示すヨー方向に回転駆動することができるモーター駆動機構を備える。すなわちカメラ１０１は、鏡筒１０２を２軸方向に回転駆動する機構を有する。図２（ｂ）に示す各軸は、固定部１０３の位置に対してそれぞれ定義されている。角速度計１０６は、カメラ１０１の固定部１０３に実装される。

図３は本実施形態のカメラ１０１の全体構成を示すブロック図である。図３において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御するとともに、そのときの焦点距離を検出（焦点距離検出）する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。撮像部２０５は撮像素子を備え、各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像データとして画像処理部２０６に出力する。なお、ズームユニット２０１、フォーカスユニット２０３、撮像部２０５は、鏡筒１０２内に配置されている。

画像処理部２０６はアナログ画像データをＡ／Ｄ変換して得られたデジタル画像データに対して、歪曲補正、ホワイトバランス調整、色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。更に、ＮＴＳＣやＰＡＬなどのフォーマットに準拠したビデオ信号（映像信号）に変換して画像メモリ２０７に供給する。画像変形部２０８は、制御部２１３で算出された画像変形量に基づいて、画像メモリ２０７に格納された画像信号を変形して出力し、この変形された画像信号を画像記録部２０９が不揮発性メモリなどの記録媒体に記録する。

鏡筒回転駆動部２１２は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動し、鏡筒１０２をチルト方向とパン方向に回動させる。装置揺れ検出部２１０は、例えば、カメラ１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６を内蔵する。

操作部２１１はシステムを操作するために設けられた操作部材で、電源ボタンやカメラの設定を変更できるボタン等を備える。電源ボタンが操作されると、システム全体に用途に応じて電源が供給され、カメラ１０１が起動される。制御部２１３はカメラ１０１全体を制御する。

図４は、本実施形態のカメラ１０１における、カメラの振れに起因して発生する像ブレの補正ルーチンを説明するフローチャートである。このフローはカメラの電源がオンされるとスタートし、所定のサンプリング周波数で繰り返される。

操作部２１１の電源ボタンが操作されると、まずステップＳ３０１において、固定部１０３に設置された角速度計１０６から、３軸の角速度出力の取り込みを行い、ステップＳ３０２に進む。

ステップＳ３０２では、鏡筒回転駆動部２１２により、チルト回転ユニット１０４とパン回転ユニット１０５それぞれに設置された回転角度を取得できるエンコーダ出力から、パン／チルトの現在の角度位置の取り込みを行い、ステップＳ３０３に進む。

図５は、パン／チルト回転補正量と電子式像ブレ補正量を算出するためのブロック構成を示す図である。角速度計１０６は、図２に示すようにカメラ固定部１０３に配置されており、パン回転ユニット１０５の回転軸と角速度計１０６のヨー方向の回転軸は一致している。よって、角速度計１０６の出力のヨー角速度の低周波成分をＨＰＦ（高域通過フィルタ）でカットした後に積分処理により角度変換することで、パン方向（ヨー方向）の振れ補正角度を算出することができる。そして、その振れ補正角度に基づいてパン回転ユニット１０５を回転駆動することで、パン方向の振れ補正を行うことができる。よって、鏡筒回転駆動部２１２のパン回転部４０７の目標角度を算出するために、ステップＳ３０３では角速度計１０６のヨー角速度出力のみから、パン方向の振れ補正目標角度を算出し、ステップＳ３０４に進む。

ステップＳ３０４では、角速度計１０６のピッチ角速度とロール角速度の出力と、ステップＳ３０２で取得した現在のパン角度位置情報とから、チルト方向の振れ補正目標角度を算出する。チルト方向については、角速度計１０６がカメラ固定部１０３に実装されているので、パン回転ユニット１０５の回転角度によって、チルト方向の振れ補正を行うための補正量は変化する。

角速度計１０６の位置、即ちカメラ固定部１０３の位置で、図２（ｂ）のように定義される軸方向の角速度を検出できるとする。パン回転が正位置(図６（ａ）、Ｘ軸が光軸に対して常に垂直方向に位置するとき)の場合は、チルト方向の振れ補正を行うことができるチルト回転ユニットの軸は、図２（ｂ）のピッチ軸と一致する。そのため、ピッチ角速度出力のみから、チルト振れ補正目標角度を算出する。また、パン回転角度が正位置から９０度回転（図６（ｂ）、Ｚ軸が光軸に対して常に垂直方向に位置するとき）の場合は、チルト回転ユニットの軸は、図２（ｂ）のロール軸と一致するので、ロール角速度出力のみから、チルト振れ補正目標角度を算出する。その間の角度にパン回転角度が位置する場合は、パン回転角度に基づいて、ピッチ角速度とロール角速度を合成し、チルト回転ユニット１０４の軸への回転方向変換を行って、チルト方向の角速度を算出する。

図５のチルト方向角速度回転軸変換部４０３内での計算式は、式（１）で表される。

Ｗｔｌ＝Ｗｘ・ｃｏｓθｙ＋Ｗｚ・ｓｉｎθｙ …（１）
（Ｗｔｌ：チルト方向角速度、Ｗｘ：ピッチ振れ補正角度、Ｗｚ：ロール振れ補正角度、θｙ：正位置に対するパン回転角度）
以上のように算出されたチルト方向角速度を用いて、チルト振れ補正角度算出部４０４は、チルト回転部４０８がチルト回転ユニット１０４を駆動して振れ補正を行うための、チルト振れ補正目標角度を算出する。チルト方向角速度Ｗｔｌに対して、ＨＰＦで低周波成分をカットした後に積分処理で角度に変換することで、チルト方向の振れ補正目標角度を算出可能である。

ステップＳ３０４では、以上の方法で、角速度計１０６からのピッチ角速度及びロール角速度と、パン回転ユニット１０５からの現在のパン角度とから、チルト方向振れ補正目標角度が算出され、ステップＳ３０５へ進む。

ステップＳ３０５からステップＳ３１５において、画像変形による電子式の振れ補正を行うための、画像変形量算出処理を行うが、まず撮影画像の画像変形量を算出し、その画像変形量を打ち消すように画像を変形する方法について、先に説明する。

画像変形部２０８は、例えば射影変換等の幾何変換を用いて画像変形を行う。具体的には、変形前の画像中の画素座標を（Ｘ０，Ｙ０）（ただし、撮像光学系の光軸に対応した撮像画像の中心を原点とする）とし、変形後の画像中の画素座標を（Ｘ１，Ｙ１）として、同次座標で表現すると、式（２）のように記述することができる。

式（２）の左辺と右辺は同値関係（左辺または右辺に任意の倍率をかけても意味が変わらない）を示し、通常の等号では式（３）、式（４）のようになる。

また式（２）において、３×３の行列は一般的に射影変換行列と呼ばれ、行列の要素ｈ１〜ｈ８は、画像変形量算出部４０９が設定する。なお、以下の説明では、画像変形は、射影変換を用いることとして説明を行うが、例えばアフィン変換等、如何なる変形方法を用いても良い。

次に、画像変形量算出部４０９によって行われる処理の詳細について説明する。画像変形量演算部４０９は、撮像面上の振れ残り角度と、撮像光学系の焦点距離とを用いて画像変形量を算出する。具体的には、式（２）の射影変換行列を算出する。

ここで、振れ残り角度と撮像光学系の焦点距離を用いた射影変換行列の算出方法について、以下に説明する。図７（ａ）は、撮像装置による被写体の撮像面への投影を、ピンホールカメラモデルで図示したものである。図７（ａ）において、ＸＹＺ空間座標の原点（０，０，０）は、ピンホールカメラモデルにおけるピンホール位置である。撮像面は、ピンホール位置よりも後ろ側に配置すると、撮像面に投影される画像が倒立してしまうため、像が倒立せずに扱いやすいように、図７（ａ）では仮想的にピンホール位置よりも前に撮像面Ｉが位置するように図示している。

ＸＹＺ空間座標の原点（０，０，０）と撮像面ＩとのＺ軸方向の距離は、焦点距離ｆとなる。撮像面Ｉ上の座標は、ｕｖ平面座標として定義し、ｕｖ平面座標の原点（０，０）は、ＸＹＺ空間座標における（０，０，ｆ）と一致しているものとする。ｕｖ平面座標上の座標Ｐ（ｕ，ｖ）は、ＸＹＺ空間座標上の被写体Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉに投影されたときの座標である。このとき、座標Ｐは式（５）で表すことができる。

式（５）は、同次座標を用いると、式（６）で表すことができる。

式（６）の３×４の行列の４列目の要素は、本実施形態の説明においては０のままとするので、式（６）は式（７）としても同じである。

図７（ｂ）は、図７（ａ）のピンホールカメラモデルを、Ｒ回転した状態を示した図である。図７（ｂ）においては、図７（ａ）のＸＹＺ空間座標をＲ回転した座標をＸ’Ｙ’Ｚ’空間座標としている。Ｘ’Ｙ’Ｚ’空間座標の原点（０，０，０）は、ＸＹＺ空間座標と一致しているものとする。つまり図７（ｂ）は、撮像装置に撮影光軸の方向である第３の方向回りの回転振れＲが生じ、撮像装置の平行移動である平行振れは生じていない状態を、ピンホールカメラモデルで単純化して表現しているものである。

図７（ｂ）のピンホールカメラモデルにおいて、撮像面Ｉ’は、図７（ａ）と同様、原点（０，０，０）からの距離が焦点距離ｆの位置に配置されている。撮像面Ｉ’上の座標は、ｕ’ｖ’平面座標として定義し、ｕ’ｖ’平面座標の原点（０，０）は、Ｘ’Ｙ’Ｚ’空間座標における（０，０，ｆ）と一致しているものとする。ｕ’ｖ’平面座標上の座標Ｐ’（ｕ’，ｖ’）は、Ｘ’Ｙ’Ｚ’空間座標上の被写体Ａ’（Ｘ’，Ｙ’，Ｚ’）が、撮像面Ｉ’に投影されたときの座標である。なお、図７（ａ）の被写体Ａと図７（ｂ）の被写体Ａ’の世界座標系での位置は、同じ位置である（すなわち、被写体が移動していない）ものとする。このとき座標Ｐ’は、同次座標を用いると、式（７）と同様に式（８）で表すことができる。

また、被写体Ａと被写体Ａ’の世界座標系での位置は同じであるため、両者の座標の関係は、（式９）で表すことができる。

更に、式（７）、式（８）を変形して式（９）に代入すると、式（１０）を導出することができる。

式（１０）は、ピンホールカメラがＲ回転する前後での、撮像面上での被写体像の位置の対応関係を示したものである。即ち、撮像装置にＲ回転の振れが加わったとき、撮像面上での画素がどこからどこへ移動するかを示す式となる。よって、像ブレ量の補正を行うためには、撮像装置に振れが加わったときの画素移動量を元に戻す変換を行えばよい。すなわち式（１１）に従って、撮像装置にＲ回転の逆の回転を加える。

よって、撮像装置に加わる振れをＲ、撮像光学系の焦点距離をｆとし、像ブレ補正を行うための射影変換行列をＨとすると、Ｈは式（１２）で表される。

なお、撮像装置に加わった光軸に垂直な平面上の第１の方向回りの振れであるＹＡＷ方向の角度振れ量をθｙ、光軸に垂直な平面上の第１の方向と直交する方向である第２の方向回りの振れであるＰＩＴＣＨ方向の角度振れ量をθｐ、ＲＯＬＬ方向の角度振れ量をθｒとすると、Ｒは式（１３）で表すことができる。

式（１２）のＨは、式（１４）を用いることにより、並進ｔ→、拡大縮小ｓ(定数)、回転ｒ（行列）、せん断ｋ（行列）、あおりｖ→の各変形成分に分解することができる。

ここで、
ｔｘ … 水平並進量
ｔｙ … 垂直並進量
θ … 回転角
ｖｘ … 水平あおり量
ｖｙ … 垂直あおり量
α … せん断の非等方倍率
φ … せん断の方向角
である。

式（１２）、式（１３）、式（１４）より、各変形成分に対する方程式を解くと、式（１５）〜式（２２）となる。

ｔｘ＝ｆ（tanθｙcosθｒ／cosθｐ＋tanθｐsinθｒ） …（１５）
ｔｙ＝ｆ（−tanθｙsinθｒ／cosθｐ＋tanθｐcosθｒ） …（１６）
θ＝−θｒ …（１７）
ｖｘ＝−tanθｙ／ｆ …（１８）
ｖｙ＝−tanθｐ／（ｆcosθｙ） …（１９）
ｓ＝（cosθｙcosθｐ）^-3/2 …（２０）
α＝（cosθｐcosθｙ）^1/2 …（２１）
tanφ＝sinθｙsinθｐ／（cosθｙcosθｐ）^1/2 …（２２）
ここで、撮像装置に加わる振れ角度がγのときに、その値が大きくないとするならば、ｃｏｓγ＝１、ｓｉｎγｔａｎγ＝０、ｓｉｎγｓｉｎγ＝０と近似することができ、式（１５）〜式（２２）は式（２３）〜式（３０）で表すことができる。

ｔｘ＝ｆtanθｙ …（２３）
ｔｙ＝ｆtanθｐ …（２４）
θ＝−θｒ …（２５）
ｖｘ＝−tanθｙ／ｆ …（２６）
ｖｙ＝−tanθｐ／ｆ …（２７）
ｓ＝１ …（２８）
α＝１ …（２９）
tanφ＝０ …（３０）
以下、図８乃至図１３を用いて、本実施形態における画像変形量算出部４０９の構成とその動作について具体的に説明する。

本実施形態においては、画像変形部２０８で行う画像変形の各変形成分の内、せん断、拡大縮小の成分を図示しない。しかし式（２０）乃至式（２２）或いは式（２８）乃至式（３０）に従って、せん断、拡大縮小の成分に対する画像変形を行う構成にしてもよい。

まず、図４のステップＳ３０５において、固定部１０３に取り付けられた角速度計１０６により得られた３軸の角速度の出力を、撮像素子を含む鏡筒上の軸に回転変換した角速度を算出する。

カメラ固定部１０３に対する軸を図９（ａ）のように定義する。Ｘ軸に対する回転方向（ピッチ）の角速度をＷｘ、Ｙ軸に対する回転方向（ヨー）の角速度をＷｙ、Ｚ軸に対する回転方向（ロール）の角速度をＷｚとする。また、カメラ回転部である鏡筒１０２に対する軸を図９（ｂ）のようにＸ’、Ｙ’、Ｚ’と定義し、Ｘ’軸に対する回転方向の角速度をＷｘ’、Ｙ’軸に対する回転方向の角速度をＷｙ’、Ｚ’軸に対する回転方向の角速度をＷｚ’とする。また、Ｙ軸をＺ軸に向けて傾けた角度をθｘ、Ｚ軸をＸ軸に向けて傾けた角度をθｙ、Ｘ軸をＹ軸に向けて傾けた角度をθｚとする。

θｘ、θｙ、θｚはそれぞれ、固定部１０３と回転部（鏡筒）１０２との差分の角度であるが、チルト方向とパン方向の２軸にしか駆動できないので、２軸以外の方向のθｚは常に０となる。
ここで、３次元空間でのＸ軸、Ｙ軸、Ｚ軸回りの回転行列は、以下の式（３１）〜式（３３）で表すことができる。

図８の回転軸変換部５０４では、固定部１０３に配置された角速度計１０６の出力を、鏡筒の回転角度分を考慮して、撮像面基準の軸定義による角速度に変換する。角速度計が検出できるのは、Ｘ軸周りの回転角速度Ｗｘ、Ｙ軸周りの回転角速度Ｗｙ、Ｚ軸周りの回転角速度Ｗｚである。

固定部１０３の角速度Ｗ（式（３４））を、回転した鏡筒の角速度Ｗ’（式（３５））に変換するには式（３６）を用いる。

以上の方法により、固定部１０３で検出された３軸の角速度を、パン／チルト角度を用いて、鏡筒（回転部）１０２の３軸（ＰｉｔｃｈＩｍ、ＹａｗＩｍ，ＲｏｌｌＩｍ）の角速度に変換することができる。

次に図４のステップＳ３０６において、パンチルト現在位置４０１から得たチルト角度を微分器５０１により微分処理することで、チルト角速度（ＴｉｌｔＳｐｄ）を算出する。また、同様にパン角度を微分器５０２により微分処理することで、パン角速度（ＰａｎＳｐｄ）を算出する。そして、ステップＳ３０７に進む。

ステップ３０７では、回転軸変換部５０３により、パン角速度（ＰａｎＳｐｄ）をチルト角度を用いて、鏡筒（回転部）１０２の軸におけるメカ補正角速度に変換する。具体的には、パン角度を微分したパン角速度Ｗｐａ（ＰａｎＳｐｄ）を、チルト角度θｔｌを考慮して、撮像面基準の軸定義によるＹａｗ角速度Ｗｙａ（ＹａｗＰｎ）、Ｒｏｌｌ角速度Ｗｒｌ（ＲｏｌｌＰｎ）に変換する。このとき、チルト回転軸が撮像面上のピッチ回転軸と一致するため、ピッチ回転軸は無視してよく、式（３７）が得られる。

次にステップＳ３０８では、チルト回転ユニット１０４の駆動角速度（ＰｉｔｃｈＴｌｔ）を算出する。このとき、チルト方向の駆動は像面上での方向には影響されない（常に縦ブレとなる）ので、メカ補正ピッチ角速度（ＰｉｔｃｈＴｌｔ）は、チルト角速度（ＴｉｌｔＳｐｄ）をそのまま設定する。

ステップＳ３０９では、減算器５０５，５０６，５０７により、鏡筒１０２の回転軸に変換された各角速度（ＰｉｔｃｈＩｍ、ＹａｗＩｍ、ＲｏｌｌＩｍ）から、メカ補正角速度（ＰｉｔｃｈＴｌｔ、ＹａｗＰｎ、ＲｏｌｌＰｎ）をそれぞれ減算することで、メカ補正残り角速度（ＰｉｔｃｈＥｒｒ、ＹａｗＥｒｒ、ＲｏｌｌＥｒｒ）をそれぞれ算出する。

ステップＳ３１０では、撮像光学系のズーム位置から焦点距離を算出し、ステップ３１１に進む。ステップＳ３１１では、パンチルト現在位置４０１からの現在のチルト角度に基づいて、制限値算出部５０８により、画像変形による各補正の補正制限値をそれぞれ算出する。

ここで、制限値算出部５０８について、詳細に説明する。画像変形によって電子的に像ブレを補正するためには、出力画像のサイズに対して、各変形に必要な余剰画素を確保しておく必要がある。ここで、図２に示すようなパン方向とチルト方向の２軸に回転駆動可能な鏡筒を有する場合、各振れ成分に着目すると、画像の縦ブレや縦あおりは、チルト回転ユニット１０４を駆動することにより、撮像面上に入射する前までで補正可能である。よって、縦方向の電子的な像ブレ補正の可動範囲（補正可能範囲）は大きくは必要ない。

しかし、パン回転ユニット１０５を駆動して振れ補正を行う場合は、チルト角度によって、撮像面上での振れに対する影響が異なる。例えば、図２（ａ）のように、鏡筒の光軸の方向が、図２（ｂ）のロール回転軸であるＺ軸と一致する場合、パンユニット１０５を駆動することで、撮像面上での横方向の（並進方向、あおりの）像ブレ補正は可能である。しかし、撮像面上での回転方向の像ブレを補正することはできない。また、図２（ｃ）のように、鏡筒の光軸の方向が図２（ｂ）のヨー回転軸であるＹ軸と一致する場合、パンユニットを駆動することで、撮像面上での回転方向の像ブレ補正は可能である。しかし、撮像面上での横方向の（並進、あおりの）像ブレを補正することはできない。

画像の横方向のブレやあおり、または回転ブレは、チルトユニットの角度によって変化する。式（３７）から撮像面基準の軸定義によるＹａｗ角速度Ｗｙａ（ＹａｗＰｎ）、Ｒｏｌｌ角速度Ｗｒｌ（ＲｏｌｌＰｎ）は式（３８）、式（３９）で表される。

Ｗｙａ＝Ｗｐａ・cosθｔｌ …（３８）
Ｗｒｌ＝Ｗｐａ・sinθｔｌ …（３９）
また、ＫｙとＫｒを式（４０）、式（４１）のように定義したとき、チルト角度θtlの変化に対する、ＫｙとＫｒの変化をあらわすグラフは図１０（ａ）のようになる。

Ｋｙ＝cosθｔｌ …（４０）
Ｋｒ＝sinθｔｌ …（４１）
よって、パン角速度Ｗｐａ（ＰａｎＳｐｄ）を１００としたとき、チルト角度に対応したＫｙ，Ｋｒの大きさの比率（Ａｙ，Ａｒ）は図１０（ｂ）のようになる。ここで、Ｗｙａは撮像面上での横方向の（並進、あおり）像ブレの影響であり、Ｗｒｌは撮像面上での回転方向の像ブレの影響である。そのため、並進およびあおりに対する電子補正のための補正制限値と、回転に対する電子補正のための補正制限値の割合もチルト角度に応じて、図１０（ｂ）の比率で設定すれば、各振れに対して適切な補正量を確保することができる。

例えば、図２（ａ）のように鏡筒の光軸方向が図２（ｂ）のロール回転軸であるＺ軸と近い角度である場合（チルト回転角度が小さい場合）は、回転に対する電子補正の補正制限値を大きくし、並進およびあおりに対する電子補正の補正制限値を小さく設定する。これにより、メカ的に補正することができない回転方向の電子補正の振れ補正効果を高く設定でき、回転方向に大きいブレが生じた場合においても適切な振れ補正が可能である。また、図２（ｃ）のように、鏡筒の光軸方向が図２（ｂ）のヨー回転軸であるＹ軸と近い角度である場合（チルト回転角度が大きい場合）は、並進およびあおりに対する電子補正の補正制限値を大きくし、回転に対する電子補正の補正制限値を小さく設定する。これにより、メカ的に補正することができない横方向の並進およびあおりに対する電子補正の振れ補正効果を高く設定でき、横方向に大きい振れが生じた場合においても、適切な振れ補正が可能である。以上の方法で、チルト角度から、並進補正制限値、あおり補正制限値、ロール補正制限値を算出し、ステップＳ３１２に進む。

ステップＳ３１２では、ピッチ補正残り角速度（ＰｉｔｃｈＥｒｒ）と焦点距離とに基づいて、縦並進補正量と、縦あおり補正量を算出する。縦並進補正量は、縦並進補正量算出部５０９により算出される。縦並進補正量算出部５０９の内部のブロック構成を図１１に示す。図１１の内部ブロックの動作について説明する。

補正残りの角速度であるＥｒｒ角速度は、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタ（以下、ＨＰＦ）７０３に入力され、角速度データに含まれる低周波数成分が遮断されて高周波数帯域の信号が出力される。焦点距離演算部７０２は、ズームユニット２０１のエンコーダの出力から、撮像光学系の焦点距離を算出し、焦点距離乗算部７０４の演算に用いる焦点距離を設定する。焦点距離乗算部７０４は、ＨＰＦ２０１の出力に、算出された焦点距離ｆを乗算して、センタリング部７０５に供給する。センタリング部７０５は、並進補正のための補正範囲を超えた大きな角度振れが生じたとき、補正量を小さくするような入力値（以下、センタリング量とする）を、焦点距離乗算部７０４の出力に対して加算する処理を行う。積分器７０６は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部７０５からの出力を積分し、飽和防止制御部７０７に供給する。制限値算出部５０８は、前述したとおり、チルト角度位置に従って制限値を算出し、飽和防止制御部７０７に入力する。

飽和防止制御部７０７は、積分器７０６からの出力が、制限値算出部５０８から出力される制限値以上とならないように、積分器７０６からの出力の大きさを制限する制御を行う。また、飽和防止制御部７０７は、積分器７０６からの出力の大きさが制限値に近づいたときに、ＨＰＦ７０３のカットオフ周波数を高域側に変更したり、積分器７０６の時定数を短くしたり、センタリング部７０５のセンタリング量を大きくする等の制御を行う。これによって、積分器７０６からの出力の大きさを制限値に達しにくくすることができ、制限値算出部５０８で制限された補正領域に適した最終的な並進補正量を算出することができ、この並進補正量が画像変形量合成部５１４に入力される。

次に、縦あおり補正量は、縦あおり補正量算出部５１０により算出される。縦あおり補正量算出部５１０の内部のブロック構成を図１２に示す。図１２の内部ブロックの動作について説明する。図１２において、符号８０１から８０５までのブロックは、図１１の符号７０３から７０７までのブロックと処理がほぼ同じであり、焦点距離乗算部７０４が焦点距離除算部８０２に変更されている点のみが異なる。そのため、焦点距離除算部８０２について説明を行い、他のブロックについての説明は省略する。

焦点距離除算部８０２は、ＨＰＦ８０１の出力を、焦点距離演算部７０２によって算出された焦点距離ｆで除算して、センタリング部８０３に供給する。焦点距離ｆで除算するのは、式（２６）、式（２７）のあおりの算出式に基づく。飽和防止制御部８０５の出力は、最終的なあおり補正量となり、画像変形量合成部５１４に入力される。

以上の方法で、ステップＳ３１２において、縦並進補正量と縦あおり補正量が算出されると、ステップＳ３１３に進む。ステップＳ３１３では、ヨー補正残り角速度（ＹａｗＥｒｒ）と焦点距離とから、横並進補正量と、横あおり補正量を算出する。

横並進補正量は、横並進補正量算出部５１１で算出され、横あおり補正量は、横あおり補正量算出部５１２で算出される。内部ブロックについては、図１１、図１２と同じであり、ブロックへの入力が横方向の補正残りの角速度ＹａｗＥｒｒになっているだけで算出方法も同じであるので、説明を省略する。

ステップＳ３１３で、横並進補正量と横あおり補正量が算出されると、ステップＳ３１４に進む。ステップＳ３１４では、ロール補正残り角速度（ＲｏｌｌＥｒｒ）から、回転補正量を算出する。回転補正量は、回転補正量算出部５１３により算出される。回転補正量算出部５１３の内部のブロック構成を図１３に示す。図１３の内部ブロックの動作について説明する。

補正残りの角速度であるＥｒｒ角速度は、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタ（以下、ＨＰＦ）９０１に入力され、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。センタリング部９０２は、撮像素子のロール回転方向に対して、補正しきれない大きな角度振れが生じたとき、センタリング部７０５，８０３と同様に、センタリング量をＨＰＦ９０１の出力に対して加算する処理を行う。積分器９０３は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部９０２からの出力を積分し、飽和防止制御部９０４に供給する。飽和防止制御部９０４は、積分器９０３からの出力の大きさが、制限値算出部９０４から出力される制限値以上とならないように、積分器９０３からの出力を制限する制御を行う。また、飽和防止制御部９０４は、積分器９０３からの出力の大きさが制限値に近づいたときに、ＨＰＦ９０１のカットオフ周波数を高域側に変更したり、積分器９０３の時定数を短くしたり、センタリング部９０２のセンタリング量を大きくする等の制御を行う。これによって、積分器９０３からの出力の大きさを制限値に達しにくくすることができ、振れに対する像ブレ補正の追従性を下げることができる。飽和防止制御部９０４の出力は、最終的な回転補正量となり、画像変形量合成部５１４に入力される。

ステップＳ３１４で回転補正量が算出されると、ステップＳ３１５に進み、画像変形量の合成を行う。画像変形量は、画像変形量合成部５１４において、各並進補正量、あおり補正量、回転補正量を合成することにより算出される。具体的には式（１４）に従って、式（２）の射影変換行列を算出する。このとき、拡大縮小、せん断の変形量は、式（２８）、式（２９）、式（３０）に示した値とする。画像変形量合成部５１４は、算出した射影変換行列の各要素の値を、画像変形部２０８へと出力する。

ステップＳ３１６では、画像変形部２０８で、画像変形量合成部５１４からの出力に基づいて画像変形による像ブレの補正が行われ、ステップＳ３１７に進む。

ステップＳ３１７では、ユーザが操作部２１１を操作することによる、手動でのパン或いはチルト方向への角度変更指示があったか否かを判定する。角度変更指示があった場合は、ステップＳ３１８に進み、手動で設定された目標角度を設定し、ステップＳ３１９に進む。ステップＳ３１７で手動での角度変更指示がなかった場合は、目標角度は前回値に保持して、ステップＳ３１９に進む。

手動によるパン／チルト操作指示は、カメラ１０１に設けられた専用のＳＷ操作によってパン／チルトの目標角度を設定して行ってもよい。あるいは、カメラ１０１と相互通信可能な外部デバイスを有し、外部デバイスからの操作指示によって、カメラ１０１へ目標角度を通知することで目標角度を設定してもよい。例えば、パン方向右回転とパン方向左回転とチルト方向上回転とチルト方向下回転それぞれにリンクしたボタンを持ち、そのボタンが押されている時間によって、目標角度を設定する方法（例えば、時間Ｔ経過毎に目標角度をα度加算していくように設定）などによって設定してもよいし、他の方法でもよい。

ステップＳ３１９では、ステップＳ３０３、ステップＳ３０４でそれぞれ算出されたパン振れ補正目標角度とチルト振れ目標角度、ステップＳ３１８までで算出された手動目標角度とから最終的な目標角度を算出する。鏡筒回転駆動部２１２のパン回転部４０７に指示する最終的な目標角度は、パン振れ補正角度算出部４０２の出力と、操作部２１１からのパン方向手動目標角度とを加算器４０５で加算した値となる。また、チルト回転部４０８に指示する最終的な目標角度は、チルト振れ補正角度算出部４０４と、操作部２１１からのチルト方向手動目標角度とを加算器４０６で加算した値となる。

ステップＳ３２０では、ステップＳ３１９で算出されたパン方向の目標角度と、チルト方向の目標角度とを、それぞれパン回転部４０７、チルト回転部４０８へ出力することで、パンチルト駆動する。これにより、パン方向とチルト方向それぞれの振れ補正を行い、像ブレ補正ルーチンを終了する。この処理は所定サンプリング周期で行われる。

上記のように、第１の実施形態においては、チルト角度に応じて、並進及びあおり振れ補正量の制限値と、回転振れ補正量の制限値の割合を変更し、電子式補正に必要な余剰画素を、その割合に応じて並進及びあおり振れ補正量と回転補正とに振り分ける。これにより、パンチルトメカ駆動のような２軸の回転機構しか持たない撮像装置についても、メカ的に補正できない軸に、補正のための余剰画素を大きくとることで、有限な余剰画素を各像ブレの補正に対して効率的に使用でき、効果的な像ブレ補正を行うことができる。

（第２の実施形態）
第１の実施形態では、電子式の像ブレ補正の内、並進、あおり、回転の補正制限値を、チルト角度に基づいて変更する方法について説明したが、ローリングシャッタ歪補正を含む構成にしてもよい。第２の実施形態においては、ローリングシャッタ歪補正を含む各補正制限値の設定と制御方法について説明する。

近年、デジタルカメラやデジタルビデオカメラのような撮像装置では、撮像素子として、ＣＣＤより消費電力が低いＣＭＯＳセンサが多く用いられるようになってきている。ＣＣＤとＣＭＯＳセンサは、消費電力が異なるだけでなく、その撮影時の露光方式も異なる。ＣＣＤでは１つの撮像画像を撮像する際に、撮像素子の全ての画素の露光タイミング及び露光期間が同一であるのに対し、ＣＭＯＳセンサでは撮像素子を構成するライン毎にシャッタの開閉タイミングが異なり、露光タイミングに差が生じる。ＣＭＯＳセンサのような駆動方式はローリングシャッタ方式と呼ばれる。

このようなローリングシャッタ方式の撮像素子で撮影を行った場合、例えば露光中の被写体の移動、あるいは露光中の撮像装置を把握する撮影者の手ぶれにより、撮像素子のライン毎に被写体像が移動し、撮像画像において歪みが生じることがあった。この歪みが発生する現象は「ローリングシャッタ問題」や「フォーカルプレーン現象」と呼ばれる。特にローリングシャッタ問題による歪みは、メカシャッタを用いる静止画撮影よりも、メカシャッタを用いない動画撮影において、より顕著に現れうる。

上述したローリングシャッタ問題による歪みのうち、撮影者の手振れにより生じた歪みを補正する技術は知られているので、本実施形態においては、その具体的な補正内容についての説明は省略する。ただし、概略的には、手振れによる水平方向の画像の歪を補正するために、ライン毎に読出し位置を変更し、垂直方向の画像の歪を補正するために、読み出すラインの位置を垂直方向に変更することが行われる。

ここで、ローリングシャッタ歪みを補正する方法について説明する。図１４のローリングシャッタ歪み補正の処理部分を含むブロック図を用いて、画像変形量算出部４０９の構成とその動作について説明する。

この第２の実施形態における画像変形量算出部４０９は、図８に示す第１の実施形態における画像変形量算出部のブロック図とは以下の点で異なる。
（１）縦ローリングシャッタ歪補正量算出部１３０２、横ローリングシャッタ歪補正量算出部１３０３、回転ローリングシャッタ歪補正算出部１３０４が追加され、それらの出力が画像変形量合成部１３０５に入力されている。
（２）制限値算出部５０８が、ローリングシャッタ歪補正用の制限値を算出するために、制限値算出部１３０１に変更されている。
（３）画像変形量合成部５１４が、ローリングシャッタ歪補正の入力を含む、画像変形量合成部１３０５に変更されている。

補正残り角速度（ＰｉｔｃｈＥｒｒ、ＹａｗＥｒｒ、ＲｏｌｌＥｒｒ）から、各ローリングシャッタ歪みによる結像位置の移動量、及び参照範囲情報を算出する。具体的には、補正残り揺れ量によって、ローリングシャッタ歪みに対して補正された各画素位置が、メモリのどの画素位置に結像しているのかを算出し、その座標位置の差分を移動量として算出する。また、参照範囲情報は、ローリングシャッタ歪みを補正するための情報である。このように、ローリングシャッタ歪み補正量算出部は、ローリングシャッタ方式による撮像で生じたローリングシャッタ歪みを補正するために用いられるメモリにおける範囲を示す範囲情報及び移動量を算出し、ローリングシャッタ歪み補正を行う。

制限値算出部１３０１においては、第１の実施形態で説明した方法と同様に、チルト角度に応じて、縦及び横のローリングシャッタ歪補正量の制限値と、回転ローリングシャッタ歪補正量の制限値を算出する。

図１０（ｂ）で説明した方法と同様に各制限値を算出する。ここでは、縦及び横のローリングシャッタ歪補正量の比率をＡｙとし、回転ローリングシャッタ歪補正量の比率をＡｒとして制限値を求める。予め用意したローリングシャッタ歪補正用の範囲を、ＡｙとＡｒの比率で分割したものを各ローリングシャッタ歪補正の制限値にすることで、チルト角度に応じて、各振れに対して適切な補正量を確保することができる。

縦ローリングシャッタ歪補正量算出部１３０２、横ローリングシャッタ歪補正量算出部１３０３のローリングシャッタ歪補正量算出方法について、図１５を用いて説明する。縦と横の違いについては、入力信号がＰｉｔｃｈＥｒｒ角速度か、ＹａｗＥｒｒ角速度かの違いのみで、内部の演算は同様の方法で行われる。縦ローリングシャッタ歪補正量算出部１３０２には、ピッチ補正残り角速度（ＰｉｔｃｈＥｒｒ）と、制限値算出部１３０１からの、縦ローリングシャッタ歪補正制限値が入力される。また、横ローリングシャッタ歪補正量算出部１３０３には、ヨー補正残り角速度（ＹａｗＥｒｒ）と、制限値算出部１３０１からの、横ローリングシャッタ歪補正制限値が入力される。

補正残りの角速度であるＥｒｒ角速度は、焦点距離乗算部１４０１に入力される。焦点距離演算部７０２は、ズームユニット２０１のエンコーダの出力から、撮像光学系の焦点距離を算出し、焦点距離乗算部１４０１の演算に用いる焦点距離を設定する。焦点距離乗算部１４０１は、Ｅｒｒ角速度に、焦点距離演算部７０２によって算出された焦点距離ｆを乗算して、積分器１４０２に供給する。積分器１４０２は、任意の周波数帯域でその特性を変更し得る機能を有しており、焦点距離乗算部１４０１からの出力を積分し、飽和防止制御部１４０３に供給する。ここで積分器１４０２は、撮像素子の露光開始とともに０に初期化され、露光期間中の振れ量を算出する。制限値算出部１３０１は、前述したとおりチルト角度位置に従って制限値を算出し、飽和防止制御部１３０１に入力する。

飽和防止制御部１３０１は、積分器１４０２からの出力が、制限値算出部１３０１から出力される制限値以上とならないように、制限値でクランプする。ここで、チルト角度すなわち鏡筒の光軸方向が図２（ｃ）のように、図２（ｂ）のヨー回転軸であるＹ軸と一致する場合、パン回転ユニット１０５を駆動することで、撮像面上での回転方向の像ブレ補正が可能である。しかし、撮像面上での横方向の像ブレ補正は行うことができないので、横方向のローリングシャッタ歪補正効果を高くしたい。この場合、制限値算出部１３０１により算出される制限値が大きくなるようにパラメータが設定される。また、図２（ａ）のように、鏡筒の光軸方向が図２（ｂ）のロール回転軸であるＺ軸と一致する場合、パン回転ユニット１０５を駆動することで、撮像面上での横方向の像ブレ補正は可能である。そのため、横方向のローリングシャッタ歪補正効果が低くなるようにパラメータが設定される。

飽和防止制御部１３０１は、積分器１４０２からの出力の大きさを制限する制御を行う。積分器１４０２の時定数を大きくするとローリングシャッタ歪補正の制御帯域が広がり、時定数を小さくすると制御帯域が狭くなり低周波の制御が弱まることになる。ここで、ローリングシャッタ歪補正の補正範囲は狭いが、揺れが大きく大きなローリングシャッタシャッタ歪が発生してしまう場合を考える。この場合、積分した信号がすぐに制限値に達してしまい、露光前半ライン部分のみローリングシャッタ歪補正が効き、露光後半ライン部分はまったくローリングシャッタ歪補正が効かないことがありえる。そこで、制限値が小さくなってしまう条件では、積分器の時定数を小さく設定し、補正ライン毎の補正効果は弱まるが、全体的な補正効果としては補正可能な角度をある程度確保できるようにする。また制限値が大きい条件では、積分器の時定数を大きく設定し、ローリングシャッタ歪補正の効果を強めておく。

以上の方法により、積分器１４０２からの出力の大きさを制限値に達しにくくすることができ、制限値算出部１３０１で設定された補正領域に適した最終的なローリングシャッタ歪補正量を算出することができる。そして、算出されたローリングシャッタ歪補正量は、画像変形量合成部１３０５に入力され、撮像面でのブレ量相当の単位に変換され、各読み出しタイミングに合わせての補正量が決定される。

次に、回転ローリングシャッタ歪補正量算出部１３０４におけるローリングシャッタ歪補正量の算出方法について、図１６を用いて説明する。

補正残りの角速度であるＥｒｒ角速度は、積分器１５０１に入力される。積分器１５０１は、任意の周波数帯域でその特性を変更し得る機能を有しており、Ｅｒｒ角速度を積分し、飽和防止制御部１５０２に供給する。ここで積分器１５０１は、撮像素子の露光開始とともに０に初期化され、露光期間中の振れ量を算出する。制限値算出部１３０１は、前述したとおり、チルト角度位置に従って制限値を算出し、飽和防止制御部１５０２に入力する。

飽和防止制御部１５０２は、積分器１５０１からの出力が制限値算出部１３０１から出力される制限値以上とならないように、制限値でクランプする。ここで、チルト角度すなわち鏡筒の光軸方向が図２（ａ）のように、図２（ｂ）のロール回転軸であるＺ軸と一致する場合、パン回転ユニットを駆動することで、撮像面上での横方向の像ブレ補正が可能である。しかし、撮像面上での回転方向の像ブレ補正は行うことができないので、回転方向のローリングシャッタ歪補正効果を高くしたい。この場合、制限値算出部１３０１により算出される制限値が大きくなるようにパラメータが設定される。また、図２（ｃ）のように、鏡筒の光軸方向が図２（ｂ）のヨー回転軸であるＹ軸と一致する場合、パン回転ユニット１０５を駆動することで、撮像面上での回転方向の像ブレ補正が可能である。そのため、回転方向のローリングシャッタ歪補正効果は低くなるようにパラメータが設定される。

また、図１５で説明したように、制限値に応じて積分器の時定数を変化させることで、積分器１５０１からの出力の大きさを制限値に達しにくくすることができる。そのため、制限値算出部１３０１で設定された補正領域に適した最終的な回転ローリングシャッタ歪補正量を算出することができる。そして、算出された回転ローリングシャッタ歪補正量が、画像変形量合成部１３０５に入力され、撮像面でのブレ量相当の単位に変換され、各読み出しタイミングに合わせての補正量が決定される。

上記のように、本発明の第２の実施形態においては、チルト角度に応じて、並進及びあおり振れ補正量の制限値と、回転振れ補正量の制限値に加え、縦横ローリングシャッタ歪補正の制限値と、回転ローリングシャッタ歪補正の制限値の割合を変更する。そして、補正に必要な余剰画素を割合に応じて、並進及びあおり振れ補正量と回転補正と縦横ローリングシャッタ歪補正量と回転ローリングシャッタ歪補正量に振り分ける。これにより、パンチルトメカ駆動のような２軸の回転機構しか持たない撮像装置についても、メカ的に補正できない軸に、補正のための余剰画素を大きくとることができる。これにより、有限な余剰画素を各像ブレの補正に対して効率的に使用でき、効果的な像ブレ補正を行うことができる。

（第３の実施形態）
第１の実施形態及び第２の実施形態では、チルト角度に応じた、電子式の補正における並進、あおり、回転、ローリングシャッタ歪などの補正制限値を変更する動作について説明した。しかし、メカ的に補正ができない軸においても、その同軸上での振れ量が小さければ、その軸での電子式の補正量の制限値を大きくしておく必要はない。第３の実施形態では、チルト角度に加えて、撮像面上の基準における各軸の振れ量の大きさによって、電子式の各補正制限値を設定する方法について説明する。

図１７は、第１の実施形態の図８のブロック図の制限値算出部５０８内における各制限値の算出方法を説明する図である。制限値算出部５０８に、チルト角度に加えて、新たに減算器５０５，５０６，５０７の出力であるメカ補正残り角速度（ＰｉｔｃｈＥｒｒ、ＹａｗＥｒｒ、ＲｏｌｌＥｒｒ）が入力される。

まず、焦点距離演算部７０２は、ズームユニット２０１のエンコーダの出力から、撮像光学系の焦点距離を算出し、焦点距離乗算部１６０１，１６０２の演算に用いる焦点距離を設定する。

ピッチ補正残り角速度（ＰｉｔｃｈＥｒｒ）は、焦点距離乗算部１６０１に入力され、焦点距離演算部７０２によって算出された焦点距離ｆが乗算され、揺れ状態量算出器１６０３に入力される。ここで、揺れ状態量算出器１６０３の内部演算について説明する。まず、焦点距離乗算部１６０１の出力は、ＨＰＦ１６０４に入力され、低周波成分がカットされた後に、絶対値変換器１６０５に入力される。そして、ＨＰＦ１６０４からの出力値の絶対値が演算され、ＬＰＦ１６０６に入力される。ＬＰＦ１６０６は、絶対値変換器１６０５から出力された角速度絶対値の信号周波数成分のうち、設定されたカットオフ周波数を超える高周波成分を遮断し、カットオフ周波数以下の低周波成分を出力することで、ＰｉｔｃｈＥｒｒ方向の揺れ状態量を算出する。算出されたピッチ補正揺れ残り角速度に対応する揺れ状態量は、信号選択部１６０８に入力される。

同時に、ヨー補正残り角速度（ＹａｗＥｒｒ）は、焦点距離乗算部１６０２に入力され、焦点距離演算部７０２によって算出された焦点距離ｆが乗算されて、揺れ状態量算出器１６０７に入力される。そして、揺れ状態量算出器１６０３と同様の方法で、ヨー補正揺れ残り角速度に対応する揺れ状態量が算出され、信号選択部１６０８に入力される。信号選択部１６０８では、ピッチ方向の揺れ状態量算出器１６０３の出力と、ヨー方向の揺れ状態量算出器１６０７の出力とを比較し、出力値の大きい方の信号を各制限値算出部１６１２に入力する。

同時に、ロール補正残り角速度（ＲｏｌｌＥｒｒ）は、乗算器１６０９に入力され、所定の係数Ｌが乗算される。そして、揺れ状態量算出器１６１０において揺れ状態量算出器１６０３と同様の方法で、ロール補正揺れ残り角速度に対応する揺れ状態量が算出され、各制限値算出部１６１２に入力される。乗算器１６０９で乗算される値Ｌには、撮像中心から所定の離れた距離（例えば、撮像面の中心からセンサ受光領域の角までを１０割としたとき、８割の位置にある距離）が設定されている。

また、パンチルト位置４０１からの現在のチルト角度位置が比率演算部１６１１に入力され、第１の実施形態の図１０を用いて説明した方法により、チルト角度に基づいて図１０のＫｙとＫｒが算出され、各制限値算出部１６１２に入力される。

ここで、信号選択部１６０８の出力をＰＹＥｒｒ、揺れ状態量算出器１６１０の出力をＲＥｒｒ、電子式補正のトータル領域の値をＦｌＬｉｍｉｔとおくと、並進補正制限値＋あおり補正制限値ＰＹＬｉｍｉｔ、回転補正制限値ＲＬｉｍｉｔは、式（４２）、式（４３）で算出される。

予め設定された電子式補正のトータル領域の値ＦｌＬｉｍｉｔは、上記の方法で、チルト角度と、メカ補正残り角速度（ＰｉｔｃｈＥｒｒ、ＹａｗＥｒｒ、ＲｏｌｌＥｒｒ）からの揺れ状態量とから、並進補正制限値及びあおり補正制限値と、回転補正制限値とに分割される。

以上のように、像面上の各軸の揺れ残り量とチルト角度に基づいて、並進補正制限値、あおり補正制限値、回転補正制限値をそれぞれ算出する。これにより、パンチルトメカ駆動のような２軸の回転機構しか持たない撮像装置であっても、有限な余剰画素を各像ブレの補正に対して効率的に使用でき、効果的な像ブレ補正を行うことができる。

（第４の実施形態）
第１乃至第３の実施形態では、鏡筒を２軸回転させる機構と、電子式振れ補正を組み合わせた像ブレ補正について説明した。しかし、第４の実施形態においては、撮像素子を回転及びシフト移動することで像ブレを補正する、光軸シフト補正及び撮像回転を用いた方法について説明する。

図１８は、第４の実施形態における撮像装置の構成を示すブロック図である。図３のブロック図との違いは、画像変形部２０８が削除され、撮像素子シフト及び回転ユニット１７０１が追加されている点である。

撮像素子シフト及び回転ユニット１７０１は、撮像素子を縦横方向にシフト及び回転移動させることができる機構を持つ。しかし、第１の実施形態で説明した電子式における並進と回転の補正と同様に補正できる範囲に限りがある。第４の実施形態におけるシフトと回転の補正割合も、第１の実施形態で説明した方法と同様に算出する。これにより、パンチルトメカ駆動のような２軸の回転機構しか持たない撮像装置であっても、撮像素子シフト及び回転の補正に対して適切な補正制限を行うことで、効果的な像ブレ補正を行うことができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は、デジタルカメラやデジタルビデオカメラにのみ適用されるものではなく、携帯電話、監視カメラ、Ｗｅｂカメラなどの撮像装置にも適用可能である。

１０１：カメラ、１０２：鏡筒、１０４：チルト回転ユニット、１０５：パン回転ユニット、２０５：撮像部、２０６：画像処理部、２０７：画像メモリ、２０８：画像変形部、２０９：画像記録部、２１３：制御部

Claims (13)

1. 被写体像を結像させる撮像光学系により結像された被写体像を撮像する撮像手段を保持する保持手段と、
   前記保持手段を２軸方向に回転させる回転手段と、
   装置の振れを検出する振れ検出手段の出力と、前記回転手段を駆動することにより、装置の振れに起因する前記撮像手段の像面上での像ブレを補正する第１の像ブレ補正手段の動き量とに基づいて、前記第１の像ブレ補正手段により像ブレ補正を行った後の像ブレの補正残り量を算出する算出手段と、
   前記第１の像ブレ補正手段とは異なる方法で、前記像ブレの補正残り量を補正する第２の像ブレ補正手段と、
   前記回転手段の回転角度と、前記像ブレの補正残り量とに基づいて、前記第２の像ブレ補正手段による、前記撮像手段の像面上での縦横方向の像ブレの補正可能範囲と、前記像面上での回転方向の像ブレの補正可能範囲との割り当てを変更する変更手段と、
   を備えることを特徴とする像ブレ補正装置。
2. 前記像面上の縦横方向の像ブレの補正量は、被写体像の並進方向の像ブレを補正するための補正量、あおり成分を補正するための補正量、縦横のローリングシャッタ歪を補正するための補正量の少なくとも１つを含むことを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記像面上の回転方向の像ブレの補正量は、被写体像の回転方向の像ブレの補正量、回転ローリングシャッタ歪を補正するための補正量の少なくとも１つを含むことを特徴とする請求項１または２に記載の像ブレ補正装置。
4. 前記第２の像ブレ補正手段は、前記撮像手段からの画像信号に対して画像処理を行うことにより、電子的に像ブレを補正することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
5. 前記第２の像ブレ補正手段は、前記第１の像ブレ補正手段が振れを補正できない軸についての振れを主に補正することを特徴とする請求項４に記載の像ブレ補正装置。
6. 前記第２の像ブレ補正手段は、前記撮像手段を移動させることにより像ブレを補正することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
7. 前記第２の像ブレ補正手段は、前記第１の像ブレ補正手段が振れを補正できない軸についての振れを主に補正することを特徴とする請求項６に記載の像ブレ補正装置。
8. 前記変更手段は、前記振れ検出手段の出力と前記回転手段の回転角速度とに基づいて、前記像ブレの補正残り量を算出し、前記回転手段の回転角度と前記像ブレの補正残り量とに基づいて、前記像面上での縦横方向の像ブレの補正可能範囲と、前記像面上での回転方向の像ブレの補正可能範囲の割り当てを変更することを特徴とする請求項１乃至７のいずれか１項に記載の像ブレ補正装置。
9. 前記振れ検出手段は前記回転手段を保持する本体部に設置され、前記振れ検出手段の出力を、前記回転手段の回転角度に基づいて、前記保持手段の振れに変換する変換手段をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の像ブレ補正装置。
10. 前記撮像光学系の焦点距離の情報を検出する焦点距離検出手段をさらに備え、前記変更手段は、前記撮像光学系の焦点距離の大きさに基づいて、前記撮像手段の像面上での縦横方向の像ブレの補正可能範囲と、前記像面上での回転方向の像ブレの補正可能範囲との割り当てを変更することを特徴とする特徴とする請求項１乃至９のいずれか１項に記載の像ブレ補正装置。
11. 被写体像を結像させる撮像光学系により結像された被写体像を撮像する撮像手段を保持する保持手段と、前記保持手段を２軸方向に回転させる回転手段とを備える像ブレ補正装置を制御する方法であって、
    装置の振れを検出する振れ検出手段の出力と、前記回転手段を駆動することにより、装置の振れに起因する前記撮像手段の像面上での像ブレを補正する第１の像ブレ補正手段の動き量とに基づいて、前記第１の像ブレ補正手段により像ブレ補正を行った後の像ブレの補正残り量を算出する算出工程と、
    前記第１の像ブレ補正手段とは異なる方法で前記像ブレの補正残り量を補正する第２の像ブレ補正手段により、前記像ブレの補正残り量を補正する工程と、
    前記回転手段の回転角度と、前記像ブレの補正残り量とに基づいて、前記第２の像ブレ補正手段による、前記撮像手段の像面上での縦横方向の像ブレの補正可能範囲と、前記像面上での回転方向の像ブレの補正可能範囲との割り当てを変更する変更工程と、
    を有することを特徴とする像ブレ補正装置の制御方法。
12. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
13. 請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images