JP6071545B2 - 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置において、画像を変形する方式を用いて、撮像装置の振れに起因する撮像画像の像振れを補正する技術に関するものである。

近年、撮像装置に生じた振れを補正する技術の進歩に伴い、撮影者が静止した状態での手振れによって発生する撮像画像の像振れを補正するだけでなく、撮影者が歩行しながら撮影を行うときに発生する撮像画像の像振れを補正する像振れ補正機能が普及してきている。撮影者が歩行しながら撮影を行う際には、撮像画像の水平垂直方向の像振れだけでなく、撮像画像に対して以下に示すような像振れが生じる。例えば、撮像装置の光軸回りに回転することによって撮像画像が回転する像振れや、撮像装置が被写体に対して傾くことによって撮像画像の台形状に歪む像振れ等である。

このような歩行しながらの撮影において、撮像画像に発生する種々の像振れを補正する方法として、撮像画像の画像変形量を算出し、その画像変形量を打ち消すように画像を変形する方法が知られている（特許文献１参照）。

また、光軸回りの回転像振れやあおりによる台形状の歪み像振れは、ワイド側では大きく目立つがテレ側ではほとんど目立たなくなるため、補正を行う効果もあまりない。そこで、ある焦点距離を境にワイド側では回転像振れの補正を許可し、テレ側では回転像振れの補正は禁止するという方法も提案されている（特許文献２参照）。

特開２０１１−０２９７３５号公報 特開２００６−０７１７４３号公報

特許文献１に記載の技術では、撮像装置に加えられる振れによって撮像画像に生じる変形量を、並進（水平・垂直）、あおり（水平・垂直）、拡大縮小、回転、せん断の各変形成分に分解する。そして、各々の変形成分についてフィルタリング処理等を行い、射影変換行列（ホモグラフィ行列）を算出している。しかしながら、この方法には以下のような問題点があった。

即ち、特許文献１に記載の技術では、上記変形成分毎に補正量の演算を行っているため、非常に演算量が多く処理が複雑であった。更に、振れが大きい場合に上記各変形成分の補正を全て行うと、最終的に出力することができる画像範囲が小さくなる可能性があるため、画質の劣化につながっていた。

例えば、図１１に撮像装置が光軸回りに回転したときの、画像変形による像振れ補正の例を示す。図１１の外側の実線部は撮像画像であり、光軸回りの回転の補正を行うためには、撮像画像を画像中心Ｏを中心に回転する。撮像画像を画像中心Ｏを中心に回転した結果は、図１１の点線部の画像となる。このとき、出力画像が撮像画像と同じ範囲であるとすると、画像の４隅に画がない状態となってしまうため、出力画像範囲は図１１の斜線部で示す領域となる。図１１では光軸回りの回転の補正を例にとって説明したが、他の各変形成分についても、各変形成分毎に出力することができない画像領域（以下、余剰画素と定義する）を確保する必要がある。そのため、画像範囲が小さくなり、像振れ補正を行った後の映像の品質を保つことが難しかった。

特に、手振れによって撮像画像の水平・垂直方向の並進像振れが生じると、焦点距離が長くなるほど画像上の動き量が大きくなる。従って、水平・垂直方向の並進像振れを補正して像振れの無い画像を撮影するためには、テレ側ではワイド側よりも大きな補正量が必要であり、余剰画素もそれだけ大きく確保する必要がある。

また、特許文献２に記載の技術では、静止画撮影のみが考慮されており、ビデオカメラのような動画撮影は考慮されていないため、以下のような問題が生じる。

即ち、ある焦点距離を境に回転像振れ補正のありなしを切り替える方法では、その焦点距離を境にワイド側では回転像振れが補正され、テレ側では回転像振れが補正されない。そのため、動画撮影においてズーミングを行った場合には、その焦点距離を境に突然回転像振れが生じることになる。

さらに、ズームキーが光軸に対して垂直な方向に操作するように配置されている場合、ズーミング操作によって回転像振れが生じやすくなる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ズーミングを伴う動画撮影においても、映像の品質劣化を抑制し、かつ良好な像振れ補正効果が得られるようにした撮像装置を提供することである。

本発明に係わる画像処理装置は、撮像画像の像振れを補正するための画像処理装置であって、装置の振れを検出する振れ検出手段の出力に基づいて、前記撮像画像の像振れの並進成分を補正するための補正量、前記撮像画像の像振れの回転成分を補正するための補正量、および前記撮像画像の像振れのあおり成分を補正するための補正量を演算する補正量演算手段と、前記撮像画像の像振れの並進成分を補正するための補正量、前記撮像画像の像振れの回転成分を補正するための補正量、および前記撮像画像の像振れのあおり成分を補正するための補正量に基づいて、前記撮像画像の像振れを補正する像振れ補正手段を制御する像振れ制御手段と、焦点距離検出手段により検出される撮影光学系の焦点距離がワイド側よりもテレ側の方が、前記撮像画像の像振れの回転成分を補正するための補正量および前記撮像画像の像振れのあおり成分を補正するための補正量を減少させ、前記撮像画像の像振れの並進成分を補正するための補正量を増加させるように制御する制御手段と、を備えることを特徴とする。

本発明によれば、ズーミングを伴う動画撮影においても、映像の品質劣化を抑制し、かつ良好な像振れ補正効果を得ることが可能となる。

本発明の第１の実施形態における撮像装置の一例としてのビデオカメラの構成例を示すブロック図である。 ピンホールカメラモデルを説明する図である。 第１の実施形態における画像変形量演算部の構成例を示すブロック図である。 第１の実施形態における補正量のリミット値設定方法の概念図である。 第２の実施形態における撮像装置の一例としてのビデオカメラの構成例を示すブロック図である。 第２の実施形態における画像変形量演算部の構成例を示すブロック図である。 第２の実施形態における画像変形量演算部の制御を示すフローチャートである。 第３の実施形態における画像変形量演算部の制御を示すフローチャートである。 本発明の実施形態における「振れ」の定義を説明するための図である。 本発明の実施形態における「像振れ」の定義を説明するための図である。 従来の課題を説明するための図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

最初に、本発明の実施形態において使用する言葉の定義について説明する。本発明の実施形態の説明においては、撮像装置に加えられる振動を「振れ」とし、撮像装置に加えられる振れによって発生する撮像画像の変形を「像振れ像振れ」とする。本発明の実施形態において「振れ」は、図９（ａ）及び図９（ｂ）に示すように、ＹＡＷ、ＰＩＴＣＨ、ＲＯＬＬ方向の３種類の「角度振れ」と、水平、垂直、光軸方向の３種類の「平行振れ」（シフト振れ）の総称を意味する。また、「像振れ」は、図１０（ａ）乃至図１０（ｆ）に示すように、並進（水平・垂直）、回転、あおり（水平・垂直）、拡大縮小、せん断の各変形成分の総称を意味する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。以下、図１の撮像装置１００の各構成部とその一例の動作について具体的に説明する。

角速度センサ１０２は、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。Ａ／Ｄ変換器１０３は、角速度センサ１０２からの角速度信号をデジタル化して、角速度データとしてμＣＯＭ１０１内部の画像変形量演算部２００に供給する。

撮像光学系１２０は、変倍レンズの移動によるズーミング、フォーカスレンズの移動によるフォーカシング等の動作を行い、被写体像を撮像素子１２３に結像させる。焦点距離検出手段であるズームエンコーダ１１９は、撮像光学系１２０の中の変倍光学系１２１の位置（ズーム位置）を検出し、μＣＯＭ１０１内部の画像変形量演算部２００に出力する。

画像変形量演算部２００は、上記角速度データ及びズームエンコーダ１１９の出力を用いて、撮像画像の像振れを補正するための画像変形量を算出し、画像変形部１２７に算出した画像変形量を設定する。画像変形量演算部２００の処理の詳細は後述する。

撮像素子１２３は、撮像光学系１２０によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１２４に供給する。信号処理部１２４は、撮像画像信号を処理する回路であり、アナログ信号処理回路とデジタル信号処理回路からなる。アナログ信号処理回路は、撮像素子１２３で得られた信号に所定の処理を施してアナログ撮像信号を生成するものである。そして、例えばＣＤＳ（co-related double sampling：相関二重サンプリング）回路、ＡＧＣ（Automatic Gain Control）回路等から構成されている。デジタル信号処理回路は、Ａ／Ｄ変換器によりアナログ撮像信号をデジタル信号に変換し、ガンマ補正、ホワイトバランス等、所定の信号処理をしたデジタル映像信号を生成する。さらに、ＮＴＳＣやＰＡＬなどのフォーマットに準拠したビデオ信号（映像信号）に変換して画像メモリ１２５に供給する。

画像変形部１２７は、画像変形量演算部２００で算出された画像変形量に基づいて、画像メモリ１２５に格納された画像を変形することによって撮像画像の像振れを補正し、記録制御部１２８及び表示制御部１３０に出力する。表示制御部１３０は、画像変形部１２７から供給された映像信号を出力して表示デバイス１３１に画像を表示させる。表示制御部１３０は表示デバイス１３１を駆動し、表示デバイス１３１は液晶表示素子（ＬＣＤやビューファインダー）等により画像を表示する。

また、記録制御部１２８は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、画像変形部１２７から供給された映像信号を記録媒体１２９に出力し、記録させる。記録媒体１２９は、半導体メモリ等の情報記録媒体やハードディスクや磁気テープ等の磁気記録媒体である。

画像変形部１２７は、例えば射影変換等の幾何変換を用いて画像変形を行う。具体的には、変形前の画像（画像メモリ１２５に記憶された画像）中の画素座標を（Ｘ０，Ｙ０）（ただし、撮像光学系１２０の光軸に対応した撮像画像の中心を原点とする）とし、変形後の画像（画像変形部１２７の出力画像）中の画素座標を（Ｘ１，Ｙ１）として、同次座標で表現すると、（式１）のように記述することができる。

（式１）の左辺と右辺は同値関係（左辺または右辺に任意の倍率をかけても意味が変わらない）を示し、通常の等号では（式２）（式３）となる。

また（式１）において、３×３の行列は一般的に射影変換行列と呼ばれ、行列の要素ｈ１〜ｈ８は、画像変形量演算部２００が設定する。なお、以下の説明では、画像変形部１２７の画像変形は、射影変換を用いることとして説明を行うが、例えばアフィン変換等、如何なる変形方法を用いても良い。

次に、画像変形量演算部２００によって行われる処理の詳細について説明する。画像変形量演算部２００は、角速度センサ１０２の出力から算出される撮像装置の振れ角度と、ズームエンコーダ１１９から算出される撮像光学系１２０の焦点距離とを用いて、画像変形部１２７の画像変形量を算出する。具体的には、（式１）の射影変換行列を算出する。

ここで、振れ角度と撮像光学系１２０の焦点距離を用いた射影変換行列の算出方法について、以下に説明する。

図２（ａ）は、撮像装置による被写体の撮像面への投影を、ピンホールカメラモデルで図示したものである。図２（ａ）において、ＸＹＺ空間座標の原点（０，０，０）は、ピンホールカメラモデルにおけるピンホール位置である。撮像面は、ピンホール位置よりも後ろ側に配置すると、撮像面に投影される画像が倒立してしまうため、像が倒立せずに扱いやすいように、図２（ａ）では仮想的にピンホール位置よりも前に撮像面Ｉを配置している。

ＸＹＺ空間座標の原点（０，０，０）と撮像面ＩとのＺ軸方向の距離は、焦点距離ｆとなる。撮像面Ｉ上の座標は、ｕｖ平面座標として定義し、ｕｖ平面座標の原点（０，０）は、ＸＹＺ空間座標における（０，０，ｆ）と一致しているものとする。ｕｖ平面座標上の座標Ｐ（ｕ，ｖ）は、ＸＹＺ空間座標上の被写体Ａ（Ｘ，Ｙ，Ｚ）が、撮像面Ｉに投影されたときの座標である。このとき、座標Ｐは（式４）で表すことができる。

（式４）は、同次座標を用いると、（式５）で表すことができる。

（式５）の３×４の行列の４列目の要素は、本実施形態の説明においては０のままとするので、（式５）は（式６）としても同じである。

図２（ｂ）は、図２（ａ）のピンホールカメラモデルを、Ｒ回転したときのものである。図２（ｂ）においては、図２（ａ）のＸＹＺ空間座標をＲ回転した座標をＸ’Ｙ’Ｚ’空間座標としている。Ｘ’Ｙ’Ｚ’空間座標の原点（０，０，０）は、ＸＹＺ空間座標と一致しているものとする。つまり図２（ｂ）は、撮像装置に撮影光軸の方向である第３の方向回りの回転振れＲが生じ、撮像装置の平行移動である平行振れは生じていない状態を、ピンホールカメラモデルで単純化して表現しているものである。

図２（ｂ）のピンホールカメラモデルにおいて、撮像面Ｉ’は、図２（ａ）と同様、原点（０，０，０）からの距離が焦点距離ｆの位置に配置されている。撮像面Ｉ’上の座標は、ｕ’ｖ’平面座標として定義し、ｕ’ｖ’平面座標の原点（０，０）は、Ｘ’Ｙ’Ｚ’空間座標における（０，０，ｆ）と一致しているものとする。ｕ’ｖ’平面座標上の座標Ｐ’（ｕ’，ｖ’）は、Ｘ’Ｙ’Ｚ’空間座標上の被写体Ａ’（Ｘ’，Ｙ’，Ｚ’）が、撮像面Ｉ’に投影されたときの座標である。なお、図２（ａ）の被写体Ａと図２（ｂ）の被写体Ａ’の世界座標系での位置は、同じ位置である（すなわち、被写体が移動していない）ものとする。このとき座標Ｐ’は、同次座標を用いると、（式６）と同様に（式７）で表すことができる。

また、被写体Ａと被写体Ａ’の世界座標系での位置は同じであるため、両者の座標の関係は、（式８）で表すことができる。

更に、（式６）、（式７）を変形して（式８）に代入すると、（式９）を導出することができる。

（式９）は、ピンホールカメラがＲ回転する前後での、撮像面上での被写体像の位置の対応関係を示したものである。即ち、撮像装置にＲ回転の振れが加わったとき、撮像面上での画素がどこからどこへ移動するかを示す式となる。よって、像振れの補正を行うためには、撮像装置に振れが加わったときの画素移動量を元に戻す変換を行えばよい。すなわち（式１０）に従って、撮像装置にＲ回転の振れが加わったことにより、移動してしまった画素位置を元に戻す変換を行えばよい。

よって、図１の撮像装置１００に加わる振れをＲ、撮像光学系１２０の焦点距離をｆとし、像振れ補正を行うための射影変換行列をＨとすると、Ｈは（式１１）となる。

なお、撮像装置に加わった光軸に垂直な平面上の第１の方向回りの振れであるＹＡＷ方向の角度振れ量をθy、光軸に垂直な平面上の第１の方向と直交する方向である第２の方向回りの振れであるＰＩＴＣＨ方向の角度振れ量をθp、ＲＯＬＬ方向の角度振れ量をθrとすると、Ｒは（式１２）で表すことができる。

（式１１）のＨは、（式１３）を用いることにより、並進ｔ→、拡大縮小ｓ(定数)、回転ｒ（行列）、せん断ｋ（行列）、あおりｖ→の各変形成分に分解することができる。

ここで
ｔｘ … 水平並進量
ｔｙ … 垂直並進量
θ … 回転角
ｖx … 水平あおり量
ｖy … 垂直あおり量
α … せん断の非等方倍率
φ … せん断の方向角
である。

（式１１）、（式１２）、（式１３）より、各変形成分に対する方程式を解くと、（式１４）〜（式２１）となる。

ここで、撮像装置に加わる振れ角度がγのときに、その値が大きくないとするならば、ｃｏｓγ＝１、ｓｉｎγｔａｎγ＝０、ｓｉｎγｓｉｎγ＝０と近似することができ、（式１４）〜（式２１）は（式２２）〜（式２９）で表すことができる。

以下、図３のブロック図を用いて、本実施形態における、画像変形量演算部２００の各構成部とその一例の動作について具体的に説明する。なお、ＹＡＷ方向の角度振れによって、（式２２）（式２５）から水平方向の並進方向移動、水平方向のあおりが生じ、ＰＩＴＣＨ方向の角度振れによって、（式２３）（式２６）から垂直方向の並進方向移動、垂直方向のあおりが生じ、両者の処理は同じとなる。そのため、ＰＩＴＣＨ方向とＹＡＷ方向のうち、一方の制御に関してのみ説明を行う。

また、本実施形態においては、画像変形部１２７で行う画像変形の各変形成分のうち、せん断、拡大縮小の成分を用いないで画像変形を行うものとする。このため、図３の構成には、せん断、拡大縮小の成分を図示しない。しかし（式１９）乃至（式２１）あるいは（式２７）乃至（式２９）に従ってせん断、拡大縮小の成分に対する画像変形を行う構成にしてもよい。

図３のブロック図において、符号２０１から２０５までのブロックは、並進像振れ（振れの並進成分による像振れ）を補正するための補正量を算出するためのブロック（並進補正量演算部）である。符号２１１から２１５までのブロックは、あおり像振れ（振れのあおり成分による像振れ）を補正するための補正量を算出するためのブロックである。符号２２１から２２５までのブロックは回転像振れ（振れの回転方向成分による像振れ）を補正するための補正量を算出するためのブロック（回転補正量演算部）である。

まず、並進像振れ（振れの並進成分による像振れ）の補正量を算出するための符号２０１から２０５までのブロックについて説明を行う。

ＨＰＦ２０１（高域通過フィルタ）には、前述したＡ／Ｄ変換器１０３からの出力のうち、ＹＡＷ方向またはＰＩＴＣＨ方向の角速度データが供給される。ＨＰＦ２０１は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ２０１は、本実施形態において必須の構成ではなく、Ａ／Ｄ変換器１０３からの出力を焦点距離乗算部２０２に直接供給してもよい。

焦点距離演算部２３１は、前述したズームエンコーダ１１９の出力から、撮像光学系１２０の焦点距離を算出し、焦点距離乗算部２０２及び焦点距離除算部２１２の演算に用いる焦点距離を設定する。焦点距離乗算部２０２は、ＨＰＦ２０１の出力に、焦点距離演算部２３１によって算出された焦点距離ｆを乗算して、センタリング部２０３に供給する。

センタリング部２０３は、撮像装置１００のＹＡＷ方向またはＰＩＴＣＨ方向に対して、パンニングや像振れ補正では補正しきれないくらい大きな角度振れが生じたとき、補正量をゼロに戻すような入力値（以下、センタリング量とする）を、焦点距離乗算部２０２の出力に対して加算する処理を行う。なおセンタリング部２０３は、本実施形態において必須の構成ではなく、焦点距離乗算部２０２からの出力を積分器２０４に直接供給してもよい。

積分器２０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部２０３からの出力を積分し、飽和防止制御部２０５に供給する。

制限値算出部２３２は、焦点距離演算部２３１で算出された焦点距離ｆに従って、各変形成分ごとの制限値を算出し、変形成分ごとの飽和防止制御部２０５、２１５、２２５に供給する。

飽和防止制御部２０５は、積分器２０４からの出力が、制限値算出部２３２から出力される所定の制限値（以下、リミット値とする）以上とならないように、積分器２０４からの出力の大きさを制限する制御を行う。また、飽和防止制御部２０５は、積分器２０４からの出力の大きさがリミット値に近づいたときに、ＨＰＦ２０１のカットオフ周波数を高域側に変更したり、積分器２０４の時定数を短くしたり、センタリング部２０３のセンタリング量を大きくする等の制御を行う。こうすることによって、積分器２０４からの出力の大きさがリミット値に達しにくくすることができ、振れに対する像振れ補正の追従性を下げることができる。飽和防止制御部２０５の出力は、最終的な並進補正量となり、画像変形量合成部２３０に供給される。

次に、あおり像振れ（振れのあおり成分による像振れ）の補正量を算出するための符号２１１から２１５までのブロックについて説明を行う。符号２１１から２１５までのブロックは、焦点距離乗算部２０２と焦点距離除算部２１２の処理を除いては、符号２０１から２０５までのブロックと処理が同じであるため、焦点距離除算部２１２についてのみ説明を行い、他のブロックについての説明は省略する。

焦点距離除算部２１２は、ＨＰＦ２１１の出力を、焦点距離演算部２３１によって算出された焦点距離ｆで除算して、センタリング部２１３に供給する。焦点距離ｆで除算するのは、（式２５）（式２６）のあおりの算出式による。飽和防止制御部２１５の出力は、最終的なあおり補正量となり、画像変形量合成部２３０に供給される。

次に、回転像振れ（振れの回転成分による像振れ）の補正量を算出するための符号２２１から２２５までのブロックについて説明を行う。

ＨＰＦ２２１には、前述したＡ／Ｄ変換器１０３からの出力のうち、ＲＯＬＬ方向の角速度データが供給される。ＨＰＦ２２１は、任意の周波数帯域でその特性を変更し得る機能を有しており、角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。なおＨＰＦ２２１は、本実施形態において必須の構成ではなく、Ａ／Ｄ変換器１０３からの出力をセンタリング部２２３に直接供給してもよい。

センタリング部２２３は、撮像装置１００のＲＯＬＬ方向に対して、補正しきれない大きな角度振れが生じたとき、センタリング部２０３、２１３と同様、センタリング量をＨＰＦ２２１の出力に対して加算する処理を行う。なおセンタリング部２２３は、本実施形態において必須の構成ではなく、ＨＰＦ２２１またはＡ／Ｄ変換器１０３からの出力を積分器２２４に直接供給してもよい。

積分器２２４は、任意の周波数帯域でその特性を変更し得る機能を有しており、センタリング部２２３からの出力を積分し、飽和防止制御部２２５に供給する。

飽和防止制御部２２５は、積分器２２４からの出力の大きさが、制限値算出部２３２から出力される所定のリミット値以上とならないように、積分器２２４からの出力を制限する制御を行う。また、飽和防止制御部２２５は、積分器２２４からの出力の大きさがリミット値に近づいたときに、ＨＰＦ２２１のカットオフ周波数を高域側に変更したり、積分器２２４の時定数を短くしたり、センタリング部２２３のセンタリング量を大きくする等の制御を行う。こうすることによって、積分器２０４からの出力の大きさがリミット値に達しにくくすることができ、振れに対する像振れ補正の追従性を下げることができる。飽和防止制御部２２５の出力は、最終的な回転補正量となり、画像変形量合成部２３０に供給される。

画像変形量合成部２３０は、飽和防止制御部２０５、２１５、２２５から出力された、並進補正量、あおり補正量、回転補正量を合成する演算を行う。具体的には（式１３）に従って、（式１）の射影変換行列を算出する。このとき、拡大縮小、せん断の変形量は、（式２７）（式２８）（式２９）に示した値とする。画像変形量合成部２３０は、算出した射影変換行列の各要素の値を、画像変形部１２７へと出力する。画像変形部１２７では、画像変形量合成部２３０からの出力に基づいて、画像変形による像振れの補正が行われる。

次に制限値算出部２３２について、さらに詳細な説明を行う。画像変形によって電子的に像振れを補正するためには、出力画像のサイズに対して、各変形に必要な余剰画素を確保しておく必要がある。ここで、各変形成分について着目すると、（式１４）〜（式２１）または（式２２）〜（式２９）で表されるように、並進像振れを補正するための補正量は焦点距離に比例してテレ側になるほど大きくなる。一方、あおり像振れを補正するための補正量は逆に焦点距離に反比例してテレ側になるほど小さくなる。また、回転像振れを補正するための補正量は焦点距離には依存しない値となっているが、現実的には、テレ側になるに従って撮像範囲が狭められるため、回転像振れの影響はテレ側になるほど小さくなると言える。

画像変形のために確保できる余剰画素は有限である。この余剰画素は、撮像センサによって決まる入力画像サイズと、出力画像サイズによって決まる。このことから、制限値算出部２３２において算出する各変形成分ごとに必要な補正量の制限値、すなわちリミット値を、上記の関係を考慮して焦点距離に応じて振り分ければよい。なお、たとえ入力画像サイズが大きく余剰画素を十分に確保できる場合であっても、撮影者のカメラワーク（パンニングなどのカメラ操作）時の画像の滑らかさを保つためには、各変形成分の補正量に対して所定のリミット値を設定して、リミット値以上の補正は行わないように制御することが望ましい。

像振れを補正するためには、あおり像振れや回転像振れを補正するよりも並進像振れを補正することが何よりも重要である。しかし、前述したように、並進像振れの補正量は、焦点距離がテレ端側になるに応じて増加する。本実施形態では、テレ側でより必要となる並進像振れの補正量のために、あおり像振れや回転像振れに割り当てられていた補正量のリミット値を小さくして、その余剰分を並進像振れの補正量のリミット値の拡大へ割り振る。即ち、ズーム位置がテレ端側にある場合は、ワイド側にある時よりも、あおり像振れや回転像振れの補正可能量は小さくなり、並進像振れの補正可能量はより大きくなる。

図４は補正量のリミット値の設定方法の一例を示す図である。図４（ａ）は、あおり像振れの補正量のリミット値設定を示す。点線はあおり像振れ補正量の理論値である。理論上は、テレ側においても微小なあおりは残るが、ワイド側と比べテレ側で生じるあおり像振れはほとんど目立たない。このことから、実線で示すように、ワイド端からズーム位置Ｚａまでは理論値をリミット値とし、ズーム位置Ｚｂからテレ端まではリミット値をゼロまたは極僅かとし、ズーム位置ＺａからＺｂの間は、その間を直線で結ぶようにリミット値を設定する。ただし、ズーム位置Ｚｂはズーム位置Ｚａよりもテレ側とする。

あおり像振れ補正量のリミット値をこのように設定すると、あおり像振れが大きく生じるワイド側では補正可能だが、テレ側ではあおり像振れの補正のための余剰画素が不要もしくはとても小さくなり、その余剰画素を並進像振れの補正量に回すことができる。具体的には、あおり像振れ補正量のリミット値に割り当てるべき余剰画素、すなわち、図４（ａ）における点線と実線との差分値を、並進像振れの補正量のリミット値に加算してその分リミット値を増加させる。これにより、テレ側の並進像振れ補正量を大きく確保できるようにする。

なお、あおり像振れ補正量のリミット値の変更方法として、上記説明ではＺａとＺｂは直線で結ぶようにしたが、２点を変局点として曲線で結ぶようにしてもよいし、あるいは、ＺａとＺｂを同じ値としてあるズーム位置で瞬時にリミット値をゼロにしても構わない。

また、ここでＺａ及びＺｂの値としてテレ端を設定すれば、ワイドからテレまで理論値をリミット値とすることを意味する。また、Ｚａ及びＺｂの値としてワイド端を設定すれば、ワイドからテレまでのリミット値がゼロまたは極僅かとなり、あおり像振れの補正は行わないもしくはとても小さいことを意味する。すなわち、Ｚａ、Ｚｂはワイド端からテレ端までの任意の値を設定して、あおり像振れ補正量の制限値を設定することができることは言うまでもない。

図４（ｂ）は、回転像振れの補正量のリミット値設定を示す。補正量Ｒ１が回転像振れの補正のために必要な理論値である。実線で示すように回転像振れ補正量のリミット値を設定する。すなわち、ワイド端からズーム位置Ｚｃまでは理論値Ｒ１をリミット値とし、ズーム位置Ｚｄからテレ端まではリミット値をゼロまたは極僅かとし、ズーム位置ＺｃからＺｄの間は、その間を直線で結ぶようにリミット値を設定する。ただし、ＺｄはＺｃよりもテレ側とする。

回転像振れ補正量のリミット値をこのように設定すると、回転像振れが目立つワイド側では補正可能だが、テレ側では回転像振れの補正のための余剰画素が不要となり、その余剰画素を並進像振れの補正量に回すことができる。具体的には、回転像振れ補正量のリミット値に割り当てるべき余剰画素、すなわち、図４（ｂ）における点線と実線との差分値を、並進像振れの補正量のリミット値に加算してその分リミット値を増加させる。これにより、テレ側の並進像振れ補正量を大きく確保できるようにする。

なお、回転像振れ補正量のリミット値の変更方法として、上記説明ではＺｃとＺｄは直線で結ぶようにしたが、２点を変局点として曲線で結ぶようにしてもよい。あるいは、ＺｃとＺｄを同じ値としてあるズーム位置で瞬時にリミット値をゼロまたは極僅かにしても構わない。

また、ここでＺｃ及びＺｄの値としてテレ端を設定すれば、ワイドからテレまで理論値をリミット値とすることを意味する。また、Ｚｃ及びＺｄの値としてワイド端を設定すれば、ワイドからテレまでのリミット値がゼロまたは極僅かとなり、回転像振れの補正は行わないまたはとても小さいことを意味する。すなわち、Ｚｃ、Ｚｄはワイド端からテレ端までの任意の値を設定して、回転像振れ補正量の制限値を設定することができることは言うまでもない。

また、あおり像振れ補正及び回転像振れ補正のリミット値は、共にテレ側でゼロまたは極僅かになるように設定して、両方の余剰画素分を共に並進像振れ補正量のリミット値に割り当てても良い。また、一方のリミット値だけをテレ側でゼロまたは極僅かになるように設定して、その片方の余剰画素分だけを並進像振れ補正量のリミット値に割り当てても良い。

制限値算出部２３２は、上記のように焦点距離演算部２３１で算出された焦点距離ｆに応じて、あおり像振れ、回転像振れ、並進像振れのそれぞれのリミット値を設定し各飽和防止制御部２０５，２１５，２２５に対して出力する。なお、各リミット値の算出は、焦点距離を用いた演算式による計算で求めてもよいし、焦点距離ごとのテーブルデータとしてメモリに記憶しておき、焦点距離情報に応じてテーブルデータから値を読み出すようにしてもよい。また、テーブルデータから読み出す場合でも、離散的なデータのみを記憶しておき、その間の値は補間演算によって算出するようにしてもよい。

以上説明してきたように、本発明の第１の実施形態においては、焦点距離がテレ側では、あおり像振れ補正量及び回転像振れ補正量のリミット値を小さくし、補正に必要な余剰画素を並進像振れ補正量に振り分ける。これにより、有限な余剰画素を各像振れの補正に対して効率的に使用でき、効果的な像振れ補正を実現することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図５は、本実施形態における撮像装置の構成を示すブロック図である。図５において、図１に示した撮像装置１００と同様の構成には、同じ符号を付し、説明は省略する。図５は、図１の構成に対して、次のブロックを追加した構成になっている。

変倍操作部１４０は、撮像装置１００に対して操作者が変倍操作を行うインターフェースである。ユーザが変倍操作部１４０を通じて入力した操作情報は、μＣＯＭ１０１内部の変倍操作解析部３００に供給される。変倍操作部１４０は、具体的には、シーソーキーやスライドキーなどによって操作するズームスイッチや、タッチパネルなどによるズーム操作などである。

変倍操作解析部３００は、変倍操作部１４０からの操作情報を解析し、ズーム操作の有無及び操作方向（テレ方向へのズームか、ワイド方向へのズームか）を判断する。変倍操作解析部３００は、判断結果に応じて、ズーム操作状況を画像変形量演算部２００に出力すると共に、ＰＷＭ出力（不図示）などを介してズームモータ１１８に駆動命令を出力する。ズームモータ１１８は、変倍操作解析部３００からの駆動命令に従って変倍光学系１２１を駆動する。

次に、図６のブロック図を用いて、本実施形態における、画像変形量演算部２００に係わる構成について説明する。なお、図６において、図３に示したブロック図と同様の構成には、同じ符号を付し、説明は省略する。図６は、図３の構成に対して、変倍操作解析部３００からの情報入力を追加した構成になっている。

変倍操作解析部３００は前述したように、ズーム操作の有無及び操作方向（テレ方向へのズームか、ワイド方向へのズームか）を判断し、その判断結果を制限値算出部２３２に供給する。制限値算出部２３２は、変倍操作解析部３００からのズーム操作状況に応じて補正量の制限値を決定し、飽和防止制御部２０５、２１５、２２５に出力する。

ここで、制限値算出部２３２の動作について詳細に説明する。図７は、本実施形態におけるμＣＯＭ１０１の処理を示すフローチャートである。なお、図７に示す処理は、例えば撮像装置の１フレームの画像の取り込み周期である６０Ｈｚなど、任意の所定の周期で繰り返し実行される。

ステップＳ１００１では、変倍操作解析部３００は変倍操作の有無を判断する。変倍操作がされていればステップＳ１００３へ進み、変倍操作がされていなければステップＳ１００２に進む。ステップＳ１００２では、変倍操作の開始からの時間をカウントするカウンタＮをクリアしてステップＳ１００１に戻る。ステップＳ１００３では、変倍操作の開始からの時間をカウントするカウンタＮをインクリメントしステップＳ１００４へ進む。ステップＳ１００４では、カウンタＮが所定のしきい値Ｔ（変倍操作が行われた直後からの所定の期間）より小さいか否かを判断する。Ｎ＜Ｔであれば、変倍操作が行われた直後から所定の期間が経過していないのでステップＳ１００５へ進み、Ｎ≧Ｔであれば、変倍操作が行われた直後から所定の期間が経過したいるのでステップＳ１００６へ進む。

ステップＳ１００５では、制限値算出部２３２において、回転像振れ補正量のリミット値をゼロに設定してステップＳ１００７へ進む。ステップＳ１００６では、制限値算出部２３２において、回転像振れ補正量のリミット値を任意の値Ｒに設定してステップＳ１００７へ進む。ステップＳ１００７では、飽和防止制御部２２５において、ステップＳ１００５あるいはステップＳ１００６において設定されたリミット値に基づいて回転像振れ補正量を決定しステップＳ１００８へ進む。ステップＳ１００８では、ステップＳ１００７で決定された回転像振れ補正量に基づいて、画像変形量を算出し画像変形を行う。

以上説明してきたように、本発明の第２の実施形態においては、操作者により変倍操作が行われた際に、変倍操作が行われた直後の所定の期間Ｔの間は回転像振れ補正量のリミット値をゼロまたは極僅かにして回転像振れ補正を行わないようにする。これにより、操作者の変倍操作で意図しない大きな回転像振れが生じても、その回転像振れを無理に補正することで並進像振れやあおり像振れが補正されなくなることを防ぎ、有限な余剰画素を効率的に使用して効果的な像振れ補正を実現することができる。

（第３の実施形態）
次に第３の実施形態について説明する。本実施形態における撮像装置の構成を示すブロック図は図５及び図６と同じであり、μＣＯＭ１０１内部の処理が異なるだけであるため、ブロック図の説明は省略する。

図８は、本実施形態におけるμＣＯＭ１０１の処理を示すフローチャートである。なお、図８に示す処理は、例えば撮像装置の１フレームの画像の取り込み周期である６０Ｈｚなど、任意の所定の周期で繰り返し実行される。

ステップＳ２００１では、変倍操作解析部３００で変倍操作の有無を判断する。変倍操作がされていればステップＳ２００２へ進み、変倍操作がされていなければステップＳ２００３に進む。ステップＳ２００２では、制限値算出部２３２において、回転像振れ補正量のリミット値をゼロまたは極僅かに設定してステップＳ２００４へ進む。ステップＳ２００３では、制限値算出部２３２において、回転像振れ補正量のリミット値を任意の値Ｒに設定してステップＳ２００４へ進む。ステップＳ２００４では、飽和防止制御部２２５において、ステップＳ２００２あるいはステップＳ２００３において設定されたリミット値に基づいて回転像振れ補正量を決定しステップＳ２００５へ進む。ステップＳ２００５では、ステップＳ２００４で決定された回転像振れ補正量に基づいて、画像変形量を算出し画像変形を行う。

以上説明してきたように、本発明の第３の実施形態においては、操作者の変倍操作が行われた際に、変倍操作中は回転像振れ補正量のリミット値をゼロまたは極僅かにして回転像振れ補正を行わないようにする。これにより、操作者の変倍操作途中に突然回転像振れが補正されたり、補正されなくなったりすることを防ぎ、有限な余剰画素を効率的に使用して効果的な像振れ補正を実現することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

本発明の実施形態に係る撮像装置は、一例としてビデオカメラを用いて説明してきたが、デジタルカメラや一眼レフカメラ、カメラユニットが備え付けられた携帯機器（携帯電話、携帯端末、携帯ゲーム機）であっても良い。

Claims (13)

1. 撮像画像の像振れを補正するための画像処理装置であって、
   装置の振れを検出する振れ検出手段の出力に基づいて、前記撮像画像の像振れの並進成分を補正するための補正量、前記撮像画像の像振れの回転成分を補正するための補正量、および前記撮像画像の像振れのあおり成分を補正するための補正量を演算する補正量演算手段と、
   前記撮像画像の像振れの並進成分を補正するための補正量、前記撮像画像の像振れの回転成分を補正するための補正量、および前記撮像画像の像振れのあおり成分を補正するための補正量に基づいて、前記撮像画像の像振れを補正する像振れ補正手段を制御する像振れ制御手段と、
   焦点距離検出手段により検出される撮影光学系の焦点距離がワイド側よりもテレ側の方が、前記撮像画像の像振れの回転成分を補正するための補正量および前記撮像画像の像振れのあおり成分を補正するための補正量を減少させ、前記撮像画像の像振れの並進成分を補正するための補正量を増加させるように制御する制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記振れ検出手段は、撮像装置の光軸に垂直な平面上の第１の方向回りの振れと、前記第１の方向と直交する前記平面上の第２の方向回りの振れと、前記光軸に平行な第３の方向回りの振れを検出し、
   前記補正量演算手段は、前記第１の方向回りの振れ及び前記第２の方向回りの振れによる前記振れ検出手段の出力に基づいて、前記撮像画像の像振れの並進成分を補正するための補正量を演算する並進補正量演算手段と、前記第３の方向回りの振れによる前記振れ検出手段の出力に基づいて、前記撮像画像の像振れの回転成分を補正するための補正量を演算する回転補正量演算手段と、前記第１の方向回りの振れ及び前記第２の方向回りの振れによる前記振れ検出手段の出力に基づいて、前記撮像画像の像振れのあおり成分を補正するための補正量を演算するあおり補正量演算手段とを有することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記焦点距離検出手段からの焦点距離の情報に基づいて、前記回転補正量演算手段及び前記あおり補正量演算手段で演算される補正量を減少させ、前記並進補正量演算手段で演算される補正量を増加させるように制御することを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、前記焦点距離がテレ側になるに従って、前記回転補正量演算手段及び前記あおり補正量演算手段で演算される補正量を減少させ、前記補正量を減少させたことによって生じる余剰分に従って、前記並進補正量演算手段で演算される補正量を増加させるように制御することを特徴とする請求項３に記載の画像処理装置。
5. 前記制御手段は、前記焦点距離の情報が所定の焦点距離よりテレ側において、前記回転補正量演算手段及び前記あおり補正量演算手段で演算される補正量をゼロまたは極く僅かにするように制御することを特徴とする請求項３または４に記載の画像処理装置。
6. 前記制御手段は、前記撮影光学系の変倍レンズを移動させて変倍操作を行う変倍操作手段を操作した直後の所定の期間は、前記回転補正量演算手段で演算される補正量をゼロまたは極く僅かにするように制御することを特徴とする請求項３ないし５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記撮影光学系の変倍レンズを移動させて変倍操作を行う変倍操作手段を操作している期間は、前記回転補正量演算手段で演算される補正量をゼロにするように制御することを特徴とする請求項３ないし５のいずれか１項に記載の画像処理装置。
8. 撮像画像の像振れを補正するための画像処理装置であって、
   装置の振れを検出する振れ検出手段の出力に基づいて、前記撮像画像の像振れの並進成分を補正するための補正量、および前記撮像画像の像振れのあおり成分を補正するための補正量を演算する補正量演算手段と、
   前記撮像画像の像振れの並進成分を補正するための補正量、前記撮像画像の像振れのあおり成分を補正するための補正量に基づいて、前記撮像画像の像振れを補正する像振れ補正手段を制御する像振れ制御手段と、
   焦点距離検出手段により検出される撮影光学系の焦点距離がワイド側よりもテレ側の方が、前記撮像画像の像振れのあおり成分を補正するための補正量を減少させ、前記撮像画像の像振れの並進成分を補正するための補正量を増加させるように制御する制御手段と、
   を備えることを特徴とする画像処理装置。
9. 請求項１乃至８のいずれか１項に記載の画像処理装置と、前記振れ検出手段と、前記像振れ補正手段と、を有することを特徴とする撮像装置。
10. 撮像画像の像振れを補正するための画像処理装置を制御する方法であって、
    装置の振れを検出する振れ検出手段の出力に基づいて、前記撮像画像の像振れの並進成分を補正するための補正量、前記撮像画像の像振れの回転成分を補正するための補正量、および前記撮像画像の像振れのあおり成分を補正するための補正量を演算する補正量演算工程と、
    前記撮像画像の像振れの並進成分を補正するための補正量、前記撮像画像の像振れの回転成分を補正するための補正量、および前記撮像画像の像振れのあおり成分を補正するための補正量に基づいて、前記撮像画像の像振れを補正する像振れ補正手段を制御する像振れ制御工程と、
    焦点距離検出手段により検出される撮影光学系の焦点距離がワイド側よりもテレ側の方が、前記撮像画像の像振れの回転成分を補正するための補正量および前記撮像画像の像振れのあおり成分を補正するための補正量を減少させ、前記撮像画像の像振れの並進成分を補正するための補正量を増加させるように制御する制御工程と、
    を有することを特徴とする画像処理装置の制御方法。
11. 撮像画像の像振れを補正するための画像処理装置を制御する方法であって、
    装置の振れを検出する振れ検出手段の出力に基づいて、前記撮像画像の像振れの並進成分を補正するための補正量、および前記撮像画像の像振れのあおり成分を補正するための補正量を演算する補正量演算工程と、
    前記撮像画像の像振れの並進成分を補正するための補正量、前記撮像画像の像振れのあおり成分を補正するための補正量に基づいて、前記撮像画像の像振れを補正する像振れ補正手段を制御する像振れ制御工程と、
    焦点距離検出手段により検出される撮影光学系の焦点距離がワイド側よりもテレ側の方が、前記撮像画像の像振れのあおり成分を補正するための補正量を減少させ、前記撮像画像の像振れの並進成分を補正するための補正量を増加させるように制御する制御工程と、
    を有することを特徴とする画像処理装置の制御方法。
12. 請求項１０または１１に記載の制御方法をコンピュータに実行させるためのプログラム。
13. 請求項１０または１１に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images