JP5432697B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像光学系の光軸を回転軸とする像の回転成分を補正可能な撮像装置及びその制御方法に関する。

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置には、撮像光学系の光軸に対して垂直方向の撮影者の手から伝わる振動（手ブレ）を、撮像光学系の有する補正レンズ、又は撮像素子を駆動させることにより、光学的に補正可能なものがある。一方、手ブレにより発生した撮像光学系の光軸を回転軸とする像の回転成分を補正するために、撮像素子に回転機構を持たせることは、生産コストの観点で現実的ではないため、検出された光軸回りの回転とは逆方向に画像を回転する画像処理によって解決している。

例えば、撮像光学系と撮像素子の位置関係に対し、図２のように３軸の移動方向を定義する場合、Ｙ軸が撮像光学系の上方向、光軸がＺ軸、Ｘ軸がＹ軸とＺ軸に直行する軸となる。このとき、撮像装置の回転は、Ｘ軸回りの回転であるｐｉｔｃｈ成分と、Ｙ軸回りの回転であるｙａｗ成分と、Ｚ軸回りの回転であるローリングｒｏｌｌ成分の３つの成分に分解して検出される。ｐｉｔｃｈ成分とｙａｗ成分の回転に関しては、Ｘ、Ｙ軸方向の並進の移動とみなすことができるため、撮像素子に結像する像の移動を低減するように撮像光学系を駆動することで、手ブレを低減することが可能である。また撮像光学系の光軸回りの回転である、ｒｏｌｌ成分の回転（回転ブレ）を補正するためには、例えば撮像装置が備える画像処理回路で補正を行う。

図３（ａ）のようにｒｏｌｌ成分に反時計回りの方向に角度θの回転ブレが検出された場合、撮像素子から出力された撮像画像３００は、被写体像の鉛直方向が時計回りの方向に角度θだけ回転する。このため、検出された回転方向とは逆方向、即ち時計回りの方向に角度θだけ回転させた領域３０１を切り出すことで、回転を補正した画像３０５を生成することができる。しかしながら、回転を補正した画像３０５には、回転を補正することにより、撮像範囲である撮像画像３００に含まれなかった画角の情報（図の黒塗り領域）が含まれることになる。このため、撮像画像と同じ画素数の回転ブレを補正した画像を出力する際は、画像３０５から黒塗りの領域が含まれない領域から、撮像画像と同じアスペクト比を有する最大の領域を切り出し、電子ズームを適用する必要がある。これに対し、特許文献１には撮像画像の領域内に収まるように、回転ブレとは逆方向に、回転量分だけ回転させた矩形領域を切り出すことにより、回転ブレを補正する方法が開示されている。

また、撮像光学系には、それぞれのレンズの持つ曲率の影響で歪曲収差を有するものがあり、このような撮像光学系を用いて撮像を行うと、特に広角側において撮像素子に結像される像が、中心方向に歪む樽型の歪曲収差が生じることがある。従来、樽型の歪曲収差を補正するためには、図３（ｂ）のように撮像画像３００の中から樽型の領域３１１を切り出して歪曲補正を行うことにより、撮像画像と同じ画素数の歪曲補正後の画像３１５を得ることが可能である。特許文献２には、ズーム倍率に依存して樽型又は糸巻き型に歪曲収差が変化する撮像光学系をもつ撮像装置において、歪曲補正を行った後に、回転ブレを補正して得られた画像のうち、被写体像の領域から所望の範囲を切り出して出力する技術が開示されている。

特開２００９−１２４３１４号公報 特開２００７−２９３４５７号公報

しかしながら、歪曲補正を行う際には、図３（ｂ）のように撮像画像３００から樽型の領域を切り出して引き伸ばすため、歪曲補正を適用した画像３１５からは参照できない四隅の領域の情報（図の斜線部）が失われてしまう。このため、特許文献１や特許文献２のように、歪曲補正を適用した後の画像から回転ブレを補正した画像を切り出す方法では、撮像画像である撮像された画角の情報を有効に利用できない。即ち、撮像素子が出力した撮像画像から歪曲補正で四隅の情報が失われ、さらに回転ブレ補正でさらに情報を抽出することになるため、撮像された画角より狭い画角の画像において、回転ブレを補正した画像を得ることになる。

本発明は、上述の問題点に鑑みてなされたものであり、歪曲補正と回転ブレの補正を行う際に、撮像された画角の情報を有効に利用することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
撮像光学系を介して撮像した撮像画像を出力する撮像手段と、撮像装置の振れのうち、撮像光学系の光軸を回転軸とする回転振れを検出する検出手段と、撮像光学系の光軸を回転軸として撮像画像を回転させることによって、検出手段で検出された回転振れに起因する像振れを補正する回転補正手段と、撮像画像における撮像光学系による歪曲収差を補正する歪曲補正手段とを備え、回転補正手段は、回転振れがない場合に歪曲収差を補正する際に参照する領域が撮像画像の領域に収まるように、撮像画像を回転させ、歪曲補正手段は、回転された参照する領域に含まれる撮像画像について、歪曲収差を補正することを特徴とする。

このような構成により本発明によれば、歪曲補正と回転ブレの補正を行う際に、撮像された画角の情報を有効に利用することができる。

実施形態に係るデジタルビデオカメラの機能構成を表す図。 撮像光学系及び撮像素子と、回転方向の関係を説明するための図。 実施形態１に係る回転ブレ補正を説明するための図。 実施形態２に係る回転ブレ補正を説明するための図。 実施形態２に係る回転ブレ補正を説明するための別の図。 光学ズームの倍率に対する歪曲収差量、及び電子ズームの適用率を表す図。 実施形態１に係る回転ブレ補正撮像処理のフローチャート。 実施形態２に係る回転ブレ補正撮像処理のフローチャート。

（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、３軸の回転ブレを検出可能なデジタルビデオカメラに、本発明を適用した例を説明する。しかし、本発明は、少なくとも光軸回りの回転ブレを検出することが可能な任意の機器に適用可能である。なお、本実施形態では、デジタルビデオカメラ１００の光学ズームの倍率が、広角端（等倍）である際の補正について説明するものとする。しかしながら、本発明の実施は、光学ズームの倍率が広角端であるものに限らない。

図１は、本発明の実施形態に係るデジタルビデオカメラの機能構成を示すブロック図である。
制御部１１７は、例えばＣＰＵであり、デジタルビデオカメラ１００が備える各ブロックの動作を制御する。制御部１１７は、例えば後述する記憶部１１６に記憶されている、デジタルビデオカメラ１００の各ブロックの動作プログラムを読み出し、不図示のＲＡＭに展開して実行することにより、デジタルビデオカメラ１００の各ブロックの動作を制御する。記憶部１１６は、書き換え可能な不揮発性メモリであり、デジタルビデオカメラ１００の各ブロックの動作プログラムに加え、例えば、後述する撮像光学系１２０の各レンズの曲率や焦点距離等のパラメータを記憶する。また、記憶部１１６は例えば、光学ズームの倍率に対応した歪曲収差の量の情報も記憶する。その他、記憶部１１６は、デジタルビデオカメラ１００の各ブロックの動作において、必要なパラメータや設定等を記録する。

撮像光学系１２０は、ズームレンズ１０１、補正レンズ１０３、フォーカスレンズ１０７等で構成されるレンズ群であり、被写体からの反射光をデジタルビデオカメラ１００に取り込み、被写体像を後述する撮像部１０９が備える撮像素子に結像する。ズームレンズ１０１は、デジタルビデオカメラ１００の光学ズーム機能を実現するレンズであり、ズームレンズ駆動部１０２によって光軸方向にズームレンズの位置が変更されることにより、撮像素子に結像する被写体像の倍率を変更することが可能である。制御部１１７は、例えば光学ズームの倍率に応じたズームレンズ１０１の位置情報をズームレンズ駆動部１０２に伝送し、ズームレンズ駆動部１０２にズームレンズ１０１を駆動させる。補正レンズ１０３は、後述するブレ検出部１１８が検出したデジタルビデオカメラ１００の撮像時の手ブレを軽減する（像ブレ補正）機能を実現するレンズである。補正レンズ１０３は、補正レンズ駆動部１０４によって光軸に対して直行方向に補正レンズの位置を変更することで、撮像素子に結像する被写体像のブレを低減する。制御部１１７は、例えばデジタルビデオカメラ１００が有する手ブレ補正機能が有効になっているときに、ブレ検出部１１８の検出した光軸に直行する方向のブレ量を補正レンズ駆動部１０４に伝送し、補正レンズ駆動部１０４に補正レンズ１０３を駆動させる。絞り・シャッタ１０５は、撮像時の露出量を変更する機能をもつ。例えばデジタルビデオカメラ１００に入射する被写体からの反射光の光量が多い場合は、制御部１１７は、絞りの絞り量を大きく、シャッタ速度を早くするように設定する。そして、制御部１１７は、絞り・シャッタ駆動部１０６に絞り量とシャッタ速度の情報を伝送し、絞り・シャッタ駆動部１０６に絞り・シャッタ１０５を駆動させる。フォーカスレンズ１０７は、撮像部１０９が備える撮像素子に被写体像が合焦して結像するように駆動するレンズである。具体的には制御部１１７は、例えばデフォーカス量演算等の方式によって算出した、撮像素子に被写体像が合焦するフォーカスレンズの位置情報をフォーカスレンズ駆動部１０８に伝送し、フォーカスレンズ駆動部１０８にフォーカスレンズ１０７を駆動させる。なお、本発明において、撮像光学系１２０は、特に広角の光学ズームの倍率において、樽型の歪曲収差を有するものとして説明する。

撮像部１０９は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を備えるブロックであり、撮像素子に結像した被写体像を光電変換し、得られたアナログ画像信号を信号処理部１１０に出力する。信号処理部１１０は、入力されたアナログ画像信号に対して、信号増幅処理、Ａ／Ｄ変換処理等を適用し、画像処理部１１１にデジタル画像データ（画像データ）を出力する。画像処理部１１１は、入力された画像データに傷補正等の各種補正処理、及び画像データの圧縮処理等を行う。画像処理部１１１は、例えば記憶部１１６に記憶されている切り出し枠の設定情報に従って、画像データの全領域の中から、撮像画像として出力する画像の領域を抽出することが可能である。また画像処理部１１１は、例えば記憶部１１６に記憶されている撮像光学系１２０の各レンズのレンズパラメータやレンズ位置等の情報に従い、画像データの歪曲収差を補正する（歪曲補正）。さらに、画像処理部１１１はブレ検出部１１８が検出した回転のうち、光軸を回転軸とする回転量に従い、画像データを回転させ、回転ブレを補正する（回転補正）。

表示部１１２は、例えば小型ＬＣＤ等の表示装置であり、画像処理部１１１で各種処理が適用された画像データや、後述する記録媒体１１３に記録されている画像、及び映像データ、及び例えば記憶部１１６に記録されているＧＵＩ等を表示することが可能である。デジタルビデオカメラ１００が撮像モードである場合は、特に撮像された画像データを逐次表示することにより、表示部１１２は電子ビューファインダ（ＥＶＦ）として機能する。記録媒体１１３は、例えばデジタルビデオカメラ１００が備える内蔵メモリや、デジタルビデオカメラ１００に着脱可能に装着されるメモリカードやＨＤＤ、ＤＶテープ等の、デジタルビデオカメラ１００で撮像された画像及び映像データを記録可能な媒体である。例えば制御部１１７の指示により、画像処理部１１１で各種処理が適用された画像データや、不図示のＲＡＭ蓄積された映像データ等が記録媒体１１３に入力され、記録される。

外部入出力端子部１１４は、例えばＵＳＢやＬＡＮ等の入出力端子であり、デジタルビデオカメラ１００と外部機器を接続することが可能であり、接続された外部機器との間で、例えば通信信号及び映像信号等を送受信する。操作部１１５は、デジタルビデオカメラ１００が備える、撮像開始ボタンや撮像モード切替スイッチ等の、撮影者からの入力を受け付ける入力インタフェースであり、撮影者からの入力を受け付けると、制御部１１７に入力内容を伝送する。

ブレ検出部１１８は、デジタルビデオカメラ１００を撮影者が把持して撮像を行う際などに、手ブレによってデジタルビデオカメラ１００に伝わる振動や回転を検出し、検出結果を制御部１１７に伝える。本実施形態では、ブレ検出部１１８は図２に示すような３軸の回転を検出するものとして説明する。図２は、撮像光学系１２０と撮像部１０９が備える撮像素子との位置関係及びその回転軸を表した図である。例えばＹ軸がデジタルビデオカメラ１００に定められている上方向である場合、光軸はＺ軸になり、Ｘ軸はＹ軸とＺ軸に直行する軸である。このとき、デジタルビデオカメラ１００の回転は、Ｘ軸回りの回転であるｐｉｔｃｈ成分と、Ｙ軸回りの回転であるｙａｗ成分と、光軸であるＺ軸回りの回転であるローリングｒｏｌｌ成分の３つの成分に分解して検出される。なお、ｐｉｔｃｈ成分とｙａｗ成分の回転に関しては、Ｘ、Ｙ軸方向の並進の移動とみなすことにより、制御部１１７は撮像素子に結像する像の移動を低減するために、並進の移動と逆の方向に補正レンズ１０３を補正レンズ駆動部１０４に駆動させる。本発明では、ｒｏｌｌ成分の回転を、以後回転ブレとして説明する。上述したように、ｒｏｌｌ成分の回転は、前述のｐｉｔｃｈ成分、ｙａｗ成分と異なりＸ、Ｙ軸方向の移動成分に分解することが困難であるため、回転ブレの補正は画像処理部１１１において、画像処理によって実現する。

ここで、本実施形態の回転ブレを補正する処理について、図を用いて説明する。図３（ｃ）はｒｏｌｌ成分に角度θの回転ブレが検出された場合に、撮像部１０９で撮像された撮像画像３００について、歪曲補正と回転ブレを補正する処理を適用した場合を表している。本実施形態では、従来の樽型の歪曲収差を補正する処理を行ってから、回転ブレの補正を行う方式と異なり、回転ブレの補正処理を適用した後に歪曲補正を行う。歪曲収差は像高によって歪みが大きくなるため、特に像高が高い樽型の領域の四隅は、撮像画像の領域に比べて内側に歪曲している。このため、回転ブレの補正処理において、撮像画像の領域内で樽型の領域は回転可能である。また、歪曲収差は像高にのみ依存するため、回転によらず一定であり、回転させた樽型の領域３２１の画像を切り出し、切り出した画像に対して歪曲補正を行う際と同じ処理が適用することにより、歪曲収差の影響を取り除いた矩形画像を得ることができる。これにより、撮像画像と同じ大きさの歪曲補正と回転ブレの補正を適用した画像３２５を取得する。即ち本実施形態では、従来の方式で歪曲補正を行った際に参照されなくなってしまう領域の画像を利用し、回転ブレを補正することが可能であり、これにより電子ズームを適用することなく、撮像画像と同じ大きさの矩形画像３２５を得ることができる。

なお、撮像光学系によって異なるが、歪曲補正で参照する樽型の領域が、撮像画像内で一回転方向に回転可能な最大角度θ_ｍａｘがある。例えば、検出されたｒｏｌｌ成分の回転ブレが、角度θ_ｍａｘより大きい角度θ’であった場合、図４に示すように回転方向とは逆方向に角度θ’だけ回転させた樽型の領域３３１は、撮像画像３００の領域から収まらない。このような場合は、本実施形態では回転方向とは逆方向に最大角度θ_ｍａｘだけ回転させた樽型の領域３３２を切り出し、歪曲補正を行って記録用の画像を出力する。このとき出力される画像３３５には角度θ’−θ_ｍａｘの回転ブレの影響が残存することになるが、歪曲補正が行われ、電子ズームを適用しない範囲で最大限に回転ブレの影響が低減されている。

このような構成をもつ本実施形態のデジタルビデオカメラの、回転ブレ補正撮像処理について、図７のフローチャートをさらに用いて説明する。なお、本回転ブレ補正撮像処理は、デジタルビデオカメラ１００が有する手ブレ補正機能が有効になっているときに、撮影者によって操作部１１５が有する撮像開始ボタンが押下された際に、制御部１１７が開始する。

Ｓ７０１で制御部１１７は、撮像光学系１２０の各レンズをそれぞれの駆動部に駆動させ、撮像部１０９に結像された被写体像を、光電変換させる。そして制御部１１７は、撮像部１０９が出力したアナログ画像信号を信号処理部１１０に各種処理を適用させ、得られた画像データを画像処理部１１１に出力させる。さらに制御部１１７は、画像処理部１１１に入力された画像データに対し、回転補正以外の補正処理を適用させる。

Ｓ７０２で、制御部１１７は、画像データを撮像時のデジタルビデオカメラ１００の回転情報を、ブレ検出部１１８から取得する。このとき、光軸回りの回転があった場合、制御部１１７は回転ブレが発生したものとして、処理をＳ７０３に移す。また、光軸回りの回転がない、もしくは例えば記憶部１１６に予め記憶されている回転ブレを無視する角度より、光軸回りの回転が小さい場合は、回転ブレがないものとして、処理をＳ７０７に移す。

Ｓ７０３で制御部１１７は、ブレ検出部１１８から取得した撮像時のデジタルビデオカメラ１００の光軸回りの回転量の絶対値が、歪曲補正で参照する樽型の領域が、撮像画像内で一回転方向に回転可能な最大角度θ_ｍａｘ以下であるかを判断する。光軸回りの回転量の絶対値がθ_ｍａｘ以下である場合、制御部１１７は処理をＳ７０４に移し、光軸回りの回転量の絶対値がθ_ｍａｘより大きい場合は処理をＳ７０５に移す。なお、一回転方向に回転可能な最大角度θ_ｍａｘの情報は、例えば記憶部１１６に記憶されており、制御部１１７が本ステップで読み出せばよい。

Ｓ７０４で、制御部１１７は、ブレ検出部１１８から取得した撮像時のデジタルビデオカメラ１００の光軸回りの回転量を、画像処理部１１１に伝送し、画像処理部１１１に回転とは逆方向に、回転量の絶対値分の歪曲補正で参照する樽型の領域を回転させる。また、制御部１１７はＳ７０５で、例えば記憶部１１６に記憶されている一回転方向に回転可能な最大角度θ_ｍａｘの情報を画像処理部１１１に伝送し、画像処理部１１１に回転とは逆方向に最大角度θ_ｍａｘだけ歪曲補正で参照する樽型の領域を回転させる。

Ｓ７０６で、制御部１１７は、画像処理部１１１にＳ７０４又はＳ７０５で回転させた樽型の領域の画像の切り出し処理を行わせる。また、制御部１１７は、Ｓ７０６で画像処理部１１１に切り出させた樽型の領域について、回転の影響を取り除く（地軸の鉛直方向を正す）ため、検出された回転方向にＳ７０４又は７０５で回転させた角度分回転させる。そして、制御部１１７は、回転の影響が取り除かれた樽型の領域について、画像処理部１１１に歪曲補正処理を適用させ、矩形画像を得る（Ｓ７０７）。

Ｓ７０８で、制御部１１７は、記録用の撮像が完了しているかを判断する。具体的には、例えばデジタルビデオカメラ１００が、静止画の連射撮像や、動画の撮像中であった場合は、撮像処理の終了入力が、操作部１１５に撮影者により入力されたかを、制御部１１７は判断する。記録用の撮像が完了している場合、制御部１１７は回転ブレ補正撮像処理を完了する。なお、通常の静止画撮像であった場合は、１回の撮像処理で完了であるため、制御部１１７は回転ブレ補正撮像処理を完了すればよい。なお、撮像されて歪曲補正及び回転ブレの補正処理が適用された画像データは例えば一時的にＲＡＭに記憶され、本ステップで撮像完了と判断された場合に、制御部１１７は画像又は動画データを記録媒体１１３に記録すればよい。

以上説明したように、本実施形態の撮像装置は、歪曲収差をもつ撮像光学系を有し、撮像時に撮像光学系の光軸を回転軸とする回転を検出した際に、回転を補正した矩形画像を取得することが可能である。具体的には、回転を補正する際に、歪曲補正時に参照する樽型の領域が、撮像された撮像画像の領域内に収まるように、回転を補正する方向に検出された回転量分、回転させる。そして、樽型の領域内に含まれる撮像画像に対して歪曲補正を適用することにより、撮像画像と同じ大きさの矩形画像を得る。また、検出された回転量分の回転を行うと、樽型の領域が撮像画像の領域に収まらない場合は、撮像画像の領域内に収まる最大の角度の分だけ樽型の領域を回転させ、樽型の領域内に含まれる撮像画像に対して歪曲補正を適用する。

これにより、本実施形態の撮像装置は、歪曲補正を行った後に光軸を回転軸とする回転を補正した処理を行う場合に、参照不可能である歪曲補正で失われる領域の情報を利用して回転を補正することが可能である。また、撮像画像の領域から歪曲補正で参照される樽型の領域の回転を補正した後、歪曲補正を適用するため、電子ズームを適用させることなく、歪曲補正と光軸を回転軸とする回転の影響を低減した画像を得ることができる。

（実施形態２）
実施形態１では、電子ズームを適用せずに、広角端での樽型の歪曲補正と、歪曲補正で参照する樽型の領域が撮像画像内で一回転方向に回転可能な最大角度θ_ｍａｘまでの回転の影響を低減した画像を出力する撮像装置について説明した。本実施形態では、さらに光学ズームの倍率が変化する場合に、いずれのズーム倍率においてもθ_ｍａｘ以下の所定の角度θ_ｌｉｍまでの回転ブレを補正可能な撮像装置ついて説明する。なお、本実施形態の撮像装置であるデジタルビデオカメラ１００の機能構成は、実施形態１と同じであるため、説明を省略する。

デジタルビデオカメラ１００の撮像光学系１２０において、光学ズームの倍率が変更されると、歪曲収差は図６（ａ）のように変化する。図６（ａ）において、横軸は光学ズームの倍率を表し、縦軸は任意の像高に対する歪曲収差の量を表している。このように光学ズームの倍率が変更されると、ズーム倍率に応じて歪曲収差は樽型から糸巻き型に変化する。

ここで、図５（ａ）を用いて糸巻き型の歪曲補正について説明する。
糸巻き型では、撮像素子の出力である撮像画像３００に対し、被写体像は撮像素子上で５０１のように結像されるため、撮像画像３００は結像される被写体像の全ての領域を含んでいない。このため、被写体像の全ての領域を含んでいない撮像画像３００に糸巻き型の歪曲補正を行うと、得られる画像５０５は、像高が高い四隅の領域が中心方向に歪んだ画像になる。得られた画像５０５には、撮像画像３００に含まれなかった被写体像５０１に含まれる領域の部分の画像を補正時に参照できないため、四隅の領域に画像情報がない領域ができてしまう。このため、糸巻き型の歪曲補正を行う際は、撮像画像の領域に収まる範囲の糸巻き型の領域から歪曲補正を行う必要がある上、歪曲補正を行って得られた画像は撮像画像よりも小さいサイズとなるため、電子ズームを適用して撮像画像と同じサイズとする。

光学ズームの倍率を広角側から望遠側に変化させていく場合、実施形態１で説明した、歪曲補正で参照する領域が撮像画像内で一回転方向に回転可能な最大角度θ_ｍａｘは、徐々に小さくなっていく。このため、歪曲補正して撮像画像と同じ大きさの画像を取得可能な領域（最大の領域）を、撮像画像の領域内で回転可能な角度θ_ｍａｘ以下の角度θ_ｌｉｍを回転ブレの補正処理における限度角として設定すると、次のようになる。光学ズームの倍率が、ある一定の倍率６０１までは、撮像画像の領域内で限度角θ_ｌｉｍだけ回転することができるが、ある一定の倍率６０１より大きい倍率では、同じθ_ｌｉｍだけ最大の領域を回転させると、撮像画像の領域に収まらなくなる。そこで、本実施形態のデジタルビデオカメラ１００では、光学ズームが前述のある一定の倍率６０１以上のときにも、設定した限度角θ_ｌｉｍだけ撮像画像の領域内で回転可能となるようにする。具体的には、ある一定の倍率６０１以上の光学ズームの倍率のそれぞれにおいて、検出される回転ブレの回転量に依らず、歪曲補正の参照とする領域を撮像画像の領域内で限度角θ_ｌｉｍだけ回転させたときに、撮像画像の領域内に収まる大きさに変形する。これにより、光学ズームの倍率がいずれの値においても、広角端のときに歪曲補正で参照する最大の領域が、撮像画像の領域内で回転可能な角度θ_ｍａｘ以下の限度角θ_ｌｉｍまで、回転ブレを補正することが可能である。またこのとき、光学ズームの倍率がある一定の倍率６０１以上である場合、歪曲補正で参照とする領域は限度角の回転を行うために、最大の領域より小さい領域に変形するため、歪曲補正して得られる画像は、撮像画像より小さい大きさとなる。このため図６（ｂ）のように、光学ズームの倍率がある一定の倍率６０１以上である場合は、歪曲補正後の画像に対して電子ズームを適用して、撮像画像と同じ大きさの画像とする。また、本実施形態において、撮像光学系１２０の歪曲収差の情報は既知であるから、ある一定の倍率６０１の情報、変形した歪曲補正で参照する領域の情報、及び限度角の情報は、例えば記憶部１１６にズーム倍率に関連付けて予め記憶しておけばよい。なお、限度角の情報は、例えばデジタルビデオカメラ１００が設定モードであるときに、撮影者が操作部１１５を用いて変更可能である。

次に、光学ズームの倍率がある一定の倍率６０１以上である場合の、変形される歪曲補正で参照とする領域について説明する。
図４は、樽型の歪曲補正を行う、ある一定のズーム倍率６０１以上の光学ズームの倍率における、撮像画像４００と歪曲補正で参照する樽型の領域を表している。図４（ａ）において、樽型の領域４１１は、歪曲補正を行った際に撮像画像４００と同じ大きさの画像となる領域である。この樽型の領域４１１を、撮像画像の領域内で回転可能な角度θ（θ＜θ_ｌｉｍ）だけ回転させたものが、樽型の領域４２１にあたる。このような光学ズームの倍率において、限度角θ_ｌｉｍの回転ブレの補正を可能とするためには、図４（ｂ）のように撮像画像の領域内で限度角θ_ｌｉｍだけ回転させた際に、撮像画像の領域内に歪曲補正で参照する領域が収まるようにする。具体的には、樽型の領域４１１を限度角θ_ｌｉｍだけ回転させた領域４４１から、樽型の領域４４１と回転中心が同じ樽型の領域４４２に歪曲補正で参照する範囲を変形する。樽型の領域４４２は、歪曲補正して撮像画像と同じアスペクト比の、撮像画像よりも小さい画像を取得可能であって、角度θ_ｌｉｍだけ回転した場合に撮像画像４００に内接する。このため、図４のような光学ズームの倍率において、歪曲補正で参照する領域は、回転がない場合であっても樽型の領域４３１のように、樽型の領域４１１より小さい領域となる。なお、変形した樽型の領域４１１及び４４２は、像高が小さい（中心に近い）ほど歪曲収差は無視できるほどなくなるため、最大の樽型の領域４１１及び４４１とは相似形ではない。

図５（ｂ）及び（ｃ）は、糸巻き型の歪曲補正を行う、ある一定のズーム倍率６０１以上の光学ズームの倍率における、撮像画像４００と歪曲補正で参照する糸巻き型の領域をあらわいている。糸巻き型の領域５２１は、撮像画像の領域内で限度角θ_ｌｉｍだけ回転した際に、撮像画像の領域内に歪曲補正で参照する領域が収まるように変形した領域である。またこのズーム倍率において回転がない場合には、糸巻き型の領域５２１と同じ大きさの領域の、糸巻きが他の領域５１１が歪曲補正で参照する領域となる。糸巻き型の領域５１１及び５２１は、回転ブレの補正を行った後、同じ拡大率の電子ズームを適用することにより、撮像画像と同じ大きさの矩形画像である５１５及び５２５を得ることができる。

このような構成をもつ本実施形態のデジタルビデオカメラの、回転ブレ補正撮像処理について、図８のフローチャートをさらに用いて説明する。なお、本回転ブレ補正撮像処理は、デジタルビデオカメラ１００が有する手ブレ補正機能が有効になっているときに、撮影者によって操作部１１５が有する撮像開始ボタンが押下された際に、制御部１１７が開始する。また、本実施形態の回転ブレ補正撮像処理において、前述の実施形態１の回転ブレ補正撮像処理と同じ処理を行うステップについては、同一の参照番号を付して説明を省略する。

Ｓ７０１で撮像処理を行い、得られた画像データを画像処理部１１１に回転補正以外の補正処理を適用させた後、制御部１１７は、操作部１１５への撮影者からの入力により、撮像時の光学ズーム倍率が変更されたかを判断する（Ｓ８０１）。具体的には、制御部１１７は、光学ズームの倍率が、回転ブレ補正撮像処理の開始前、又は前回の撮像時のズーム倍率から変更されたかを判断する。光学ズームの倍率が変更されたと判断した場合、制御部１１７は処理をＳ８０２に移す。また、光学ズームの倍率が変更されていないと判断した場合、制御部１１７は処理をＳ７０２に移す。

Ｓ８０２で、制御部１１７は光学ズームの倍率に応じて、歪曲補正で参照する領域を変形する。具体的には制御部１１７は、記憶部１１６に記憶されている撮像光学系１２０のパラメータから、ズーム倍率に応じた歪曲収差の情報を参照して、歪曲補正で参照する領域の情報を画像処理部１１１に伝送し、参照する領域を変形させる。また制御部１１７は、記憶部１１６に記憶されている、歪曲補正で参照する領域を変形せずに限度角の回転ブレを補正可能なズーム倍率より、現在のズーム倍率が大きい場合は、次のように処理する。制御部１１７は、記憶部１１６より、現在のズーム倍率に関連付けられて記憶されている、変形した歪曲補正で参照する領域の情報を、画像処理部１１１に伝送し、参照する領域を変形させる。

Ｓ７０２で撮像時に光軸回りの回転が検出された場合、制御部１１７は処理をＳ８０３に移す。Ｓ８０３で、制御部１１７は、検出された回転量の絶対値が、記憶部１１６に記憶されている回転ブレを補正する限度角の角度以下である場合、処理をＳ７０４に移す。また、検出された回転量の絶対値が限度角より大きい場合、処理をＳ８０４に移す。

Ｓ８０４で、制御部１１７は画像処理部１１１に、歪曲補正で参照する領域を限度角分、撮像画像の領域内で回転させる。このとき光学ズームの倍率が、記憶部１１６に記憶されている、歪曲補正で参照する領域を変形せずに限度角の回転ブレを補正可能なズーム倍率よりも大きい場合は、限度角分だけ回転させた歪曲補正で参照する領域は、撮像画像に内接する。

Ｓ７０７で、歪曲補正で参照する領域内に含まれる画像に対して、歪曲補正を適用した後、制御部１１７は処理をＳ８０５に移す。Ｓ８０５で、制御部１１７は、歪曲補正を適用して得られた画像の大きさが、撮像画像と同じ大きさとなるように画像処理部１１１に電子ズームを適用させる。

なお、本実施形態では歪曲収差の補正を行うことを優先し、回転ブレの補正については限度角を設けることにより、歪曲補正し、回転ブレの影響を低減した画像及び動画像データの取得方法について説明した。しかしながら、回転ブレの補正を優先し、歪曲補正で参照する領域を小さく変形して画角中心に近づけ、歪曲収差の補正量を動的に低くしてもよい。この場合、例えば動画像等、時間推移に伴って歪曲収差の補正量が動的に変動する撮像を行う場合は、フレーム間で画像の歪みが変動してしまい、動画像を視聴する際にユーザに違和感を与える可能性があるため、歪曲収差の補正量は一定とする。

また、本実施形態では、回転ブレの補正を行う限度角を設定し、光学ズームの倍率が、歪曲補正で参照する領域を変形せずに限度角の回転ブレを補正可能なズーム倍率よりも大きい場合に、電子ズームを適用するとして説明した。しかしながら、電子ズームを適用することによって画質の劣化が生じるため、回転ブレの補正を行う限度角は、光学ズームの倍率によって動的に変更しても良い。具体的には、実施形態１のように、光学ズームの倍率のそれぞれにおいて、歪曲補正を行うと撮像画像と同じ大きさの画像を取得可能な参照する領域が回転可能な最大の角度に、限度角を設定すればよい。この場合、糸巻き型の歪曲収差が生じる光学ズームの倍率においては、回転ブレの補正を行わないものとする。

以上説明したように、本実施形態の撮像装置は、歪曲収差をもつ撮像光学系を有し、撮像時に撮像光学系の光軸を回転軸とする回転を検出した際に、回転を補正した矩形画像を取得することが可能である。具体的には、回転を補正する際に、歪曲補正時に参照する領域が、撮像された撮像画像の領域内に収まるように、回転を補正する方向に検出された回転量分、回転させる。そして、参照する領域内に含まれる撮像画像に対して歪曲補正を適用することにより矩形画像を得る。また、回転を補正する限度角を設定し、参照する領域を限度角だけ回転を行うと、参照する領域が撮像画像の領域に収まらないような光学ズームの倍率では、参照する領域が撮像画像の領域に収まるように参照する領域を変形する。具体的には、歪曲補正を適用した際に撮像画像と同じアスペクト比の画像となり、限度角だけ回転させた際に撮像画像に内接するように、参照する領域を変形する。そして、変形した参照する領域を撮像画像の領域内で検出された回転の分、もしくは検出された回転が限度角より大きい場合は限度角の分だけ回転させ、参照する領域内に含まれる撮像画像に対して歪曲補正を適用する。さらに、歪曲補正された画像に対し、撮像画像と同じ大きさになるよう拡大処理を行う。

これにより、本実施形態の撮像装置は、歪曲補正を行った後に光軸を回転軸とする回転を補正した処理を行う場合に、参照不可能である歪曲補正で失われる領域の情報を利用して回転を補正することが可能である。また、本実施形態の撮像装置は、撮像画像の領域から歪曲補正で参照する領域の回転を補正した後、歪曲補正を適用する。このため、回転を補正する限度である限度角を設定した場合、限度角での歪曲補正と回転の補正において、歪曲補正され、撮像画像より狭まった画像から光軸を回転軸とする回転を補正する場合に比べて、電子ズームを適用させる率を少なくすることができる。また、回転ブレを補正する限度角において、歪曲補正で参照する領域が撮像画像に収まるように、光学ズームの倍率のそれぞれで参照する領域の大きさを定めるため、動画像の撮像等において、回転を補正した際にも画角を一定とすることが可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 撮像光学系を介して撮像した撮像画像を出力する撮像手段と、
   撮像装置の振れのうち、前記撮像光学系の光軸を回転軸とする回転振れを検出する検出手段と、
   前記撮像光学系の光軸を回転軸として前記撮像画像を回転させることによって、前記検出手段で検出された前記回転振れに起因する像振れを補正する回転補正手段と、
   前記撮像画像における前記撮像光学系による歪曲収差を補正する歪曲補正手段とを備え、
   前記回転補正手段は、前記回転振れがない場合に前記歪曲収差を補正する際に参照する領域が前記撮像画像の領域に収まるように、前記撮像画像を回転させ、
   前記歪曲補正手段は、前記回転された参照する領域に含まれる前記撮像画像について、前記歪曲収差を補正することを特徴とする撮像装置。
2. 前記撮像光学系は光学ズーム倍率が可変であるズームレンズユニットをさらに備え、
   前記回転補正手段は、前記光学ズーム倍率に応じて、前記参照する領域を変形することを特徴とする請求項１に記載の撮像装置。
3. 前記回転補正手段が前記回転振れを補正する限度角を有する場合、前記光学ズーム倍率によって変形された参照する領域は、該参照する領域を前記限度角だけ回転させた際に、前記撮像画像の領域に収まる大きさであることを特徴とする請求項２に記載の撮像装置。
4. 前記歪曲補正手段は、前記歪曲収差を補正して得られた画像について、拡大処理を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記歪曲補正手段は、前記撮像画像と同じ大きさに前記歪曲収差を補正して得られた画像を拡大することを特徴とする請求項４に記載の撮像装置。
6. 前記回転補正手段による補正と前記歪曲補正手段による補正とは同一のハードウェアで実行されることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記参照する領域は、樽型又は糸巻き型であることを特徴とする、請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像装置の撮像手段が、撮像光学系を介して撮像した撮像画像を出力する撮像工程と、
   前記撮像装置の検出手段が、撮像装置の振れのうち、前記撮像光学系の光軸を回転軸とする回転振れを検出する検出工程と、
   前記撮像装置の回転補正手段が、前記撮像光学系の光軸を回転軸として前記撮像画像を回転させることによって、前記検出工程で検出された前記回転振れに起因する像振れを補正する回転補正工程と、
   前記撮像装置の歪曲補正手段が、前記撮像画像における前記撮像光学系による歪曲収差を補正する歪曲補正工程とを備え、
   前記回転補正手段は前記回転補正工程において、前記回転振れがない場合に前記歪曲収差を補正する際に参照する領域が前記撮像画像の領域に収まるように、前記撮像画像を回転させ、
   前記歪曲補正手段は前記歪曲補正工程において、前記回転された参照する領域に含まれる前記撮像画像について、前記歪曲収差を補正することを特徴とする撮像装置の制御方法。

Images