JP6257289B2 - 画像処理装置およびそれを備えた撮像装置、画像処理方法 - Google Patents

Description

本発明は、撮像装置の振れに伴う画像の振れを補正する画像処理装置に関する。

撮像装置（カメラ）の回転、並進の姿勢変化は、その画角変化がブレとして画像に影響を及ぼすため、光学系内に配置されたブレ補正用の像振れ補正レンズ（像振れ補正光学系）を制御、駆動することで、好適にブレを抑圧することができる。また、信号処理で射影変換などの自由度の高い幾何変形処理を施すことで、より好適にブレを抑圧することができる。

しかし、撮像装置の大きな揺れを補正するために像振れ補正光学系の駆動量を大きくした場合、像振れ補正光学系が光軸中心から外れることによる偏心収差による画像歪み、解像度劣化の影響が避けられなくなる。さらに、この偏心収差は光学的性質が複雑であるため、偏心収差を含む収差の画像歪みに対する補正処理は現実的には補正しきれず、補正残りや過補正による画質劣化が避けられない。

また、撮像装置に搭載される撮像素子が、ＣＭＯＳセンサのような１ライン単位で画像情報が順次読み出されるローリングシャッタ型の場合、ライン毎に露光期間にずれが生じる。ローリングシャッタ型のセンサで画像を撮影する際、画面の一番上のラインから一番下のラインまでの露光期間の間に手ブレが生じたり、像振れ補正光学系が偏心したりした場合、ライン毎の露光期間のずれによって被写体の像が歪んでしまう。以下、この歪みのことをローリングシャッタ歪みと呼ぶものとする。

このような問題に対して、ローリングシャッタ歪みによる画質劣化を補正しつつ、カメラのブレ抑制を制御する技術としては、特許文献１がある。

特許第３１８５１５２号

特許文献１に記載の撮像装置では、撮像装置のブレ量、像振れ補正光学系の駆動量、焦点距離を用いて撮像装置の動きに起因するローリングシャッタ歪みの補正を行っており、ブレの予測を行うことでより高精度な補正を提案している。しかしながら、偏心収差を伴うブレ補正では、撮像装置の動きに起因するローリングシャッタ歪みに加えて、露光時間中に像振れ補正光学系が偏心することによるローリングシャッタ歪みが生じるため、その影響を無視することは出来ない。したがって、特許文献１では、例えば像振れ補正光学系を大きくシフトさせた際に、ローリングシャッタ歪みを良好に補正できない問題があった。

本発明は、上記課題を鑑み、ローリングシャッタ歪みの補正に有利な画像処理装置およびそれを備えた撮像装置、画像処理方法を提供することを目的とする。

本発明の一側面としての画像処理装置は、撮像装置の振れに伴う画像の振れを補正する画像処理装置であって、前記撮像装置が有する撮像素子により生成された画像を取得する画像取得手段と、前記撮像装置の振れに起因する前記画像に生じる第１の歪みを算出する第１の歪み算出手段と、前記撮像装置の振れを補正する像振れ補正光学系が前記撮像装置の露光時間中に偏心することに起因する前記画像に生じる第２の歪みを算出する第２の歪み算出手段と、前記第１の歪み算出手段から得られる第１の歪みおよび前記第２の歪み算出手段から得られる第２の歪みの情報に基づいて、前記画像を補正する補正手段と、を有することを特徴とする。

本発明によれば、ローリングシャッタ歪みの補正に有利な画像処理装置、画像処理方法、および撮像装置を提供することができる。

本発明の実施例１である撮像装置の構成を示すブロック図である。 実施例１の撮像装置の動作を示すフローチャートである。 撮像装置の動きによる歪みの概要図である。 歪み発生の概要図である。 撮像装置の動きによる歪みの形状算出の概要図である。 像振れ補正光学系の動きによる歪みの概要図である。 本発明の実施例２である撮像装置の構成を示すブロック図である。 実施例２の撮像装置の動作を示すフローチャートである。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１に、本発明の実施例１である撮像装置の構成を示す。同図において、１０１は被写体像を形成する撮像光学系であり、１０２は撮像光学系１０１の内部に搭載されているブレ補正用の像振れ補正レンズ（像振れ補正光学系）である。像振れ補正光学系１０２は、撮像光学系の光軸とは異なる方向に駆動する。１０３は撮像光学系１０１により形成された被写体像を光電変換するＣＭＯＳセンサ等の撮像素子である。本発明の撮像素子１０３は、１ライン単位で画像情報が順次読み出されるようなローリングシャッタ型のセンサである。１０４は撮像素子１０３から出力される電気信号から映像信号を形成する現像処理部である。現像処理部１０４は、不図示のＡ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス部（ＡＷＢ）を含み、撮像素子１０３から出力されるアナログ信号をデジタル信号に変換処理する。

撮像素子１０３及び現像処理部１０４により、画像の生成を行う撮像系が構成される。

１０５は、現像処理部１０４により形成された映像信号の１フレーム又は複数のフレーム画像を一時的に記憶保持するメモリである。

１０６は振れ検出部であり、手ブレやカメラワーク等の撮像装置の動きの情報を取得する角速度センサ（ジャイロセンサ）等の検出装置で構成される。この振れ検出部１０６は、主に撮像装置の振れを検出する振れ検出手段として機能する。撮像装置の動きの情報を取得する方法としては、上記ジャイロセンサを使用する以外にも、加速度センサ（シフトセンサ）等のセンシングデバイスを使用する方法の他、入力画像と過去の参照画像から動きを検出する、所謂動きベクトル検出による方法がある。１０７は光学系駆動量検出部であり、主にブレを補正するための像振れ補正光学系１０２が駆動した量を取得する。換言すれば、光学系駆動量検出部１０７は、撮像装置の振れを補正する像振れ補正光学系１０２の駆動量を検出する駆動量検出手段として機能する。１０８は撮影パラメータ取得部（撮影パラメータ取得手段）であり、撮影中の焦点距離やシャッタスピード等の撮影パラメータを取得する。

１０９は第１の歪み算出部（第１の歪み算出手段）であり、振れ検出部１０６から得られる撮像装置の動き情報（振れ情報）と、光学系駆動量検出部１０７から得られる像振れ補正光学系の駆動量（駆動情報）を用いてローリングシャッタ歪みの形状を算出する。また、１１０は第２の歪み算出部（第２の歪み算出手段）であり、光学系駆動量検出部１０７から得られる像振れ補正光学系の駆動情報と、撮影パラメータ取得部１０８から得られる撮影パラメータ情報を用いてローリングシャッタ歪みの形状を算出する。

１１１は、撮像系（撮像素子１０３及び現像処理部１０４）で生成された撮影画像をメモリ１０５を介して取得する画像取得手段としての機能を有する幾何変形処理部である。幾何変形処理部１１１（補正手段）では、第１の歪み算出部１０９及び第２の歪み算出部１１０から得られたローリングシャッタ歪み形状に基づいて、入力画像に対してローリングシャッタ歪みを補正するための幾何変形処理を施す。そして、画像出力部１１２ではローリングシャッタ歪みが補正された映像を不図示の記録媒体への記録及び、不図示のディスプレイへの表示を行う。第１の歪み算出部１０９、第２の歪み算出部１１０、および幾何変形処理部１１１により、画像の歪みを補正する画像処理部（画像処理装置）が構成される。以上のように構成された本発明の撮像装置の動作を図２に示すフローチャートを用いて説明する。

図２において、ステップＳ２０１では、撮像光学系１０１によって形成された被写体像を撮像素子１０３において被写体輝度に応じたアナログ信号として出力し、現像処理部１０４の処理を施すことで映像信号を生成させる。この際、振れ検出部１０６において撮像装置のブレの動きが検出された場合には、像振れ補正光学系１０２は検出されたブレの動きを打ち消す方向に駆動する。これにより、撮像装置のブレの動きを光学的に補正することが出来る。現像処理部１０４は、不図示のＡ／Ｄ変換部によってアナログ信号を例えば１２ビットのデジタル信号に変換する。さらに、不図示のＡＧＣ及びＡＷＢによって信号レベル補正や白レベル補正が行われたデジタル映像信号は、メモリ１０５に記憶保持される。本実施例の撮像装置では、所定のフレームレートで順次フレーム画像が生成され、メモリ１０５に記憶保持されたフレーム画像は幾何変形処理部１１１に入力される。また、メモリ１０５において記憶保持されているフレーム画像も順次更新される。

ステップＳ２０２では、撮像装置の動き情報、像振れ補正光学系の駆動情報、そして撮像装置の撮影パラメータ情報の取得を行う。まず、振れ検出部１０６において撮像装置の動き情報を取得する。動き情報取得のためにジャイロセンサを使用した場合には、撮像装置のパン、チルト及びロール方向の動き情報を得ることが出来る。ここでは動き情報の取得手段としてジャイロセンサを挙げているが、特にこれに限られるものではなく、加速度センサまたは磁気センサ等の撮像装置の動き情報を得られるその他の手段を用いても良い。次に、光学系駆動量検出部１０７では撮像装置のブレを補正するために、像振れ補正光学系１０２がどれだけ駆動したかを取得する。例えば、像振れ補正光学系１０２が光軸に対して垂直にシフトする場合には、そのシフト量を取得し、パンやチルトの動きでブレを補正する場合にはその回転角を取得することになる。さらに、撮影パラメータ取得部１０８では、撮影時の各種撮影パラメータ情報を取得する。このとき、取得すべき撮影パラメータはローリングシャッタ歪みの形状に影響を与えるパラメータであり、本実施例では、その一例として焦点距離情報を取得する。

ステップＳ２０３では、第１の歪み算出部１０９において、振れ検出部１０６から得られるブレの情報と、光学系駆動量検出部１０７から得られる像振れ補正光学系の駆動情報を用いて撮像装置の動きに起因するローリングシャッタ歪みの形状を算出する。

図３に撮像装置の動きに起因するローリングシャッタ歪みの概要図を示す。同図において、３０１は撮像装置であり、水平方向へのぶれが生じているものとする。また、３０２はその際に撮影される画像を模式的に表しており、３０３に示すような長方形の被写体が写されているものとする。このとき、露光時間中に撮像装置３０１が水平方向に移動していた場合には、画像中に存在している被写体３０３は、３０４に示すように平行四辺形状に歪んで撮影されてしまう。

このような歪みが生じる原因を説明するために、ローリングシャッタ方式の撮像装置で画像を撮影した場合の画像の各ラインと時間ｔとの関係を図４に示す。あるフレームにおける各ライン４０１は、垂直同期信号ＶＤに合わせて順次ライン毎に露光及び読み出しを行うことで画像情報を形成する。本発明の撮像素子１０３は、１ライン単位で画像情報が順次読み出されるローリングシャッタ型のセンサであるため、ライン毎に露光期間にずれが生じてしまい、その結果、被写体像に歪み（ローリングシャッタ歪み）が生じる。図４に示すようにライン間の読み出しの遅延時間をτ、画像中の全ライン数をＨとすると、先頭行と最終行で（Ｈ−１）τの読み出し時間のずれが生じることになる。従って、露光時間中に撮像装置が動くとライン毎に読み出し時間が異なるため、ライン毎の読み出し時点での撮像装置の位置における画像を撮像することになり、最終的に１枚の画像が形成された際に被写体の歪みとして現れることになる。

このとき、像振れ補正光学系を駆動させて撮像装置のブレを補正すると、像振れ補正光学系の動きは撮像装置の動きを打ち消すことになるため、図３（ｂ）の３０５に示すように被写体３０４に生じていたローリングシャッタ歪みが補正される。ここで、像振れ補正光学系の駆動により完全に撮像装置のブレを補正することが出来れば、被写体３０４に生じているローリングシャッタ歪みも完全に補正され３０３のような本来の形状である長方形として撮像される。しかしながら、実際には撮像装置のブレの周波数や大きさ等によっては完全には補正できずに、３０５に示すように補正残りとしてローリングシャッタ歪みが残留することがある。本ステップでは、このようなローリングシャッタ歪みの補正残りについて形状（第１の歪み）の推定を行い、幾何変形処理で補正を行うための情報を生成する。

図５にローリングシャッタ歪みの形状算出の概要図を示す。図５（ａ）は撮像装置のブレの動きのみを考えた場合に生じているローリングシャッタ歪みを表している。撮像装置が露光時間中に水平方向に移動した場合、撮影された画像５０１に写される長方形状の被写体５０２は５０３に示すように平行四辺形状の歪みが生じる。その時の歪みの形状は、振れ検出部１０６から得られる露光時間中の撮像装置の動き情報から算出することが出来る。図５（ａ）の５０４は露光時間中の撮像装置の動き量を示しており、横軸が時間ｔ、縦軸が時間ｔにおける撮像装置の動き量ｐ１（ｔ）を示している。ここで、画像５０１の全ライン数をＨ、１ラインあたりの読み出し開始時間のずれ量をτとすると、最終ラインが読み出される時間はｔ＝τ（Ｈ−１）となる。つまり、５０４は画像の一番上のラインを基準として最終ラインまで読み出される間にどれだけ撮像装置が動いたかを示しており、その値は同時刻における画像５０１のライン間のずれ量と対応している。従って、撮像装置の動き情報を用いることでローリングシャッタ歪みの形状を算出することが可能となる。ただし、例えば撮像装置の動き情報をジャイロセンサから取得する場合には、その値は角度情報となるため、画像上でのライン間のずれ量との対応をとるためには、その角度が画像上での何画素分の動きに相当するかを換算する必要がある。

それに対して、図５（ｂ）には撮像装置のブレの動きを補正する方向に像振れ補正光学系のみを駆動させた場合に生じるローリングシャッタ歪みの概要図を示す。露光時間中にブレを打ち消す方向に駆動しているため、それにより生じるローリングシャッタ歪み５０５は図５（ａ）に示した撮像装置の動きにより生じたローリングシャッタ歪みを左右に反転したような形状となる。この像振れ補正光学系の駆動によるローリングシャッタ歪みの形状は光学系駆動量検出部１０７から得られる露光時間中の像振れ補正光学系の駆動情報を用いて算出することが出来る。同図の５０６は像振れ補正光学系の駆動情報を示しており、横軸が時間ｔ、縦軸が時間ｔにおける像振れ補正光学系の動き量ｐ２（ｔ）を示している。従って、図５（ａ）の場合と同様にして像振れ補正光学系の駆動量によるローリングシャッタ歪みの形状を算出することが可能となる。ただし、例えば像振れ補正光学系が光軸に対して垂直にシフト移動する場合には、その値は距離情報として得られるため、画像上でのライン間のずれ量との対応をとるためには、その距離が画像上での何画素分の動きに相当するかを換算する必要がある。

そして、撮像装置のブレを像振れ補正光学系で補正した後のローリングシャッタ歪みの補正残りの形状は、撮像装置の動きによるローリングシャッタ歪みの形状から、像振れ補正光学系の駆動によるローリングシャッタ歪みの形状を差し引いたものとなる。つまり、撮像装置の動きに起因するローリングシャッタ歪みの形状ｐ１（ｔ）、像振れ補正光学系のローリングシャッタ歪みの形状ｐ２（ｔ）を用いると、補正残りの形状ｐ３（ｔ）は以下の式で表される。
ｐ３（ｔ）＝ｐ１（ｔ）−ｐ２（ｔ） （式１）
本実施例では、撮像装置に起因するローリングシャッタ歪みの例として、露光時間中に一定の速度で水平移動した場合について説明したが、これに限るものではない。例えば、露光時間中に撮像装置の速度や移動方向が変化した場合でも同様のことが言える。また、撮像装置がロールやあおりの動きをすることによって生じるローリングシャッタ歪みについては、像振れ補正光学系では打ち消すことが困難なため、このような場合には撮像装置の動き情報のみからローリングシャッタ歪みの形状を算出する。そして本ステップによって求められた撮像装置に起因するローリングシャッタ歪みの形状ｐ３（ｔ）は幾何変形処理部１１１へと伝送される。

ステップＳ２０４では、第２の歪み算出部１１０において、撮像装置のブレを補正するために露光時間中に像振れ補正光学系が偏心することにより生じるローリングシャッタ歪みの形状（第２の歪み）を算出する。ローリングシャッタ歪みの形状の算出には、光学系駆動量検出部１０７から得られる像振れ補正光学系の駆動量及び撮影パラメータ取得部１０８から得られる撮影パラメータを使用する。図６に、像振れ補正光学系のみを駆動させた場合に生じるローリングシャッタ歪みの概要図を示す。同図では、例として撮像装置の撮像光学系内部にある像振れ補正光学系６０１を水平方向に駆動させた場合のローリングシャッタ歪みを示している。このとき、画像６０２に写っていた長方形の被写体６０３は、像振れ補正光学系が駆動して偏心することによるローリングシャッタ歪みの影響により、６０４に示したような形状の歪みが生じてしまう。このローリングシャッタ歪みは、像振れ補正光学系が駆動して露光時間中に偏心量が変化することによって生じるものである。ここで、偏心の方向や大きさによって歪みの形状が変化する場合には、露光時間中の像振れ補正光学系の駆動により、ライン毎に偏心の歪みの形状が変化することになるため、１枚の画像として見たときのローリンシャッタ歪みの形状は非対称、非線形なものとなる。

また、このローリングシャッタ歪みは、撮像装置の動きに起因するローリングシャッタ歪みとは関係無く、像振れ補正光学系の駆動（偏心）により生じるものである。また、像振れ補正光学系の駆動によるローリングシャッタ歪みの形状は撮像光学系１０１の焦点距離によっても変化する。従って、このローリングシャッタ歪みの形状を算出するためには、光学系駆動量検出部１０７から得られる像振れ補正光学系の駆動情報及び撮影パラメータ取得部１０８から得られる焦点距離情報を使用する。しかしながら、像振れ補正光学系の駆動によっては歪みが非対称、非線形な形状となるため、像振れ補正光学系の駆動量を直接的に歪みの形状とすることは出来ない。このような場合の歪み形状の取得方法としては、偏心量と歪みの形状との関係を表すモデル式に当てはめる方法や、予め像振れ補正光学系の駆動量及び焦点距離と歪みの形状の関係を計算して記憶しておいたルックアップテーブルを使用する方法等がある。そして、本ステップによって求められた像振れ補正光学系の駆動に起因するローリングシャッタ歪みの形状は幾何変形処理部１１１へと伝送される。

以上のように、像振れ補正光学系を備えた撮像装置において、大きなブレを補正するために像振れ補正光学系を大きく駆動させると、撮像装置の動きに起因するローリングシャッタ歪みと像振れ補正光学系が偏心することによるローリングシャッタ歪みが生じる。これら２種類の歪はお互いに独立して生じる現象であり、それを補正するために必要な情報や補正の為の歪み形状の算出方法も異なる。つまり、同じローリングシャッタ歪みだからといってまとめて一つの歪みとして形状を算出することは困難であり、高精度な歪み補正を行うためには、本実施例で示したようにそれぞれの歪みの形状を個別に独立して算出する必要がある。

ステップＳ２０５では、幾何変形処理部１１１において、第１の歪み算出部１０９及び第２の歪み算出部から得られるローリングシャッタ歪み形状の情報を用いて、画像に生じているローリングシャッタ歪みの補正を行う。得られた歪み形状の情報により画像中の各画素が２つのローリングシャッタ歪みによりどの座標に移動したのかが分かるので、それらの画素が元の座標位置に戻るように幾何変形処理を施す。これにより、画像中の全てのラインが同じタイミングで撮影されたような画像を得ることが出来る。

ステップＳ２０６ではローリングシャッタ歪みが補正された画像を、画像出力部１１２によって不図示の記憶装置への記憶や表示装置の表示を行う。

以上説明したように、撮像装置の動きに起因するローリングシャッタ歪みの形状と、像振れ補正光学系の駆動により生じるローリングシャッタ歪みの形状を個別に算出する。これにより、それぞれのローリングシャッタ歪みの算出に適した情報及び算出手法を適用することが可能となり、良好なローリングシャッタ歪み補正を行うことが出来る。

図７に、本発明の実施例２である撮像装置の構成を示す。本実施例では、撮像装置の動きと像振れ補正光学系の駆動により生じる２つのローリングシャッタ歪みの形状を合成した後にその補正を行う。同図において、図１に示した構成要素と共通するものについては、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成において、歪み合成部７０１を有する。

また、本実施例におけるフローチャートを図８に示す。本実施例では、図８において実施例１と異なる処理を行う部分についてのみ説明する。図８におけるステップＳ２０１からＳ２０４は図２におけるＳ２０１からＳ２０４と同じである。

ステップＳ８０１では、歪み合成部７０１において、第１の歪み算出部１０９及び第２の歪み算出部１１０から得られる２つのローリングシャッタ歪みの形状の合成を行う。

これら２つのローリングシャッタ歪みは、お互いに独立して生じる現象ではあるが像面上ではそれらが同時に起きており、２つのローリングシャッタ歪みが合成された形状となっている。つまり、第１及び第２の歪み算出部で算出された２つのローリングシャッタ歪みの形状を合成したものを用いて補正することも可能である。

ここで、撮像装置の動きに起因するローリングシャッタ歪みの形状をｐ３（ｔ）、像振れ補正光学系の駆動によるローリングシャッタ歪みの形状をｐ４（ｔ）とした時に、合成された歪み形状ｐ５（ｔ）は以下の式により算出することが出来る。
ｐ５（ｔ）＝αｐ３（ｔ）＋βｐ４（ｔ） （式２）
上式においてα及びβはローリングシャッタ歪みの形状に対する重み付け係数であり、それぞれ０〜１の値が設定される。また、α及びβの設定方法としては、例えばα＝β＝１とすれば、２つの歪み形状をそのまま足し合わせたものとなる。従って、このときの合成歪み形状ｐ５（ｔ）を用いることにより、ローリングシャッタ歪みを完全に補正することを目的とした幾何変形を行うことが出来る。この際、実施例１とは異なり、Ｓ２０５で行う幾何変形処理部１１１におけるローリングシャッタ歪み補正の為の幾何変形処理は１回だけ行えば良いことになる。そのため、複数回幾何変形処理を行うことによる画質の劣化を防ぎ、さらに演算量の削減により消費電力を抑えることが可能となる。

重み付け係数の他の使い方としてはマージン領域の調整が挙げられる。幾何変形処理により画像のローリングシャッタ歪みを補正する場合には、幾何変形により画像データの存在しない座標位置を参照することで画像の周辺部に欠落領域が生じてしまう可能性がある。一般的には、そのような画像の欠落を防ぐために、出力画像サイズよりもさらに外側の一定の領域も撮像しておいて幾何変形の為のマージン領域を確保しておく方法が用いられている。しかしながら、ローリングシャッタ歪みの補正量が大きすぎて、確保されているマージン領域を超えてしまうような場合には、やはり画像周辺部に欠落が生じてしまう。このような場合に、式２における重み付け係数の値を小さくすることでローリングシャッタ歪みの補正残りを許容してマージン内に補正量が全て入るようにすることで画像の欠落を防止することが可能となる。この際の重み付け係数の設定の方法としては、例えば歪み量が大きい方の重み付けを軽くする方法や、両方の重み付けを同じ程度に軽くする方法などがある。重み付け係数の使用方法としては、上記の例に限られるものではなく、例えば補正をしなくても問題無い程度の歪み量の場合には重み付けをゼロにするといったような使い方をしても良い。

図８におけるステップＳ２０６は、図２におけるステップＳ２０６と同じである。

ここまで、実施例２における本提案の動作について述べた。実施例１で述べたような、撮像装置の動きによるローリングシャッタ歪みと像振れ補正光学系の駆動によるローリングシャッタ歪みの形状を独立して算出することに加えて、それらの歪み形状を合成したものを用いて幾何変形処理による歪み補正を行う。そして、合成の際に重み付け処理を行うことによって、歪み補正による画像周辺領域の欠落や幾何変形による画質の劣化を低減することが可能となる。

本発明によれば、撮像装置の動きに起因するローリングシャッタ歪みと像振れ補正光学系の駆動に起因するローリングシャッタ歪みの形状を独立して算出する。これにより、画像上に生じているローリングシャッタ歪みの種類に応じて適切な形状を推定することが可能となり、高精度なローリングシャッタ歪みの補正が可能となる。

高精度なローリングシャッタ歪みの補正効果が得られる画像処理装置及び撮像装置を実現できる。

１０９ 第１の歪み算出部
１１０ 第２の歪み算出部
１１１ 幾何変形処理部

Claims (10)

1. 撮像装置の振れに伴う画像の振れを補正する画像処理装置であって、
   前記撮像装置が有する撮像素子により生成された画像を取得する画像取得手段と、
   前記撮像装置の振れに起因する前記画像に生じる第１の歪みを算出する第１の歪み算出手段と、
   前記撮像装置の振れを補正する像振れ補正光学系が前記撮像装置の露光時間中に偏心することに起因する前記画像に生じる第２の歪みを算出する第２の歪み算出手段と、
   前記第１の歪み算出手段から得られる第１の歪みおよび前記第２の歪み算出手段から得られる第２の歪みの情報に基づいて、前記画像を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記撮像装置の振れに起因する前記画像に生じる第１の歪みと、前記像振れ補正光学系が前記撮像装置の露光時間中に偏心することに起因する前記画像に生じる第２の歪みを独立して算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の歪み算出手段は、前記撮像装置の振れを検出する振れ検出手段から得られる振れ情報と、前記像振れ補正光学系の駆動量を検出する駆動量検出手段から得られる駆動情報と、に基づいて前記撮像装置の振れに起因する前記画像に生じる第１の歪みを算出することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第２の歪み算出手段は、前記像振れ補正光学系の駆動量を検出する駆動量検出手段から得られる駆動情報と、前記撮像装置の撮影パラメータを取得する撮影パラメータ取得手段から得られる撮影パラメータ情報と、に基づいて前記像振れ補正光学系が前記撮像装置の露光時間中に偏心することに起因する前記画像に生じる第２の歪みを算出することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記撮像素子は、１ライン単位で画像情報が順次読み出されるローリングシャッタ型のセンサであり、
   前記歪みは、ライン毎の露光期間のずれによって被写体像が歪んだローリングシャッタ歪みであることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記第１の歪み算出手段から得られる第１の歪みと前記第２の歪み算出手段から得られる第２の歪みを合成する歪み合成手段を有し、
   前記補正手段は、前記歪み合成手段により合成された歪みの情報に基づいて、前記画像を補正することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 像振れ補正光学系を含む撮像光学系と、
   前記撮像光学系により形成された被写体像を光電変換する撮像素子と、
   請求項１から６のいずれか一項に記載の画像処理装置と、を備えた撮像装置。
8. 撮像装置の振れに伴う画像の振れを補正する画像処理方法であって、
   前記撮像装置が有する撮像素子により生成された画像を取得する画像取得ステップと、
   前記撮像装置の振れに起因する前記画像に生じる第１の歪みを算出する第１の歪み算出ステップと、
   前記撮像装置の振れを補正する像振れ補正光学系が前記撮像装置の露光時間中に偏心することに起因する前記画像に生じる第２の歪みを算出する第２の歪み算出ステップと、
   前記第１の歪み算出ステップから得られる第１の歪みおよび前記第２の歪み算出ステップから得られる第２の歪みの情報に基づいて、前記画像を補正する補正ステップと、
   を有することを特徴とする画像処理方法。
9. 前記第１の歪み算出ステップは、前記撮像装置の振れを検出する振れ検出手段から得られる振れ情報と、前記像振れ補正光学系の駆動量を検出する駆動量検出手段から得られる駆動情報と、に基づいて前記撮像装置の振れに起因する前記画像に生じる第１の歪みを算出することを特徴とする請求項８に記載の画像処理方法。
10. 前記第２の歪み算出ステップは、前記像振れ補正光学系の駆動量を検出する駆動量検出手段から得られる駆動情報と、前記撮像装置の撮影パラメータを取得する撮影パラメータ取得手段から得られる撮影パラメータ情報と、に基づいて前記像振れ補正光学系が前記撮像装置の露光時間中に偏心することに起因する前記画像に生じる第２の歪みを算出することを特徴とする請求項８または９に記載の画像処理方法。