JP5522078B2 - 撮像装置及び撮像装置の画像歪補正方法 - Google Patents

Description

本発明は、ローリングシャッタ方式の撮像素子による画像歪を補正する撮像装置及び撮像装置の画像歪補正方法に関する。

近年、高精細なテレビやレコーダーの普及に伴い、ビデオカメラも高精細化が進み、これにより撮像素子もＣＣＤセンサからＣＭＯＳセンサに進化してきている。ＣＭＯＳセンサは、ＣＣＤセンサと比較して読み出しが高速で、高感度、低消費電力という特徴があり、高精細化に優位である。

このようなＣＭＯＳセンサはローリングシャッタによって駆動されているが、このシャッタ機能はＣＣＤセンサとは異なり、２次元配列された多数の画素を画素行毎に順次走査して信号を読み出していく方式である。そのためフレームの上下で電荷蓄積時間にほぼ１垂直期間分の時間差が生じ、被写体が動いている場合には画素行毎に露光期間(時刻)がずれて画面の上下で流れた画像となってしまう。特に被写体の動きが速い場合には、画像の歪が大きくなってしまうという問題があった。

そこで、特許文献１に開示された従来の撮像装置では、複数フレーム分の画像信号から動きベクトル量を検出し、補正するラインと基準ラインとの間のライン数と、検出した動きベクトル量とから補正量を算出して移動被写体の位置を補正する方法が提案されていた。

特開２００９−１４１７１７号公報

しかしながら、上述した特許文献１に開示された従来の撮像装置では、複数フレーム分の画像信号を蓄積する必要があるために補正結果が得られるまでの遅延時間が大きくなってしまうという問題点があった。また、動きベクトル量を検出し、この動きベクトル量と補正ラインとの位置関係から補正量を算出するので、回路規模が大きくなってしまうという問題点もあった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、遅延時間を小さくできるとともに、回路規模も小さいままでローリングシャッタ方式による画像歪を補正することのできる撮像装置及び撮像装置の画像歪補正方法を提供することを目的とする。

上記した目的を達成するために、本発明に係る撮像装置は、被写体をローリングシャッタ方式で撮像する第１撮像素子と、被写体をローリングシャッタ方式で撮像し、前記第１撮像素子の露光方向と逆方向から露光する第２撮像素子と、前記第１撮像素子から出力された第１画像信号と前記第２撮像素子から出力された第２画像信号とを比較して同一画素行における差分値を求める減算部と、前記第１画像信号、及び前記第２画像信号それぞれの、前記同一画素行に対応する各行において、前記被写体のエッジ位置をエッジ位置情報として検出するエッジ検出部と、前記差分値と前記エッジ位置情報とに基づいて、前記第１画像信号、及び前記第２画像信号それぞれの前記同一画素行に対応する各行において、判別対象領域が静止被写体領域であるのか移動被写体領域であるのかを判別する被写体領域判別部と、前記移動被写体領域では、前記第１画像信号を水平方向に前記被写体の移動に応じた第１の位置に移動させた画像信号と前記第２画像信号を水平方向に前記被写体の移動に応じた第２の位置に移動させた画像信号との平均値を補正処理結果として出力する画像歪補正部とを備えていることを特徴とする。

また、本発明に係る撮像装置の画像歪補正部は、前記静止被写体領域では、前記第１画像信号と前記第２画像信号との平均値、または前記第１画像信号と前記第２画像信号のいずれか一方を補正処理結果として出力することを特徴とする。

さらに、本発明に係る撮像装置の画像歪補正方法は、ローリングシャッタ方式で撮像する第１撮像素子により被写体を撮像する第１撮像ステップと、ローリングシャッタ方式で撮像して前記第１撮像素子の露光方向と逆方向から露光する第２撮像素子により前記被写体を撮像する第２撮像ステップと、前記第１撮像素子から出力された第１画像信号と前記第２撮像素子から出力された第２画像信号とを比較して同一画素行における差分値を求める減算ステップと、前記第１画像信号、及び前記第２画像信号それぞれの、前記同一画素行に対応する各行において、前記被写体のエッジ位置をエッジ位置情報として検出するエッジ検出ステップと、前記差分値と前記エッジ位置情報とに基づいて、前記第１画像信号、及び前記第２画像信号それぞれの前記同一画素行に対応する各行において、判別対象領域が静止被写体領域であるのか移動被写体領域であるのかを判別する被写体領域判別ステップと、前記移動被写体領域では、前記第１画像信号を水平方向に前記被写体の移動に応じた第１の位置に移動させた画像信号と前記第２画像信号を水平方向に前記被写体の移動に応じた第２の位置に移動させた画像信号との平均値を補正処理結果として出力する画像歪補正ステップとを含むことを特徴とする。

本発明に係る撮像装置及び撮像装置の画像歪補正方法によれば、遅延時間を小さくできるとともに、回路規模も小さいままでローリングシャッタ方式による画像歪を補正することができる。

本発明を適用した一実施形態に係る撮像装置の構成を示すブロック図である。 本発明を適用した一実施形態に係る撮像装置における走査線番号と撮像素子の出力信号との対応を示す図である。 本発明を適用した一実施形態に係る撮像装置の画像歪補正処理部の構成を示すブロック図である。 本発明を適用した一実施形態に係る撮像装置の画像歪補正処理部の構成を示すブロック図である。 本発明を適用した一実施形態に係る撮像装置による画像歪補正処理の処理手順を示すフローチャートである。 本発明を適用した一実施形態に係る撮像装置による画像歪補正処理を説明するための一例を示す図である。 本発明を適用した一実施形態に係る撮像装置による画像歪補正処理を説明するための一例を示す図である。

以下、本発明を適用した一実施形態について図面を参照して説明する。

［撮像装置の構成］
図１は本実施形態に係る撮像装置の構成を示すブロック図である。図１に示すように、本実施形態に係る撮像装置１は、被写体からの光が入射するレンズ２と、レンズ２を介して入射した被写体像を２方向に分離する分離光学系３と、被写体をローリングシャッタ方式で撮像する第１撮像素子４と、被写体をローリングシャッタ方式で撮像して第１撮像素子４の露光方向と逆方向から露光する第２撮像素子５と、第１撮像素子４の出力信号ＳＤ１を記憶する第１記憶部６と、第２撮像素子５の出力信号ＳＤ２を記憶する第２記憶部７と、第１記憶部６の出力信号ＦＤ１と第２記憶部７の出力信号ＦＤ２とを用いてローリングシャッタ方式による画像歪を補正する画像歪補正処理部８とを備えている。

ここで、第１撮像素子４と第２撮像素子５は、結像する被写体像に対して互いに垂直方向の逆方向から順次露光する撮像素子であり、例えば第１撮像素子４が被写体像の上部から順次走査し、第２撮像素子５が被写体像の下部から順次走査するものとする。

第１記憶部６と第２記憶部７は、被写体像１画面分の記憶容量を持つフレームメモリで構成され、図示しない制御回路によって制御されている。そして、第１及び第２撮像素子４、５の出力信号ＳＤ１、ＳＤ２をそれぞれ１ラインごとに順次記憶するとともに、１フレーム前に記憶した画像信号を１ラインごとに順次選択的に出力する。

画像歪補正処理部８は、第１及び第２記憶部６、７の出力信号ＦＤ１、ＦＤ２を用いて、以下に示す画像歪補正処理を実行することにより、移動する被写体による画像歪を補正して補正処理結果Ｑを出力する。

［画像歪補正処理部までの信号処理］
次に、第１及び第２撮像素子４、５から画像歪補正処理部８までの信号処理を、図２を参照して説明する。第１撮像素子４の出力信号をＳＤ１、第２撮像素子５の出力信号をＳＤ２、１垂直同期期間の走査線の番号をＬＮとすると、図２に示すように１垂直同期期間の走査線数が１１２５本である場合には、ＬＮ=１〜ＬＮ=１１２５と表すことができる。

ここで、被写体像の垂直有効画像領域を１０８０ラインとし、この被写体像に対応する各ラインの信号をＰ１〜Ｐ１０８０と表すと、走査線番号ＬＮと第１撮像素子４の出力信号ＳＤ１及び第２撮像素子５の出力信号ＳＤ２との間の関係は図２（ａ）で表すことができる。すなわち、第１撮像素子４は４２ライン目に被写体像の最上部ラインＰ１を出力し、同じ４２ライン目に第２撮像素子５は被写体像の最下部ラインＰ１０８０を出力する。

第１撮像素子４の出力信号ＳＤ１は第１記憶部６に記憶され、第２撮像素子５の出力信号ＳＤ２は第２記憶部７に記憶される。そして、第１記憶部６の出力信号をＦＤ１、第２記憶部７の出力信号をＦＤ２とすると、走査線番号ＬＮ、第１記憶部６の出力信号ＦＤ１及び第２記憶部７の出力信号ＦＤ２の関係は図２（ｂ）で表すことができる。すなわち、第１記憶部６及び第２記憶部７はいずれも４２ライン目に１フレーム前に記憶した被写体像の最上部ラインＰ１を出力し、１１２１ライン目にはいずれも被写体像の最下部ラインＰ１０８０を出力する。

こうして出力された第１及び第２記憶部６、７の出力信号ＦＤ１、ＦＤ２は、画像歪補正処理部８に入力される。

［画像歪補正処理部の構成］
次に、本実施形態に係る画像歪補正処理部８の構成を説明する。図３、４は本実施形態に係る画像歪補正処理部８の構成を示すブロック図である。図３、４に示すように、本実施形態に係る画像歪補正処理部８は、第１記憶部６の出力信号ＦＤ１と第２記憶部７の出力信号ＦＤ２との間の差分値を求める減算部３１と、第１記憶部６の出力信号ＦＤ１のエッジを検出する第１エッジ検出部３２と、第２記憶部７の出力信号ＦＤ２のエッジを検出する第２エッジ検出部３３と、出力信号ＦＤ１と出力信号ＦＤ２との間の差分値に基づいて１つの画素行を静止被写体領域と移動被写体領域とに判別する被写体領域判別部３４と、補正処理結果Ｑとして出力する信号を選択するための選択信号を被写体領域毎に出力する信号選択部３５と、第１記憶部６の出力信号ＦＤ１を一時的に記憶する第３記憶部４１と、第２記憶部７の出力信号ＦＤ２を一時的に記憶する第４記憶部４２と、第１記憶部６の出力信号ＦＤ１を水平方向に移動させる第１水平移動部４３と、第２記憶部７の出力信号ＦＤ２を水平方向に移動させる第２水平移動部４４と、静止被写体領域における画像信号の平均値を算出する第１平均化部４５と、移動被写体領域における画像信号の平均値を算出する第２平均化部４６と、選択信号に基づいて被写体領域毎に画像歪の補正処理結果Ｑを出力する画像歪補正部４７とを備えている。

［画像歪補正処理の手順］
次に、本実施形態に係る撮像装置による画像歪補正処理の手順を図５のフローチャートを参照して説明する。ここで、本実施形態では、図６（ａ）に示すように、被写体として画面左側に丸い物体が静止し、画面右側に長方形の物体が画面右から左へ移動している状況を撮像した場合を一例として説明する。このような状況を第１撮像素子４で撮像した場合の被写体像を図７（ａ）に示す。図７（ａ）では画面の左側にある丸い被写体は歪みが無く丸いまま出力され、右側にある長方形の被写体は歪んで長方形の被写体が平行四辺形に出力されている。第１撮像素子４は被写体像の上部から下部に順次走査するので、露光期間（時刻）の遅い下部は露光期間の早い上部より被写体像が移動方向である左側に歪んでいる。これに対して図７（ｂ）に示す第２撮像素子５から出力された被写体像では、下部から上部に順次走査するために露光期間（時刻）の早い下部は露光期間の遅い上部より被写体像が移動方向とは逆に右側に歪んでいることが分かる。

図７（ａ）、（ｂ）に示す被写体像のうち走査線番号ＬＮ=４１＋ｍのライン期間、すなわち画素行Ｐｍに対応した第１及び第２記憶部６、７の出力信号ＦＤ１、ＦＤ２をそれぞれ図７（ｃ）、（ｄ）に示す。ここで、背景の信号レベルをＢＧＬとし、丸い被写体は背景よりも暗く（信号レベルが低く）、長方形の被写体は背景よりも明るい（信号レベルが高い）ものとする。また、水平方向の画素数（水平座標ｈ）を１９２０個とし、これを水平座標ｈ=０〜１９１９と表す場合、画素行Ｐｍにおける丸い被写体の左端位置をｈ＝ｘ１、右端位置をｈ＝ｘ２、第１撮像素子４によって撮像された長方形の被写体の左端位置をｈ＝ｘ４、右端位置をｈ＝ｘ６、第２撮像素子５によって撮像された長方形の被写体の左端位置をｈ＝ｘ３、右端位置をｈ＝ｘ５とする。

以下、このような画像歪を補正するための処理を図５のフローチャートを参照して説明する。図５に示すように、まず画素行Ｐｍに対応した第１及び第２記憶部６、７の出力信号ＦＤ１、ＦＤ２が画像歪補正処理部８に入力されると、ステップＳ１０１において減算部３１が差分値ＳＢ＝ＦＤ１−ＦＤ２を求めて出力する。この差分値ＳＢを図７（ｅ）に示す。

図７（ｅ）に示すように、ＦＤ１とＦＤ２は露光期間（時刻）が異なっているが同じ被写体像を撮影しているので、被写体が移動している領域以外は背景領域であっても被写体が静止している領域であっても信号レベルに差はなく、差分値ＳＢはほとんど０（ＳＢ＝０）となる。具体的に説明すると、水平座標ｈ＝０からｘ３までは０となり、ｘ３からｘ４までの期間はＦＤ２にだけ信号レベルの高い移動被写体が存在するので、差分値ＳＢは負（ＳＢ＜０）になる。次に、ｈ＝ｘ４からｘ５までの期間はＦＤ１とＦＤ２の両方に移動被写体が存在しているが、ここでは移動被写体の信号レベルが概ね一様であると考えられるので、差分値ＳＢは静止被写体領域と同様に０（ＳＢ＝０）となる。ｈ＝ｘ５からｘ６までの期間は、ＦＤ１にだけ信号レベルの高い移動被写体が存在するので、差分値ＳＢは正（ＳＢ＞０）となる。最後に、ｈ＝ｘ６からｈ＝１９１９までの期間は、背景領域となって差分値ＳＢは０となる。

次に、ステップＳ１０２では、出力信号ＦＤ１、ＦＤ２が第１及び第２エッジ検出部３２、３３に入力され、被写体の境界にあたる部分のエッジが検出される。エッジの検出方法としては、着目画素に隣接する左右数画素ずつの差分を演算することによって被写体の境界にあたるエッジを検出している。これにより、第１エッジ検出部３２では水平座標ｈ＝ｘ１、ｘ２、ｘ４、ｘ６をＦＤ１のエッジとして検出して検出結果ＥＤ１を出力し、第２エッジ検出部３３では水平座標ｈ＝ｘ１、ｘ２、ｘ３、ｘ５をＦＤ２のエッジとして検出して検出結果ＥＤ２を出力する。

次に、ステップＳ１０３では、被写体領域判別部３４が差分値ＳＢ、及びエッジの検出結果ＥＤ１、ＥＤ２に基づいて画素行Ｐｍを静止被写体領域と移動被写体領域とに判別する。具体的に説明すると、図７（ｅ）に示すように差分値ＳＢが所定値＋ＧＰより大きいか、あるいは所定値−ＧＰより小さい場合には、出力信号ＦＤ１（第１撮像素子４の画素行Ｐｍの出力信号）、またはＦＤ２（第２撮像素子５の画素行Ｐｍの出力信号）のうちのいずれかの判別対象領域のみが移動被写体領域であると判定し、さらに、エッジの検出結果ＥＤ１、ＥＤ２に基づいて、ＦＤ１とＦＤ２とのどちらが移動被写体領域であるのかを判定する。また、差分値ＳＢが所定値＋ＧＰと所定値−ＧＰの間にある場合には、ＦＤ１とＦＤ２とのいずれの判別対象領域も移動被写体である、あるいは、ＦＤ１とＦＤ２とのいずれの判別対象領域も静止被写体領域であると判定し、さらに、エッジの検出結果ＥＤ１、ＥＤ２に基づいて、ＦＤ１とＦＤ２との判別対象領域が移動被写体領域であるのか、静止被写体領域であるのかを判定する。そして、これらの判別結果に基づいて、被写体領域判別部３４は領域判定信号ＳＴを出力する。

以下、図７（ｅ）を用いて、被写体領域判定部３４が領域判定信号ＳＴの値を判定して出力する具体例を詳細に説明する。

０≦ｈ＜ｘ１の領域では、差分値ＳＢが|ＳＢ|＜ＧＰとなり、かつ、ＥＤ１、ＥＤ２ともにエッジを検出していないため、０≦ｈ＜ｘ１の領域は、ＦＤ１、ＦＤ２ともに静止被写体領域であると判定してＳＴ＝０を出力する。

ｘ１≦ｈ＜ｘ２の領域では、差分値ＳＢが|ＳＢ|＜ＧＰとなり、かつ、ＥＤ１、ＥＤ２ともにｈ＝ｘ１をエッジとして検出しているため、ｘ１≦ｈ＜ｘ２の領域は、ＦＤ１、ＦＤ２ともに静止被写体領域であると判定してＳＴ＝０を出力する。

ｘ２≦ｈ＜ｘ３の領域では、差分値ＳＢが|ＳＢ|＜ＧＰとなり、かつ、ＥＤ１、ＥＤ２ともにｈ＝ｘ２をエッジとして検出しているため、ｘ２≦ｈ＜ｘ３の領域は、ＦＤ１、ＦＤ２ともに静止被写体領域であると判定してＳＴ＝０を出力する。

ｘ３≦ｈ＜ｘ４の領域では、差分値ＳＢが|ＳＢ|≧ＧＰとなり、かつ、ＥＤ２だけがｈ＝ｘ３をエッジとして検出しＦＤ２だけに状態変化（静止→移動）が起きているため、ｘ３≦ｈ＜ｘ４の領域は、ＦＤ１は静止被写体領域、ＦＤ２は移動被写体領域であると判定してＳＴ＝２を出力する。

ｘ４≦ｈ＜ｘ５の領域では、差分値ＳＢが|ＳＢ|＜ＧＰとなり、かつ、ＥＤ１だけがｈ＝ｘ４をエッジとして検出しＦＤ１だけに状態変化（静止→移動）が起きているため、ｘ４≦ｈ＜ｘ５の領域は、ＦＤ１、ＦＤ２ともに移動被写体領域であると判定してＳＴ＝３を出力する。

ｘ５≦ｈ＜ｘ６の領域では、差分値ＳＢが|ＳＢ|≧ＧＰとなり、かつ、ＥＤ２だけがｈ＝ｘ５をエッジとして検出しＦＤ２だけに状態変化（移動→静止）が起きているため、ｘ５≦ｈ＜ｘ６の領域は、ＦＤ１は移動被写体領域、ＦＤ２は静止被写体領域であると判定してＳＴ＝１を出力する。

ｘ６≦ｈ＜１９１９の領域では、差分値ＳＢが|ＳＢ|＜ＧＰとなり、かつ、ＥＤ１だけがｈ＝ｘ６をエッジとして検出しＦＤ１だけに状態変化（移動→静止）が起きているため、ｘ６≦ｈ＜１９１９の領域は、ＦＤ１、ＦＤ２ともに静止被写体領域であると判定してＳＴ＝０を出力する。

ここで、移動する被写体が時間によって変形しなければ、ＳＴ＝２の期間（ｘ４−ｘ３）とＳＴ＝３の期間（ｘ６−ｘ５）は同じ長さになる。

次に、ステップＳ１０４では、まず領域判定信号がＳＴ＝２となる期間の中間点の座標ＣＴと、ＳＴ＝１となる期間の中間点の座標ＣＢとを、信号選択部３５が算出する。図７（ｅ）に示す例ではＣＴ＝（ｘ３＋ｘ４）／２、ＣＢ＝（ｘ５＋ｘ６）／２となる。そして、この算出結果に基づいて信号選択部３５は以下に示す選択信号ＳＥＬを出力する。

０≦ｈ＜ｘ３では、ＦＤ１とＦＤ２の静止被写体領域の平均値を選択する選択信号ＳＥＬ＝０を出力する。

ｘ３≦ｈ＜ＣＴでは、ＦＤ１の画像信号を選択する選択信号ＳＥＬ＝１を出力する。

ＣＴ≦ｈ＜ＣＢでは、ＦＤ１とＦＤ２の移動被写体領域の平均値を選択する選択信号ＳＥＬ＝３を出力する。

ＣＢ≦ｈ＜ｘ６では、ＦＤ２の画像信号を選択する選択信号ＳＥＬ＝２を出力する。

ｘ６≦ｈ＜１９１９では、ＦＤ１とＦＤ２の静止被写体領域の平均値を選択する選択信号ＳＥＬ＝０を出力する。

また、信号選択部３５は、ステップＳ１０５において、移動する被写体による歪を補正するために、ＦＤ１に対する水平移動補正量ＤＬ１（＝ｘ４−ＣＴ）を算出する。この水平移動補正量ＤＬ１により、ＦＤ１の移動被写体領域の画像（信号）をｘ４からＣＴまで進めることができる。同様にＦＤ２の移動被写体領域の画像（信号）をｘ３からＣＴまで遅らせるために、ＦＤ２に対する水平移動補正量ＤＬ２（＝ＣＴ−ｘ３）を算出する。

こうして走査線番号ＬＮ＝４１＋ｍのライン期間で水平移動補正量ＤＬ１、ＤＬ２が算出されると、次にステップＳ１０６においてＦＤ１を第３記憶部４１に１ライン分記憶し、ＦＤ２を第４記憶部４２に１ライン分記憶する。そして、第３及び第４記憶部４１、４２は１ライン分遅らせて、具体的には走査線番号ＬＮ＝４１＋ｍ＋１のライン期間にＦＤ１及びＦＤ２をそのままＬＤ１及びＬＤ２として出力する。ここで、ＬＤ１、ＬＤ２の信号波形を図６（ｂ）、（ｃ）に示す。

一方、ステップＳ１０７において、第１水平移動部４３は、信号選択部３５から出力された水平移動補正量ＤＬ１を取得し、１ライン前に記憶したＦＤ１を水平移動補正量ＤＬ１だけタイミングをずらして走査線番号ＬＮ＝４１＋ｍ＋１のライン期間にＭＤ１として出力する。本実施形態ではＦＤ１をＤＬ１だけ先行させるようにタイミングをずらして出力する。同様に、第２水平移動部４４は、ＦＤ２を水平移動補正量ＤＬ２だけタイミングをずらして走査線番号ＬＮ＝４１＋ｍ＋１のライン期間にＭＤ２として出力する。本実施形態ではＦＤ２をＤＬ２だけ遅延させるようにタイミングをずらして出力する。

こうしてＬＤ１、ＬＤ２、ＭＤ１、ＭＤ２が出力されると、次にステップＳ１０８において第１平均化部４５がＬＤ１とＬＤ２の１画素ごとの平均値を算出して静止被写体平均値ＳＡＶを出力する。一方、第２平均化部４６は、ステップＳ１０９においてＭＤ１とＭＤ２の１画素ごとの平均値を算出して移動被写体平均値ＭＡＶを出力する。

そして、画像歪補正部４７は、最終的にステップＳ１１０において選択信号ＳＥＬに応じてＬＤ１、ＬＤ２、ＳＡＶ、ＭＡＶのいずれかの信号を四者択一で選択して補正処理結果Ｑとして出力する。

この結果、画像歪補正部４７は、移動被写体領域では、第１撮像素子４から出力された画像信号ＦＤ１を水平方向に移動させた画像信号ＭＤ１と第２撮像素子５から出力された画像信号ＦＤ２を水平方向に移動させた画像信号ＭＤ２との平均値である移動被写体平均値ＭＡＶを補正処理結果Ｑとして出力する。また、静止被写体領域では、第１撮像素子４から出力された画像信号ＦＤ１と第２撮像素子５から出力された画像信号ＦＤ２との平均値である静止被写体平均値ＳＡＶ、または第１撮像素子４から出力された画像信号ＦＤ１と第２撮像素子５から出力された画像信号ＦＤ２のいずれか一方を補正処理結果Ｑとして出力する。

具体的に説明すると、本実施形態では、画像歪補正部４７は選択信号ＳＥＬに応じて以下のように動作する。

０≦ｈ＜ｘ３では、選択信号ＳＥＬ＝０に対応してＱ＝ＳＡＶを出力する。

ｘ３≦ｈ＜ＣＴでは、選択信号ＳＥＬ＝１に対応してＱ＝ＬＤ１を出力する。

ＣＴ≦ｈ＜ＣＢでは、選択信号ＳＥＬ＝３に対応してＱ＝ＭＡＶを出力する。

ＣＢ≦ｈ＜ｘ６では、選択信号ＳＥＬ＝２に対応してＱ＝ＬＤ２を出力する。

ｘ６≦ｈ＜１９１９では、選択信号ＳＥＬ＝０に対応してＱ＝ＳＡＶを出力する。

この結果、ＬＮ＝４１＋ｍ＋１のライン期間における補正処理結果Ｑは、図６（ｄ）に示しような波形となり、移動する被写体による画像歪が補正されていることが分かる。また、補正処理結果Ｑは多くの期間で平均値出力が選択されているので、ＳＮ比が改善されている。

上述した動作をライン単位で実行し、これを１フレーム期間にわたって繰り返し行うことによって、図６（ａ）に示すように画像歪の補正された画像を出力することができ、本実施形態に係る撮像装置による画像歪補正処理は終了する。

なお、本発明は、ハードウェアによって図１の画像歪補正処理部８を構成する場合に限定されるものではなく、図５に示す処理手順を実行するコンピュータプログラムによるソフトウェアによって画像歪補正処理を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

［実施形態の効果］
以上詳細に説明したように、本実施形態に係る撮像装置及び撮像装置の画像歪補正方法によれば、逆方向から露光する２つの撮像素子を備え、これらから出力された画像信号を比較することによって静止被写体領域と移動被写体領域とを判別し、移動被写体領域では２つの画像信号をそれぞれ水平方向に移動させた値の平均値を補正処理結果Ｑとして出力するので、遅延時間を小さくできるとともに、回路規模も小さいままでローリングシャッタ方式による画像歪を補正することができる。特に、被写体の移動する速度が速い場合には遅延時間が小さいので有効である。

また、本実施形態に係る撮像装置によれば、静止被写体領域において、静止被写体平均値ＳＡＶまたは第１撮像素子４から出力された画像信号ＦＤ１（＝ＬＤ１）と第２撮像素子５から出力された画像信号ＦＤ２（＝ＬＤ２）のいずれか一方を補正処理結果Ｑとして出力するので、遅延時間を小さくできるとともに、回路規模も小さいままでローリングシャッタ方式による画像歪を補正することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

１ 撮像装置
２ レンズ
３ 分離光学系
４ 第１撮像素子
５ 第２撮像素子
６ 第１記憶部
７ 第２記憶部
８ 画像歪補正処理部
３１ 減算部
３２ 第１エッジ検出部
３３ 第２エッジ検出部
３４ 被写体領域判別部
３５ 信号選択部
４１ 第３記憶部
４２ 第４記憶部
４３ 第１水平移動部
４４ 第２水平移動部
４５ 第１平均化部
４６ 第２平均化部
４７ 画像歪補正部

Claims (3)

1. 被写体をローリングシャッタ方式で撮像する第１撮像素子と、
   被写体をローリングシャッタ方式で撮像し、前記第１撮像素子の露光方向と逆方向から露光する第２撮像素子と、
   前記第１撮像素子から出力された第１画像信号と前記第２撮像素子から出力された第２画像信号とを比較して同一画素行における差分値を求める減算部と、
   前記第１画像信号、及び前記第２画像信号それぞれの、前記同一画素行に対応する各行において、前記被写体のエッジ位置をエッジ位置情報として検出するエッジ検出部と、
   前記差分値と前記エッジ位置情報とに基づいて、前記第１画像信号、及び前記第２画像信号それぞれの前記同一画素行に対応する各行において、判別対象領域が静止被写体領域であるのか移動被写体領域であるのかを判別する被写体領域判別部と、
   前記移動被写体領域では、前記第１画像信号を水平方向に前記被写体の移動に応じた第１の位置に移動させた画像信号と前記第２画像信号を水平方向に前記被写体の移動に応じた第２の位置に移動させた画像信号との平均値を補正処理結果として出力する画像歪補正部と
   を備えていることを特徴とする撮像装置。
2. 前記画像歪補正部は、前記静止被写体領域では、前記第１画像信号と前記第２画像信号との平均値、または前記第１画像信号と前記第２画像信号のいずれか一方を補正処理結果として出力することを特徴とする請求項１に記載の撮像装置。
3. ローリングシャッタ方式で撮像する第１撮像素子により被写体を撮像する第１撮像ステップと、
   ローリングシャッタ方式で撮像して前記第１撮像素子の露光方向と逆方向から露光する第２撮像素子により前記被写体を撮像する第２撮像ステップと、
   前記第１撮像素子から出力された第１画像信号と前記第２撮像素子から出力された第２画像信号とを比較して同一画素行における差分値を求める減算ステップと、
   前記第１画像信号、及び前記第２画像信号それぞれの、前記同一画素行に対応する各行において、前記被写体のエッジ位置をエッジ位置情報として検出するエッジ検出ステップと、
   前記差分値と前記エッジ位置情報とに基づいて、前記第１画像信号、及び前記第２画像信号それぞれの前記同一画素行に対応する各行において、判別対象領域が静止被写体領域であるのか移動被写体領域であるのかを判別する被写体領域判別ステップと、
   前記移動被写体領域では、前記第１画像信号を水平方向に前記被写体の移動に応じた第１の位置に移動させた画像信号と前記第２画像信号を水平方向に前記被写体の移動に応じた第２の位置に移動させた画像信号との平均値を補正処理結果として出力する画像歪補正ステップと
   を含むことを特徴とする撮像装置の画像歪補正方法。

Images