JP4270947B2

JP4270947B2 - 画像歪み補正機能付き撮像装置

Info

Publication number: JP4270947B2
Application number: JP2003159093A
Authority: JP
Inventors: 茂男榎本
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2003-06-04
Filing date: 2003-06-04
Publication date: 2009-06-03
Anticipated expiration: 2023-06-04
Also published as: JP2004363869A

Description

【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラやビデオカメラ等に搭載され、手ぶれに起因する画像歪みを補正する画像歪み補正機能付き撮像装置に関するものである。
【０００２】
【従来の技術】
近年、ビデオカメラや電子スチルカメラ等、撮像素子を備えた撮像装置には、手ぶれによる像ぶれを防止する像ぶれ補正機能を備えたものがあり、この像ぶれ補正には、撮影光学系の前に補正レンズを配して撮影光学系の光軸がずれても補正レンズにより入射角を変化させて像ぶれを相殺する光学式、または信号処理で使用する画素数よりも多い画素を持った撮像素子を使用し、光軸の変化に伴って画像の切出し位置を変更することにより像ぶれを相殺する電子式（例えば、特許文献１を参照）が採用されている。
【０００３】
【特許文献１】
特許第３２９７７５７号公報
【０００４】
電子式の像ぶれ補正は、光学式のように高価な補正レンズや駆動機構を必要とせず、連続する画像間の被写体像の位置ずれを相殺して像ぶれを補正することを目的としている。即ち、全画素の電荷蓄積タイミングが同じ撮像素子、例えばＣＣＤイメージセンサを用いて動画像を撮影することを前提とし、単一の静止画像に対する手ぶれの影響は考慮されていない。従って、電荷蓄積タイミングが信号読出しタイミングに同期するＣＭＯＳイメージセンサの場合では、撮像面の最初の走査ラインと最後の走査ラインとで電荷蓄積タイミングが１画像走査期間近くずれ、手ぶれによって図形歪みが生じる、具体的には静止画像の場合は直線が曲がって映り、動画像の場合は直線がゆらゆらしなって写ったり被写体像の寸法が伸び縮みしたりする、という現象が生じる。このような画像歪みの現象は、特に高画素数、高倍率ズーミングの場合に目立ち、上述した光学式像ぶれ補正以外では対処できず、電子式像ぶれ補正では対処できない。
【０００５】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みて成されたものであり、手ぶれによって生じる画像歪みを補正することが課題である。
【０００６】
【課題を解決するための手段】
本発明の画像歪み補正機能付き撮像装置は、撮像領域に２次元配列された画素を有し、複数の水平ラインから構成される画像を得る撮像手段と、所定の水平ラインの水平位置をこの水平ラインに隣接する水平ラインとの相関が最も高くなるように調整することにより、画像の歪みを補正する画像処理手段とを備えることを最も主要な特徴とする。
【０００７】
上記画像歪み補正機能付き撮像装置において、画像処理手段は、所定の水平ラインを含む複数の水平ラインの水平位置を、所定の水平ラインの近傍の複数の水平ラインとの相関が最も高くなるように相対移動させてもよい。また、上記画像歪み補正機能付き撮像装置において、撮像手段はＣＭＯＳイメージセンサを備える。
【０００８】
上記画像歪み補正機能付き撮像装置は、動画像として静止１画像を連続して複数得るように構成してもよく、このとき画像処理手段が、所定の画像の第１水平ラインの水平位置を、その直前に得られた画像の最終水平ラインの水平位置に一致させることにより、水平方向の像ぶれを補正することが好ましい。
【０００９】
上記画像歪み補正機能付き撮像装置は、水平ラインが並ぶ垂直方向に関して画像を得るときの撮像素子上の被写体像の相対移動量を検出する垂直移動量検出手段をさらに備え、この垂直移動量検出手段の出力結果に基づいて画像の垂直方向長さを変更することにより、画像の歪みを補正してもよい。またさらに、画像を連続して複数得るときには、画像処理手段が、各画像から撮像領域よりも狭い領域を切り取って出力画像とし、領域が垂直移動量検出手段の出力結果に基づいて画像に対する領域の垂直位置を変更することにより、垂直方向の像ぶれを補正することが好ましい。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して説明する。
【００１１】
図１は、本発明の画像歪み補正機能付き撮像装置の第１実施形態を示す図であって、画像歪み補正機能付き撮像装置を適用した電子スチルカメラの主要構成を示すブロック図である。
【００１２】
電子スチルカメラ１０は、ＣＭＯＳイメージセンサとＣＤＳ、ＡＧＣ、Ａ／Ｄ変換等を行うアナログ信号処理回路とが設けられたＣＭＯＳ撮像板１１を備える、ＣＭＯＳイメージセンサの撮像面には撮影光学系１２によって被写体からの反射光が導かれる。撮像面は撮影光学系１２の光軸に垂直であり、その撮像領域にはＨ×Ｖ個の画素が２次元配列されている。Ｈは水平方向の画素数を示し、Ｖは垂直方向の画素数を示す。Ｈ、Ｖは自然数である。なお、水平方向は、光軸に垂直であって電子スチルカメラ１０の通常の使用状態で水平となる方向に一致し、垂直方向は光軸方向および水平方向に直交する方向である。
【００１３】
ＣＭＯＳイメージセンサは、１画素／１ユニットの単位セルを有し、各単位セルは、入射光を感知して入射光量に相当する信号電荷を生成・蓄積するフォトダイオードと、フォトダイオードから信号電荷を増幅して取り出す複数のＭＯＳトランジスタとを有する。ＣＭＯＳイメージセンサは、各画素毎に信号電荷の蓄積および読出しのタイミングが異なり、この蓄積および読出しのタイミングは撮像板ドライバ１４によって制御される。撮像板ドライバ１４により、垂直方向に並ぶ水平ラインの１つが上から順に選択されると共に、各水平ラインが選択される毎に水平方向に左から右へ各画素が順次選択されて信号電荷が画素信号として読出される。
【００１４】
ＣＭＯＳ撮像板１１から出力された画素信号は、画像処理手段であるデジタル信号処理回路（ＤＳＰ）１６に取り込まれ、所定の画像信号処理、例えば色分解処理、ホワイトバランス補正処理やγ補正処理等を受け、Ｈ×Ｖ画素の画像の輝度データおよび色差データ（以下、画像データ）に変換され、バッファメモリ１８に書込まれる。ＤＳＰ１６は画像データを読出して、後述する画像歪み補正処理を施して、再びバッファメモリ１８に書込む。そしてＤＳＰ１６はさらに、撮像領域よりも狭い領域を切り出す。具体的にはバッファメモリ１８から、ｈ×ｖ画素の長方形の領域の画像データのみを読出す。ｈ、ｖはそれぞれ水平および垂直方向の画素数を示し、０＜ｈ＜Ｈ、０＜ｖ＜Ｖを満たす自然数である。
【００１５】
ｈ×ｖ画素の画像データは、必要に応じて、所定の符号化方式に従って圧縮され、例えばＪＰＥＧ規格の圧縮画像データに変換されて、図示しない内蔵メモリまたは着脱自在な外部記録媒体であるメモリカード２０に記録される。電子スチルカメラ１０には、シャッタボタンやモードや撮影条件等を設定するための種々のスイッチから成る操作部２２が設けられる。
【００１６】
図２を参照して、電子スチルカメラ１０の手ぶれによって生じる画像歪みについて説明する。図２は電子スチルカメラ１０によって被写体である静止した円柱３０を撮影する状況を示し、手ぶれの方向と画像の歪み方との関係を模式的に示す図である。ただし、説明のため手ぶれによる方向変化を極端に大きく描いてある。
【００１７】
上述したようにＣＭＯＳイメージセンサで撮像する場合、電荷蓄積タイミングは画素間で時間差が生じる。電子スチルカメラ１０と円柱３０との相対位置関係が変化しなければ時間差は特に問題にならないが、手ぶれによって１画像（１フレーム）の電荷蓄積期間中に電子スチルカメラ１０の被写体に対する相対位置が変化すると、その像が変形する。具体的には、電子スチルカメラ１０が実線で示す位置から撮影光学系１２の光軸方向変化、すなわち被写体までの距離変化を伴う移動がなければ、撮影された画像３２における円柱像３０Ｃに歪みは生じないが、１フレームの電荷蓄積期間中に電子スチルカメラ１０が、撮影光学系１２の光軸と平行な移動ではなく、角度を持って振られると、円柱像３０Ｃに歪みが生じる。例えば電子スチルカメラ１０が実線位置から右側の破線で示す図のように振られると、左斜め下に向かって傾斜した円柱像３０Ｒとなり、左側の図のように振られると、右斜め下に向かって傾斜した円柱像３０Ｌとなる。図示しないが、電子スチルカメラ１０が左右に交互に振られると円柱像の側面の直線は波線となって写る。また、１フレームの電荷蓄積期間中に電子スチルカメラ１０が実線位置から上側の図のように振られると、垂直方向に伸張した円柱像３０Ｕとなり、下側の図のように振られると、垂直方向に縮小した円柱像３０Ｄとなる。
【００１８】
第１実施形態の画像歪み補正処理では、電子スチルカメラ１０の水平ぶれに起因する像の歪み（以下、水平歪みと記載する）を補正し、垂直ぶれに起因する像の伸縮（以下、垂直歪みと記載する）の補正は行わない。これは、静止画像の場合には、被写体像の垂直方向の寸法の伸縮よりも形状の歪み、例えば垂直に伸びる直線の傾斜、の方が目立つということが理由として挙げられる。
【００１９】
図３を参照して画像歪み補正処理について説明する。図３（ａ）はバッファメモリ１８に書込まれる画像歪み補正処理前の画像を示す概念図であり、図３（ｂ）は画像歪み補正処理後の画像を示す概念図である。
【００２０】
図３（ａ）に示す画像は、電子スチルカメラ１０が手ぶれによって１フレームの画像の電荷蓄積期間中に水平方向に角度ぶれした時に得られたものであり、図３（ａ）の右方には第１水平ラインの電荷蓄積開始から第Ｖ水平ラインの電荷蓄積終了までの電子スチルカメラ１０の水平ぶれ量、即ちＣＭＯＳイメージセンサの撮像面の水平ぶれ量が示されている。水平ぶれ量は振れによる撮像面上の像の移動量を画素数で表し、図２中右方向の移動時には＋符号を付し、左方向への移動時には−符号を付す。
【００２１】
バッファメモリ１８は１フレーム分以上の画像データを記憶できる記憶容量を有し、個々の画像データは対応する記憶位置にそれぞれ書込まれ、またそこから読出される。バッファメモリ１８は、Ｈ×Ｖ個の画像データを記憶する画像データ記憶領域Ａｄ（図３の実線で示す長方形領域）を有している。ＤＳＰ１６は、バッファメモリ１８からｈ×ｖ個の画像データを読出す際には、特定の記憶位置、詳しくは画像データ記憶領域Ａｄの内側に設定された読出し領域Ａｒ（図３の一点鎖線で示す長方形領域）に記憶されているｈ×ｖ個の画像データを読出す。
【００２２】
ＤＳＰ１６で画像信号処理が行われた直後、即ち画像歪み補正処理前では、図３（ａ）に示すように、Ｈ×Ｖ個の画像データはＣＭＯＳイメージセンサの画素の並びと同じ配列で画像データ記憶領域Ａｄに書込まれる。画像歪み補正処理を行わずに読出し領域Ａｒから画像データを読出せば、水平方向に歪んだ被写体像しか得られない。そこで、ＤＳＰ１６は図３（ｂ）に示すようにバッファメモリ１８における各水平ラインの記憶位置を撮像面の水平移動量に比例して水平方向に移動させて画像歪みを補正するという画像歪み補正処理を行う。これにより、画像歪み補正処理後に読出し領域Ａｒから画像データを読出せば、画像歪みが補正された被写体像を得ることができる。
【００２３】
画像歪み補正処理では、ライン相関特性を利用して各水平ラインの水平位置、具体的にはバッファメモリ１８における水平方向の記憶位置が補正される。ＤＳＰ１６は、一番上の第１水平ラインと次の第２水平ラインをバッファメモリ１８から読出し、両ラインの輝度の相関が最も高くなるときの第１水平ラインに対する第２水平ラインの水平位置を演算により求める。そして、第２の水平ラインの画像データは、上記演算結果に基づいてバッファメモリ１８の記憶位置が右または左にずらされる。例えば、第１水平ラインに対して第２水平ラインを２画素分左にずらしたときに両者の相関が最も高くなる場合には、第２水平ラインの各画像データは２画素ずつ左にずれた記憶位置に書込まれる。このとき、第２水平ラインの先頭の左側２画素の画像データは破棄され、画像データ記憶領域Ａｄの最終２画素分は空白データとなる。
【００２４】
次に、補正されていない第３水平ラインの画像データがバッファメモリ１８から読出され、水平位置が補正済みの第２水平ラインとの輝度の相関が最も高くなるように、第３水平ラインの水平位置が変更され、バッファメモリ１８に書込まれる。残りの第４〜Ｖ水平ラインについても同様に前の水平ラインとの相関が最も高くなるように水平位置が補正される。（Ｖ−１）本の水平ラインについて水平位置の補正が完了すると、図３（ｂ）に示すように、全水平ラインについて互いの隣合う水平ラインとの輝度の相関が最も高い画像が得られる。自然な画像は隣接画素間の輝度値が近く相関が高いので、フレーム内で水平ラインの相関が最も高い画像は、画像歪みが補正された自然な画像であると見做せる。
【００２５】
ライン相関の演算について、第１水平ラインと第２水平ラインとを一例として説明する。第１水平ラインの輝度値を左から順にｂ11、ｂ12、ｂ13、・・・、ｂ1Ｈとし、第２水平ラインの輝度値を左から順にｂ21、ｂ22、ｂ23、・・・、ｂ2Ｈとすると、第２水平ラインの両端２画素を除く輝度値ｂ23〜ｂ2(Ｈ-2)について、第１水平ラインの輝度値との差の絶対値の総和Ｂ₀を（１）式により求め、さらに第２水平ラインを左に１画素ずらした時の総和Ｂ_L1、左に２画素ずらした時の総和Ｂ_L2、右に１画素ずらした時の総和Ｂ_R1、右に２画素ずらした時の総和Ｂ_R2とをそれぞれ（２）〜（５）式により求める。
【００２６】
Ｂ₀＝｜b23−b13｜＋｜b24−b14｜＋・・・＋｜b2(H-2)−b1(H-2)｜（１）
Ｂ_L1＝｜b23−b14｜＋｜b24−b15｜＋・・・＋｜b2(H-2)−b1(H-1)｜（２）
Ｂ_L2＝｜b23−b15｜＋｜b24−b16｜＋・・・＋｜b2(H-2)−b1H｜（３）
Ｂ_R1＝｜b23−b12｜＋｜b24−b13｜＋・・・＋｜b2(H-2)−b1(H-3)｜（４）
Ｂ_R2＝｜b23−b11｜＋｜b24−b12｜＋・・・＋｜b2(H-2)−b1(H-4)｜（５）
【００２７】
これら総和Ｂ₀、Ｂ_L1、Ｂ_L2、Ｂ_R1およびＢ_R2は、第１水平ラインに対する第２水平ラインの相関を示すものであり、値が小さくなるほど相関が高いと見做せる。従って、例えばＢ₀、Ｂ_L1、Ｂ_L2、Ｂ_R1およびＢ_R2のうち最小値がＢ_L2であった場合には、そのときの画素ずらし量（２画素）および方向（左）が第２水平ラインの水平歪み補正量に定められ、バッファメモリ１８における第２水平ラインの書込むべき記憶位置は、水平歪み補正量だけ即ち左に２画素分だけ移動させられる。
【００２８】
なお、第１実施形態では最大２画素分ずらしているが、３画素以上であってもよい。例えば最大画素ずらし量を５画素に設定して相関を比較する場合には、補正対象となる水平ラインの両端５画素を除いて、１画素ずつずらしながら１１個の総和を求めてその総和が最小値になるときの水平歪み補正量を求めればよい。最大画素ずらし量は、１フレームの電荷蓄積期間で手ぶれにより発生し得る撮像面の水平移動量の最大値よりも大きく設定される。
【００２９】
ＣＭＯＳイメージセンサの水平画素数Ｈは、出力画像の水平画素数ｈと最大画素ずらし量を２倍した値との和よりも大きい値に設定される。読出し領域Ａｒの左辺から画像データ記憶領域Ａｄの左辺までの距離、および読出し領域Ａｒの右辺から画像データ記憶領域Ａｄの右辺までの距離は、それぞれ最大画素ずらし量より大きい値に設定される。
【００３０】
このように、電子スチルカメラ１０は、水平ラインの水平位置を輝度の相関が最も高くなるように補正し、画像を撮像面の水平移動量に応じて変形させている。これにより画像の水平歪みが補正できる。そして、撮像範囲よりも狭い領域の画像を切り出して出力画像としているので、水平位置の補正を行っても出力画像の画像データは欠けることがない。また、電子スチルカメラ１０は撮影画像の画像データに含まれる輝度データを手ぶれデータとして扱うので、手ぶれ量を検出するためのセンサが不要である。また、各水平ラインの水平位置の移動はバッファメモリ１８の記憶位置を変更して書換えることにより実現されるので、機構的な制御を必要とせず簡単である。
【００３１】
なお、第１実施形態では、画像データをバッファメモリ１８に一旦書込んだ後に画像歪み補正処理を行っているが、バッファメモリ１８に書込む前に画像歪み補正処理を行ってもよい。
【００３２】
また、第１実施形態では補正対象の水平ラインとその１ライン前の水平ラインとの相関が最も高くなるように、即ち１ライン毎に補正対象の水平ラインの水平位置を補正しているが、隣接する２ライン間の蓄積タイミングのずれは相対的に小さいので、複数ライン毎に補正をしてもよい。
【００３３】
複数ライン毎に補正する一例として、２ライン毎に補正する場合について説明する。最大画素ずらし量は２画素である。第１水平ラインの輝度値を左から順にｂ11、ｂ12、ｂ13、・・・、ｂ1H、第２水平ラインの輝度値をｂ21、ｂ22、ｂ23、・・・、ｂ2H、第３水平ラインの輝度値をｂ31、ｂ32、ｂ33、・・・、ｂ3H、第４水平ラインの輝度値をｂ41、ｂ42、ｂ43、・・・、ｂ4Hとする。まず、第３および第４水平ラインの両端２画素を除く輝度和｛ｂ33＋ｂ43｝、｛ｂ34＋ｂ44｝、…、｛ｂ3(Ｈ-2)＋ｂ4(Ｈ-2)｝を求め、これら輝度和について、第１および第２水平ラインの輝度和の差の絶対値の総和Ｂ₀を（６）式により求める。そして、第１および第２水平ラインに対して、第３および第４水平ラインを左に１画素、左に２画素、右に１画素、右に２画素ずらした時の総和Ｂ_L1、Ｂ_L2、Ｂ_R1、Ｂ_R2とをそれぞれ（７）〜（１０）式により求める。
【００３４】
Ｂ₀＝｜[b13＋b23]−[b33＋b43]｜＋｜[b14＋b24]−[b34＋b44]｜＋
・・・＋｜[b1(H-2)＋b2(H-2)]−[b3(H-2)＋b4(H-2)]｜（６）
Ｂ_L1＝｜[b13＋b23]−[b34＋b44]｜＋｜[b14＋b24]−[b35＋b45]｜＋
・・・＋｜[b1(H-2)＋b2(H-2)]−[b3(H-1)＋b4(H-1)]｜（７）
Ｂ_L2＝｜[b13＋b23]−[b35＋b45]｜＋｜[b14＋b24]−[b36＋b46]｜＋
・・・＋｜[b1(H-2)＋b2(H-2)]−[b3H＋b4H]｜（８）
Ｂ_R1＝｜[b13＋b23]−[b32＋b42]｜＋｜[b14＋b24]−[b33＋b43]｜＋
・・・＋｜[b1(H-2)＋b2(H-2)]−[b3(H-3)＋b4(H-3)]｜（９）
Ｂ_R2＝｜[b13＋b23]−[b31＋b41]｜＋｜[b14＋b24]−[b32＋b42]｜＋
・・・＋｜[b1(H-2)＋b2(H-2)]−[b3(H-4)＋b4(H-4)]｜（１０）
【００３５】
そして総和Ｂ₀、Ｂ_L1、Ｂ_L2、Ｂ_R1およびＢ_R2のうち最小値となるときの画素ずらし量および方向に基づいて、バッファメモリ１８における第３および第４水平ラインの書込むべき記憶位置が移動させられる。これにより、第３および第４水平ラインは、第１および第２水平ラインに対して相関が最も高くなるようにバッファメモリ１８の記憶位置が補正される。残りの第５〜第Ｖ水平ラインについても同様に水平位置が補正される。２ライン毎に補正する場合、１ライン毎の補正に比べて補正精度をあまり低下させずに処理速度を向上させることができる。特に垂直方向の画素数Ｖが多いほど有効である。
【００３６】
図４〜図６を参照して本発明の画像歪み補正機能付き撮像装置の第２実施形態について説明する。第１実施形態と異なる点は、動画像を撮影する点と、画像の水平歪みを補正するとともにフレーム間での差が顕著な垂直歪みを補正する点であり、第１実施形態と同様の構成については同符号を付し、説明を省略する。図４は、本発明の画像歪み補正機能付き撮像装置を適用したビデオカメラの主要構成を示すブロック図であり、図５は水平歪みを補正する処理を示す概念図であり、図６は垂直歪みを補正する処理を示す概念図である。
【００３７】
ビデオカメラ５０は、第１水平ラインを基準として第２〜第Ｖ水平ラインの画像データについてバッファメモリ１８の記憶位置を順次変更することによって、フレーム内の水平歪みを補正することは第１実施形態と同様である。図５には、３フレームの画像が上から撮影順に示され、その側方には撮像面の水平移動量が示されている。
【００３８】
動画像を得る第２実施形態においては、手ぶれによって垂直方向に延びる直線は波状にゆらゆらしなって見える現象が生じるが、各フレーム毎に水平歪みを補正することにより、このような現象は回避される。
【００３９】
動画像を得る場合には上述した１静止画像（１フレーム）を得る工程を一定周期、例えば１／３０秒周期で繰り返し行ない、１秒間に３０フレームの静止画像を得るが、第１実施形態のように全てのフレームの第１水平ラインを常に初期位置に戻す場合では、手ぶれにより連続するフレーム間の相関が低くなる、具体的にはフレーム毎に被写体像の水平位置が変化する像ぶれ現象が生じる。そこで、ＤＳＰ１６はフレーム間の水平位置ずれを相殺するために、水平歪みを補正する際に、図５に示すように、第２フレーム以降の第１水平ラインの水平位置を直前のフレームの最終水平ラインである第Ｖ水平ラインの位置に一致させる。即ち、フレームの第１水平ラインと直前のフレームの第Ｖ水平ラインの露光タイミングは時間差が少ないので両者の水平歪み補正量が実質的に同値であると見做して、両者の水平歪み補正量を同値にする。これによりフレーム間の相関が高くなって、水平方向に関して像ぶれが解消され、滑らかに連続する動画像が得られる。図５では、水平歪みおよび水平方向の像ぶれを補正する前の被写体像および水平ラインの水平位置を破線で示し、水平歪みおよび水平方向の像ぶれを補正した後の被写体像および水平ラインの水平位置を実線で示す。
【００４０】
次に、水平歪みおよび水平方向の像ぶれが補正された画像を、ビデオカメラ５０の垂直移動に起因する像の伸縮（垂直歪み）を補正する。第１実施形態のように静止画像を得る場合には縦方向の伸縮は目立たないが、動画像の場合にはフレーム毎に被写体像が垂直方向に伸び縮みする現象が生じる。そこで、第２実施形態では、手ぶれ検出部５２を用いて１フレームの電荷蓄積期間における撮像面の垂直歪み補正量を求め、その垂直歪み補正量分だけ画像を伸縮させる。
【００４１】
手ぶれ検出部５２は、ビデオカメラ５０の垂直方向の角速度を検出する圧電ジャイロセンサと、圧電ジャイロセンサの出力を積分演算して手ぶれの角度データを生成する積分回路とを備え、これら手ぶれの角度データを所定周期でＤＳＰ１６に出力する。ＤＳＰ１６は、手ぶれ検出部５２の出力に基づいて垂直移動量を求め、１フレームの電荷蓄積期間の開始時と終了時との垂直移動量を相加平均した値を垂直歪み補正量に定める。そして、この垂直歪み補正量に基づいて画像を垂直方向に伸縮する。
【００４２】
図６には、水平歪みが補正された３フレームの画像が上から順に示され、その側方には撮像面の垂直移動量が示されている。垂直移動量は画素数で表され、図２の下方向に移動した場合には＋符号が付され、図２の上方向に移動した場合には−符号が付される。第１フレームの電荷蓄積開始時および終了時の垂直移動量をそれぞれＶ₀＝０、Ｖ₁＝＋２とすると、第１フレームの垂直歪み補正量Ｌ₁（＝Ｖ₀＋Ｖ₁＝＋２）は正の値となる。即ち、手ぶれによって第１フレームの電荷蓄積期間中に撮像面は垂直歪み補正量Ｌ₁（下方向に２画素分）だけ移動して被写体像の垂直長さがその分だけ縮んだことになる。
【００４３】
そこで、ＤＳＰ１６は、第１フレームの垂直長さを圧縮した分だけ伸張する、具体的には垂直画素数が（Ｖ＋Ｌ₁）となるように公知の画素補間方式、例えばバイキュービック法に基づいて垂直方向の画素数が（Ｖ＋２）画素となるように画素数を増加させ、被写体像を実質的に垂直方向に伸張する。第２フレームについても同様に、電荷蓄積開始時および終了時の垂直移動量Ｖ₂、Ｖ₃の相加平均により得られる垂直歪み補正量Ｌ₂が正の値であれば、垂直歪み補正量Ｌ₂分だけ画像が伸張される。
【００４４】
一方、第３フレームのように、電荷蓄積開始時および終了時の垂直移動量がＶ₄（＝＋２）、Ｖ₅（＝−３）で、垂直歪み補正量Ｌ₂（＝−１）が負の値になるときには、手ぶれによって第３フレームの電荷蓄積期間中に撮像面は垂直歪み補正量Ｌ₃（上方向に１画素分）だけ移動して被写体像の垂直長さがその分だけ伸びたことになる。そこで、ＤＳＰ１６は、第３フレームの垂直長さを伸びた分だけ圧縮する、具体的には垂直画素数が（Ｖ＋Ｌ₃）となるように例えばバイキュービック法に基づいて垂直方向の画素数が（Ｖ−１）画素となるように画素数を減少させ、被写体像を実質的に垂直方向に圧縮する。これにより、画像データ記憶領域Ａｄの最終ラインは空白データとなる。図６では、垂直歪みを補正する前の画像を破線で示し、垂直歪みを補正した後の画像を実線で示す。
【００４５】
このように、各フレームについて垂直歪み補正量を求め、この垂直歪み補正量に基づいて画像を伸縮させることにより、ビデオカメラ５０の垂直移動に起因する像の伸縮（垂直歪み）を補正し、フレーム毎に被写体像が垂直方向に伸び縮みすることのない動画像を得ることができる。
【００４６】
さらに、垂直歪み補正量を各フレームの電荷蓄積期間における撮像面の垂直移動量の代表値とし、読出し領域Ａｒを一点鎖線で示す位置から垂直歪み補正量だけ垂直方向にずれた位置（図中ハッチングで示された領域）に相対移動させれば、縦方向に関する像ぶれを補正することができる。
【００４７】
第２実施形態のビデオカメラ５０によると、フレーム画像の画像歪みを垂直方向および水平方向の双方について補正するだけでなく、フレーム間の位置ずれである像ぶれを垂直方向および水平方向の双方について補正することができる。従って、垂直方向の直線がゆらゆらしなったり、被写体像が垂直方向に伸び縮みするような現象が防止され、かつ滑らかに連続する動画像を得ることができる。
【００４８】
画像歪みおよび像ぶれが補正された複数フレーム分のｈ×ｖ画素の画像データは、所定の符号化方式例えばＭＰＥＧ方式に従って圧縮され、図示しない内蔵メモリまたはメモリカード２０に記録される。
【００４９】
第１実施形態は電子スチルカメラ１０、第２実施形態はビデオカメラ５０であるが、第１実施形態の水平歪みのみを補正する機能をビデオカメラに適用してもよいし、また第２実施形態の水平歪みと垂直歪みとを補正する機能を電子スチルカメラに適用してもよいことはいうまでもない。
【００５０】
【発明の効果】
以上説明したように本発明の画像歪み補正機能付き撮像装置は、手ぶれによって生じる画像歪みを補正できる。
【図面の簡単な説明】
【図１】本発明の第１実施形態である電子スチルカメラの主要構成を示すブロック図である。
【図２】手ぶれの方向と画像の歪み方との関係を示す図である。
【図３】図３（ａ）は画像歪み補正処理前の画像を示す図であり、図３（ｂ）は画像歪み補正処理後の画像を示す図である。
【図４】本発明の第２実施形態であるビデオカメラの主要構成を示すブロック図である。
【図５】動画像における水平歪みおよび水平方向の像ぶれを補正する処理を示す概念図である。
【図６】動画像における垂直歪みおよび垂直方向の像ぶれを補正する処理を示す概念図である。
【符号の説明】
１０電子スチルカメラ
１１ＣＭＯＳ撮像板
１６ＤＳＰ
１８バッファメモリ
５０ビデオカメラ
５２手ぶれ検出部

Claims

撮像領域に２次元配列された画素を有し、複数の水平ラインから構成される画像を得る撮像手段と、所定の水平ラインの水平位置をこの水平ラインに隣接する水平ラインとの相関が最も高くなるように調整することにより、前記画像の歪みを補正する画像処理手段とを備えることを特徴とする画像歪み補正機能付き撮像装置。
前記画像処理手段が、所定の水平ラインを含む複数の水平ラインの水平位置を、前記所定の水平ラインの近傍の複数の水平ラインとの相関が最も高くなるように相対移動させることを特徴とする請求項１に記載の画像歪み補正機能付き撮像装置。
前記撮像手段が、ＣＭＯＳイメージセンサを備えることを特徴とする請求項１に記載の画像歪み補正機能付き撮像装置。
前記画像が連続して複数得られ、前記画像処理手段が、所定の画像の第１水平ラインの水平位置を、その直前に得られた画像の最終水平ラインの水平位置に一致させることにより、水平方向の像ぶれを補正することを特徴とする請求項１に記載の画像歪み補正機能付き撮像装置。