JP4270947B2 - 画像歪み補正機能付き撮像装置 - Google Patents
画像歪み補正機能付き撮像装置 Download PDFInfo
- Publication number
- JP4270947B2 JP4270947B2 JP2003159093A JP2003159093A JP4270947B2 JP 4270947 B2 JP4270947 B2 JP 4270947B2 JP 2003159093 A JP2003159093 A JP 2003159093A JP 2003159093 A JP2003159093 A JP 2003159093A JP 4270947 B2 JP4270947 B2 JP 4270947B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- horizontal
- horizontal line
- distortion correction
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、電子スチルカメラやビデオカメラ等に搭載され、手ぶれに起因する画像歪みを補正する画像歪み補正機能付き撮像装置に関するものである。
【0002】
【従来の技術】
近年、ビデオカメラや電子スチルカメラ等、撮像素子を備えた撮像装置には、手ぶれによる像ぶれを防止する像ぶれ補正機能を備えたものがあり、この像ぶれ補正には、撮影光学系の前に補正レンズを配して撮影光学系の光軸がずれても補正レンズにより入射角を変化させて像ぶれを相殺する光学式、または信号処理で使用する画素数よりも多い画素を持った撮像素子を使用し、光軸の変化に伴って画像の切出し位置を変更することにより像ぶれを相殺する電子式(例えば、特許文献1を参照)が採用されている。
【0003】
【特許文献1】
特許第3297757号公報
【0004】
電子式の像ぶれ補正は、光学式のように高価な補正レンズや駆動機構を必要とせず、連続する画像間の被写体像の位置ずれを相殺して像ぶれを補正することを目的としている。即ち、全画素の電荷蓄積タイミングが同じ撮像素子、例えばCCDイメージセンサを用いて動画像を撮影することを前提とし、単一の静止画像に対する手ぶれの影響は考慮されていない。従って、電荷蓄積タイミングが信号読出しタイミングに同期するCMOSイメージセンサの場合では、撮像面の最初の走査ラインと最後の走査ラインとで電荷蓄積タイミングが1画像走査期間近くずれ、手ぶれによって図形歪みが生じる、具体的には静止画像の場合は直線が曲がって映り、動画像の場合は直線がゆらゆらしなって写ったり被写体像の寸法が伸び縮みしたりする、という現象が生じる。このような画像歪みの現象は、特に高画素数、高倍率ズーミングの場合に目立ち、上述した光学式像ぶれ補正以外では対処できず、電子式像ぶれ補正では対処できない。
【0005】
【発明が解決しようとする課題】
本発明は上記問題点に鑑みて成されたものであり、手ぶれによって生じる画像歪みを補正することが課題である。
【0006】
【課題を解決するための手段】
本発明の画像歪み補正機能付き撮像装置は、撮像領域に2次元配列された画素を有し、複数の水平ラインから構成される画像を得る撮像手段と、所定の水平ラインの水平位置をこの水平ラインに隣接する水平ラインとの相関が最も高くなるように調整することにより、画像の歪みを補正する画像処理手段とを備えることを最も主要な特徴とする。
【0007】
上記画像歪み補正機能付き撮像装置において、画像処理手段は、所定の水平ラインを含む複数の水平ラインの水平位置を、所定の水平ラインの近傍の複数の水平ラインとの相関が最も高くなるように相対移動させてもよい。また、上記画像歪み補正機能付き撮像装置において、撮像手段はCMOSイメージセンサを備える。
【0008】
上記画像歪み補正機能付き撮像装置は、動画像として静止1画像を連続して複数得るように構成してもよく、このとき画像処理手段が、所定の画像の第1水平ラインの水平位置を、その直前に得られた画像の最終水平ラインの水平位置に一致させることにより、水平方向の像ぶれを補正することが好ましい。
【0009】
上記画像歪み補正機能付き撮像装置は、水平ラインが並ぶ垂直方向に関して画像を得るときの撮像素子上の被写体像の相対移動量を検出する垂直移動量検出手段をさらに備え、この垂直移動量検出手段の出力結果に基づいて画像の垂直方向長さを変更することにより、画像の歪みを補正してもよい。またさらに、画像を連続して複数得るときには、画像処理手段が、各画像から撮像領域よりも狭い領域を切り取って出力画像とし、領域が垂直移動量検出手段の出力結果に基づいて画像に対する領域の垂直位置を変更することにより、垂直方向の像ぶれを補正することが好ましい。
【0010】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して説明する。
【0011】
図1は、本発明の画像歪み補正機能付き撮像装置の第1実施形態を示す図であって、画像歪み補正機能付き撮像装置を適用した電子スチルカメラの主要構成を示すブロック図である。
【0012】
電子スチルカメラ10は、CMOSイメージセンサとCDS、AGC、A/D変換等を行うアナログ信号処理回路とが設けられたCMOS撮像板11を備える、CMOSイメージセンサの撮像面には撮影光学系12によって被写体からの反射光が導かれる。撮像面は撮影光学系12の光軸に垂直であり、その撮像領域にはH×V個の画素が2次元配列されている。Hは水平方向の画素数を示し、Vは垂直方向の画素数を示す。H、Vは自然数である。なお、水平方向は、光軸に垂直であって電子スチルカメラ10の通常の使用状態で水平となる方向に一致し、垂直方向は光軸方向および水平方向に直交する方向である。
【0013】
CMOSイメージセンサは、1画素/1ユニットの単位セルを有し、各単位セルは、入射光を感知して入射光量に相当する信号電荷を生成・蓄積するフォトダイオードと、フォトダイオードから信号電荷を増幅して取り出す複数のMOSトランジスタとを有する。CMOSイメージセンサは、各画素毎に信号電荷の蓄積および読出しのタイミングが異なり、この蓄積および読出しのタイミングは撮像板ドライバ14によって制御される。撮像板ドライバ14により、垂直方向に並ぶ水平ラインの1つが上から順に選択されると共に、各水平ラインが選択される毎に水平方向に左から右へ各画素が順次選択されて信号電荷が画素信号として読出される。
【0014】
CMOS撮像板11から出力された画素信号は、画像処理手段であるデジタル信号処理回路(DSP)16に取り込まれ、所定の画像信号処理、例えば色分解処理、ホワイトバランス補正処理やγ補正処理等を受け、H×V画素の画像の輝度データおよび色差データ(以下、画像データ)に変換され、バッファメモリ18に書込まれる。DSP16は画像データを読出して、後述する画像歪み補正処理を施して、再びバッファメモリ18に書込む。そしてDSP16はさらに、撮像領域よりも狭い領域を切り出す。具体的にはバッファメモリ18から、h×v画素の長方形の領域の画像データのみを読出す。h、vはそれぞれ水平および垂直方向の画素数を示し、0<h<H、0<v<Vを満たす自然数である。
【0015】
h×v画素の画像データは、必要に応じて、所定の符号化方式に従って圧縮され、例えばJPEG規格の圧縮画像データに変換されて、図示しない内蔵メモリまたは着脱自在な外部記録媒体であるメモリカード20に記録される。電子スチルカメラ10には、シャッタボタンやモードや撮影条件等を設定するための種々のスイッチから成る操作部22が設けられる。
【0016】
図2を参照して、電子スチルカメラ10の手ぶれによって生じる画像歪みについて説明する。図2は電子スチルカメラ10によって被写体である静止した円柱30を撮影する状況を示し、手ぶれの方向と画像の歪み方との関係を模式的に示す図である。ただし、説明のため手ぶれによる方向変化を極端に大きく描いてある。
【0017】
上述したようにCMOSイメージセンサで撮像する場合、電荷蓄積タイミングは画素間で時間差が生じる。電子スチルカメラ10と円柱30との相対位置関係が変化しなければ時間差は特に問題にならないが、手ぶれによって1画像(1フレーム)の電荷蓄積期間中に電子スチルカメラ10の被写体に対する相対位置が変化すると、その像が変形する。具体的には、電子スチルカメラ10が実線で示す位置から撮影光学系12の光軸方向変化、すなわち被写体までの距離変化を伴う移動がなければ、撮影された画像32における円柱像30Cに歪みは生じないが、1フレームの電荷蓄積期間中に電子スチルカメラ10が、撮影光学系12の光軸と平行な移動ではなく、角度を持って振られると、円柱像30Cに歪みが生じる。例えば電子スチルカメラ10が実線位置から右側の破線で示す図のように振られると、左斜め下に向かって傾斜した円柱像30Rとなり、左側の図のように振られると、右斜め下に向かって傾斜した円柱像30Lとなる。図示しないが、電子スチルカメラ10が左右に交互に振られると円柱像の側面の直線は波線となって写る。また、1フレームの電荷蓄積期間中に電子スチルカメラ10が実線位置から上側の図のように振られると、垂直方向に伸張した円柱像30Uとなり、下側の図のように振られると、垂直方向に縮小した円柱像30Dとなる。
【0018】
第1実施形態の画像歪み補正処理では、電子スチルカメラ10の水平ぶれに起因する像の歪み(以下、水平歪みと記載する)を補正し、垂直ぶれに起因する像の伸縮(以下、垂直歪みと記載する)の補正は行わない。これは、静止画像の場合には、被写体像の垂直方向の寸法の伸縮よりも形状の歪み、例えば垂直に伸びる直線の傾斜、の方が目立つということが理由として挙げられる。
【0019】
図3を参照して画像歪み補正処理について説明する。図3(a)はバッファメモリ18に書込まれる画像歪み補正処理前の画像を示す概念図であり、図3(b)は画像歪み補正処理後の画像を示す概念図である。
【0020】
図3(a)に示す画像は、電子スチルカメラ10が手ぶれによって1フレームの画像の電荷蓄積期間中に水平方向に角度ぶれした時に得られたものであり、図3(a)の右方には第1水平ラインの電荷蓄積開始から第V水平ラインの電荷蓄積終了までの電子スチルカメラ10の水平ぶれ量、即ちCMOSイメージセンサの撮像面の水平ぶれ量が示されている。水平ぶれ量は振れによる撮像面上の像の移動量を画素数で表し、図2中右方向の移動時には+符号を付し、左方向への移動時には−符号を付す。
【0021】
バッファメモリ18は1フレーム分以上の画像データを記憶できる記憶容量を有し、個々の画像データは対応する記憶位置にそれぞれ書込まれ、またそこから読出される。バッファメモリ18は、H×V個の画像データを記憶する画像データ記憶領域Ad(図3の実線で示す長方形領域)を有している。DSP16は、バッファメモリ18からh×v個の画像データを読出す際には、特定の記憶位置、詳しくは画像データ記憶領域Adの内側に設定された読出し領域Ar(図3の一点鎖線で示す長方形領域)に記憶されているh×v個の画像データを読出す。
【0022】
DSP16で画像信号処理が行われた直後、即ち画像歪み補正処理前では、図3(a)に示すように、H×V個の画像データはCMOSイメージセンサの画素の並びと同じ配列で画像データ記憶領域Adに書込まれる。画像歪み補正処理を行わずに読出し領域Arから画像データを読出せば、水平方向に歪んだ被写体像しか得られない。そこで、DSP16は図3(b)に示すようにバッファメモリ18における各水平ラインの記憶位置を撮像面の水平移動量に比例して水平方向に移動させて画像歪みを補正するという画像歪み補正処理を行う。これにより、画像歪み補正処理後に読出し領域Arから画像データを読出せば、画像歪みが補正された被写体像を得ることができる。
【0023】
画像歪み補正処理では、ライン相関特性を利用して各水平ラインの水平位置、具体的にはバッファメモリ18における水平方向の記憶位置が補正される。DSP16は、一番上の第1水平ラインと次の第2水平ラインをバッファメモリ18から読出し、両ラインの輝度の相関が最も高くなるときの第1水平ラインに対する第2水平ラインの水平位置を演算により求める。そして、第2の水平ラインの画像データは、上記演算結果に基づいてバッファメモリ18の記憶位置が右または左にずらされる。例えば、第1水平ラインに対して第2水平ラインを2画素分左にずらしたときに両者の相関が最も高くなる場合には、第2水平ラインの各画像データは2画素ずつ左にずれた記憶位置に書込まれる。このとき、第2水平ラインの先頭の左側2画素の画像データは破棄され、画像データ記憶領域Adの最終2画素分は空白データとなる。
【0024】
次に、補正されていない第3水平ラインの画像データがバッファメモリ18から読出され、水平位置が補正済みの第2水平ラインとの輝度の相関が最も高くなるように、第3水平ラインの水平位置が変更され、バッファメモリ18に書込まれる。残りの第4〜V水平ラインについても同様に前の水平ラインとの相関が最も高くなるように水平位置が補正される。(V−1)本の水平ラインについて水平位置の補正が完了すると、図3(b)に示すように、全水平ラインについて互いの隣合う水平ラインとの輝度の相関が最も高い画像が得られる。自然な画像は隣接画素間の輝度値が近く相関が高いので、フレーム内で水平ラインの相関が最も高い画像は、画像歪みが補正された自然な画像であると見做せる。
【0025】
ライン相関の演算について、第1水平ラインと第2水平ラインとを一例として説明する。第1水平ラインの輝度値を左から順にb11、b12、b13、・・・、b1Hとし、第2水平ラインの輝度値を左から順にb21、b22、b23、・・・、b2Hとすると、第2水平ラインの両端2画素を除く輝度値b23〜b2(H-2)について、第1水平ラインの輝度値との差の絶対値の総和B0を(1)式により求め、さらに第2水平ラインを左に1画素ずらした時の総和BL1、左に2画素ずらした時の総和BL2、右に1画素ずらした時の総和BR1、右に2画素ずらした時の総和BR2とをそれぞれ(2)〜(5)式により求める。
【0026】
B0=|b23−b13|+|b24−b14|+・・・+|b2(H-2)−b1(H-2)| (1)
BL1=|b23−b14|+|b24−b15|+・・・+|b2(H-2)−b1(H-1)| (2)
BL2=|b23−b15|+|b24−b16|+・・・+|b2(H-2)−b1H| (3)
BR1=|b23−b12|+|b24−b13|+・・・+|b2(H-2)−b1(H-3)| (4)
BR2=|b23−b11|+|b24−b12|+・・・+|b2(H-2)−b1(H-4)| (5)
【0027】
これら総和B0、BL1、BL2、BR1およびBR2は、第1水平ラインに対する第2水平ラインの相関を示すものであり、値が小さくなるほど相関が高いと見做せる。従って、例えばB0、BL1、BL2、BR1およびBR2のうち最小値がBL2であった場合には、そのときの画素ずらし量(2画素)および方向(左)が第2水平ラインの水平歪み補正量に定められ、バッファメモリ18における第2水平ラインの書込むべき記憶位置は、水平歪み補正量だけ即ち左に2画素分だけ移動させられる。
【0028】
なお、第1実施形態では最大2画素分ずらしているが、3画素以上であってもよい。例えば最大画素ずらし量を5画素に設定して相関を比較する場合には、補正対象となる水平ラインの両端5画素を除いて、1画素ずつずらしながら11個の総和を求めてその総和が最小値になるときの水平歪み補正量を求めればよい。最大画素ずらし量は、1フレームの電荷蓄積期間で手ぶれにより発生し得る撮像面の水平移動量の最大値よりも大きく設定される。
【0029】
CMOSイメージセンサの水平画素数Hは、出力画像の水平画素数hと最大画素ずらし量を2倍した値との和よりも大きい値に設定される。読出し領域Arの左辺から画像データ記憶領域Adの左辺までの距離、および読出し領域Arの右辺から画像データ記憶領域Adの右辺までの距離は、それぞれ最大画素ずらし量より大きい値に設定される。
【0030】
このように、電子スチルカメラ10は、水平ラインの水平位置を輝度の相関が最も高くなるように補正し、画像を撮像面の水平移動量に応じて変形させている。これにより画像の水平歪みが補正できる。そして、撮像範囲よりも狭い領域の画像を切り出して出力画像としているので、水平位置の補正を行っても出力画像の画像データは欠けることがない。また、電子スチルカメラ10は撮影画像の画像データに含まれる輝度データを手ぶれデータとして扱うので、手ぶれ量を検出するためのセンサが不要である。また、各水平ラインの水平位置の移動はバッファメモリ18の記憶位置を変更して書換えることにより実現されるので、機構的な制御を必要とせず簡単である。
【0031】
なお、第1実施形態では、画像データをバッファメモリ18に一旦書込んだ後に画像歪み補正処理を行っているが、バッファメモリ18に書込む前に画像歪み補正処理を行ってもよい。
【0032】
また、第1実施形態では補正対象の水平ラインとその1ライン前の水平ラインとの相関が最も高くなるように、即ち1ライン毎に補正対象の水平ラインの水平位置を補正しているが、隣接する2ライン間の蓄積タイミングのずれは相対的に小さいので、複数ライン毎に補正をしてもよい。
【0033】
複数ライン毎に補正する一例として、2ライン毎に補正する場合について説明する。最大画素ずらし量は2画素である。第1水平ラインの輝度値を左から順にb11、b12、b13、・・・、b1H、第2水平ラインの輝度値をb21、b22、b23、・・・、b2H、第3水平ラインの輝度値をb31、b32、b33、・・・、b3H、第4水平ラインの輝度値をb41、b42、b43、・・・、b4Hとする。まず、第3および第4水平ラインの両端2画素を除く輝度和{b33+b43}、{b34+b44}、…、{b3(H-2)+b4(H-2)}を求め、これら輝度和について、第1および第2水平ラインの輝度和の差の絶対値の総和B0を(6)式により求める。そして、第1および第2水平ラインに対して、第3および第4水平ラインを左に1画素、左に2画素、右に1画素、右に2画素ずらした時の総和BL1、BL2、BR1、BR2とをそれぞれ(7)〜(10)式により求める。
【0034】
B0=|[b13+b23]−[b33+b43]|+|[b14+b24]−[b34+b44]|+
・・・+|[b1(H-2)+b2(H-2)]−[b3(H-2)+b4(H-2)]| (6)
BL1=|[b13+b23]−[b34+b44]|+|[b14+b24]−[b35+b45]|+
・・・+|[b1(H-2)+b2(H-2)]−[b3(H-1)+b4(H-1)]| (7)
BL2=|[b13+b23]−[b35+b45]|+|[b14+b24]−[b36+b46]|+
・・・+|[b1(H-2)+b2(H-2)]−[b3H+b4H]| (8)
BR1=|[b13+b23]−[b32+b42]|+|[b14+b24]−[b33+b43]|+
・・・+|[b1(H-2)+b2(H-2)]−[b3(H-3)+b4(H-3)]| (9)
BR2=|[b13+b23]−[b31+b41]|+|[b14+b24]−[b32+b42]|+
・・・+|[b1(H-2)+b2(H-2)]−[b3(H-4)+b4(H-4)]|(10)
【0035】
そして総和B0、BL1、BL2、BR1およびBR2のうち最小値となるときの画素ずらし量および方向に基づいて、バッファメモリ18における第3および第4水平ラインの書込むべき記憶位置が移動させられる。これにより、第3および第4水平ラインは、第1および第2水平ラインに対して相関が最も高くなるようにバッファメモリ18の記憶位置が補正される。残りの第5〜第V水平ラインについても同様に水平位置が補正される。2ライン毎に補正する場合、1ライン毎の補正に比べて補正精度をあまり低下させずに処理速度を向上させることができる。特に垂直方向の画素数Vが多いほど有効である。
【0036】
図4〜図6を参照して本発明の画像歪み補正機能付き撮像装置の第2実施形態について説明する。第1実施形態と異なる点は、動画像を撮影する点と、画像の水平歪みを補正するとともにフレーム間での差が顕著な垂直歪みを補正する点であり、第1実施形態と同様の構成については同符号を付し、説明を省略する。図4は、本発明の画像歪み補正機能付き撮像装置を適用したビデオカメラの主要構成を示すブロック図であり、図5は水平歪みを補正する処理を示す概念図であり、図6は垂直歪みを補正する処理を示す概念図である。
【0037】
ビデオカメラ50は、第1水平ラインを基準として第2〜第V水平ラインの画像データについてバッファメモリ18の記憶位置を順次変更することによって、フレーム内の水平歪みを補正することは第1実施形態と同様である。図5には、3フレームの画像が上から撮影順に示され、その側方には撮像面の水平移動量が示されている。
【0038】
動画像を得る第2実施形態においては、手ぶれによって垂直方向に延びる直線は波状にゆらゆらしなって見える現象が生じるが、各フレーム毎に水平歪みを補正することにより、このような現象は回避される。
【0039】
動画像を得る場合には上述した1静止画像(1フレーム)を得る工程を一定周期、例えば1/30秒周期で繰り返し行ない、1秒間に30フレームの静止画像を得るが、第1実施形態のように全てのフレームの第1水平ラインを常に初期位置に戻す場合では、手ぶれにより連続するフレーム間の相関が低くなる、具体的にはフレーム毎に被写体像の水平位置が変化する像ぶれ現象が生じる。そこで、DSP16はフレーム間の水平位置ずれを相殺するために、水平歪みを補正する際に、図5に示すように、第2フレーム以降の第1水平ラインの水平位置を直前のフレームの最終水平ラインである第V水平ラインの位置に一致させる。即ち、フレームの第1水平ラインと直前のフレームの第V水平ラインの露光タイミングは時間差が少ないので両者の水平歪み補正量が実質的に同値であると見做して、両者の水平歪み補正量を同値にする。これによりフレーム間の相関が高くなって、水平方向に関して像ぶれが解消され、滑らかに連続する動画像が得られる。図5では、水平歪みおよび水平方向の像ぶれを補正する前の被写体像および水平ラインの水平位置を破線で示し、水平歪みおよび水平方向の像ぶれを補正した後の被写体像および水平ラインの水平位置を実線で示す。
【0040】
次に、水平歪みおよび水平方向の像ぶれが補正された画像を、ビデオカメラ50の垂直移動に起因する像の伸縮(垂直歪み)を補正する。第1実施形態のように静止画像を得る場合には縦方向の伸縮は目立たないが、動画像の場合にはフレーム毎に被写体像が垂直方向に伸び縮みする現象が生じる。そこで、第2実施形態では、手ぶれ検出部52を用いて1フレームの電荷蓄積期間における撮像面の垂直歪み補正量を求め、その垂直歪み補正量分だけ画像を伸縮させる。
【0041】
手ぶれ検出部52は、ビデオカメラ50の垂直方向の角速度を検出する圧電ジャイロセンサと、圧電ジャイロセンサの出力を積分演算して手ぶれの角度データを生成する積分回路とを備え、これら手ぶれの角度データを所定周期でDSP16に出力する。DSP16は、手ぶれ検出部52の出力に基づいて垂直移動量を求め、1フレームの電荷蓄積期間の開始時と終了時との垂直移動量を相加平均した値を垂直歪み補正量に定める。そして、この垂直歪み補正量に基づいて画像を垂直方向に伸縮する。
【0042】
図6には、水平歪みが補正された3フレームの画像が上から順に示され、その側方には撮像面の垂直移動量が示されている。垂直移動量は画素数で表され、図2の下方向に移動した場合には+符号が付され、図2の上方向に移動した場合には−符号が付される。第1フレームの電荷蓄積開始時および終了時の垂直移動量をそれぞれV0=0、V1=+2とすると、第1フレームの垂直歪み補正量L1(=V0+V1=+2)は正の値となる。即ち、手ぶれによって第1フレームの電荷蓄積期間中に撮像面は垂直歪み補正量L1(下方向に2画素分)だけ移動して被写体像の垂直長さがその分だけ縮んだことになる。
【0043】
そこで、DSP16は、第1フレームの垂直長さを圧縮した分だけ伸張する、具体的には垂直画素数が(V+L1)となるように公知の画素補間方式、例えばバイキュービック法に基づいて垂直方向の画素数が(V+2)画素となるように画素数を増加させ、被写体像を実質的に垂直方向に伸張する。第2フレームについても同様に、電荷蓄積開始時および終了時の垂直移動量V2、V3の相加平均により得られる垂直歪み補正量L2が正の値であれば、垂直歪み補正量L2分だけ画像が伸張される。
【0044】
一方、第3フレームのように、電荷蓄積開始時および終了時の垂直移動量がV4(=+2)、V5(=−3)で、垂直歪み補正量L2(=−1)が負の値になるときには、手ぶれによって第3フレームの電荷蓄積期間中に撮像面は垂直歪み補正量L3(上方向に1画素分)だけ移動して被写体像の垂直長さがその分だけ伸びたことになる。そこで、DSP16は、第3フレームの垂直長さを伸びた分だけ圧縮する、具体的には垂直画素数が(V+L3)となるように例えばバイキュービック法に基づいて垂直方向の画素数が(V−1)画素となるように画素数を減少させ、被写体像を実質的に垂直方向に圧縮する。これにより、画像データ記憶領域Adの最終ラインは空白データとなる。図6では、垂直歪みを補正する前の画像を破線で示し、垂直歪みを補正した後の画像を実線で示す。
【0045】
このように、各フレームについて垂直歪み補正量を求め、この垂直歪み補正量に基づいて画像を伸縮させることにより、ビデオカメラ50の垂直移動に起因する像の伸縮(垂直歪み)を補正し、フレーム毎に被写体像が垂直方向に伸び縮みすることのない動画像を得ることができる。
【0046】
さらに、垂直歪み補正量を各フレームの電荷蓄積期間における撮像面の垂直移動量の代表値とし、読出し領域Arを一点鎖線で示す位置から垂直歪み補正量だけ垂直方向にずれた位置(図中ハッチングで示された領域)に相対移動させれば、縦方向に関する像ぶれを補正することができる。
【0047】
第2実施形態のビデオカメラ50によると、フレーム画像の画像歪みを垂直方向および水平方向の双方について補正するだけでなく、フレーム間の位置ずれである像ぶれを垂直方向および水平方向の双方について補正することができる。従って、垂直方向の直線がゆらゆらしなったり、被写体像が垂直方向に伸び縮みするような現象が防止され、かつ滑らかに連続する動画像を得ることができる。
【0048】
画像歪みおよび像ぶれが補正された複数フレーム分のh×v画素の画像データは、所定の符号化方式例えばMPEG方式に従って圧縮され、図示しない内蔵メモリまたはメモリカード20に記録される。
【0049】
第1実施形態は電子スチルカメラ10、第2実施形態はビデオカメラ50であるが、第1実施形態の水平歪みのみを補正する機能をビデオカメラに適用してもよいし、また第2実施形態の水平歪みと垂直歪みとを補正する機能を電子スチルカメラに適用してもよいことはいうまでもない。
【0050】
【発明の効果】
以上説明したように本発明の画像歪み補正機能付き撮像装置は、手ぶれによって生じる画像歪みを補正できる。
【図面の簡単な説明】
【図1】本発明の第1実施形態である電子スチルカメラの主要構成を示すブロック図である。
【図2】手ぶれの方向と画像の歪み方との関係を示す図である。
【図3】図3(a)は画像歪み補正処理前の画像を示す図であり、図3(b)は画像歪み補正処理後の画像を示す図である。
【図4】本発明の第2実施形態であるビデオカメラの主要構成を示すブロック図である。
【図5】動画像における水平歪みおよび水平方向の像ぶれを補正する処理を示す概念図である。
【図6】動画像における垂直歪みおよび垂直方向の像ぶれを補正する処理を示す概念図である。
【符号の説明】
10 電子スチルカメラ
11 CMOS撮像板
16 DSP
18 バッファメモリ
50 ビデオカメラ
52 手ぶれ検出部
Claims (4)
- 撮像領域に2次元配列された画素を有し、複数の水平ラインから構成される画像を得る撮像手段と、所定の水平ラインの水平位置をこの水平ラインに隣接する水平ラインとの相関が最も高くなるように調整することにより、前記画像の歪みを補正する画像処理手段とを備えることを特徴とする画像歪み補正機能付き撮像装置。
- 前記画像処理手段が、所定の水平ラインを含む複数の水平ラインの水平位置を、前記所定の水平ラインの近傍の複数の水平ラインとの相関が最も高くなるように相対移動させることを特徴とする請求項1に記載の画像歪み補正機能付き撮像装置。
- 前記撮像手段が、CMOSイメージセンサを備えることを特徴とする請求項1に記載の画像歪み補正機能付き撮像装置。
- 前記画像が連続して複数得られ、前記画像処理手段が、所定の画像の第1水平ラインの水平位置を、その直前に得られた画像の最終水平ラインの水平位置に一致させることにより、水平方向の像ぶれを補正することを特徴とする請求項1に記載の画像歪み補正機能付き撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003159093A JP4270947B2 (ja) | 2003-06-04 | 2003-06-04 | 画像歪み補正機能付き撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003159093A JP4270947B2 (ja) | 2003-06-04 | 2003-06-04 | 画像歪み補正機能付き撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004363869A JP2004363869A (ja) | 2004-12-24 |
JP4270947B2 true JP4270947B2 (ja) | 2009-06-03 |
Family
ID=34052252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003159093A Expired - Fee Related JP4270947B2 (ja) | 2003-06-04 | 2003-06-04 | 画像歪み補正機能付き撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4270947B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005244440A (ja) * | 2004-02-25 | 2005-09-08 | Matsushita Electric Ind Co Ltd | 撮像装置、撮像方法 |
JP4606218B2 (ja) * | 2005-03-28 | 2011-01-05 | 三洋電機株式会社 | 歪補正装置 |
JP4689687B2 (ja) | 2008-01-29 | 2011-05-25 | 株式会社モルフォ | 撮像方法および撮像装置 |
JP4853746B2 (ja) * | 2009-11-18 | 2012-01-11 | ソニー株式会社 | 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム |
CN102348046B (zh) * | 2010-07-30 | 2014-08-27 | 富士通株式会社 | 一种视频去抖动方法和视频去抖动装置 |
JP5621485B2 (ja) * | 2010-10-06 | 2014-11-12 | 株式会社ニコン | 撮像装置および画像処理装置 |
JP7142658B2 (ja) * | 2020-02-12 | 2022-09-27 | 株式会社ニコン | 撮像装置 |
-
2003
- 2003-06-04 JP JP2003159093A patent/JP4270947B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004363869A (ja) | 2004-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7340160B2 (en) | Imaging apparatus | |
JP4446193B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP4501994B2 (ja) | 撮像装置 | |
JP5608820B2 (ja) | 撮像装置及び合焦制御方法 | |
US20120133787A1 (en) | Imaging device, image processing method, and computer program | |
JP2006157568A (ja) | 撮像装置およびプログラム | |
JP3854754B2 (ja) | 撮像装置、画像処理装置及びその方法、並びにメモリ媒体 | |
JP2003319240A (ja) | 撮像装置 | |
WO2005081517A1 (ja) | 撮像装置、撮像方法 | |
JP2007243917A (ja) | 撮像装置および画像処理プログラム | |
JP4115220B2 (ja) | 撮像装置 | |
JP4270947B2 (ja) | 画像歪み補正機能付き撮像装置 | |
JP4739998B2 (ja) | 撮像装置 | |
JP2006148550A (ja) | 画像処理装置及び撮像装置 | |
JP2004363857A (ja) | 画像歪み補正機能付き撮像装置 | |
JP4284282B2 (ja) | 撮像装置及び固体撮像素子 | |
JP2006228801A (ja) | 固体撮像素子 | |
JP2002287197A (ja) | 撮像装置における画像安定化装置 | |
JP2006135501A (ja) | 撮像装置 | |
JP4834406B2 (ja) | 撮像装置 | |
JP2011135537A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2005210164A5 (ja) | ||
JP2005210164A (ja) | 欠陥画素補正装置 | |
JP4449777B2 (ja) | 撮像装置、画像処理装置および方法、記録媒体、並びにプログラム | |
JP2005064749A (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060501 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20080425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081208 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090218 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090224 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |