JP2009135713A - 撮像装置のブレで生じる画像歪みの補正方法及び装置 - Google Patents

Abstract

【課題】ＣＭＯＳなどのように素子行単位の走査を行う撮像素子を備えた撮像装置において、フォーカルプレーン現象によって生じる画像歪みを特殊なハードウェア構成を必要とせず、簡単な構成で高速に補正できるようにした、撮像装置のブレで生じる画像歪みの補正方法及び装置を提供することが課題である。
【解決手段】撮像装置のブレ方向とブレ量の検出手段１５からの複数の信号から代表ブレ方向とブレ量とを算出する振動量算出部１４１と、該振動量算出部１４１が算出した代表ブレ方向とブレ量とに基づき、撮像画像を走査方向に垂直な方向へ拡大、または縮小し、撮像装置のブレで生じる画像歪みを補正する画像拡大部１４４とで、走査方向に垂直な方向の撮像装置のブレで生じる画像歪みを補正するようにした。
【選択図】図１

Description

本発明は、撮像装置のブレで生じる画像歪みの補正方法及び装置に関わり、特に、個々の撮像素子における画像データとしての電荷の蓄積と読み出しを素子行単位の走査で行う撮像素子を備えた撮像装置における、ブレにより生じる画像歪みを補正できるようにした、撮像装置のブレで生じる画像歪みの補正方法及び装置に関するものである。

ビデオカメラやデジタルカメラにおける撮像装置を構成する撮像素子には、従来からＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）が用いられている。このうちＣＭＯＳを用いた撮像素子は、ＣＣＤを用いた撮像素子に較べてＬＳＩと同様の製造プロセスが使用でき、量産性に優れて増幅器を始め様々な機能を撮像素子毎に設けることも可能である。また、回路全体のサイズを小さくできるためにコスト的にも有利となり、電源が低電圧の単一電源で済むことや、ＣＣＤでは問題となるスミアが無視できるほど小さい上に、データの読み出しが高速に行える等の利点がある。

しかしながらＣＭＯＳを用いた撮像素子は、ノイズが多いということと、マトリクス状に配列された各画素を構成する撮像素子からの撮像データの取り出しを、ＣＣＤとは異なって素子行単位の走査で行うため、機械的なシャッタを持たずに電荷の蓄積時間だけに基づいた露光を行った場合、撮像に際して電荷露光を行うタイミングがライン毎に異なると共に画像データの読み出しが時系列となり、走査線ごとの走査に要する時間だけ蓄積時間がずれて、撮像装置が動くと一般的にフォーカルプレーン現象と呼ばれる画像歪みが生じるという欠点がある。

このうちノイズについては、例えば一眼レフ型のデジタルカメラなどにおいてはセンサのサイズを大きくできるため、感度やノイズの改善が容易である。さらにＣＭＯＳを用いた撮像素子は、その高速性によって一眼レフ型のデジタルカメラ等に要求される連写機能を容易に実現することができ、前記したＣＭＯＳを用いた撮像素子の利点と相俟って、最近の一眼レフ型デジタルカメラではこのＣＭＯＳを用いた撮像素子を備えたものが多くなっている。

一方、図９はフォーカルプレーン現象を概念的に示した図であり、ＣＭＯＳのように先頭の撮像素子と最後の撮像素子からの撮像データの読み出しに時間的なずれがある撮像素子を用い、データ読み出しを上から順に行って、（Ａ）は撮像装置がブレずに撮像された場合、（Ｂ）は撮像装置が下側に動いた場合、（Ｃ）は同じく上側に動いた場合のそれぞれにおける撮像画像を示している。撮像装置が動かずに撮像した（Ａ）の撮像画像における人物の顔をほぼ円とすると、撮像装置が下側に動いた（Ｂ）では、先頭の撮像素子と最後の撮像素子の読み出し時間のずれによって人物の顔が上下に押しつぶされた楕円形状となり、上側に動いた（Ｃ）では上下に延びた楕円形状となって、撮像中に撮像装置が動いた方向に歪みが生じている。

こういったフォーカルプレーン現象を防止するには、例えば撮像素子からの画像データ読み出しを高速に行う、撮像素子からの読み出し位置をブレに応じて調整する、露出タイミングを調整するなどの方法が考えられ、また例えば特許文献１には、離散的なライン毎に用意された手ブレ量のデータから、ライン毎に手ブレ量のデータを補間して手ブレ補正量を算出し、その手ブレ補正量に基づいて撮像素子からのデータ読み出し位置を決定して撮像素子からのデータ読み出しを行い、手ブレによる影響を補正するようにした、画像処理装置および方法、記録媒体、並びにプログラムが開示されている。

特開２００４−２６６３２２号公報

しかしながら、撮像素子からの画像データ読み出しを高速にするために、露光時間を短くしてゲインで補うとノイズが増加し、また、高速化のために複数ラインを同時に読み出すようにした場合などは、専用のハードウェアが必要になる。露出タイミングを調整する方法は、静止画には有効であるが動画の場合は各フレーム毎にタイミング調整を行わねばならず、高速な処理装置が必要となる。

さらに特許文献１に示されているように、撮像素子からの読み出し位置をブレに応じて調整する方法は、ライン毎に用意された手ブレ量のデータから手ブレ量のデータを補間して手ブレ補正量を算出しているため、演算量が膨大なものとなり、高画素・高フレームレートが求められる中ではネックとなってくる。

そのため本発明においては、マトリクス状に配列された各画素を構成する撮像素子からの撮像データの読み出しを、ＣＭＯＳなどのように素子行単位の走査で行うような撮像素子を備えた撮像装置において、フォーカルプレーン現象によって生じる画像歪みを特殊なハードウェア構成を必要とせず、簡単な構成で、高速に補正できるようにした、撮像装置のブレで生じる画像歪みの補正方法及び装置を提供することが課題である。

上記課題を解決するため、本発明になる撮像装置のブレで生じる画像歪みの補正方法は、
マトリクス状に配された撮像素子を備え、該撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置において、前記走査方向に垂直な方向への撮像装置のブレで生じる画像歪みを補正する補正方法であって、
前記撮像装置のブレ方向とブレ量とを検出し、該検出結果に対応させて撮像画像を前記走査方向に垂直な方向へ拡大、または縮小し、前記撮像装置のブレで生じる画像歪みを補正することを特徴とする。

そのため、前記撮像装置のブレ方向とブレ量とをそれぞれ複数検出し、平均値、中心値、もしくは統計的に最適となる値を基に前記撮像画像の拡大、または縮小を行うか、もしくは、前記撮像画像を前記走査方向に垂直な方向に複数のエリアに分割し、該複数のエリアのそれぞれで、前記撮像装置のブレ方向とブレ量を検出し、そのため、前記振動量算出部は、前記撮像装置の撮像画像を複数エリアに分割し、各エリア毎に前記撮像装置のブレ方向とブレ量の検出手段からの信号を取得するようにする。

そして、この画像歪みの補正方法を実施するための画像歪みの補正装置は、
マトリクス状に配された撮像素子を備えて各撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置と、該撮像装置のブレ方向とブレ量の検出手段とを備え、前記走査方向に垂直な方向の撮像装置のブレで生じる画像歪みを補正する画像歪みの補正装置において、
前記撮像装置のブレ方向とブレ量の検出手段から得られる複数の信号から代表ブレ方向とブレ量とを算出する振動量算出部と、該振動量算出部が算出した代表ブレ方向とブレ量とに対応させ、撮像画像を前記走査方向に垂直な方向へ拡大、または縮小し、前記撮像装置のブレで生じる画像歪みを補正する画像拡大部とを備え、前記走査方向に垂直な方向の撮像装置のブレで生じる画像歪みを補正することを特徴とする。

このように撮像装置のブレ方向とブレ量に対応させ、走査方向に垂直な方向へ画像を拡大、または縮小することで、手ブレとフォーカルプレーン現象によって生じる画像歪みはそのほとんどが解消でき、特殊なハードウェア構成を用いずに簡単な構成で、かつ、演算量を増加させることなく高速に、撮像装置のブレで生じる画像歪みの補正を行うことのできる補正方法及び装置を提供することができる。

また、前記撮像画像を前記走査方向に垂直な方向に複数のエリアに分割し、該分割したエリア毎に前記撮像装置のブレで生じる画像歪みを補正するようにすると、個々のブロック毎に歪みを補正することができ、さらに正確な画像歪み補正を実施することができる。

そして、前記撮像装置における撮像素子の少なくとも前記走査方向に垂直な方向の素子数を、前記縮小により得られる画像における画素数が出力画像の画素数となるよう定めることで、撮像装置から得られる画像を縮小しても端部が切れて違和感のある画像になったりすることがない。

なお、以上の方法はブレの周波数が小さな場合は良いが、その周波数が大きく（周期が短く）なると分割したエリア内でブレの方向が変わってしまい、正確な歪み補正ができなくなる場合がある。そのため、前記撮像装置におけるフレームレートと、前記撮像装置のブレにおける前記走査方向に対して垂直な成分の最小周期とから、前記各エリア内における前記ブレが、前記最小周期の１／４未満となるよう、前記エリアにおける前記走査方向に垂直な方向の長さを定めることで、こういった場合にも対応できる撮像装置のブレで生じる画像歪みの補正方法及び装置とすることができる。

このように本発明によれば、特殊なハードウェア構成を用いず簡単な構成で、かつ、演算量を増加させることなく高速に、撮像装置のブレで生じる画像歪みの補正を効率よく行うことのできる補正方法及び装置を提供することができる。

特に電子式のブレ補正では、入力した画像をブレ方向とブレ量に合わせて切り出した後、画像を元のサイズに戻すために画像の拡大処理をすることが行われているが、この画像サイズを元に戻すための画像の拡大処理を行うのと同時に、フォーカルプレーン現象の補正による画像の拡大・縮小を実行すれば、システム全体としての画像の拡大・縮小に関する演算量を全く増加させずに画像歪みの補正も実現することが可能となり、さらに効率の良い撮像装置のブレで生じる画像歪みの補正方法及び装置とすることができる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

最初に図４を用い、本発明の撮像装置のブレで生じる画像歪みの補正方法について簡単に説明する。本発明においては、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）のように先頭の画素と最後の画素の読み出しに時間的なずれがある撮像素子を用い、データ読み出しを上から順に行って、撮像装置における走査方向に垂直な方向のブレで生じる画像歪みを、特殊なハードウェア構成を必要とせず、簡単な構成で高速に補正できるようにしたものである。

前記図９と同様この図４において、（Ａ）は撮像装置がブレずに撮像が行われた画像であり、（Ｂ）は撮像装置が図上、上側に動いた場合、（Ｃ）は同じく下側に動いた場合である。また、「入力画像」は撮像装置からの撮像データを表し、「出力画像」は本発明により画像歪みを補正した出力画像を表している。そして前記と同様、撮像装置が動かずに撮像した（Ａ）の「入力画像」における人物の顔をほぼ円とすると、撮像装置が上側に動いた（Ｂ）における「入力画像」では人物の顔が上下に押しつぶされた楕円形状となり、下側に動いた（Ｃ）では上下に延びた楕円形状となる。

そのため本発明においては、撮像装置のブレ方向と量を、例えばジャイロセンサなどの加速度センサやブロックマッチング法などで検出し、そのブレ方向と量に応じて画像を拡大、縮小するようにしたものである。すなわち、撮像装置がブレていない（Ａ）では「出力画像」として「入力画像」データをそのまま用い、（Ｂ）のようにデータ読み出し方向に対して逆の方向（上方向）にブレた場合、「出力画像」として示したように走査方向に垂直な方向のみ画像を拡大し、（Ｃ）のようにデータ読み出し方向と同じ方向（下方向）にブレた場合、「出力画像」として示したように走査方向に垂直な方向のみ画像を縮小することで対応したものである。

なお、このようにしてブレ補正をすると、図４（Ａ）のように「入力画像」をそのまま「出力画像」として用いる場合、或いは図４（Ｂ）のように拡大する場合は良いが、図４（Ｃ）のように縮小する場合、「入力画像」における縮小する方向（走査方向に垂直な方向）のエリアが本来の画像エリアより大きくないと、「出力画像」が縮小した分、走査方向に垂直な方向が本来の出力画像の画素数より小さな画像となってしまう。

しかしながら電子式手ブレ補正システムを用いている撮像装置では、図８に示したように本来の画像エリアより大きな撮像エリアを有し、手ブレにより撮像位置が変化した場合、その手ブレ量に相当する移動量の位置の画像を切り出して出力画像とすることで手ブレの補正をすることが行われている。

すなわちこの図８において（Ａ）は最初に撮像した画像であり、「出力画像[１]（ブレ補正後）」は、「入力画像[１]（ブレ補正前）」におけるほぼ中央の破線で囲まれたエリアを出力している。それに対し、ブレによって撮像位置が変化した（Ｂ）においては、（Ａ）の「入力画像[１]」における破線で囲んだエリアがブレにより、「入力画像[２]（ブレ補正前）」に破線で示したように例えば下側に移動し、「出力画像[２]（ブレ補正後）」は、その破線で囲んだ位置を出力することによってブレに対処している。

そのため電子式手ブレ補正システムを用いている撮像装置では、手ブレによって撮像位置が変化しても出力エリア分の画像を撮像できるよう、本来の画像エリアよりも大きな撮像エリアが用意されているから、その大きな撮像エリアを用いて図４（Ｃ）に示したような縮小を行えば問題なく「出力画像」を得ることができる。

それを示したのが図７である。この図７の（Ａ）は、図８で説明した電子式手ブレ補正システムに用いられる本来の出力エリアよりも大きな撮像エリアを用いて撮像したブレ補正前の入力画像であり、（Ｂ）はこの（Ａ）における破線で示した本来の撮像エリア（破線部）を切り出した画像、（Ｃ）は前記図４で説明した方法で歪み補正を行って拡大したブレ補正後の拡大画像である。

このように電子式手ブレ補正システムに用いられる本来の出力エリアよりも大きな撮像エリアを用いることで、図４（Ｃ）のように「入力画像」を縮小する場合でも、問題なく本来の出力エリアの画像を「出力画像」として出力できるわけである。

図１は、本発明になる撮像装置のブレで生じる画像歪みの補正装置のブロック図であり、図２は撮像装置のブレで生じる画像歪みの補正方法のフロー図、図３は本発明の撮像装置のブレで生じる画像歪みの補正方法をさらに詳細に説明するための図である。

最初に図３を用い、本発明になる画像歪みの補正方法をさらに詳細に説明すると、まず（Ａ）は、横軸が時間で縦軸が撮像装置のブレ量（画像ズレ量）であり、３１の番号を付した実線は、時間と共に変化するブレ量と方向とを一例としてｓｉｎカーブとして示した線、ｔ０、ｔ１、ｔ２、ｔ３の上に網掛けして示した部分は連続撮影した場合のシャッタータイミングであり、各網掛け部分の先頭から最後の部分までがＣＭＯＳを用いた撮像素子の走査時間、すなわち１フレームとなる。（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）は、それぞれ時間ｔ０、ｔ１、ｔ２、ｔ３の各フレームにおける撮像画像上のブレ方向とブレ量を、矢印の方向と長さでベクトル量として示した図で、また、それぞれのフレームにおけるエリア[１]から[５]は、時間と共に変化するブレ量と方向とを検出するためのエリアである。なお、エリア[１]〜[５]は、以下の説明では５つの場合を例に説明していくが、この数は後記するようにフレーム数などに対応させて決めれば良く、５つだけに限られないことは自明である。

なお、この図３（Ａ）に３１の番号を付けたブレ量と方向を表す線の周波数は、説明をわかりやすくするために手ぶれよりは大きな周波数で示してあり、また、軌跡もｓｉｎカーブのように滑らかに振動する場合を示したが、機械的な振動などの、一方向のみの振れや地震などのように高速に上下する場合など、種々のブレがあるが本発明はそれらにも対応できることはいうまでもない。

まず図３（Ａ）における時間ｔ０の網掛けした部分は、手ブレが一方向から逆の方向に変化する部分を１フレームとした場合の例で、この場合は図３（Ｂ）に示したように、エリア[１]では図上上向きの手ブレ（ベクトル）が発生し、それがエリア[２]では同じ方向だがエリア[１]より小さくなり、エリア[３]ではほぼ０となっている。そしてエリア[４]ではエリア[２]とは逆向きでほぼ同じ量の手ブレとなり、エリア[５]では同様にエリア[１]とは逆向きでほぼ同じ量の手ブレとなっている。

次の時間ｔ１では、図３（Ｃ）に示したようにブレの方向は図上全て下向きとなり、エリア[１]から[４]まではその量が余り変わらず、エリア[５]で小さくなっている。時間ｔ２では図３（Ｄ）に示したように、時間ｔ１とはブレの方向が逆になって図上全て上向きとなり、エリア[５]から[２]までその量が余り変わらずにエリア[１]で小さくなっている。時間ｔ３では図３（Ｅ）に示したように、時間ｔ０と同様、手ブレが一方向から逆の方向に変化する部分を１フレームとしていて、エリア[１]では図上上向きの小さな手ブレがエリア[２]ではほぼ０となり、エリア[３]では逆方向となって大きさがエリア[１]程度となり、エリア[４]、[５]と少しずつ大きくなっている。

そのため本発明における実施例１では、それぞれのエリア[１]〜[５]のブレ量を平均した値、または中心値、もしくは統計的に最適となる値などを用い、前記図４に示したようなブレの方向に対応させて拡大・縮小を行うようにしている。実際には、手ブレ量が一方向のみの時間ｔ１やｔ２のフレームや、途中でブレの方向が変わる時間ｔ０、ｔ３のフレームのように、フレームがどの位置であるかによってエリア毎のブレ量と方向が異なる場合があるわけであるが、前記したように実際の手ブレは３〜７Ｈｚ程度であり、このように平均値、中心値、もしくは統計的に最適となる値などを用いても、実用上は大きな問題とはならない。

そのため、時間ｔ０の図３（Ｂ）に示したような場合はブレ補正の必要が無いか非常に小さく、時間ｔ１の（Ｃ）の場合はエリア[４]程度の補正量の縮小補正を行い、時間ｔ２の（Ｄ）の場合はエリア[３]程度の拡大補正を行い、時間ｔ３の（Ｅ）の場合はエリア[４]程度の縮小補正をすればよい。このようにすることで、専用のハードウェアを用いることなく簡単な構成で、短時間で、手ブレで生じる画像歪みの補正を違和感なく行うことができ、コスト的にも有利で歪みのない画像を提供する撮像装置とすることができる。

以上が本発明の実施例１の詳細であるが、次に図１、図２を用い、本発明になる撮像装置の詳細と動作を説明する。まず図１において１１は撮像レンズ、１２はＣＭＯＳを用いた固体撮像素子、１３は固体固体撮像素子１２からのアナログ画像信号を増幅すると共にデジタル信号に変換する映像信号処理部、１４は本発明の方法により画像歪みの補正を行う画像歪み補正部、１５は撮像装置のブレ量とブレ方向とを検出するジャイロセンサなどの加速度センサ、１６はブレが補正された映像信号を出力する映像信号出力部である。

また、画像歪み補正部１４には、加速度センサ１５からの信号、及びもしくは映像信号処理部１３からの画像データにより、撮像装置のブレ量、すなわち振動量を算出するエリア振動量算出部１４２、代表振動量を決定する代表振動量決定部１４３を有する振動量算出部１４１、この振動量算出部１４１が算出したブレ量及び方向とから、画像拡大倍率を決定する倍率決定部１４５、映像信号処理部１３からの映像信号を拡大・縮小する拡大処理部１４６を有した画像拡大部１４４が設けられている。

なお、以下の説明では、ブレ量と方向を求めるのにジャイロセンサなどの加速度センサ１５を用いた場合を例に説明するが、加速度センサ１５の代わりに２フレーム分の記憶装置を設け、ソフト的にブロックマッチング法などを使用してブレ量と方向を求めても良いことは自明である。

このように構成された撮像装置において、図２のステップＳ２０で撮像がスタートすると、撮像レンズ１１を介して固体撮像素子１２上に結像された被写体像の撮像データが、映像信号処理部１３によって増幅されてデジタル映像信号に変換され、振動量算出部１４１のエリア振動量算出部１４２、画像拡大部１４４の拡大処理部１４６に送られる。

そしてステップＳ２１で、エリア振動量算出部１４２が加速度センサ１５からの信号を受けて図３で示したエリア[１]〜[５]毎の振動量を算出し、ステップＳ２２で、各エリアの振動量情報から代表振動量決定部１４３が画面全体の代表振動量、すなわち前記したように各エリアの振動量の平均値、中央値、統計的に最適となる値などを求める。そしてその代表振動量をステップＳ２３で画像拡大部１４４の倍率決定部１４５に伝える。

この倍率決定部１４５がステップＳ２４で振動量情報を取得すると、次のステップＳ２５でこの振動量情報から、固体撮像素子１２における走査方向に対して垂直な方向の画像拡大率、または縮小率が求められ、それが拡大処理部１４６に送られる。そのため拡大処理部１４６は、映像信号処理部１３から送られてくる映像信号を走査方向に対して垂直な方向に拡大、または縮小し、映像信号出力部１６に送って外部に出力したり記憶装置に記憶させたりする。

このようにすることで、前記したように専用のハードウェアを用いることなく簡単な構成で、短時間で、手ブレで生じる画像歪みの補正を行うことができ、コスト的にも有利で違和感のない画像を提供する撮像装置とすることができる。

なお以上の説明は、手ブレの周期が３〜７Ｈｚ程度と小さい場合を前提に、図３に示したエリア[１]〜[５]の振動量の平均値、中心値、もしくは統計的に最適となる値などを求め、フレーム全体をその求めた値で拡大、縮小する場合を例に説明してきたが、個々のエリア毎に拡大、縮小する用にしても良いことはもちろんであり、その場合の例を示したのが図５である。

この図５は、前記図３（Ｅ）に示した時間ｔ３を例に説明するための図で、まず、例えば各エリア[１]〜[５]を走査方向に垂直な方向でいくつかに分割し、各分割領域毎にブレ方向とブレ量を前記した加速度センサ１５から得て平均値、中心値、もしくは統計的に最適となる値などを求める。するとそれぞれのエリアは、図５（Ａ）に示したように、エリア[１]は上向きの小さいブレが生じてエリア[２]ではそれが０となり、エリア[３]ではエリア[１]と逆向きの小さいブレが、エリア[４]ではエリア[３]と同じ向きでそれより大きなブレが、エリア[５]ではさらに大きなブレが生じている。

そのため図５（Ｂ）に示したように、エリア[１]は走査方向に垂直な方向に拡大し、エリア[２]は等倍として、エリア[３]、[４]、[５]は、それぞれブレ量に対応させて縮小する。このようにすると、さらに正確にブレを補正した画像を得ることができ、より違和感のない画像を得ることができる。なお、この場合、前記図２にしたフロー図におけるステップＳ２１で求める振動量は各エリアではなく、各分割領域毎に求めることになり、ステップＳ２２で求める画面全体の振動量は、エリア毎の振動量となる。

また、この図５の例は単純にエリア毎に拡大、縮小する場合であったが、これはあくまでも手ブレの周期が３〜７Ｈｚ程度と小さい場合であり、撮像装置における走査周期に対して手ブレの周波数が高い場合、画面内の部分によって歪の向きや度合いが大きく異なる場合が出てくる。その場合に対応する方法を説明するための図が図６である。

この図６において、（Ａ）および（Ｃ）は撮像画面における走査方向に対して垂直方向へのエリア分割数の違いを示しており、図６（Ｂ）はこれらの撮像画面における水平走査の時間軸に合わせ、想定される最大周波数の振動の走査方向に対して垂直な成分を示したものである。

すなわち（Ｂ）に示したように、例えば１フレーム時間内に１．５周期もの周期で振動が発生した場合、（Ｃ）のようにフレーム分割数が４ではエリア[１]ではエリア[２]との境界付近で振動方向が逆になり、エリア[２][３]では大きな逆転は起きていないが、エリア[４]では上から１／３程度の位置で逆転が起きている。

そのためエリア[２][３]ではほぼ正確なブレを検出できるのに対し、エリア[１]と[４]では、代表値としては小さな上向き（[１]）、下向き（[４]）のブレが検出されるが、実際には上下に大きくブレて反対向きのブレ量も無視できないほど含まれ、正確なブレ量とならない。

従ってこの場合、撮像装置におけるフレームレートと、撮像装置のブレにおける走査方向に対して垂直な成分の最小周期、すなわちこの図３（Ｂ）の例ではフレームレートの１／１．５とから、各エリア内におけるブレが最小周期（フレームレートの１／１．５）の１／４未満となるよう、すなわちエリアにおける走査方向に垂直な方向の長さを、図６（Ａ）のようにフレームレートの１／６と定めればよい。

このようにすると、図６（Ａ）のエリア[１]、[４]、[５]では上向きの大きなブレが、エリア[２]、[３]、[６]では下向きの大きなブレが検出され、それぞれのエリア毎に前記図５で説明したようにブレによる歪み補正を行うことで、より正確な歪み補正を実施することができる。

本発明によれば、特殊なハードウェア構成を用いずに演算量を増加させることなく、高速に効率よく撮像装置のブレで生じる画像歪みの補正を行うことができ、ブレが生じても、安価で違和感のない画像を提供できる撮像装置を提供することができる。

本発明になる撮像装置のブレで生じる画像歪みの補正装置のブロック図である。 本発明になる撮像装置のブレで生じる画像歪みの補正方法のフロー図である。 本発明になる撮像装置のブレで生じる画像歪みの補正方法を、詳細に説明するための図である。 （Ａ）は撮像装置がブレずに撮像が行われた画像、（Ｂ）は撮像装置が上側に動いた場合、（Ｃ）は同じく下側に動いた場合で、「入力画像」は撮像装置の撮像データを表し、「出力画像」は本発明により画像歪みを補正した出力画像を表している。 分割したエリア毎に拡大、縮小する場合を説明するための図である。 撮像装置における走査周期に対して手ブレの周波数が高く、画面内の部分によって歪の向きや度合いが大きく異なる場合に対応する方法を説明するための図である。 電子式手ブレ補正システムに用いられる本来の出力エリアよりも大きな撮像エリアを用い、撮像装置のブレで生じる画像歪みの補正を行う方法を説明するための図である。 電子式手ブレ補正システムにおける撮像エリアを説明するための図である。 撮像データの読み出しを素子行単位の走査で行う撮像素子を備えた撮像装置における、（Ａ）は撮像装置がブレなかった場合、（Ｂ）は撮像装置が下側に動いた場合、（Ｃ）は同じく上側に動いた場合の出力画像である。

符号の説明

１１ 撮像レンズ
１２ 固体撮像素子
１３ 映像信号処理部
１４ 画像歪み補正部
１４１ 振動量算出部
１４２ エリア振動量算出部
１４３ 代表振動量決定部
１４４ 画像拡大部
１４５ 倍率決定部
１４６ 拡大処理部
１５ 加速度センサ
１６ 映像信号出力部

Claims (8)

1. マトリクス状に配された撮像素子を備え、該撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置において、前記走査方向に垂直な方向への撮像装置のブレで生じる画像歪みを補正する補正方法であって、
   前記撮像装置のブレ方向とブレ量とを検出し、該検出結果に対応させて撮像画像を前記走査方向に垂直な方向へ拡大、または縮小し、前記撮像装置のブレで生じる画像歪みを補正することを特徴とする撮像装置のブレで生じる画像歪みの補正方法。
2. 前記撮像装置のブレ方向とブレ量とをそれぞれ複数検出し、平均値、中心値、もしくは統計的に最適となる値を基に前記撮像画像の拡大、または縮小を行うことを特徴とする請求項１に記載した撮像装置のブレで生じる画像歪みの補正方法。
3. 前記撮像画像を前記走査方向に垂直な方向に複数のエリアに分割し、該複数のエリアのそれぞれで、前記撮像装置のブレ方向とブレ量を検出することを特徴とする請求項１に記載した撮像装置のブレで生じる画像歪みの補正方法。
4. 前記撮像画像を前記走査方向に垂直な方向に複数のエリアに分割し、該分割したエリア毎に前記撮像装置のブレで生じる画像歪みを補正することを特徴とする請求項１乃至３の何れかに記載した撮像装置のブレで生じる画像歪みの補正方法。
5. マトリクス状に配された撮像素子を備えて各撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置と、該撮像装置のブレ方向とブレ量の検出手段とを備え、前記走査方向に垂直な方向の撮像装置のブレで生じる画像歪みを補正する画像歪みの補正装置において、
   前記撮像装置のブレ方向とブレ量の検出手段から得られる複数の信号から代表ブレ方向とブレ量とを算出する振動量算出部と、該振動量算出部が算出した代表ブレ方向とブレ量とに対応させ、撮像画像を前記走査方向に垂直な方向へ拡大、または縮小し、前記撮像装置のブレで生じる画像歪みを補正する画像拡大部とを備え、前記走査方向に垂直な方向の撮像装置のブレで生じる画像歪みを補正することを特徴とする撮像装置のブレで生じる画像歪みの補正装置。
6. 前記撮像装置における撮像素子の少なくとも前記走査方向に垂直な方向の素子数を、前記縮小により得られる画像における画素数が出力画像の画素数となるよう定めたことを特徴とする請求項５に記載した撮像装置のブレで生じる画像歪みの補正装置。
7. 前記振動量算出部は、前記撮像装置の撮像画像を複数エリアに分割し、各エリア毎に前記撮像装置のブレ方向とブレ量の検出手段からの信号を取得することを特徴とする請求項５または６に記載した撮像装置のブレで生じる画像歪みの補正装置。
8. 前記撮像装置におけるフレームレートと、前記撮像装置のブレにおける前記走査方向に対して垂直な成分の最小周期とから、前記各エリア内における前記ブレが、前記最小周期の１／４未満となるよう、前記エリアにおける前記走査方向に垂直な方向の長さを定めたことを特徴とする請求項７に記載した撮像装置のブレで生じる画像歪みの補正装置。

Images