JP2007274731A - 手振れ補正方法 - Google Patents

Abstract

【課題】静止画撮影で生じる手振れの補正を可能にする手振れ補正方法を提供。
【解決手段】手振れ補正部24は、露光期間内に撮像信号を複数回に分けてフレームメモリ24aに読み出して得られた画像データを格納し、切換スイッチSW1でフレームメモリ24aからの画像データを切換信号16Aで端子bにし相関演算部24bとフレームメモリ24eに供給し、相関演算部24bでフレームメモリ24aからの画像データと次に供給される画像データを基に手振れ量を検出し、手振れ量を基に切換スイッチSW1の端子cから次に供給される画像データを補正し、補正した画像データとフレームメモリ24eから読み出した画像データを合成し、合成した画像データをフレームメモリ24eに格納し、合成した画像データと次に供給される画像データ以降に供給される画像データを基に手振れ量検出、補正、合成、記憶のこれら一連の補正処理を複数回繰り返した画像データの出力を選択する。
【選択図】図１

Description

本発明は、手振れ補正方法に関し、特に、たとえば電子スチルカメラでの静止画撮影のように１コマの画像撮影時に生じた振れの補正に適用して好適なものである。

近年、電子スチルカメラには、小型軽量化とズーム機能を用いた撮像画像の高倍率化等の機能も搭載された製品が市販されている。この電子スチルカメラには、フィルム撮影のカメラの撮像領域に比べて撮像部の撮像面積が小さいことから、容易に高倍率化が可能で、倍率が６倍以上のズームレンズを搭載した機器もある。小さいながら、このような機能を有する電子スチルカメラは、従来の銀塩フィルムのカメラに対する魅力の一つになっている。

反面、このような電子スチルカメラは、小型軽量化されていることから、手振れを起こし易い。特に、電子スチルカメラを望遠側にした際に、手振れの影響を大きく受けることになる。手振れ対策として、高速撮影や固定撮影等の方法が考えられる。しかしながら、高速撮影は撮影画像に露光量の不足を招き易く、固定撮影にはカメラ以外に三脚を用意するといった煩わしさがある。これらの方法では高倍率ズームだけでなく、この他の露光量の不足等を生じる場合も含めて、電子スチルカメラによる撮影可能な状況が限られてしまう。

このような撮影状況であっても十分鑑賞に堪えられる画像を得るため、手振れ補正方式がビデオムービー用として提案されている。この手振れ補正方式には、大別して光学補正方式と電子補正方式がある。これらのいくつかを例示する。

特許文献１のビデオデータの手振れ検出装置は、画面をマクロブロックに分割し、各マクロブロックの動きベクトルを検出し、動く物体と手振れとで異なる特性を利用して判定し、手振れ検出の精度を高めている。

特開平5-110931号公報の手振れ補正装置は、第１の画像記憶手段に先の撮像全体の画像データを記憶し、後の撮像全体の画像データと先の撮像全体の画像データとを動き検出手段で比較し、比較により画面の動きをなくすように得られる補正データを第２の画像記憶手段に記憶する。この記憶は、補正アドレス発生手段で第１の画像記憶手段から先の画像データを読み出す読出しアドレスと、第２の画像記憶手段に先の画像データを書き込む書込みアドレスの制御に応じて行う。これにより、撮像した画像の解像度の低下を防止している。

また、特許文献３の撮像装置の防振装置には、画像の振動分を平行移動させた際にこの移動分だけ画像端に欠けを生じることから、画像全体の拡大処理を行う。このような場合に切り出しサイズ制御手段により、記憶手段に記憶された画像情報から読み出す範囲が制御され、この切り出しサイズ制御手段の切り出しサイズに応じて画像情報を拡大するズーム倍率比が演算手段により演算され、切り出しサイズによるズーム倍率比と光学系のズーム倍率比とが比較手段により比較され、これら両者を相関付けて制御することで撮影中であっても防振装置の動作を円滑に行うことが記載されている。この防振装置は、レンズの光軸移動による補正を行う光学補正方式を用いることから、ムービーカメラ、電子スチルカメラの区別なく、用いられる。

そして、特許文献４の手振れ補正装置は、通常使用する画素以上に画素数を備えた固体撮像装置を用い、固体撮像装置からの出力を基に映像信号処理手段で動き補正した映像信号を生成し、この生成した映像信号を固体撮像装置の画素数に一致させて、単位時間当りのデータ数も増加させないことから、これ以降に接続される装置の規模や消費電力の増大を防いでいる。
特開平4-309078号公報 特開平5-110931号公報 特開平6-22204号公報 特開平7-38799号公報

ところで、本発明では電子補正方式に着目していることから、特許文献３の撮像装置の防振装置は対象外とする。電子補正方式を提案しているのは、残る前述した３つの例である。特許文献１のビデオデータの手振れ検出装置および特許文献２の手振れ補正装置では、フレーム間の差から求めた動きベクトル等を補正量とし、特許文献４の手振れ補正装置ではフィールド間の差から補正ベクトルを求めて手振れを防いでいる。この電子補正方式は、ムービー用の手振れ補正であって、放送規格で規定されたある程度の時間的に幅をもった画像の動き補正を行っている。これは、動画に対する画像の細かさよりも運動の滑らかさやちらつき等が総合画質に影響する人間の特性を利用している。

ところが、電子スチルカメラのように静止画では、ユーザの要求に応じた時間で露光を行い１枚の静止画像を得ることになる。しかも静止画は、ムービーのように所定の時間毎に画像を切り換えて見せる場合と異なり、鑑賞時間は無関係である。したがって、鑑賞者は、細かい点にまで画質をチェックできるし、手振れ等のブレがあれば容易に見出すこともできる。このような静止画撮影における手振れ防止に関する提案はまだない。

本発明はこのような課題に鑑み、静止画撮影で生じる手振れを補正することのできる手振れ補正方法を提供することを目的とする。

本発明は上述の課題を解決するために、被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正方法において、この方法は、被写界の撮影における露光期間内に撮影信号を複数回に分けて読み出し、得られた撮影信号を画像データに変換して、変換した画像データを書き込む第１の工程と、書き込んだ画像データの読出しを第１の画像データおよび第１の画像データ以後に供給される画像データを第２の画像データとして、第１および第２の画像データを基に撮影信号が含む手振れ量を検出し、この手振れ量を基に第１の画像データおよび第２の画像データのいずれか一方の画像データを補正し、補正した画像データと一方の画像データに対する他方の画像データとを合成した画像データを記憶する第２の工程と、合成した画像データと第２の画像データ以降に供給される第３の画像データを基に読み出した画像データが含む手振れ量を検出し、検出した手振れ量を基にこの画像データを補正し、補正した画像データを合成し、合成した画像データを記憶し、検出から記憶までのこれら一連の補正処理を複数回まで繰り返すことにより画像データを補正する第３の工程と、繰り返して得られた画像データの出力を選択する第４の工程と、を含むことを特徴とする。

本発明によれば、被写界の撮影における露光期間内に撮影信号を複数回に分けて読み出し、画像データを書き込み、書き込んだ画像データの読出しを第１の画像データとし、第１の画像データ以後に供給される画像データを第２の画像データとして、第１および第２の画像データを基に撮影信号が含む手振れ量を検出し、この手振れ量を基に第１の画像データおよび第２の画像データのいずれか一方の画像データを補正し、補正した画像データと一方の画像データに対する他方の画像データとを合成した画像データを記憶し、合成した画像データと第２の画像データ以降に供給される第３の画像データを基に読み出した画像データが含む手振れ量を検出し、検出した手振れ量を基にこの画像データを補正し、補正した画像データを合成し、合成した画像データを記憶し、検出から記憶までのこれら一連の補正処理を複数回まで繰り返すことにより画像データを補正し、繰り返して得られた画像データの出力を選択することにより、画像データの手振れを補正するだけでなく、合成により画像データの S/N比も改善させて、これまでにない静止画撮影における手振れ補正を容易に実現させることができる。

次に添付図面を参照して本発明による手振れ補正方法の実施例を詳細に説明する。図１を参照すると、本発明による手振れ補正方法の実施例は、手振れ補正部24においてフレームメモリ24aで被写界の撮影における露光期間内に撮影信号を複数回に分けて読み出す駆動に応じて得られた撮影信号を画像データに変換して、この画像データを格納し、切換スイッチSW1でフレームメモリ24aからの画像データの供給先を切換信号16Aによって端子bにして相関演算部24bおよびフレームメモリ24eに供給し、相関演算部24bでフレームメモリ24aからの画像データと次に供給される画像データを基に撮影信号が含む手振れ量を検出し、この手振れ量を基に切換スイッチSW1の端子cを介して次に供給される画像データ（第２の画像データ）を補正し、補正した画像データとフレームメモリ24eから読み出した画像データ（第１の画像データ）を合成し、合成した画像データをフレームメモリ24eに格納し、合成した画像データと次に供給される画像データ以降に供給される画像データ（第３の画像データ）を基に読み出した画像データが含む手振れ量を検出し、検出した手振れ量を基にこの画像データを補正し、補正した画像データを合成し、合成した画像データを記憶し、検出から記憶までのこれら一連の補正処理を複数回まで繰り返すことにより画像データを補正し、繰り返して得られた画像データの出力を選択することにより、画像データの手振れを補正するだけでなく、合成により画像データの S/N比も改善させて、これまでにない静止画撮影における手振れ補正を容易に実現させることができる。

次に添付図面を参照して本発明による手振れ補正装置およびその補正方法の実施例を詳細に説明する。

本発明を適用した実施例のディジタルスチルカメラ10の構成を図２に示す。図２のディジタルスチルカメラ10には、光学レンズ系12、タイミング発生部14、システム制御部16、絞り機構18、撮像部20、前処理部22、手振れ補正部24、信号処理部26、記録再生部28が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を調節する、ズーム機構や被写体との距離に応じてピント調節する、AF（Automatic Focus:自動焦点）調節機構が含まれている。光学レンズ系12には、タイミング発生部14内で生成される駆動信号が供給される。

タイミング発生部14には、ディジタルスチルカメラ10のシステムクロックを発生させる発振器がある。タイミング発生部14には、システム制御部16から制御信号が供給される。タイミング発生部14は、供給される制御信号に応じて後述する各部に供給するタイミング信号を生成するタイミング信号生成部を有する。タイミング信号生成部は、生成したタイミング信号を各部に出力し、内蔵する駆動信号生成部にも供給する。駆動信号生成部は、前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構18および撮像部20にも駆動信号をそれぞれ供給する。

システム制御部16は、たとえば CPU（Central Processing Unit:中央処理装置）を有する。システム制御部16には、ディジタルスチルカメラ10の動作手順が書き込まれたROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部16は、たとえばユーザの操作にともなって供給される情報とこのROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部16は、生成した制御信号をタイミング発生部14、前処理部22、手振れ補正部24、信号処理部26、記録再生部28に供給する。

絞り調節機構18は、被写体の撮影において最適な入射光の光束を撮像部20に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構18にもタイミング発生部14から駆動信号が供給される。この駆動信号は、前述したシステム制御部16からの制御に応じて行う動作のための信号である。この場合、システム制御部16は、図示しないが、撮像部20で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。絞り調節機構18には、この算出した値に対応する制御信号が供給されたタイミング発生部14から上述した駆動信号が供給される。

撮像部20は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、一体的に個々の撮像素子に対応して色分解する色フィルタCFが配設される。本実施例では単板方式の色フィルタを用いて撮像する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化膜半導体）タイプがある。撮像部20は、供給される駆動信号に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、電子シャッタのオフ毎に前処理部22に出力する。撮像部20は、信号電荷の読出しを全画素読出しで行う方式を用いる。

前処理部22には、CDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部22a 、A/D 変換部22b 、およびガンマ補正部22c が備えられている。CDS 部22a は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング発生部14からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部22a は、ノイズ成分を除去してA/D 変換部22b に送る。A/D 変換部22b は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部22b は、タイミング発生部14から供給される変換クロック等のタイミング信号により変換したディジタル信号をガンマ補正部22c に出力する。ガンマ補正部22c は、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを含む。このガンマ補正部22c もタイミング発生部14からのタイミング信号に応じて処理した補正データを手振れ補正部24に出力する。

手振れ補正部24には、図１に示すように、フレームメモリ24a, 24e、相関演算部24b 、アドレスシフト部24c 、合成部24d 、および切換スイッチSW1, SW2, SW3 が備えられている。フレームメモリ24a, 24eは、撮像部20の撮像した１画面分の画像データを格納可能なメモリである。とくに、フレームメモリ24e は、記憶した画像データを繰り返して読み出すことが可能な非破壊タイプのメモリである。

相関演算部24b は、２つの画像を用いて、被写体の動きと手振れによる動きをそれぞれ検出する相関を演算する回路を含む。この回路は、２つの画像に関してあらかじめ設定した手振れ検出範囲内の一方の位置に対して手振れの範囲を所定の範囲内に仮定しているので、この一方の位置とこの一方の位置から所定の範囲内で離れた他方の位置との値の差の絶対値を求める減算絶対値回路と、この差の絶対値の最小値を求める比較回路と、比較回路による最小値における所定の範囲内で離れた位置の値を記憶するメモリを有する。この減算絶対値は画素データの相関性を表している。そして、メモリに格納された符号を含む値は、手振れの補正量そのものを表す。

ここで、手振れ検出範囲は、たとえば、全画面における縦横のほぼ 1/3×1/3 の領域を用いる。この領域の例としてAFモードで測光に用いる領域と同じ領域を用いてもよい。このとき、相関演算はAFの演算と兼ねて算出してもよい。測定は厳密に画素毎に検出せずにとび飛びの間隔で画素の手振れにともなうずれ分を求めてもよい。このように設定して算出することにより計算時間を短時間で済ませることができる。

２つの画像は、読出し時間が相前後する画像データ、または実際に読み出した画像データと合成した画像データのいずれかを用いる。合成した画像データについては後段の動作説明でさらに詳述する。

なお、ディジタルスチルカメラ10の手振れ検出は、相関検出部24b に限定されるものでなく、加速度センサを相関演算部24b に代えて用い、このセンサで検出した値を手振れの量に換算し、手振れを打ち消すようにアドレスシフト部24c に補正量として供給し、画像データに対する手振れを補正してもよい。加速度センサは、電子シャッタの各露光期間にセンサの値が得られればよいが、露光期間Ex中のセンサの値をフレーム数で割った平均値を用いる。

アドレスシフト部24c は、前述したフレームメモリ24a, 24eのメモリ容量よりも大きいメモリである。アドレスシフト部24c は、相関演算部24b からの手振れ量に対応してメモリのアドレス、たとえば画素の位置を表す（x,y ）を手振れによる移動分を補正するようにシフトさせる。このシフトに用いるメモリは、たとえば、退避用メモリを２つ設けて逐次的に移動させたり、またはメモリのマクロブロック分をまとめて移動させるように設けてもよい。また、アドレスシフト部24c は、アドレスカウント部も有する。アドレスカウント部には、たとえば、移動するアドレスをセットし、相関演算部24b のメモリから供給される値の符号に応じてセットしたアドレスに対するアップ／ダウンのカウントを行うカウント部がある。このカウント後のアドレスが移動先のアドレスに用いる。また、アドレスカウント部は所定の画像範囲を越えない限り移動先のアドレスをセットし供給される値分のカウントを行って新たな移動先のアドレスを求めていく。所定の画像範囲を越えると、画面の範囲を越えたものとしてこのデータは捨てられる。アドレスシフト部24c は、このような判断機能も有する。アドレスシフト部24c は、手振れを補正した画像として合成部24d にアドレス移動させた画像データを出力する。

合成部24d は、アドレスシフト部24c からの画像データとこの画像データの同じ位置に対応するフレームメモリ24e からの画像データとを加算平均する演算回路を含む。

切換スイッチSW1 は、端子a とフレームメモリ24a の出力端とを接続切換する。切換スイッチSW1 はフレームメモリ24a の出力を端子b と端子c のいずれかに切換信号16A に応じて切り換える。切換スイッチSW1 はフレームメモリ24a からの画像データの供給先を選択する。すなわち、切換スイッチSW1 の端子b は画像データを切換スイッチSW2 の端子a に供給するとともに、フレームメモリ24e にも供給する。切換スイッチSW1 の端子c は画像データをアドレスシフト部24c に供給する。

切換スイッチSW2 は、一方の供給元として切換スイッチSW1 の端子b と切換スイッチSW2 の端子a とを接続し、他方の供給元としてフレームメモリ24e の出力端と切換スイッチSW2 の端子b とを接続する。切換スイッチSW2 も切換信号16A により端子c を介して選択した供給元からの画像データを相関演算部24b に供給する。

切換スイッチSW3 は、フレームメモリ24e の出力を切換信号16B に応じて選択する出力選択スイッチである。前述した切換信号16B, 16Aはシステム制御部16により生成される。システム制御部16は、切換信号16A を、露光期間を複数回の電子シャッタで分けた際に得られる画像データの最初とそれ以降かに応じて切り換える信号である。また、システム制御部16は、切換信号16B を、露光期間を複数回の電子シャッタで分けた際の最後の画像データに対する手振れ補正処理を完了してフレームメモリ24e に格納された画像データを読み出すタイミングに同期してオン状態にする。そして、システム制御部16は、この画像データの読出しの終了時にオフ状態にする切換信号16B を生成する。

再び図１に戻って信号処理部26を説明する。信号処理部26には、色分離部26a 、YC変換部26b 、および画像圧縮部26c が備えられている。色分離部26a は、手振れ補正部24からの画像データに含まれる色R, G, B をそれぞれ選択的に分けるとともに、他の色が占めている画素位置の色データを周囲から補間生成する機能を有する。色分離部26a には、補間生成用の演算機能が含まれる。色分離部26a は分離した色R, G, B を画面毎のプレーン画像データにしてYC変換部26b に供給する。

YC変換部26b は、色分離部26a から供給される画像データを基に輝度信号Y と色差信号C_r, C_bを生成する回路を有する。画像圧縮部26c は、供給される輝度信号Y と色差信号C_r, C_bの画像データに、たとえば、JPEG（Joint Photographic Experts Group）規格での圧縮を施す回路を含む。

記録再生部28には、画像圧縮部26c から供給される圧縮した画像データを記録媒体28a に記録する記録処理部と、記録媒体28a から記録した画像データを読み出す再生処理部とを含む。再生処理部では圧縮して記録した画像データを伸張する伸張回路も備える。記録媒体28a には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。記録再生部28に記録する画像領域は撮像部20の撮像領域より狭い。

なお、図２の手振れ補正部24において、フレームメモリ24e はこのメモリからの出力を合成部24d に入力させているが、アドレスシフト部24c に供給してもよい。アドレスシフト部24c がこのフレームメモリ24e からの画像データをシフトさせる場合、相関演算部24b の減算関係が逆になる。図示しないが合成部24d にはフレームメモリ24a からの画像データとアドレスシフト部24c からの画像データが供給される。合成部24d では、前述した構成と同じであり、供給される画像データの同じ位置における値の加算平均を算出してフレームメモリ24e に記憶させる。

次にディジタルスチルカメラ10における手振れ補正について図３のタイミングチャートを用いて説明する。ディジタルスチルカメラ10はこのカメラ10の操作スイッチを用いて手振れ補正モードにセットする。この設定は、システム制御部16に供給される。このモードは初期設定であらかじめ設定されるようにしておいてもよい。このモードにおいてAE測光した際に被写界に対して露光時間Exが設定される。この露光時間の情報もシステム制御部16に供給される。システム制御部16は、この情報を基に複数回の電子シャッタによる画像読出しを行う制御をタイミング発生部14に行う。また、１回の露光時間Exは、1/60秒よりも短い時間に設定する（Ex≪1/60秒）。したがって、たとえば、露光時間Exが1/60秒のとき、１フレームの画像を撮像する電子シャッタの露光時間をt とし、４枚の画像の撮像（Ex1 〜Ex4 ）を行う場合、露光時間t は1/240 秒となる（図3(a)を参照）。電子シャッタの速度は、1/100 秒以上が望ましい。スローシャッタの場合、露光時間Ex＝1/15秒の場合、1/100 秒以上を満たすように撮影すると８枚のフレームを撮影することになる。このとき、電子シャッタの露光時間t ＝1/120 秒である。システム制御部16は、このように露光時間Exと1/100 秒以上で電子シャッタを切る条件を満たす枚数n を割り出す。ムービーの場合、各変数は、露光時間Ex＝1/60秒、枚数n ＝1 である。

撮像部20の撮像素子により光電変換された信号電荷がタイミング発生部14から供給されるフィールドシフトパルスのタイミングで撮像部20から読み出される（図３(b) を参照）。露光開始時とほぼ同時に供給されるフィールドシフトパルスは、撮像部20にこれまで蓄積された信号電荷を不要電荷として廃棄するために供給する。各撮像による撮像信号、すなわち信号電荷は４つのフレーム画像1 〜フレーム画像4 （以下、フレームと称しF1〜F4という記号で略す）を出力する（図３(c) を参照）。

最初のフィールドシフトパルスによりフレームF1がフレームメモリ24a に読み出される。フレームメモリ24a はこの信号電荷の読出し期間中書込みイネーブル（WE）でレベルH にする。フレームF2〜F4までそれぞれのフレームメモリ24a の書込みイネーブル（WE）も、信号電荷の読出し期間中に一致させている（図３(d) を参照）。逆に、フレームメモリ24a のレベルL の期間は、画像データの読出しイネーブルを示す。

切換スイッチSW1 の切換信号16A は、システム制御部16で生成される。切換信号16A は、フレームメモリ24a の書込みイネーブルタイミングに同期し、最初のフレームF1とフレームF2の読み出し前に画像データの供給先を切り換えるように制御している。具体的に、切換スイッチSW1 が切換信号16A によって制御されることにより、フレームF1を端子b を介してフレームメモリ24e に書き込む。このことから、フレームメモリ24e の書込みイネーブルは、この場合フレームメモリ24a の読出しイネーブルの期間内に位置する。

次のフレームF2を読み出す前にシステム制御部16は、切換信号16A を供給して切換スイッチSW1 を端子c 側に切り換え、切換スイッチSW2 を端子b 側に切り換える（図３(e) を参照）。この切換操作の後、フレームF2がフィールドシフトパルスの印加により読み出される。この読み出されたフレームF2は、フレームメモリ24a に書き込まれるとともに、相関演算部24b に供給される。相関演算部24b には、フレームメモリ24e から読み出したフレームF1が切換スイッチSW2 を介して供給される。フレームメモリ24e は図３(c) の読出し速度と同じになるように読出し制御を受ける。これにより、相関演算部24b にはフレームF1, F2が供給される。

フレームF1の画素をg_n(x, y)で表すと、次のフレームF2の画素はg_n+1(x, y)で表される。各フレームには、図４(a) に示す関係から(pq)個の画像データが含まれる。このフレームにおいて手振れ検出を行う範囲は、図４(b) の破線40の画素(h, i)〜(j, k)の範囲である。この範囲は、前述したように、AFエリアを適用してもよく、画像領域の縦横に対し 1/3×1/3 程度の範囲を用いる。この領域を用いるのは、ピントの合っている要求の高い領域で行うことにより正確な合成が可能になるからである。

この領域内に時間経過したフレームに手振れ分が含まれていると考えて、手振れを起こした量にx, yの各方向に変数ξ, ηをとる。したがって、x-ξ, y-ηは、ずれた画素の位置を示す。また、ずれ量を表す変数ξ, ηは画素（x, y）での周囲で、たとえば、それぞれ、-d〜+dの画素範囲にわたって実際の手振れによる移動位置の検出を行う。すなわち、移動範囲の±d は動きベクトルの大きさを規定していることになる。この範囲は撮像部20の撮像領域と記録再生部28に記録する記録画像領域との差より狭く設定する。このように狭く動きベクトルの大きさを設定できるのは、静止画の手振れ補正をすることを目的としており、従来のような動きの絵柄を補正するものでないからである。これらの変数を用いて、式(1)

により２つの画像データにおける差の絶対値の最小値e(ξ, η) を算出する（ξ＝ξ_m,η＝η_m）。この値が小さいほど、２つの画素の相関が高いことを示す。得られる変数ξ, ηは手振れによる動きベクトルのx, y成分を表す。この相関は、同じ色点で算出することがよく、色G または輝度信号Y に相当するようなデータを用いるとよい。

相関演算を行った後に、フレームF2がアドレスシフト部24c に書き込まれる（図３(h) を参照）。アドレスシフト部24c には、相関演算部24b で算出された手振れを補正する量として変数ξ, ηが符号も含めて供給される。アドレスシフト部24c では変数ξ, ηの値分をアドレスシフト量として画像データをシフトさせる。アドレスシフト部24c の移動先のアドレスは移動するメモリのアドレスと変数ξ, ηの値に応じたカウントを行うことにより求める（図３(i) を参照）。このアドレスシフトは、フレームF1に対してフレームF2が重なるように画素を移動させることである（図４(c) を参照）。フレームF2に対するアドレスシフトを行って手振れ補正した画像データCF2 をアドレスシフト部24c から読み出す（図３(j) を参照）。この読出し期間と同様の期間中にフレームメモリ24e からフレームF1が合成部24d に読み出される。

合成部24d では、フレームF1と画像データCF2 とを合成する（図３(k) を参照）。ここで、フレームF1の画素の値をg_n(x, y)とし、画像データCF2 の画素の値をg_n+1(x- ξ_m, y- η_m)とする。この２つの画素の加算平均し、合成した画素g₀(x, y)は、式(2)

により得られる。このように合成した画像データf2は、図３(f) に示す書き込みイネーブル期間にフレームメモリ24e に格納する。この処理までが、第２の工程である。

これ以後、相関演算は、フレームメモリ24e から供給される画像データf2とフレームF3を用いて行われる。この手順は前述した手順に同じで、式(1) から得られた手振れ補正に応じてフレームF3に対してアドレスシフトさせて手振れ補正した画像データCF3 を生成する。合成部24d で、画像データCF3 とフレームメモリ24e からの画像データf2とを式(2) に基づいて合成処理を行う。この合成処理により画像データf3が得られる。本実施例では、さらに、この手順を１回繰り返すと画像データf4が得られる。画像データf4は、フレームメモリ24e に一時格納した後、読み出す。この際、フレームメモリ24e にシステム制御部16の電子シャッタを切る回数４回に対応した回数の書き込みが行われたことをシステム制御部16は確認する。この確認後、システム制御部16ではフレームメモリ24e の読み出しに同期した切換スイッチSW3 の動作を可能にするように切換信号16B を生成する（図３(l) を参照）。切換スイッチSW3 は、切換信号16B の供給により手振れ補正部24の出力として画像データf4を出力する。画像データf4は、図４(d) に示す新規の画像データとして出力する。ただし、画像データf4は、変数の設定範囲±d で誤差を含む。実際、電子シャッタで画像を複数に振り分けて、個々の撮像を高速シャッタで切られることからを手振れ量は、たとえば 3〜5 画素程度と小さいと推定している。また、このように本実施例では４フレームを加算平均しているので、得られる画像のS/N 比は4^1/2＝２倍向上させることができる。この関係は、一般的にフレーム枚数がn のときS/N 比が(n)^1/2倍になることを示す。

また、このような画像におけるS/N 比の向上は、撮像部20の出力をn 倍に増幅し、ディジタル化した画像データの加算して1/n にしても実現させることができる。

以上のように構成することにより、電子シャッタによる１回のフレーム画像データの露光時間が短くなるので、手振れ量を少なくし、個々の画像データの手振れの補正を容易にでき、静止画での手振れ補正を行うことができる。また、これらの画像データを加算平均して求めていることから、通常、露光時間内で撮像した画像データとして求める画像データよりもS/N 比を向上させることができる。これにより、スローシャッタを切らなければならない場合でもブレのない画像の撮影を行うディジタルスチルカメラが提供できる。

なお、静止画撮影する機能を搭載したムービーカメラにも適用でき、上述した効果を得ることは言うまでもない。

本発明に係る手振れ補正方法を適用するディジタルスチルカメラにおける手振れ補正部の概略的な構成を示すブロック図である。 本発明に係る手振れ補正装置を適用するディジタルスチルカメラにおける概略的な構成を示すブロック図である。 図１の手振れ補正部の動作を説明するタイミングチャートである。 図３の動作を行う際の画像データのパラメータと画像の関係を説明する模式図である。

符号の説明

10 ディジタルスチルカメラ
12 光学レンズ系
14 タイミング発生部
16 システム制御部
18 絞り調節機構
20 撮像部
22 前処理部
24 手振れ補正部
26 信号処理部
28 記録再生部
24a フレームメモリ
24b 相関演算部
24c アドレスシフト部
24d 合成部

Claims (9)

1. 被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正方法において、該方法は、
   前記被写界の撮影における露光期間内に撮影信号を複数回に分けて読み出し、得られた撮影信号を画像データに変換して、変換した画像データを書き込む第１の工程と、
   書き込んだ画像データの読出しを第１の画像データおよび第１の画像データ以後に供給される画像データを第２の画像データとして、第１および第２の画像データを基に前記撮影信号が含む手振れ量を検出し、該手振れ量を基に第１の画像データおよび第２の画像データのいずれか一方の画像データを補正し、補正した画像データと前記一方の画像データに対する他方の画像データとを合成した画像データを記憶する第２の工程と、
   合成した画像データと第２の画像データ以降に供給される第３の画像データを基に読み出した画像データが含む手振れ量を検出し、検出した手振れ量を基に該画像データを補正し、前記補正した画像データを合成し、合成した画像データを記憶し、検出から記憶までのこれら一連の補正処理を前記複数回まで繰り返すことにより画像データを補正する第３の工程と、
   繰り返して得られた画像データの出力を選択する第４の工程と、を含むことを特徴とする手振れ補正方法。
2. 請求項１に記載の方法において、第２の工程は、第１の工程で書き込んだ画像データが前記露光期間内において最初に読み出した第１の画像データのとき、第１の画像データを演算用の一方の画像データとして、所定のタイミングで第１の画像データを格納する第５の工程と、
   読み出した第１の画像データと第２の画像データを基に前記手振れ量を検出する第６の工程と、
   前記露光期間内にて第２の画像データを記憶する第７の工程と、
   読み出した第２の画像データを前記一方の画像データとして第５の工程の供給先と異なる供給先に供給する第８の工程と、
   検出した手振れ量に応じて第２の画像データをずらす第９の工程と、
   ずらした画像データと第５の工程で格納した画像データを合成する第10の工程と、
   合成した画像データを格納する第11の工程と、を含むことを特徴とする手振れ補正方法。
3. 請求項１に記載の方法において、第３の工程は、前記合成した画像データと、第２の画像データ以降に供給される画像データを基に供給される画像データが含む手振れ量を検出する第12の工程と、
   第３の画像データを格納する第13の工程と、
   格納した第３の画像データを読み出し、第12の工程で検出した前記手振れ量に応じて該画像データをずらす第14の工程と、
   ずらした画像データと合成した画像データを合成する第15の工程と、
   画像合成して得られた画像データを格納する第16の工程と、を含むことを特徴とする手振れ補正方法。
4. 請求項１に記載の方法において、前記手振れ量は、第１および第２の画像データ、ならびに第３の画像データおよび合成した画像データのいずれかで供給される２つの画像データを基に相関演算し、前記画像データをずらしながら、演算の最小値をずれ分として算出することを特徴とする手振れ補正方法。
5. 請求項２に記載の方法において、第10の工程は、前記手振れ量に応じてシフトした画像データと第１の画像データとを読み出し、両画像データの重なる範囲において画像データの平均を行うことを特徴とする手振れ補正方法。
6. 請求項３に記載の方法において、第15の工程は、前記手振れ量に応じてシフトした画像データと前記合成した画像データとを読み出し、両画像データの重なる範囲において画像データを平均することを特徴とする手振れ補正方法。
7. 請求項１に記載の方法において、該方法は、前記露光期間内に前記撮影信号を、複数回に分けて読み出し、１回の露光を1/100 秒以上にすることを特徴とする手振れ補正方法。
8. 請求項２に記載の方法において、第６の工程は、前記手振れ量の検出範囲を撮像と記録の画像領域の差よりも小さくすることを特徴とする手振れ補正方法。
9. 請求項３に記載の方法において、第12の工程は、前記手振れ量の検出範囲を撮像と記録の画像領域の差よりも小さくすることを特徴とする手振れ補正方法。