JP4473363B2 - 手振れ補正装置およびその補正方法 - Google Patents
手振れ補正装置およびその補正方法 Download PDFInfo
- Publication number
- JP4473363B2 JP4473363B2 JP14578599A JP14578599A JP4473363B2 JP 4473363 B2 JP4473363 B2 JP 4473363B2 JP 14578599 A JP14578599 A JP 14578599A JP 14578599 A JP14578599 A JP 14578599A JP 4473363 B2 JP4473363 B2 JP 4473363B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- unit
- camera shake
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、手振れ補正装置およびその補正方法に関し、特に、たとえば電子スチルカメラでの静止画撮影ように１コマの画像撮影時に生じた振れの補正に適用して好適なものである。
【０００２】
【従来の技術】
近年、電子スチルカメラには、小型軽量化とズーム機能を用いた撮像画像の高倍率化等の機能も搭載された製品が市販されている。この電子スチルカメラには、フィルム撮影のカメラの撮像領域に比べて撮像部の撮像面積が小さいことから、容易に高倍率化が可能で、倍率が６倍以上のズームレンズを搭載した機器もある。小さいながら、このような機能を有する電子スチルカメラは、従来の銀塩フィルムのカメラに対する魅力の一つになっている。
【０００３】
反面、このような電子スチルカメラは、小型軽量化されていることから、手振れを起こし易い。特に、電子スチルカメラを望遠側にした際に、手振れの影響を大きく受けることになる。手振れ対策として、高速撮影や固定撮影等の方法が考えられる。しかしながら、高速撮影は撮影画像に露光量の不足を招き易く、固定撮影にはカメラ以外に三脚を用意するといった煩わしさがある。これらの方法では高倍率ズームだけでなく、この他の露光量の不足等を生じる場合も含めて、電子スチルカメラによる撮影可能な状況が限られてしまう。
【０００４】
このような撮影状況であっても十分鑑賞に堪えられる画像を得るため、手振れ補正方式がビデオムービー用として提案されている。この手振れ補正方式には、大別して光学補正方式と電子補正方式がある。これらのいくつかを例示する。
【０００５】
特開平4-309078号公報のビデオデータの手振れ検出装置は、画面をマクロブロックに分割し、各マクロブロックの動きベクトルを検出し、動く物体と手振れとで異なる特性を利用して判定し、手振れ検出の精度を高めている。
【０００６】
特開平5-110931号公報の手振れ補正装置は、第１の画像記憶手段に先の撮像全体の画像データを記憶し、後の撮像全体の画像データと先の撮像全体の画像データとを動き検出手段で比較し、比較により画面の動きをなくすように得られる補正データを第２の画像記憶手段に記憶する。この記憶は、補正アドレス発生手段で第１の画像記憶手段から先の画像データを読み出す読出しアドレスと、第２の画像記憶手段に先の画像データを書き込む書込みアドレスの制御に応じて行う。これにより、撮像した画像の解像度の低下を防止している。
【０００７】
また、特開平6-22204 号公報の撮像装置の防振装置には、画像の振動分を平行移動させた際にこの移動分だけ画像端に欠けを生じることから、画像全体の拡大処理を行う。このような場合に切り出しサイズ制御手段により、記憶手段に記憶された画像情報から読み出す範囲が制御され、この切り出しサイズ制御手段の切り出しサイズに応じて画像情報を拡大するズーム倍率比が演算手段により演算され、切り出しサイズによるズーム倍率比と光学系のズーム倍率比とが比較手段により比較され、これら両者を相関付けて制御することで撮影中であっても防振装置の動作を円滑に行うことが記載されている。この防振装置は、レンズの光軸移動による補正を行う光学補正方式を用いることから、ムービーカメラ、電子スチルカメラの区別なく用いられる。
【０００８】
そして、特開平7-38799 号公報の手振れ補正装置は、通常使用する画素以上に画素数を備えた固体撮像装置を用い、固体撮像装置からの出力を基に映像信号処理手段で動き補正した映像信号を生成し、この生成した映像信号を固体撮像装置の画素数に一致させて、単位時間当りのデータ数も増加させないことから、これ以降に接続される装置の規模や消費電力の増大を防いでいる。
【０００９】
【発明が解決しようとする課題】
ところで、本発明では電子補正方式に着目していることから、特開平6-22204 号公報の撮像装置の防振装置は対象外とする。電子補正方式を提案しているのは、残る前述した３つの例である。特開平4-309078号公報のビデオデータの手振れ検出装置および特開平5-110931号公報の手振れ補正装置では、フレーム間の差から求めた動きベクトル等を補正量とし、特開平7-38799 号公報の手振れ補正装置ではフィールド間の差から補正ベクトルを求めて手振れを防いでいる。この電子補正方式は、ムービー用の手振れ補正であって、放送規格で規定されたある程度の時間的に幅をもった画像の動き補正を行っている。これは、動画に対する画像の細かさよりも運動の滑らかさやちらつき等が総合画質に影響する人間の特性を利用している。
【００１０】
ところが、電子スチルカメラのように静止画では、ユーザの要求に応じた時間で露光を行い１枚の静止画像を得ることになる。しかも静止画は、ムービーのように所定の時間毎に画像を切り換えて見せる場合と異なり、鑑賞時間は無関係である。したがって、鑑賞者は、細かい点にまで画質をチェックできるし、手振れ等のブレがあれば容易に見出すこともできる。このような静止画撮影における手振れ防止に関する提案はまだない。
【００１１】
本発明はこのような従来技術の欠点を解消し、静止画撮影で生じる手振れの補正を行うことのできる手振れ補正装置およびその補正方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正装置において、被写界の撮影における露光期間内に撮像信号を複数回に分けて読み出す駆動が行われ、この駆動により得られた撮像信号をディジタル化した画像データにして、この画像データを格納する第１の記憶手段と、この第１の記憶手段からの画像データの供給先を選択する第１の選択手段と、この第１の選択手段を介して供給される画像データを格納するとともに、指示に応じて格納する画像データのアドレスを変位させる画像シフト手段と、画像データを格納する第２の記憶手段と、この第２の記憶手段からの画像データと第１の選択手段を介して供給される画像データのいずれかを選択する第２の選択手段と、第１の記憶手段からの画像データと第２の選択手段を介して供給される画像データとを所定の範囲にわたって一方の画像データをずらしながら、画像シフト手段に供給する指示に用いる両画像データ間のずれ量を検出するずれ検出手段と、画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データを合成する画像合成手段と、この画像合成手段からの合成画像データの出力を制御する第３の選択手段と、第１、第２および第３の選択手段の選択を制御する制御手段とを含むことを特徴とする。
【００１３】
ここで、ずれ検出手段は、相関演算を行うとともに、この演算の最小値を算出した際のずれ分をずれ量にすることが好ましい。
【００１４】
画像合成手段は、画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データの重なる範囲において画像データの平均を行うことが望ましい。
【００１５】
第１および第２の選択手段は、同一の切換信号により切り換えを行うとよい。
【００１６】
制御手段は、露光期間内に撮像信号を複数回に分けて読み出す駆動における１回の露光を1/100 秒以上にすることが好ましい。
【００１７】
ずれ検出手段は、一方の画像データをずらしを行う際のずらし検出範囲を撮像と記録の画像領域の差よりも小さくすることが望ましい。
【００１８】
ずれ検出手段は、ずれ量を加速度により検知するセンサを用いてもよい。
【００１９】
本発明の手振れ補正装置は、第１の記憶手段からの画像データを制御手段から第１の選択手段に供給される切換信号で第２の記憶手段または画像シフト手段のいずれか一方を選択するとともに、第２の選択手段もずれ検出手段に供給する供給元となる画像データの選択を制御手段からの切換信号に応じて行い、これにより、ずれ検出手段でのずれ検出に用いる画像データの組合せを初回のずれ検出とそれ以降でのずれ検出に分けている。前者の画像データは読み出した画像データをそのまま用い、後者の画像データは、一方を読み出した画像データと第２の記憶手段からの画像データを組にする。ずれ検出手段は、供給される２つの画像データから手振れ量を補正量として求める。画像シフト手段では第１の選択手段を介して供給される画像データを補正量に基づいてシフトさせる。この補正した画像データと第２の記憶手段からの画像データを合成して再び第２の記憶手段に格納する。この補正処理が所定の複数回繰り返した後、第２の記憶手段からの画像信号を第３の選択手段を介して出力する。これにより、露光期間で得られる各画像データの手振れを補正、かつ合成を行って画像データを求めている。
【００２０】
また、本発明は上述の課題を解決するために、被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正方法において、被写界の撮影における露光期間内に撮像信号を複数回に分けて読み出す駆動が行われ、この駆動により得られた撮像信号をディジタル化した画像データにして、この画像データを用意した第１の記憶手段に格納する第１の記憶工程と、この第１の記憶工程で格納した画像データが露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて第１の読出し画像データまたは第２の読出し画像データのいずれか一方の画像データを補正するとともに、この補正した画像データと第１の読出し画像データまたは第２の読出し画像データのいずれか他方の画像データを合成した画像データとを記憶する初期補正工程と、この初期補正工程で記憶した合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次読み出した画像データが含む手振れ量の検出、この手振れ量の補正、両画像データの合成、および合成した画像データの記憶の補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を複数回まで繰り返す補正反復工程と、この補正反復工程で得られた画像データの出力を選択する出力選択工程とを含むことを特徴とする。
【００２１】
ここで、初期補正工程は、第１の記憶工程で格納した画像データが露光期間内において最初に読み出した第１の読出し画像データのとき、この第１の読出し画像データを演算用の一方の画像データとして供給するとともに、この画像データを用意した第２の記憶手段に格納する第１の選択処理工程と、この第１の選択処理工程により供給される第１の読出し画像データと、この第２の読出し画像データとを用いて手振れ量を検出する第１の検出工程と、露光期間内において第２の読出し画像データを第１の記憶手段に記憶する第２の記憶工程と、この第２の記憶工程で読み出す第２の読出し画像データを第１の選択処理工程の供給先と異なる供給先に切り換え、かつ一方の画像データとして供給される供給元を第２の記憶手段に変更する第２の選択処理工程と、第１の検出工程で検出した手振れ量に応じて第１の読出し画像データ、または第２の読出し画像データのいずれか一方の画像データを異なる供給先でずらす第１の画像シフト工程と、この第１の画像シフト工程を経た画像データと第１の選択処理で格納した画像データとを合成する第１の画像合成工程と、この第１の画像合成工程により得られた画像データを格納する第３の記憶工程とを含むことが好ましい。
【００２２】
補正反復工程は、合成した画像データと、第２の読出し画像データ以降の読出し画像データとを用いて順次読み出した画像データが含む手振れ量を検出する第２の検出工程と、第２の読出し画像データ以降に順次読み出される読出し画像データを第１の記憶手段に格納する第４の記憶工程と、この第４の記憶工程で格納した読出し画像データを読み出し、第２の検出工程で検出した手振れ量に応じてこの読出し画像データを異なる供給先でずらす第２の画像シフト工程と、この第２の画像シフト工程を経た画像データと第２の記憶手段に格納されている画像データとを合成する第２の画像合成工程と、この第２の画像合成工程により得られた画像データを格納する第５の記憶工程とを含む補正処理を行うことが望ましい。
【００２３】
第１および第２の検出工程は、供給される２つの画像データを用いて相関演算を行うとともに、画像データをずらしながら演算の最小値を算出し、その際に用いているずれ分を手振れ量にするとよい。
【００２４】
第１の画像合成工程は、第１の画像シフト工程で処理した画像データと第１の選択処理で格納した画像データとを読み出し、両画像データの重なる範囲において画像データの平均を行うとよい。
【００２５】
第２の画像合成工程は、第２の画像シフト工程で処理した画像データと第２の記憶手段に格納されている画像データとを読み出し、両画像データの重なる範囲において画像データの平均を行うとよい。
【００２６】
露光期間内に撮像信号は、複数回に分けて読み出すとともに、１回の露光を1/100 秒以上にすることが好ましい。
【００２７】
第１の検出工程は、手振れ量の検出範囲を撮像と記録の画像領域の差よりも小さくすることが望ましい。
【００２８】
第２の検出工程は、手振れ量の検出範囲を撮像と記録の画像領域の差よりも小さくすることが好ましい。
【００２９】
本発明の手振れ補正方法は、画像データとして露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて補正するとともに、両画像データを合成した画像データを記憶し、以後、この合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を前記複数回まで繰り返して合成し得られた画像データを出力することにより、画像データの手振れ補正を行うだけでなく、合成により画像データの S/N比も改善させている。
【００３０】
【発明の実施の形態】
次に添付図面を参照して本発明による手振れ補正装置およびその補正方法の実施例を詳細に説明する。
【００３１】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。図１のディジタルスチルカメラ10には、光学レンズ系12、タイミング発生部14、システム制御部16、絞り調節機構18、撮像部20、前処理部22、手振れ補正部24、信号処理部26、記録再生部28が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を調節する、ズーム機構や被写体との距離に応じてピント調節する、AF（Automatic Focus:自動焦点) 調節機構が含まれている。光学レンズ系12には、タイミング発生部14内で生成される駆動信号が供給される。
【００３２】
タイミング発生部14には、ディジタルスチルカメラ10のシステムクロックを発生させる発振器がある。タイミング発生部14には、システム制御部16から制御信号が供給される。タイミング発生部14は、供給される制御信号に応じて後述する各部に供給するタイミング信号を生成するタイミング信号生成部を有する。タイミング信号生成部は、生成したタイミング信号を各部に出力するとともに、内蔵する駆動信号生成部にも供給する。駆動信号生成部は、前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構18および撮像部20にも駆動信号をそれぞれ供給する。
【００３３】
システム制御部16は、たとえば CPU（Central Processing Unit:中央演算処理装置）を有する。システム制御部16には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部16は、たとえばユーザの操作に伴って供給される情報とこの ROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部16は、生成した制御信号をタイミング発生部14、前処理部22、手振れ補正部24、信号処理部26、記録再生部28に供給する。
【００３４】
絞り調節機構18は、被写体の撮影において最適な入射光の光束を撮像部20に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構18にもタイミング発生部14から駆動信号が供給される。この駆動信号は、前述したシステム制御部16からの制御に応じて行う動作のための信号である。この場合、システム制御部16は、図示しないが、撮像部20で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。絞り調節機構18には、この算出した値に対応する制御信号が供給されたタイミング発生部14から上述した駆動信号が供給される。
【００３５】
撮像部20は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、一体的に個々の撮像素子に対応して色分解する色フィルタCFが配設される。本実施例では単板方式の色フィルタを用いて撮像する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプがある。撮像部20は、供給される駆動信号に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、電子シャッタのオフ毎に前処理部22に出力する。撮像部20は、信号電荷の読出しを全画素読出しで行う方式を用いる。
【００３６】
前処理部22には、CDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部22a 、A/D 変換部22b 、およびガンマ補正部22c が備えられている。CDS 部22a は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング発生部14からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部22a は、ノイズ成分を除去してA/D 変換部22b に送る。A/D 変換部22b は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部22b は、タイミング発生部14から供給される変換クロック等のタイミング信号により変換したディジタル信号をガンマ補正部22c に出力する。ガンマ補正部22c は、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを含む。このガンマ補正部22c もタイミング発生部14からのタイミング信号に応じて処理した補正データを手振れ補正部24に出力する。
【００３７】
手振れ補正部24には、図２に示すように、フレームメモリ24a, 24e、相関演算部24b 、アドレスシフト部24c 、合成部24d 、および切換スイッチSW1, SW2, SW3 が備えられている。フレームメモリ24a, 24eは、撮像部20の撮像した１画面分の画像データを格納可能なメモリである。特に、フレームメモリ24e は、記憶した画像データを繰り返して読み出すことが可能な非破壊タイプのメモリである。
【００３８】
相関演算部24b は、２つの画像を用いて、被写体の動きと手振れによる動きをそれぞれ検出する相関演算を行う回路を含む。この回路は、２つの画像に関してあらかじめ設定した手振れ検出範囲内の一方の位置に対して手振れの範囲を所定の範囲内に仮定しているので、この一方の位置とこの一方の位置から所定の範囲内で離れた他方の位置との値の差の絶対値を求める減算絶対値回路と、この差の絶対値の最小値を求める比較回路と、比較回路による最小値における所定の範囲内で離れた位置の値を記憶するメモリを有する。この減算絶対値は画素データの相関性を表している。そして、メモリに格納された符号を含む値は、手振れの補正量そのものを表す。
【００３９】
ここで、手振れ検出範囲は、たとえば、全画面における縦横のほぼ 1/3×1/3 の領域を用いる。この領域の例としてAFモードで測光に用いる領域と同じ領域を用いてもよい。このとき、相関演算はAFの演算と兼ねて算出してもよい。測定は厳密に画素毎に検出せずにとび飛びの間隔で画素の手振れに伴うずれ分を求めてもよい。このように設定して算出することにより計算時間を短時間で済ませることができる。
【００４０】
２つの画像は、読出し時間が相前後する画像データ、または実際に読み出した画像データと合成した画像データのいずれかを用いる。合成した画像データについては後段の動作説明でさらに詳述する。
【００４１】
なお、ディジタルスチルカメラ10の手振れ検出は、相関検出部24b に限定されるものでなく、加速度センサを相関演算部24b に代えて用い、このセンサで検出した値を手振れの量に換算し、手振れを打ち消すようにアドレスシフト部24c に補正量として供給し、画像データに対する手振れ補正を行ってもよい。加速度センサは、電子シャッタの各露光期間にセンサの値が得られればよいが、露光期間Ex中のセンサの値をフレーム数で割った平均値を用いる。
【００４２】
アドレスシフト部24c は、前述したフレームメモリ24a, 24eのメモリ容量よりも大きいメモリである。アドレスシフト部24c は、相関演算部24b からの手振れ量に対応してメモリのアドレス、たとえば画素の位置を表す（x,y ）を手振れによる移動分を補正するようにシフトさせる。このシフトに用いるメモリは、たとえば、退避用メモリを２つ設けて逐次的に移動させたり、またはメモリをマクロブロック分をまとめて移動させるように設けてもよい。また、アドレスシフト部24c は、アドレスカウント部も有する。アドレスカウント部には、たとえば、移動するアドレスをセットし、相関演算部24b のメモリから供給される値の符号に応じてセットしたアドレスに対するアップ／ダウンのカウントを行うカウント部がある。このカウント後のアドレスが移動先のアドレスに用いる。また、アドレスカウント部は所定の画像範囲を越えない限り移動先のアドレスをセットし供給される値分のカウントを行って新たな移動先のアドレスを求めていく。所定の画像範囲を越えると、画面の範囲を越えたものとしてこのデータは捨てられる。アドレスシフト部24c は、このような判断機能も有する。アドレスシフト部24c は、手振れを補正した画像として合成部24d にアドレス移動させた画像データを出力する。
【００４３】
合成部24d は、アドレスシフト部24c からの画像データとこの画像データの同じ位置に対応するフレームメモリ24e からの画像データとを加算平均する演算回路を含む。
【００４４】
切換スイッチSW1 は、端子a とフレームメモリ24a の出力端とを接続切換する。切換スイッチSW1 はフレームメモリ24a の出力を端子b と端子c のいずれかに切換信号16A に応じて切り換える。切換スイッチSW1 はフレームメモリ24a からの画像データの供給先を選択する。すなわち、切換スイッチSW1 の端子b は画像データを切換スイッチSW2 の端子a に供給するとともに、フレームメモリ24e にも供給する。切換スイッチSW1 の端子c は画像データをアドレスシフト部24c に供給する。
【００４５】
切換スイッチSW2 は、一方の供給元として切換スイッチSW1 の端子b と切換スイッチSW2 の端子a とを接続し、他方の供給元としてフレームメモリ24e の出力端と切換スイッチSW2 の端子b とを接続する。切換スイッチSW2 も切換信号16A により端子c を介して選択した供給元からの画像データを相関演算部24b に供給する。
【００４６】
切換スイッチSW3 は、フレームメモリ24e の出力を切換信号16B に応じて選択する出力選択スイッチである。前述した切換信号16B, 16Aはシステム制御部16により生成される。システム制御部16は、切換信号16A を露光期間を複数回の電子シャッタで分けた際に得られる画像データの最初とそれ以降かに応じて切り換える信号である。また、システム制御部16は、切換信号16B を、露光期間を複数回の電子シャッタで分けた際の最後の画像データに対する手振れ補正処理を完了してフレームメモリ24e に格納された画像データを読み出すタイミングに同期してオン状態にする。そして、システム制御部16は、この画像データの読出しの終了時にオフ状態にする切換信号16B を生成する。
【００４７】
再び図１に戻って信号処理部26を説明する。信号処理部26には、色分離部26a 、YC変換部26b 、および画像圧縮部26c が備えられている。色分離部26a は、手振れ補正部24からの画像データに含まれる色R, G, B をそれぞれ選択的に分けるとともに、他の色が占めている画素位置の色データを周囲から補間生成する機能を有する。色分離部26a には、補間生成用の演算機能が含まれる。色分離部24a は分離した色R, G, B を画面毎のプレーン画像データにしてYC変換部26b に供給する。
【００４８】
YC変換部26b は、色分離部26a から供給される画像データを基に輝度信号Y と色差信号Cr, Cbを生成する回路を有する。画像圧縮部26c は、供給される輝度信号Y と色差信号Cr, Cbの画像データに、たとえば、JPEG（Joint Photographic Experts Group）規格での圧縮を施す回路を含む。
【００４９】
記録再生部28には、画像圧縮部26c から供給される圧縮した画像データを記録媒体28a に記録する記録処理部と、記録媒体28a から記録した画像データを読み出す再生処理部とを含む。再生処理部では圧縮して記録した画像データを伸張する伸張回路も備える。記録媒体28a には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。記録再生部28に記録する画像領域は撮像部20の撮像領域より狭い。
【００５０】
なお、図２の手振れ補正部24において、フレームメモリ24e はこのメモリからの出力を合成部24d に入力させているが、アドレスシフト部24c に供給してもよい。アドレスシフト部24c がこのフレームメモリ24e からの画像データをシフトさせる場合、相関演算部24b の減算関係が逆になる。図示しないが合成部24d にはフレームメモリ24a からの画像データとアドレスシフト部24c からの画像データが供給される。合成部24d では、前述した構成と同じであり、供給される画像データの同じ位置における値の加算平均を算出してフレームメモリ24e に記憶させる。
【００５１】
次にディジタルスチルカメラ10における手振れ補正について図３のタイミングチャートを用いて説明する。ディジタルスチルカメラ10はこのカメラ10の操作スイッチを用いて手振れ補正モードにセットする。この設定は、システム制御部16に供給される。このモードは初期設定であらかじめ設定されるようにしておいてもよい。このモードにおいてAE測光した際に被写界に対して露光時間Exが設定される。この露光時間の情報もシステム制御部16に供給される。システム制御部16は、この情報を基に複数回の電子シャッタによる画像読出しを行う制御をタイミング発生部14に行う。また、１回の露光時間Exは、1/60秒よりも短い時間に設定する（Ex≪1/60秒）。したがって、たとえば、露光時間Exが1/60秒のとき、１フレームの画像を撮像する電子シャッタの露光時間をt とし、４枚の画像の撮像（Ex1 〜Ex4 ）を行う場合、露光時間t は1/240 秒となる（図3(a)を参照）。電子シャッタの速度は、1/100 秒以上が望ましい。スローシャッタの場合、露光時間Ex＝1/15秒の場合、1/100 秒以上を満たすように撮影すると８枚のフレームを撮影することになる。このとき、電子シャッタの露光時間t ＝1/120 秒である。システム制御部16は、このように露光時間Exと1/100 秒以上で電子シャッタを切る条件を満たす枚数n を割り出す。ムービーの場合、各変数は、露光時間Ex＝1/60秒、枚数n ＝1 である。
【００５２】
撮像部20の撮像素子により光電変換された信号電荷がタイミング発生部14から供給されるフィールドシフトパルスのタイミングで撮像部20から読み出される（図３(b) を参照）。露光開始時とほぼ同時に供給されるフィールドシフトパルスは、撮像部20にこれまで蓄積された信号電荷を不要電荷として廃棄するために供給する。各撮像による撮像信号、すなわち信号電荷は４つのフレーム画像1 〜フレーム画像4 （以下、フレームと称しF1〜F4という記号で略す）を出力する（図３(c) を参照）。
【００５３】
最初のフィールドシフトパルスによりフレームF1がフレームメモリ24a に読み出される。フレームメモリ24a はこの信号電荷の読出し期間中書込みイネーブル（WE）でレベルH にする。フレームF2〜F4までそれぞれのフレームメモリ24a の書込みイネーブル（WE）も、信号電荷の読出し期間中に一致させている（図３(d) を参照）。逆に、フレームメモリ24a のレベルL の期間は、画像データの読出しイネーブルを示す。
【００５４】
切換スイッチSW1 の切換信号16A は、システム制御部16で生成される。切換信号16A は、フレームメモリ24a の書込みイネーブルタイミングに同期し、最初のフレームF1とフレームF2の読み出し前に画像データの供給先を切り換えるように制御している。具体的に、切換スイッチSW1 が切換信号16A によって制御されることにより、フレームF1を端子b を介してフレームメモリ24e に書き込む。このことから、フレームメモリ24e の書込みイネーブルは、この場合フレームメモリ24a の読出しイネーブルの期間内に位置する。
【００５５】
次のフレームF2を読み出す前にシステム制御部16は、切換信号16A を供給して切換スイッチSW1 を端子c 側に切り換え、切換スイッチSW2 を端子b 側に切り換える（図３(e) を参照）。この切換操作の後、フレームF2がフィールドシフトパルスの印加により読み出される。この読み出されたフレームF2は、フレームメモリ24a に書き込まれるとともに、相関演算部24b に供給される。相関演算部24b には、フレームメモリ24e から読み出したフレームF1が切換スイッチSW2 を介して供給される。フレームメモリ24e は図３(c) の読出し速度と同じになるように読出し制御を受ける。これにより、相関演算部24b にはフレームF1, F2が供給される。
【００５６】
フレームF1の画素をgn(x, y)で表すと、次のフレームF2の画素はgn+1(x, y)で表される。各フレームには、図４(a) に示す関係から(pq)個の画像データが含まれる。このフレームにおいて手振れ検出を行う範囲は、図４(b) の破線40の画素(h, i)〜(j, k)の範囲である。この範囲は、前述したように、AFエリアを適用してもよく、画像領域の縦横に対し 1/3×1/3 程度の範囲を用いる。この領域を用いるのは、ピントの合っている要求の高い領域で行うことにより正確な合成が可能になるからである。
【００５７】
この領域内に時間経過したフレームに手振れ分が含まれていると考えて、手振れを起こした量にx, yの各方向に変数ξ, ηをとる。したがって、x-ξ, y-ηは、ずれた画素の位置を示す。また、ずれ量を表す変数ξ, ηは画素（x, y）での周囲で、たとえば、それぞれ、-d〜+dの画素範囲にわたって実際の手振れによる移動位置の検出を行う。すなわち、移動範囲の±d は動きベクトルの大きさを規定していることになる。この範囲は撮像部20の撮像領域と記録再生部28に記録する記録画像領域との差より狭く設定する。このように狭く動きベクトルの大きさを設定できるのは、静止画の手振れ補正をすることを目的としており、従来のような動きの絵柄を補正するものでないからである。これらの変数を用いて、式(1)
【００５８】
【数１】
により２つの画像データにおける差の絶対値の最小値e(ξ, η) を算出する（ξ＝ξm,η＝ηm ）。この値が小さいほど、２つの画素の相関が高いことを示す。得られる変数ξ, ηは手振れによる動きベクトルのx, y成分を表す。この相関は、同じ色点で算出することがよく、色G または輝度信号Y に相当するようなデータを用いるとよい。
【００５９】
相関演算を行った後に、フレームF2がアドレスシフト部24c に書き込まれる（図３(h) を参照）。アドレスシフト部24c には、相関演算部24b で算出された手振れを補正する量として変数ξ, ηが符号も含めて供給される。アドレスシフト部24c では変数ξ, ηの値分をアドレスシフト量として画像データをシフトさせる。アドレスシフト部24c の移動先のアドレスは移動するメモリのアドレスと変数ξ, ηの値に応じたカウントを行うことにより求める（図３(i) を参照）。このアドレスシフトは、フレームF1に対してフレームF2が重なるように画素を移動させることである（図４(c) を参照）。フレームF2に対するアドレスシフトを行って手振れ補正した画像データCF2 をアドレスシフト部24c から読み出す（図３(j) を参照）。この読出し期間と同様の期間中にフレームメモリ24e からフレームF1が合成部24d に読み出される。
【００６０】
合成部24d では、フレームF1と画像データCF2 とを合成する（図３(k) を参照）。ここで、フレームF1の画素の値をgn(x, y)とし、画像データCF2 の画素の値をgn+1(x- ξm, y- ηm)とする。この２つの画素の加算平均し、合成した画素g0(x, y)は、式(2)
【００６１】
【数２】
により得られる。このように合成した画像データf2は、図３(f) に示す書き込みイネーブル期間にフレームメモリ24e に格納する。この処理までが、初期補正工程である。
【００６２】
これ以後、相関演算は、フレームメモリ24e から供給される画像データf2とフレームF3を用いて行われる。この手順は前述した手順に同じで、式(1) から得られた手振れ補正に応じてフレームF3に対してアドレスシフトさせて手振れ補正した画像データCF3 を生成する。合成部24d で、画像データCF3 とフレームメモリ24e からの画像データf2とを式(2) に基づいて合成処理を行う。この合成処理により画像データf3が得られる。本実施例では、さらに、この手順を１回繰り返すと画像データf4が得られる。画像データf4は、フレームメモリ24e に一時格納した後、読み出す。この際、フレームメモリ24e にシステム制御部16の電子シャッタを切る回数４回に対応した回数の書き込みが行われたことをシステム制御部16は確認する。この確認後、システム制御部16ではフレームメモリ24e の読み出しに同期した切換スイッチSW3 の動作を可能にするように切換信号16B を生成する（図３(l) を参照）。切換スイッチSW3 は、切換信号16B の供給により手振れ補正部24の出力として画像データf4を出力する。画像データf4は、図４(d) に示す新規の画像データとして出力する。ただし、画像データf4は、変数の設定範囲±d で誤差を含む。実際、電子シャッタで画像を複数に振り分けて、個々の撮像を高速シャッタで切られることからを手振れ量は、たとえば 3〜5 画素程度と小さいと推定している。また、このように本実施例では４フレームを加算平均しているので、得られる画像のS/N 比は41/2＝２倍向上させることができる。この関係は、一般的にフレーム枚数がn のときS/N 比が(n)1/2倍になることを示す。
【００６３】
また、このような画像におけるS/N 比の向上は、撮像部20の出力をn 倍に増幅し、ディジタル化した画像データの加算演算して1/n にしても実現させることができる。
【００６４】
以上のように構成することにより、電子シャッタによる１回のフレーム画像データの露光時間が短くなるので、手振れ量を少なくし、個々の画像データの手振れの補正を容易にでき、静止画での手振れ補正を行うことができる。また、これらの画像データを加算平均して求めていることから、通常、露光時間内で撮像した画像データとして求める画像データよりもS/N 比を向上させることができる。これにより、スローシャッタを切らなければならない場合でもブレのない画像の撮影を行うディジタルスチルカメラが提供できる。
【００６５】
なお、静止画撮影する機能を搭載したムービーカメラにも適用でき、上述した効果を得ることは言うまでもない。
【００６６】
【発明の効果】
このように本発明の手振れ補正装置によれば、第１の記憶手段からの画像データを切換信号に応じて第２の記憶手段または画像シフト手段のいずれか一方を選択するとともに、第２の選択手段もずれ検出手段に供給する供給元となる画像データの選択を制御手段からの切換信号に応じて行い、これにより、ずれ検出手段ではずれ検出に用いる画像データの組合せを初回のずれ検出とそれ以降でのずれ検出に分けて、供給される２つの画像データから手振れ量を補正量として求める。画像シフト手段では第１の選択手段を介して供給される画像データを補正量に基づいてシフトさせ、この補正した画像データと第２の記憶手段からの画像データを合成して再び第２の記憶手段に格納する。この補正処理が所定の複数回繰り返した後、第２の記憶手段からの画像信号を第３の選択手段を介して出力して露光期間で得られる各画像データの手振れを補正、かつ合成を行って画像データを求めことにより、電子シャッタによる１回のフレーム画像データの露光時間が短くなるので、手振れ量を少なくし、個々の画像データの手振れの補正を容易にでき、静止画での手振れ補正を行うことができる。また、これらの画像データを加算平均して求めていることから、通常、露光時間内で撮像した画像データとして求める画像データよりもS/N 比を向上させることができる。そして、スローシャッタを切らなければならない場合でもブレのない画像の撮影を行うディジタルスチルカメラが提供できる。
【００６７】
また、本発明の手振れ補正方法によれば、画像データとして露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて補正するとともに、両画像データを合成した画像データを記憶し、以後、この合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を複数回まで繰り返して合成し得られた画像データを出力することにより、画像データの手振れ補正を行うだけでなく、合成により画像データの S/N比も改善させて、これまでにない静止画撮影における手振れ補正を容易に実現させることができる。
【図面の簡単な説明】
【図１】本発明に係る手振れ補正装置を適用したディジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】図１の手振れ補正部の概略的な構成を示すブロック図である。
【図３】図２の手振れ補正部の動作を説明するタイミングチャートである。
【図４】図３の動作を行う際の画像データのパラメータと画像の関係を説明する模式図である。
【符号の説明】
10 ディジタルスチルカメラ
12 光学レンズ系
14 タイミング発生部
16 システム制御部
18 絞り調節機構
20 撮像部
22 前処理部
24 手振れ補正部
26 信号処理部
28 記録再生部
24a フレームメモリ
24b 相関演算部
24c アドレスシフト部
24d 合成部
【発明の属する技術分野】
本発明は、手振れ補正装置およびその補正方法に関し、特に、たとえば電子スチルカメラでの静止画撮影ように１コマの画像撮影時に生じた振れの補正に適用して好適なものである。
【０００２】
【従来の技術】
近年、電子スチルカメラには、小型軽量化とズーム機能を用いた撮像画像の高倍率化等の機能も搭載された製品が市販されている。この電子スチルカメラには、フィルム撮影のカメラの撮像領域に比べて撮像部の撮像面積が小さいことから、容易に高倍率化が可能で、倍率が６倍以上のズームレンズを搭載した機器もある。小さいながら、このような機能を有する電子スチルカメラは、従来の銀塩フィルムのカメラに対する魅力の一つになっている。
【０００３】
反面、このような電子スチルカメラは、小型軽量化されていることから、手振れを起こし易い。特に、電子スチルカメラを望遠側にした際に、手振れの影響を大きく受けることになる。手振れ対策として、高速撮影や固定撮影等の方法が考えられる。しかしながら、高速撮影は撮影画像に露光量の不足を招き易く、固定撮影にはカメラ以外に三脚を用意するといった煩わしさがある。これらの方法では高倍率ズームだけでなく、この他の露光量の不足等を生じる場合も含めて、電子スチルカメラによる撮影可能な状況が限られてしまう。
【０００４】
このような撮影状況であっても十分鑑賞に堪えられる画像を得るため、手振れ補正方式がビデオムービー用として提案されている。この手振れ補正方式には、大別して光学補正方式と電子補正方式がある。これらのいくつかを例示する。
【０００５】
特開平4-309078号公報のビデオデータの手振れ検出装置は、画面をマクロブロックに分割し、各マクロブロックの動きベクトルを検出し、動く物体と手振れとで異なる特性を利用して判定し、手振れ検出の精度を高めている。
【０００６】
特開平5-110931号公報の手振れ補正装置は、第１の画像記憶手段に先の撮像全体の画像データを記憶し、後の撮像全体の画像データと先の撮像全体の画像データとを動き検出手段で比較し、比較により画面の動きをなくすように得られる補正データを第２の画像記憶手段に記憶する。この記憶は、補正アドレス発生手段で第１の画像記憶手段から先の画像データを読み出す読出しアドレスと、第２の画像記憶手段に先の画像データを書き込む書込みアドレスの制御に応じて行う。これにより、撮像した画像の解像度の低下を防止している。
【０００７】
また、特開平6-22204 号公報の撮像装置の防振装置には、画像の振動分を平行移動させた際にこの移動分だけ画像端に欠けを生じることから、画像全体の拡大処理を行う。このような場合に切り出しサイズ制御手段により、記憶手段に記憶された画像情報から読み出す範囲が制御され、この切り出しサイズ制御手段の切り出しサイズに応じて画像情報を拡大するズーム倍率比が演算手段により演算され、切り出しサイズによるズーム倍率比と光学系のズーム倍率比とが比較手段により比較され、これら両者を相関付けて制御することで撮影中であっても防振装置の動作を円滑に行うことが記載されている。この防振装置は、レンズの光軸移動による補正を行う光学補正方式を用いることから、ムービーカメラ、電子スチルカメラの区別なく用いられる。
【０００８】
そして、特開平7-38799 号公報の手振れ補正装置は、通常使用する画素以上に画素数を備えた固体撮像装置を用い、固体撮像装置からの出力を基に映像信号処理手段で動き補正した映像信号を生成し、この生成した映像信号を固体撮像装置の画素数に一致させて、単位時間当りのデータ数も増加させないことから、これ以降に接続される装置の規模や消費電力の増大を防いでいる。
【０００９】
【発明が解決しようとする課題】
ところで、本発明では電子補正方式に着目していることから、特開平6-22204 号公報の撮像装置の防振装置は対象外とする。電子補正方式を提案しているのは、残る前述した３つの例である。特開平4-309078号公報のビデオデータの手振れ検出装置および特開平5-110931号公報の手振れ補正装置では、フレーム間の差から求めた動きベクトル等を補正量とし、特開平7-38799 号公報の手振れ補正装置ではフィールド間の差から補正ベクトルを求めて手振れを防いでいる。この電子補正方式は、ムービー用の手振れ補正であって、放送規格で規定されたある程度の時間的に幅をもった画像の動き補正を行っている。これは、動画に対する画像の細かさよりも運動の滑らかさやちらつき等が総合画質に影響する人間の特性を利用している。
【００１０】
ところが、電子スチルカメラのように静止画では、ユーザの要求に応じた時間で露光を行い１枚の静止画像を得ることになる。しかも静止画は、ムービーのように所定の時間毎に画像を切り換えて見せる場合と異なり、鑑賞時間は無関係である。したがって、鑑賞者は、細かい点にまで画質をチェックできるし、手振れ等のブレがあれば容易に見出すこともできる。このような静止画撮影における手振れ防止に関する提案はまだない。
【００１１】
本発明はこのような従来技術の欠点を解消し、静止画撮影で生じる手振れの補正を行うことのできる手振れ補正装置およびその補正方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正装置において、被写界の撮影における露光期間内に撮像信号を複数回に分けて読み出す駆動が行われ、この駆動により得られた撮像信号をディジタル化した画像データにして、この画像データを格納する第１の記憶手段と、この第１の記憶手段からの画像データの供給先を選択する第１の選択手段と、この第１の選択手段を介して供給される画像データを格納するとともに、指示に応じて格納する画像データのアドレスを変位させる画像シフト手段と、画像データを格納する第２の記憶手段と、この第２の記憶手段からの画像データと第１の選択手段を介して供給される画像データのいずれかを選択する第２の選択手段と、第１の記憶手段からの画像データと第２の選択手段を介して供給される画像データとを所定の範囲にわたって一方の画像データをずらしながら、画像シフト手段に供給する指示に用いる両画像データ間のずれ量を検出するずれ検出手段と、画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データを合成する画像合成手段と、この画像合成手段からの合成画像データの出力を制御する第３の選択手段と、第１、第２および第３の選択手段の選択を制御する制御手段とを含むことを特徴とする。
【００１３】
ここで、ずれ検出手段は、相関演算を行うとともに、この演算の最小値を算出した際のずれ分をずれ量にすることが好ましい。
【００１４】
画像合成手段は、画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データの重なる範囲において画像データの平均を行うことが望ましい。
【００１５】
第１および第２の選択手段は、同一の切換信号により切り換えを行うとよい。
【００１６】
制御手段は、露光期間内に撮像信号を複数回に分けて読み出す駆動における１回の露光を1/100 秒以上にすることが好ましい。
【００１７】
ずれ検出手段は、一方の画像データをずらしを行う際のずらし検出範囲を撮像と記録の画像領域の差よりも小さくすることが望ましい。
【００１８】
ずれ検出手段は、ずれ量を加速度により検知するセンサを用いてもよい。
【００１９】
本発明の手振れ補正装置は、第１の記憶手段からの画像データを制御手段から第１の選択手段に供給される切換信号で第２の記憶手段または画像シフト手段のいずれか一方を選択するとともに、第２の選択手段もずれ検出手段に供給する供給元となる画像データの選択を制御手段からの切換信号に応じて行い、これにより、ずれ検出手段でのずれ検出に用いる画像データの組合せを初回のずれ検出とそれ以降でのずれ検出に分けている。前者の画像データは読み出した画像データをそのまま用い、後者の画像データは、一方を読み出した画像データと第２の記憶手段からの画像データを組にする。ずれ検出手段は、供給される２つの画像データから手振れ量を補正量として求める。画像シフト手段では第１の選択手段を介して供給される画像データを補正量に基づいてシフトさせる。この補正した画像データと第２の記憶手段からの画像データを合成して再び第２の記憶手段に格納する。この補正処理が所定の複数回繰り返した後、第２の記憶手段からの画像信号を第３の選択手段を介して出力する。これにより、露光期間で得られる各画像データの手振れを補正、かつ合成を行って画像データを求めている。
【００２０】
また、本発明は上述の課題を解決するために、被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正方法において、被写界の撮影における露光期間内に撮像信号を複数回に分けて読み出す駆動が行われ、この駆動により得られた撮像信号をディジタル化した画像データにして、この画像データを用意した第１の記憶手段に格納する第１の記憶工程と、この第１の記憶工程で格納した画像データが露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて第１の読出し画像データまたは第２の読出し画像データのいずれか一方の画像データを補正するとともに、この補正した画像データと第１の読出し画像データまたは第２の読出し画像データのいずれか他方の画像データを合成した画像データとを記憶する初期補正工程と、この初期補正工程で記憶した合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次読み出した画像データが含む手振れ量の検出、この手振れ量の補正、両画像データの合成、および合成した画像データの記憶の補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を複数回まで繰り返す補正反復工程と、この補正反復工程で得られた画像データの出力を選択する出力選択工程とを含むことを特徴とする。
【００２１】
ここで、初期補正工程は、第１の記憶工程で格納した画像データが露光期間内において最初に読み出した第１の読出し画像データのとき、この第１の読出し画像データを演算用の一方の画像データとして供給するとともに、この画像データを用意した第２の記憶手段に格納する第１の選択処理工程と、この第１の選択処理工程により供給される第１の読出し画像データと、この第２の読出し画像データとを用いて手振れ量を検出する第１の検出工程と、露光期間内において第２の読出し画像データを第１の記憶手段に記憶する第２の記憶工程と、この第２の記憶工程で読み出す第２の読出し画像データを第１の選択処理工程の供給先と異なる供給先に切り換え、かつ一方の画像データとして供給される供給元を第２の記憶手段に変更する第２の選択処理工程と、第１の検出工程で検出した手振れ量に応じて第１の読出し画像データ、または第２の読出し画像データのいずれか一方の画像データを異なる供給先でずらす第１の画像シフト工程と、この第１の画像シフト工程を経た画像データと第１の選択処理で格納した画像データとを合成する第１の画像合成工程と、この第１の画像合成工程により得られた画像データを格納する第３の記憶工程とを含むことが好ましい。
【００２２】
補正反復工程は、合成した画像データと、第２の読出し画像データ以降の読出し画像データとを用いて順次読み出した画像データが含む手振れ量を検出する第２の検出工程と、第２の読出し画像データ以降に順次読み出される読出し画像データを第１の記憶手段に格納する第４の記憶工程と、この第４の記憶工程で格納した読出し画像データを読み出し、第２の検出工程で検出した手振れ量に応じてこの読出し画像データを異なる供給先でずらす第２の画像シフト工程と、この第２の画像シフト工程を経た画像データと第２の記憶手段に格納されている画像データとを合成する第２の画像合成工程と、この第２の画像合成工程により得られた画像データを格納する第５の記憶工程とを含む補正処理を行うことが望ましい。
【００２３】
第１および第２の検出工程は、供給される２つの画像データを用いて相関演算を行うとともに、画像データをずらしながら演算の最小値を算出し、その際に用いているずれ分を手振れ量にするとよい。
【００２４】
第１の画像合成工程は、第１の画像シフト工程で処理した画像データと第１の選択処理で格納した画像データとを読み出し、両画像データの重なる範囲において画像データの平均を行うとよい。
【００２５】
第２の画像合成工程は、第２の画像シフト工程で処理した画像データと第２の記憶手段に格納されている画像データとを読み出し、両画像データの重なる範囲において画像データの平均を行うとよい。
【００２６】
露光期間内に撮像信号は、複数回に分けて読み出すとともに、１回の露光を1/100 秒以上にすることが好ましい。
【００２７】
第１の検出工程は、手振れ量の検出範囲を撮像と記録の画像領域の差よりも小さくすることが望ましい。
【００２８】
第２の検出工程は、手振れ量の検出範囲を撮像と記録の画像領域の差よりも小さくすることが好ましい。
【００２９】
本発明の手振れ補正方法は、画像データとして露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて補正するとともに、両画像データを合成した画像データを記憶し、以後、この合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を前記複数回まで繰り返して合成し得られた画像データを出力することにより、画像データの手振れ補正を行うだけでなく、合成により画像データの S/N比も改善させている。
【００３０】
【発明の実施の形態】
次に添付図面を参照して本発明による手振れ補正装置およびその補正方法の実施例を詳細に説明する。
【００３１】
本発明を適用した実施例のディジタルスチルカメラ10の構成を図１に示す。図１のディジタルスチルカメラ10には、光学レンズ系12、タイミング発生部14、システム制御部16、絞り調節機構18、撮像部20、前処理部22、手振れ補正部24、信号処理部26、記録再生部28が備えられている。これら各部を順次説明する。光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系12には、図示しないが、これら光学レンズの配置する位置を調節して画面の画角を調節する、ズーム機構や被写体との距離に応じてピント調節する、AF（Automatic Focus:自動焦点) 調節機構が含まれている。光学レンズ系12には、タイミング発生部14内で生成される駆動信号が供給される。
【００３２】
タイミング発生部14には、ディジタルスチルカメラ10のシステムクロックを発生させる発振器がある。タイミング発生部14には、システム制御部16から制御信号が供給される。タイミング発生部14は、供給される制御信号に応じて後述する各部に供給するタイミング信号を生成するタイミング信号生成部を有する。タイミング信号生成部は、生成したタイミング信号を各部に出力するとともに、内蔵する駆動信号生成部にも供給する。駆動信号生成部は、前述した光学レンズ系12のズーム調節機構およびAF調節機構の他、絞り調節機構18および撮像部20にも駆動信号をそれぞれ供給する。
【００３３】
システム制御部16は、たとえば CPU（Central Processing Unit:中央演算処理装置）を有する。システム制御部16には、ディジタルスチルカメラ10の動作手順が書き込まれた ROM（Read Only Memory：読み出し専用メモリ）がある。システム制御部16は、たとえばユーザの操作に伴って供給される情報とこの ROMの情報を用いて各部の動作を制御する制御信号を生成する。システム制御部16は、生成した制御信号をタイミング発生部14、前処理部22、手振れ補正部24、信号処理部26、記録再生部28に供給する。
【００３４】
絞り調節機構18は、被写体の撮影において最適な入射光の光束を撮像部20に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構18にもタイミング発生部14から駆動信号が供給される。この駆動信号は、前述したシステム制御部16からの制御に応じて行う動作のための信号である。この場合、システム制御部16は、図示しないが、撮像部20で光電変換した信号電荷を基にAE（Automatic Exposure :自動露出）処理として絞り・露光時間を算出している。絞り調節機構18には、この算出した値に対応する制御信号が供給されたタイミング発生部14から上述した駆動信号が供給される。
【００３５】
撮像部20は光電変換する撮像素子を光学レンズ系12の光軸と直交する平面が形成されるように配置する。また、撮像素子の入射光側には、一体的に個々の撮像素子に対応して色分解する色フィルタCFが配設される。本実施例では単板方式の色フィルタを用いて撮像する。撮像素子には、 CCD（Charge Coupled Device:電荷結合素子）や MOS（Metal Oxide Semiconductor:金属酸化型半導体）タイプがある。撮像部20は、供給される駆動信号に応じて光電変換によって得られた信号電荷を所定のタイミングとして、たとえば、電子シャッタのオフ毎に前処理部22に出力する。撮像部20は、信号電荷の読出しを全画素読出しで行う方式を用いる。
【００３６】
前処理部22には、CDS （Correlated Double Sampling: 相関二重サンプリング；以下CDS という）部22a 、A/D 変換部22b 、およびガンマ補正部22c が備えられている。CDS 部22a は、たとえば、CCD 型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング発生部14からのタイミング信号によりクランプするクランプ回路と、タイミング信号により信号電荷をホールドするサンプルホールド回路を有する。CDS 部22a は、ノイズ成分を除去してA/D 変換部22b に送る。A/D 変換部22b は、供給される信号電荷というアナログ信号の信号レベルを所定の量子化レベルにより量子化してディジタル信号に変換するA/D 変換器を有する。A/D 変換部22b は、タイミング発生部14から供給される変換クロック等のタイミング信号により変換したディジタル信号をガンマ補正部22c に出力する。ガンマ補正部22c は、 ROM（Read Only Memory）に供給されるディジタル信号とこのディジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを含む。このガンマ補正部22c もタイミング発生部14からのタイミング信号に応じて処理した補正データを手振れ補正部24に出力する。
【００３７】
手振れ補正部24には、図２に示すように、フレームメモリ24a, 24e、相関演算部24b 、アドレスシフト部24c 、合成部24d 、および切換スイッチSW1, SW2, SW3 が備えられている。フレームメモリ24a, 24eは、撮像部20の撮像した１画面分の画像データを格納可能なメモリである。特に、フレームメモリ24e は、記憶した画像データを繰り返して読み出すことが可能な非破壊タイプのメモリである。
【００３８】
相関演算部24b は、２つの画像を用いて、被写体の動きと手振れによる動きをそれぞれ検出する相関演算を行う回路を含む。この回路は、２つの画像に関してあらかじめ設定した手振れ検出範囲内の一方の位置に対して手振れの範囲を所定の範囲内に仮定しているので、この一方の位置とこの一方の位置から所定の範囲内で離れた他方の位置との値の差の絶対値を求める減算絶対値回路と、この差の絶対値の最小値を求める比較回路と、比較回路による最小値における所定の範囲内で離れた位置の値を記憶するメモリを有する。この減算絶対値は画素データの相関性を表している。そして、メモリに格納された符号を含む値は、手振れの補正量そのものを表す。
【００３９】
ここで、手振れ検出範囲は、たとえば、全画面における縦横のほぼ 1/3×1/3 の領域を用いる。この領域の例としてAFモードで測光に用いる領域と同じ領域を用いてもよい。このとき、相関演算はAFの演算と兼ねて算出してもよい。測定は厳密に画素毎に検出せずにとび飛びの間隔で画素の手振れに伴うずれ分を求めてもよい。このように設定して算出することにより計算時間を短時間で済ませることができる。
【００４０】
２つの画像は、読出し時間が相前後する画像データ、または実際に読み出した画像データと合成した画像データのいずれかを用いる。合成した画像データについては後段の動作説明でさらに詳述する。
【００４１】
なお、ディジタルスチルカメラ10の手振れ検出は、相関検出部24b に限定されるものでなく、加速度センサを相関演算部24b に代えて用い、このセンサで検出した値を手振れの量に換算し、手振れを打ち消すようにアドレスシフト部24c に補正量として供給し、画像データに対する手振れ補正を行ってもよい。加速度センサは、電子シャッタの各露光期間にセンサの値が得られればよいが、露光期間Ex中のセンサの値をフレーム数で割った平均値を用いる。
【００４２】
アドレスシフト部24c は、前述したフレームメモリ24a, 24eのメモリ容量よりも大きいメモリである。アドレスシフト部24c は、相関演算部24b からの手振れ量に対応してメモリのアドレス、たとえば画素の位置を表す（x,y ）を手振れによる移動分を補正するようにシフトさせる。このシフトに用いるメモリは、たとえば、退避用メモリを２つ設けて逐次的に移動させたり、またはメモリをマクロブロック分をまとめて移動させるように設けてもよい。また、アドレスシフト部24c は、アドレスカウント部も有する。アドレスカウント部には、たとえば、移動するアドレスをセットし、相関演算部24b のメモリから供給される値の符号に応じてセットしたアドレスに対するアップ／ダウンのカウントを行うカウント部がある。このカウント後のアドレスが移動先のアドレスに用いる。また、アドレスカウント部は所定の画像範囲を越えない限り移動先のアドレスをセットし供給される値分のカウントを行って新たな移動先のアドレスを求めていく。所定の画像範囲を越えると、画面の範囲を越えたものとしてこのデータは捨てられる。アドレスシフト部24c は、このような判断機能も有する。アドレスシフト部24c は、手振れを補正した画像として合成部24d にアドレス移動させた画像データを出力する。
【００４３】
合成部24d は、アドレスシフト部24c からの画像データとこの画像データの同じ位置に対応するフレームメモリ24e からの画像データとを加算平均する演算回路を含む。
【００４４】
切換スイッチSW1 は、端子a とフレームメモリ24a の出力端とを接続切換する。切換スイッチSW1 はフレームメモリ24a の出力を端子b と端子c のいずれかに切換信号16A に応じて切り換える。切換スイッチSW1 はフレームメモリ24a からの画像データの供給先を選択する。すなわち、切換スイッチSW1 の端子b は画像データを切換スイッチSW2 の端子a に供給するとともに、フレームメモリ24e にも供給する。切換スイッチSW1 の端子c は画像データをアドレスシフト部24c に供給する。
【００４５】
切換スイッチSW2 は、一方の供給元として切換スイッチSW1 の端子b と切換スイッチSW2 の端子a とを接続し、他方の供給元としてフレームメモリ24e の出力端と切換スイッチSW2 の端子b とを接続する。切換スイッチSW2 も切換信号16A により端子c を介して選択した供給元からの画像データを相関演算部24b に供給する。
【００４６】
切換スイッチSW3 は、フレームメモリ24e の出力を切換信号16B に応じて選択する出力選択スイッチである。前述した切換信号16B, 16Aはシステム制御部16により生成される。システム制御部16は、切換信号16A を露光期間を複数回の電子シャッタで分けた際に得られる画像データの最初とそれ以降かに応じて切り換える信号である。また、システム制御部16は、切換信号16B を、露光期間を複数回の電子シャッタで分けた際の最後の画像データに対する手振れ補正処理を完了してフレームメモリ24e に格納された画像データを読み出すタイミングに同期してオン状態にする。そして、システム制御部16は、この画像データの読出しの終了時にオフ状態にする切換信号16B を生成する。
【００４７】
再び図１に戻って信号処理部26を説明する。信号処理部26には、色分離部26a 、YC変換部26b 、および画像圧縮部26c が備えられている。色分離部26a は、手振れ補正部24からの画像データに含まれる色R, G, B をそれぞれ選択的に分けるとともに、他の色が占めている画素位置の色データを周囲から補間生成する機能を有する。色分離部26a には、補間生成用の演算機能が含まれる。色分離部24a は分離した色R, G, B を画面毎のプレーン画像データにしてYC変換部26b に供給する。
【００４８】
YC変換部26b は、色分離部26a から供給される画像データを基に輝度信号Y と色差信号Cr, Cbを生成する回路を有する。画像圧縮部26c は、供給される輝度信号Y と色差信号Cr, Cbの画像データに、たとえば、JPEG（Joint Photographic Experts Group）規格での圧縮を施す回路を含む。
【００４９】
記録再生部28には、画像圧縮部26c から供給される圧縮した画像データを記録媒体28a に記録する記録処理部と、記録媒体28a から記録した画像データを読み出す再生処理部とを含む。再生処理部では圧縮して記録した画像データを伸張する伸張回路も備える。記録媒体28a には、たとえば、いわゆる、スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部とともに、この画像データを書き込むヘッドがある。記録再生部28に記録する画像領域は撮像部20の撮像領域より狭い。
【００５０】
なお、図２の手振れ補正部24において、フレームメモリ24e はこのメモリからの出力を合成部24d に入力させているが、アドレスシフト部24c に供給してもよい。アドレスシフト部24c がこのフレームメモリ24e からの画像データをシフトさせる場合、相関演算部24b の減算関係が逆になる。図示しないが合成部24d にはフレームメモリ24a からの画像データとアドレスシフト部24c からの画像データが供給される。合成部24d では、前述した構成と同じであり、供給される画像データの同じ位置における値の加算平均を算出してフレームメモリ24e に記憶させる。
【００５１】
次にディジタルスチルカメラ10における手振れ補正について図３のタイミングチャートを用いて説明する。ディジタルスチルカメラ10はこのカメラ10の操作スイッチを用いて手振れ補正モードにセットする。この設定は、システム制御部16に供給される。このモードは初期設定であらかじめ設定されるようにしておいてもよい。このモードにおいてAE測光した際に被写界に対して露光時間Exが設定される。この露光時間の情報もシステム制御部16に供給される。システム制御部16は、この情報を基に複数回の電子シャッタによる画像読出しを行う制御をタイミング発生部14に行う。また、１回の露光時間Exは、1/60秒よりも短い時間に設定する（Ex≪1/60秒）。したがって、たとえば、露光時間Exが1/60秒のとき、１フレームの画像を撮像する電子シャッタの露光時間をt とし、４枚の画像の撮像（Ex1 〜Ex4 ）を行う場合、露光時間t は1/240 秒となる（図3(a)を参照）。電子シャッタの速度は、1/100 秒以上が望ましい。スローシャッタの場合、露光時間Ex＝1/15秒の場合、1/100 秒以上を満たすように撮影すると８枚のフレームを撮影することになる。このとき、電子シャッタの露光時間t ＝1/120 秒である。システム制御部16は、このように露光時間Exと1/100 秒以上で電子シャッタを切る条件を満たす枚数n を割り出す。ムービーの場合、各変数は、露光時間Ex＝1/60秒、枚数n ＝1 である。
【００５２】
撮像部20の撮像素子により光電変換された信号電荷がタイミング発生部14から供給されるフィールドシフトパルスのタイミングで撮像部20から読み出される（図３(b) を参照）。露光開始時とほぼ同時に供給されるフィールドシフトパルスは、撮像部20にこれまで蓄積された信号電荷を不要電荷として廃棄するために供給する。各撮像による撮像信号、すなわち信号電荷は４つのフレーム画像1 〜フレーム画像4 （以下、フレームと称しF1〜F4という記号で略す）を出力する（図３(c) を参照）。
【００５３】
最初のフィールドシフトパルスによりフレームF1がフレームメモリ24a に読み出される。フレームメモリ24a はこの信号電荷の読出し期間中書込みイネーブル（WE）でレベルH にする。フレームF2〜F4までそれぞれのフレームメモリ24a の書込みイネーブル（WE）も、信号電荷の読出し期間中に一致させている（図３(d) を参照）。逆に、フレームメモリ24a のレベルL の期間は、画像データの読出しイネーブルを示す。
【００５４】
切換スイッチSW1 の切換信号16A は、システム制御部16で生成される。切換信号16A は、フレームメモリ24a の書込みイネーブルタイミングに同期し、最初のフレームF1とフレームF2の読み出し前に画像データの供給先を切り換えるように制御している。具体的に、切換スイッチSW1 が切換信号16A によって制御されることにより、フレームF1を端子b を介してフレームメモリ24e に書き込む。このことから、フレームメモリ24e の書込みイネーブルは、この場合フレームメモリ24a の読出しイネーブルの期間内に位置する。
【００５５】
次のフレームF2を読み出す前にシステム制御部16は、切換信号16A を供給して切換スイッチSW1 を端子c 側に切り換え、切換スイッチSW2 を端子b 側に切り換える（図３(e) を参照）。この切換操作の後、フレームF2がフィールドシフトパルスの印加により読み出される。この読み出されたフレームF2は、フレームメモリ24a に書き込まれるとともに、相関演算部24b に供給される。相関演算部24b には、フレームメモリ24e から読み出したフレームF1が切換スイッチSW2 を介して供給される。フレームメモリ24e は図３(c) の読出し速度と同じになるように読出し制御を受ける。これにより、相関演算部24b にはフレームF1, F2が供給される。
【００５６】
フレームF1の画素をgn(x, y)で表すと、次のフレームF2の画素はgn+1(x, y)で表される。各フレームには、図４(a) に示す関係から(pq)個の画像データが含まれる。このフレームにおいて手振れ検出を行う範囲は、図４(b) の破線40の画素(h, i)〜(j, k)の範囲である。この範囲は、前述したように、AFエリアを適用してもよく、画像領域の縦横に対し 1/3×1/3 程度の範囲を用いる。この領域を用いるのは、ピントの合っている要求の高い領域で行うことにより正確な合成が可能になるからである。
【００５７】
この領域内に時間経過したフレームに手振れ分が含まれていると考えて、手振れを起こした量にx, yの各方向に変数ξ, ηをとる。したがって、x-ξ, y-ηは、ずれた画素の位置を示す。また、ずれ量を表す変数ξ, ηは画素（x, y）での周囲で、たとえば、それぞれ、-d〜+dの画素範囲にわたって実際の手振れによる移動位置の検出を行う。すなわち、移動範囲の±d は動きベクトルの大きさを規定していることになる。この範囲は撮像部20の撮像領域と記録再生部28に記録する記録画像領域との差より狭く設定する。このように狭く動きベクトルの大きさを設定できるのは、静止画の手振れ補正をすることを目的としており、従来のような動きの絵柄を補正するものでないからである。これらの変数を用いて、式(1)
【００５８】
【数１】
により２つの画像データにおける差の絶対値の最小値e(ξ, η) を算出する（ξ＝ξm,η＝ηm ）。この値が小さいほど、２つの画素の相関が高いことを示す。得られる変数ξ, ηは手振れによる動きベクトルのx, y成分を表す。この相関は、同じ色点で算出することがよく、色G または輝度信号Y に相当するようなデータを用いるとよい。
【００５９】
相関演算を行った後に、フレームF2がアドレスシフト部24c に書き込まれる（図３(h) を参照）。アドレスシフト部24c には、相関演算部24b で算出された手振れを補正する量として変数ξ, ηが符号も含めて供給される。アドレスシフト部24c では変数ξ, ηの値分をアドレスシフト量として画像データをシフトさせる。アドレスシフト部24c の移動先のアドレスは移動するメモリのアドレスと変数ξ, ηの値に応じたカウントを行うことにより求める（図３(i) を参照）。このアドレスシフトは、フレームF1に対してフレームF2が重なるように画素を移動させることである（図４(c) を参照）。フレームF2に対するアドレスシフトを行って手振れ補正した画像データCF2 をアドレスシフト部24c から読み出す（図３(j) を参照）。この読出し期間と同様の期間中にフレームメモリ24e からフレームF1が合成部24d に読み出される。
【００６０】
合成部24d では、フレームF1と画像データCF2 とを合成する（図３(k) を参照）。ここで、フレームF1の画素の値をgn(x, y)とし、画像データCF2 の画素の値をgn+1(x- ξm, y- ηm)とする。この２つの画素の加算平均し、合成した画素g0(x, y)は、式(2)
【００６１】
【数２】
により得られる。このように合成した画像データf2は、図３(f) に示す書き込みイネーブル期間にフレームメモリ24e に格納する。この処理までが、初期補正工程である。
【００６２】
これ以後、相関演算は、フレームメモリ24e から供給される画像データf2とフレームF3を用いて行われる。この手順は前述した手順に同じで、式(1) から得られた手振れ補正に応じてフレームF3に対してアドレスシフトさせて手振れ補正した画像データCF3 を生成する。合成部24d で、画像データCF3 とフレームメモリ24e からの画像データf2とを式(2) に基づいて合成処理を行う。この合成処理により画像データf3が得られる。本実施例では、さらに、この手順を１回繰り返すと画像データf4が得られる。画像データf4は、フレームメモリ24e に一時格納した後、読み出す。この際、フレームメモリ24e にシステム制御部16の電子シャッタを切る回数４回に対応した回数の書き込みが行われたことをシステム制御部16は確認する。この確認後、システム制御部16ではフレームメモリ24e の読み出しに同期した切換スイッチSW3 の動作を可能にするように切換信号16B を生成する（図３(l) を参照）。切換スイッチSW3 は、切換信号16B の供給により手振れ補正部24の出力として画像データf4を出力する。画像データf4は、図４(d) に示す新規の画像データとして出力する。ただし、画像データf4は、変数の設定範囲±d で誤差を含む。実際、電子シャッタで画像を複数に振り分けて、個々の撮像を高速シャッタで切られることからを手振れ量は、たとえば 3〜5 画素程度と小さいと推定している。また、このように本実施例では４フレームを加算平均しているので、得られる画像のS/N 比は41/2＝２倍向上させることができる。この関係は、一般的にフレーム枚数がn のときS/N 比が(n)1/2倍になることを示す。
【００６３】
また、このような画像におけるS/N 比の向上は、撮像部20の出力をn 倍に増幅し、ディジタル化した画像データの加算演算して1/n にしても実現させることができる。
【００６４】
以上のように構成することにより、電子シャッタによる１回のフレーム画像データの露光時間が短くなるので、手振れ量を少なくし、個々の画像データの手振れの補正を容易にでき、静止画での手振れ補正を行うことができる。また、これらの画像データを加算平均して求めていることから、通常、露光時間内で撮像した画像データとして求める画像データよりもS/N 比を向上させることができる。これにより、スローシャッタを切らなければならない場合でもブレのない画像の撮影を行うディジタルスチルカメラが提供できる。
【００６５】
なお、静止画撮影する機能を搭載したムービーカメラにも適用でき、上述した効果を得ることは言うまでもない。
【００６６】
【発明の効果】
このように本発明の手振れ補正装置によれば、第１の記憶手段からの画像データを切換信号に応じて第２の記憶手段または画像シフト手段のいずれか一方を選択するとともに、第２の選択手段もずれ検出手段に供給する供給元となる画像データの選択を制御手段からの切換信号に応じて行い、これにより、ずれ検出手段ではずれ検出に用いる画像データの組合せを初回のずれ検出とそれ以降でのずれ検出に分けて、供給される２つの画像データから手振れ量を補正量として求める。画像シフト手段では第１の選択手段を介して供給される画像データを補正量に基づいてシフトさせ、この補正した画像データと第２の記憶手段からの画像データを合成して再び第２の記憶手段に格納する。この補正処理が所定の複数回繰り返した後、第２の記憶手段からの画像信号を第３の選択手段を介して出力して露光期間で得られる各画像データの手振れを補正、かつ合成を行って画像データを求めことにより、電子シャッタによる１回のフレーム画像データの露光時間が短くなるので、手振れ量を少なくし、個々の画像データの手振れの補正を容易にでき、静止画での手振れ補正を行うことができる。また、これらの画像データを加算平均して求めていることから、通常、露光時間内で撮像した画像データとして求める画像データよりもS/N 比を向上させることができる。そして、スローシャッタを切らなければならない場合でもブレのない画像の撮影を行うディジタルスチルカメラが提供できる。
【００６７】
また、本発明の手振れ補正方法によれば、画像データとして露光期間内において最初に読み出した第１の読出し画像データとこの第１の読出し画像データ以後に供給される第２の読出し画像データとを用いて読み出した画像データが含む手振れ量を検出し、この手振れ量を用いて補正するとともに、両画像データを合成した画像データを記憶し、以後、この合成した画像データと第２の読出し画像データ以降の読出し画像データとを用いて順次補正処理を行い、逐次記憶した画像データと供給される読出し画像データとの補正処理を複数回まで繰り返して合成し得られた画像データを出力することにより、画像データの手振れ補正を行うだけでなく、合成により画像データの S/N比も改善させて、これまでにない静止画撮影における手振れ補正を容易に実現させることができる。
【図面の簡単な説明】
【図１】本発明に係る手振れ補正装置を適用したディジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】図１の手振れ補正部の概略的な構成を示すブロック図である。
【図３】図２の手振れ補正部の動作を説明するタイミングチャートである。
【図４】図３の動作を行う際の画像データのパラメータと画像の関係を説明する模式図である。
【符号の説明】
10 ディジタルスチルカメラ
12 光学レンズ系
14 タイミング発生部
16 システム制御部
18 絞り調節機構
20 撮像部
22 前処理部
24 手振れ補正部
26 信号処理部
28 記録再生部
24a フレームメモリ
24b 相関演算部
24c アドレスシフト部
24d 合成部
Claims (5)
- 被写界を撮影した際に得られる画像に生じる手振れの影響を補正する手振れ補正装置において、該装置は、
前記被写界の撮影における露光期間内に撮影信号を複数回に分けて読み出す駆動に応じて得られた撮影信号を画像データに変換して、該画像データを格納する第１の記憶手段と、
第１の記憶手段からの画像データの供給先を切換信号によって端子bを選択する状態および端子cを選択する状態のいずれかに選択する第１の選択手段と、
第１の選択手段の前記端子cの選択に応じて供給される画像データを格納し、指示に応じて格納する画像データのアドレスを変位させる画像シフト手段と、
前記端子bの選択に応じて供給される画像データおよび合成した画像データのいずれかを格納する第２の記憶手段と、
前記端子bの選択に応じて供給される画像データと前記端子cの選択に応じて第２の記憶手段からの画像データのいずれかを入力として選択する第２の選択手段と、
前記撮影信号の画像データと第２の選択手段を介して供給される画像データとの両画像データ間のずれ量を、一方の画像データをずらしながら、所定の範囲にわたって相関演算し、演算の最小値を算出した際のずれ分で表わされるずれ量として検出するずれ検出手段と、
前記画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データを合成し、前記合成した画像データとして出力する画像合成手段と、
前記合成した画像データの出力を制御する第３の選択手段と、
第１、第２および第３の選択手段の選択を制御する制御手段とを含むことを特徴とする手振れ補正装置。 - 請求項１に記載の装置において、前記画像合成手段は、前記画像シフト手段と第２の記憶手段とからそれぞれ供給される画像データの重なる範囲において画像データを平均することを特徴とする手振れ補正装置。
- 請求項１に記載の装置において、前記制御手段は、前記露光期間内に撮像信号を複数回に分けて読み出す駆動における１回の露光を1/100 秒以上にすることを特徴とする手振れ補正装置。
- 請求項１に記載の装置において、前記ずれ検出手段は、供給される画像データにおける一方の画像データをずらす際のずらしの検出範囲を撮像と記録の画像領域の差よりも小さくすることを特徴とする手振れ補正装置。
- 請求項１に記載の装置において、前記ずれ検出手段は、前記相関演算により検出する前記ずれ量を加速度により検知するセンサを用いることを特徴とする手振れ補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14578599A JP4473363B2 (ja) | 1999-05-26 | 1999-05-26 | 手振れ補正装置およびその補正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14578599A JP4473363B2 (ja) | 1999-05-26 | 1999-05-26 | 手振れ補正装置およびその補正方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007158370A Division JP2007274731A (ja) | 2007-06-15 | 2007-06-15 | 手振れ補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000341577A JP2000341577A (ja) | 2000-12-08 |
| JP4473363B2 true JP4473363B2 (ja) | 2010-06-02 |
Family
ID=15393115
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14578599A Expired - Fee Related JP4473363B2 (ja) | 1999-05-26 | 1999-05-26 | 手振れ補正装置およびその補正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4473363B2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5298396B2 (ja) * | 2001-03-01 | 2013-09-25 | 株式会社ニコン | 電子カメラおよび画像処理システム |
| JP2002287197A (ja) * | 2001-03-28 | 2002-10-03 | Tamron Co Ltd | 撮像装置における画像安定化装置 |
| JP2002287198A (ja) * | 2001-03-28 | 2002-10-03 | Tamron Co Ltd | 撮像装置における画像安定化装置 |
| KR100477647B1 (ko) | 2002-06-01 | 2005-03-23 | 삼성전자주식회사 | 영상의 움직임 보정 장치 및 방법 |
| US7295232B2 (en) | 2003-01-15 | 2007-11-13 | Canon Kabushiki Kaisha | Camera and program |
| JP2004229002A (ja) | 2003-01-23 | 2004-08-12 | Sony Corp | 撮像装置 |
| WO2004112380A1 (ja) * | 2003-06-17 | 2004-12-23 | Matsushita Electric Industrial Co., Ltd. | 情報生成装置、撮影装置および撮影方法 |
| JP3867691B2 (ja) * | 2003-07-15 | 2007-01-10 | ソニー株式会社 | 撮像装置 |
| JP2005244440A (ja) * | 2004-02-25 | 2005-09-08 | Matsushita Electric Ind Co Ltd | 撮像装置、撮像方法 |
| WO2005093654A2 (en) | 2004-03-25 | 2005-10-06 | Fatih Ozluturk | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
| JP4916095B2 (ja) * | 2004-05-13 | 2012-04-11 | ソニー株式会社 | 固体撮像装置および固体撮像装置の駆動方法 |
| JP2006140971A (ja) | 2004-11-15 | 2006-06-01 | Canon Inc | 画像処理装置及び画像処理方法 |
| JP4533119B2 (ja) | 2004-12-13 | 2010-09-01 | キヤノン株式会社 | 撮像装置及び撮像装置の画像表示方法 |
| JP2008016876A (ja) * | 2005-12-12 | 2008-01-24 | Mitsubishi Electric Corp | 撮像装置 |
| WO2006103943A1 (ja) * | 2005-03-28 | 2006-10-05 | Mitsubishi Denki Kabushiki Kaisha | 撮像装置 |
| JP4579098B2 (ja) * | 2005-08-30 | 2010-11-10 | 三菱電機株式会社 | 撮像装置 |
| JP3959547B2 (ja) | 2005-04-27 | 2007-08-15 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び情報端末装置 |
| KR101086413B1 (ko) | 2005-05-18 | 2011-11-25 | 삼성전자주식회사 | 영상 흔들림이 보정되는 디지털 영상 처리 장치의 제어방법 |
| JP4866147B2 (ja) * | 2006-05-22 | 2012-02-01 | 株式会社リコー | 画像シフト検出方法および装置および画像入力装置 |
| JP5137380B2 (ja) * | 2006-11-07 | 2013-02-06 | キヤノン株式会社 | ぶれ補正装置及び方法 |
| WO2008111169A1 (ja) * | 2007-03-13 | 2008-09-18 | Fujitsu Microelectronics Limited | 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 |
| US8035692B2 (en) | 2007-03-30 | 2011-10-11 | Fujifilm Corporation | Image taking apparatus which forms an image of a subject on an imaging device to create image data representative of the subject |
| JP4865648B2 (ja) | 2007-07-02 | 2012-02-01 | 富士フイルム株式会社 | 撮影装置 |
| JP2009017043A (ja) * | 2007-07-02 | 2009-01-22 | Fujifilm Corp | 撮影装置 |
| JP4860567B2 (ja) | 2007-07-20 | 2012-01-25 | 富士フイルム株式会社 | 撮影装置 |
| JP5168319B2 (ja) * | 2010-05-26 | 2013-03-21 | ソニー株式会社 | 固体撮像装置および固体撮像装置の駆動方法 |
| TWI583195B (zh) * | 2012-07-06 | 2017-05-11 | 新力股份有限公司 | A solid-state imaging device and a solid-state imaging device, and an electronic device |
| JP6314477B2 (ja) * | 2013-12-26 | 2018-04-25 | ソニー株式会社 | 電子デバイス |
-
1999
- 1999-05-26 JP JP14578599A patent/JP4473363B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000341577A (ja) | 2000-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4473363B2 (ja) | 手振れ補正装置およびその補正方法 | |
| US8451372B2 (en) | Photographing apparatus that adjusts shooting settings during shooting | |
| JP4662880B2 (ja) | 撮像装置，及び撮像方法 | |
| US8305465B2 (en) | Image pick-up apparatus with a shake reducing function | |
| JP5347707B2 (ja) | 撮像装置および撮像方法 | |
| JP4590183B2 (ja) | 撮像装置および撮像方法 | |
| JP2009284394A (ja) | 撮像装置および撮像方法 | |
| JP4556195B2 (ja) | 撮像装置、動画再生装置及びそのプログラム | |
| JP2010178164A (ja) | 撮像装置 | |
| US20060197854A1 (en) | Image capturing apparatus and computer software product | |
| JP2007027845A (ja) | 撮像装置 | |
| WO2010035752A1 (ja) | 画像生成装置、撮像装置、画像再生装置、画像再生プログラム | |
| JP2008118698A (ja) | 撮像装置および撮像方法 | |
| JP4584544B2 (ja) | 画像再生装置および固体撮像装置 | |
| JP2006033123A (ja) | 撮像装置 | |
| JP4033456B2 (ja) | デジタルカメラ | |
| JP2005269130A (ja) | 手振れ補正機能を有する撮像装置 | |
| JP4865648B2 (ja) | 撮影装置 | |
| JP2007202050A (ja) | 画像生成装置および画像生成プログラム | |
| JP2004328606A (ja) | 撮像装置 | |
| JP2008182486A (ja) | 撮影装置及び画像処理方法 | |
| JP2000295535A (ja) | 固体撮像装置および撮影制御方法 | |
| JP2019080261A (ja) | 撮像装置 | |
| JP2007274731A (ja) | 手振れ補正方法 | |
| JP4635076B2 (ja) | 固体撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060623 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061204 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070615 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070816 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20071005 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100305 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4473363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |