JP2006319541A - 撮像装置、動画処理方法及びプログラム - Google Patents

Abstract

【課題】画角を優先とした動画データと手ぶれ補正を優先とした動画データを任意選択的に得る。
【解決手段】手ぶれ補正機能を備えた撮像装置において、動画の撮影時に画素欠落のない状態で取得した動画データ（つまり、手ぶれ補正していない動画データ）をファイル化してメモリに記録する。ここで、撮影時に記録された動画データから手ぶれ情報を抽出し、これをファイル化して動画ファイルと関連付けてメモリに記録する。ユーザから手ぶれ補正指示があったときに、動画データに対応した手ぶれ情報を用いて手ぶれ補正処理を行い、また、その補正後の動画データをメモリに再記録する。これにより、画角を優先とした動画データと手ぶれ補正を優先とした動画データを任意選択的に得ることができる。
【選択図】 図３

Description

本発明は、例えば動画撮影可能なデジタルカメラ等の撮像装置に係り、特に動画撮影時の手ぶれを電子的に補正するための電子式手ぶれ補正機能を備えた撮像装置と、この撮像装置に用いられる動画処理方法及びプログラムに関する。

通常、動画撮影可能な撮像装置では、ユーザがカメラ本体を手で持って撮影するときに生じるぶれを補正するための機能を備えている。これを「手ぶれ補正機能」と呼び、光学式と電子式がある。光学式手ぶれ補正機能は、センサにより手ぶれ量を感知してレンズユニットそのものを動かすことで手ぶれを補正する。

これに対し、電子式手ぶれ補正機能では、撮像素子から得られる動画データを画像処理することで、その動画データの手ぶれを補正する。一般的な手法としては、動画データを構成する各フレーム画像から手ぶれ部分に相当する周囲画素領域以外の部分を切り出すことで、その切り出した画像を手ぶれ補正後の画像として得ている。ただし、このときに画像の一部の画素が欠落してしまうため、画角が狭くなってしまう欠点がある。

特許文献１では、このような手ぶれ補正による画素欠落部分を他のフレーム画像から補間することで、所定の画角を確保することが開示されている。また、この特許文献１では、動画撮影時に手ぶれ補正せずに動画データの記録を行い、再生時にその動画データに対して手ぶれ補正を行うことが開示されている。
特開平１１−１８７３０３号公報

前記特許文献１では、動画撮影時に手ぶれ補正せずに記録した動画データに対し、再生時に手ぶれ補正を行う構成としているが、最終的には手ぶれ補正した動画データでしか得ることができない。しかしながら、ユーザによっては、手ぶれ補正された動画データよりも、画角を優先とした補正前の動画データを必要としたり、あるいは、その両方の動画データを必要とするなど、様々な要求がある。

そこで、本発明の目的は、画角を優先とした動画データと手ぶれ補正を優先とした動画データを任意選択的に得ることのできる撮像装置、動画処理方法及びプログラムを提供することにある。

本発明の請求項１に係る撮像装置は、撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得する動画撮影手段と、この動画撮影手段によって得られた動画データに対する手ぶれ情報を生成する手ぶれ情報生成手段と、手ぶれ補正するか否かを指定する補正指定手段と、この補正指定手段による手ぶれ補正の指定に応じて、前記手ぶれ情報生成手段で生成された手ぶれ情報に基づいて前記動画撮影手段によって取得された動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録する動画処理手段とを具備したことを特徴とする。

このような構成によれば、撮影時に画素欠落のない状態で記録された動画データに対し、その動画データの手ぶれを示す情報が生成される。そして、ユーザからの手ぶれ補正指示に応じて、前記手ぶれ情報に基づいて当該動画データが手ぶれ補正されて再生表示あるいは記録保存される。

また、本発明の請求項２は、前記請求項１記載の撮像装置において、前記動画撮影手段により取得された動画データを、少なくとも記録状態の変更が指示されるまでの間、手ぶれ補正に伴う画素欠落のない状態で記録保存する記録手段を備え、前記補正指定手段は、前記動画撮影手段による動画データの取得後の任意のタイミングで当該動画データを手ぶれ補正するか否かをユーザに指定させ、前記動画処理手段は、前記補正指定手段により手ぶれ補正することが指定された場合に、前記記録手段に手ぶれ補正に伴う画素欠落のない状態で記録保存されている動画データに対して手ぶれ補正処理を行うことを特徴とする。

このような構成によれば、ユーザが任意のタイミングで手ぶれ補正を指示することにより、撮影時に手ぶれ補正に伴う画素欠落のない状態で記録保存されている動画データを手ぶれ補正することができる。

また、本発明の請求項３は、前記請求項１記載の撮像装置において、前記手ぶれ情報生成手段によって生成された手ぶれ情報を前記動画撮影手段により取得された動画データと関連付けて記録保存する記録手段を備え、前記補正指定手段は、前記記録手段に記録保存されている任意の動画データに対して手ぶれ補正するか否かを指定し、前記動画処理手段は、前記補正指定手段により手ぶれ補正すると指定された動画データに対して、該動画データに対応して前記記録手段に記録保存されている手ぶれ情報に基づいて手ぶれ補正処理を行うことを特徴とする。

このような構成によれば、撮影時に取得された動画データと関連付けられて手ぶれ情報が記録保存される。これにより、撮影後に任意の動画データに対して手ぶれ補正を指定した場合に、その動画データに対応した手ぶれ情報を用いて手ぶれ補正処理を行うことができる。

また、本発明の請求項４は、前記請求項１乃至３のいずれか１つに記載の撮像装置において、前記補正指定手段は、手ぶれ補正の度合いを指定することを含み、前記動画処理手段は、前記補正指定手段によって指定された手ぶれ補正の度合いに応じて前記動画データの補正後の手ぶれ状態が変化するように前記手ぶれ補正処理を制御することを特徴とする。

このような構成によれば、撮影後にユーザが手ぶれ補正の度合いを任意に指定して、動画データの手ぶれを補正処理することができる。

また、本発明の請求項５は、前記請求項２または３記載の撮像装置において、再記録時における動画データの保存方法を指定する保存方法指定手段を備え、前記動画処理手段は、前記保存方法指定手段によって指定された保存方法に従って、前記補正後の動画データを前記記録手段に再記録することを特徴とする。

このような構成によれば、手ぶれ補正された動画データの保存方法をユーザが任意に指示して再記録することができる。

また、本発明の請求項６は、前記請求項５記載の撮像装置において、前記保存方法には、上書き保存と新規保存が含まれ、前記動画処理手段は、前記保存方法指定手段によって前記上書き保存が指定された場合には前記補正後の動画データを前記記録手段に元の動画データに代わって再記録し、前記新規保存が指定された場合には前記補正後の動画データを前記記録手段の元の動画データとは別の領域に再記録することを特徴とする。

このような構成によれば、補正後の動画データの保存方法として、上書き保存または新規保存を指定することができる。この場合、上書き保存では、撮影時に得られた補正前の動画データを消して、補正後の動画データのみを再記録することができる。新規保存では、撮影時に得られた補正前の動画データをそのまま残して、補正後の動画データを再記録することができる。

また、本発明の請求項７は、前記請求項１記載の撮像装置において、動きの異なる複数の被写体が撮影された動画データ上において、手ぶれを判定するための基準となる基準被写体を特定する特定手段を備え、前記手ぶれ情報生成手段は、前記特定手段によって特定された基準被写体の動きに着目した手ぶれ情報を生成することを特徴とする。

このような構成によれば、動きの異なる複数の被写体を動画撮影した場合に、その中で基準被写体の動きに着目して手ぶれ補正することができる。

また、本発明の請求項８は、前記請求項７記載の撮像装置において、被写体判定のための画素割合を指定する画素割合指定手段を備え、前記特定手段は、前記画素割合指定手段によって指定された画素割合に基づいて前記基準被写体を特定することを特徴とする。

このような構成によれば、被写体判定のための画素割合をユーザが任意に指定することにより、その指定された画素割合に応じて基準被写体を変えて手ぶれ補正することができる。

本発明の請求項９に係る動画処理方法は、撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得するステップと、前記動画データの手ぶれの動きを示す手ぶれ情報を生成するステップと、手ぶれ補正するか否かを指定するステップと、手ぶれ補正が指定された場合に、前記手ぶれ情報に基づいて前記動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録するステップとを含むことを特徴とする。

このような動画処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明の請求項１０に係るプログラムは、動画撮影機能を備えた撮像装置に搭載されたコンピュータによって実行されるプログラムであって、前記コンピュータに、撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得する機能と、前記動画データの手ぶれの動きを示す手ぶれ情報を生成する機能と、手ぶれ補正するか否かを指定する機能と、手ぶれ補正が指定された場合に、前記手ぶれ情報に基づいて前記動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録する機能とを実現させることを特徴とする。

したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明の請求項１１に係る動画処理方法は、撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得するステップと、前記動画データの手ぶれの動きを示す手ぶれ情報を生成するステップと、この生成された手ぶれ情報を動画データと関連付けて所定のメモリに記録するステップと、手ぶれ補正するか否かを指定するステップと、手ぶれ補正が指定された場合に、前記メモリに記録された動画データに対応した手ぶれ情報に基づいて当該動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録するステップとを含むことを特徴とする。

このような動画処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項３記載の発明と同様の作用効果が奏せられる。

本発明の請求項１２に係るプログラムは、動画撮影機能を備えた撮像装置に搭載されたコンピュータによって実行されるプログラムであって、前記コンピュータに、撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得する機能と、前記動画データの手ぶれの動きを示す手ぶれ情報を生成する機能と、この生成された手ぶれ情報を動画データと関連付けて所定のメモリに記録する機能と、手ぶれ補正するか否かを指定する機能と、手ぶれ補正が指定された場合に、前記メモリに記録された動画データに対応した手ぶれ情報に基づいて当該動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録する機能とを実現させることを特徴とする。

したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項３記載の発明と同様の作用効果が奏せられる。

本発明によれば、手ぶれ補正機能を備えた撮像装置において、撮影後にユーザの要求に応じて動画データを手ぶれ補正することができ、画角を優先とした動画データと手ぶれ補正を優先とした動画データを任意選択的に得ることができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る撮像装置として動画撮影可能なデジタルカメラを例にした場合の外観構成を示す図であり、図１（ａ）は主に前面の構成、同図（ｂ）は主に背面の構成を示す斜視図である。

このデジタルカメラ１は、略矩形の薄板状ボディ２の前面に、撮影レンズ３、セルフタイマランプ４、光学ファインダ窓５、ストロボ発光部６、マイクロホン部７などを有し、上面の（ユーザにとって）右端側には電源キー８及びシャッタキー９などが設けられている。

電源キー８は、電源のオン／オフ毎に操作するキーであり、シャッタキー９は、撮影時に撮影タイミングを指示するキーである。

また、デジタルカメラ１の背面には、撮影モード（Ｒ）キー１０、再生モード（Ｐ）キー１１、光学ファインダ１２、スピーカ部１３、マクロキー１４、ストロボキー１５、メニュー（ＭＥＮＵ）キー１６、リングキー１７、セット（ＳＥＴ）キー１８、表示部１９などが設けられている。

撮影モードキー１０は、電源オフの状態から操作することで自動的に電源オンとして静止画の撮影モードに移行する一方で、電源オンの状態から繰返し操作することで、静止画モード、動画モードを循環的に設定する。静止画モードは、静止画を撮影するためのモードである。また、動画モードは、動画を撮影するためのモードである。

前記シャッタキー９は、これらの撮影モードに共通に使用される。すなわち、静止画モードでは、シャッタキー９が押下されたときのタイミングで静止画の撮影が行われる。動画モードでは、シャッタキー９が押下されたときのタイミングで動画の撮影が開始され、シャッタキー９が再度押下されたときにその動画の撮影が終了する。

再生モードキー１１は、電源オフの状態から操作することで自動的に電源オンとして再生モードに移行する。

マクロキー１４は、静止画の撮影モードで通常撮影とマクロ撮影とを切換える際に操作する。ストロボキー１５は、ストロボ発光部６の発光モードを切換える際に操作する。メニューキー１６は、手ぶれ補正の有無を含む各種メニュー項目等を選択する際に操作する。リングキー１７は、上下左右各方向への項目選択用のキーが一体に形成されたものであり、このリングキー１７の中央に位置するセットキー１８は、その時点で選択されている項目を設定する際に操作する。

表示部１９は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてスルー画像のモニタ表示を行う一方で、再生モード時には選択した画像等を再生表示する。

また、このデジタルカメラ１には、光学ズーム機能が備えられており、ズームキー２０ａ，２０ｂの操作により焦点距離を物理的に変化させて画像の拡大率を変更することができる。ズームキー２０ａ，２０ｂのうち、一方のズームキー２０ａはテレ端用であり、望遠側へズーム倍率を変更する場合に用いられる。他方のズームキー２０ｂはワイド端用であり、広角側へズーム倍率を変更する場合に用いられる。

なお、図示はしないがデジタルカメラ１の底面には、記録媒体として用いられるメモリカードを着脱するためのメモリカードスロットや、外部のパーソナルコンピュータ等と接続するためのシリアルインタフェースコネクタとして、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等が設けられている。

図２はデジタルカメラ１の電子回路構成を示すブロック図である。

このデジタルカメラ１には、前記撮影レンズ３を構成する図示せぬフォーカスレンズおよびズームレンズを含むレンズ光学系２２がモータ２１の駆動により光軸方向に所定の範囲内で移動可能に設けられている。このレンズ光学系２２の光軸後方に撮像素子であるＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）２３が配設されている。このＣＣＤ２３は、撮影レンズ３を通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。

基本モードである記録モード時において、ＣＣＤ２３がタイミング発生器（ＴＧ）２４、ドライバ２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。このＣＣＤ２３の光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路２６でサンプルホールドされ、Ａ／Ｄ変換器２７でデジタルデータに変換される。

そして、画像処理回路２８において、画素補間処理及びγ補正処理を含む画像処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｕ，Ｖ（Ｃｂ，Ｃｒ）が生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ２９に出力される。

ＤＭＡコントローラ２９は、画像処理回路２８の出力する輝度信号Ｙ及び色差信号Ｕ，Ｖを、同じく画像処理回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ２９内部のバッファに書き込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）３０を介してバッファメモリとして使用されるＤＲＡＭ３１にＤＭＡ転送を行う。

制御部３２は、デジタルカメラ１全体の制御を行うものであり、ＣＰＵと、このＣＰＵで実行される動作プログラムを記憶したＲＯＭ、及びワークメモリとして使用されるＲＡＭなどを含むマイクロコンピュータにより構成される。また、本実施形態において、この制御部３２には、動画データの手ぶれ補正に関する各種設定情報を記憶するための設定記憶部３２ａが設けられている。

輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送終了後、この制御部３２は、この輝度及び色差信号をＤＲＡＭインタフェース３０を介してＤＲＡＭ３１より読み出し、ＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に書き込む。

デジタルビデオエンコーダ３５は、前記輝度及び色差信号をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部１９に出力する。

この表示部１９は、上述した如く撮影時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ３５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ３３から取込んでいる画像情報に基づく画像をリアルタイムに表示することとなる。

このように、表示部１９にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、例えば静止画撮影を行いたいタイミングでシャッタキー９を押下操作すると、トリガ信号が発生する。

制御部３２は、このトリガ信号に応じて、その時点でＣＣＤ２３から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ３１へのＤＭＡ転送の終了後、直ちにＣＣＤ２３からのＤＲＡＭ３１への経路を停止し、記録保存の状態に遷移する。

この記録保存の状態では、制御部３２がＤＲＡＭ３１に書き込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース３０を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出して、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路３７に書き込み、このＪＰＥＧ回路３７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮する。

そして得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路３７から読み出して記録用のメモリ３８に書き込む。このメモリ３８としては、予め本体に内蔵されたフラッシュメモリ等の内部メモリの他に、記録媒体として着脱自在に装着されるメモリカードなどを含む。１フレーム分の輝度及び色差信号の圧縮処理及びメモリ３８への全圧縮データの書込み終了に伴って、制御部３２はＣＣＤ２３からＤＲＡＭ３１への経路を再び起動する。

制御部３２には、さらに音声処理部３９、ＵＳＢインタフェース（Ｉ／Ｆ）４０、ストロボ駆動部４１が接続される。

音声処理部３９は、ＰＣＭ音源等の音源回路を備え、音声の録音時には前記マイクロホン部（ＭＩＣ）７より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（ＭＰＥＧ−１ ａｕｄｉｏ ｌａｙｅｒ ３）規格に従ってデータ圧縮して音声データファイルを作成してメモリ３８へ送出する一方、音声の再生時にはメモリ３８から読み出された音声データファイルの圧縮を解いてアナログ化し、上述したデジタルカメラ１の背面側に設けられるスピーカ部（ＳＰ）１３を通じて出力する。

ＵＳＢインタフェース４０は、ＵＳＢコネクタを介して有線接続されるパーソナルコンピュータ等の他の情報端末装置との間で画像データ、その他の送受を行う場合の通信制御を行う。ストロボ駆動部４１は、撮影時に図示せぬストロボ用の大容量コンデンサを充電した上で、制御部３２からの制御に基づいてストロボ発光部６を閃光駆動する。

なお、前記キー入力部３６は、上述したシャッタキー９の他に、電源キー８、撮影モードキー１０、再生モードキー１１、マクロキー１４、ストロボキー１５、メニューキー１６、リングキー１７、セットキー１８、ズームキー２０ａ，２０ｂなどから構成され、それらのキー操作に伴う信号は直接制御部３２へ送出される。

また、静止画像ではなく動画像の撮影時においては、シャッタキー９が押下操作されたときに、上述したＪＰＥＧ回路３７によりｍｏｔｉｏｎ−ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの手法により撮影動画をデータ圧縮してメモリ３８へ記録する。再度シャッタキー９が操作されると、動画データの記録を終了する。

一方、基本モードである再生モード時には、制御部３２がメモリ３８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路３７で記録モード時にデータ圧縮した手順と全く逆の手順で、圧縮されている画像データを伸長する。そして、この伸長した画像データをＤＲＡＭインタフェース３０を介してＤＲＡＭ３１に保持させた上で、このＤＲＡＭ３１の保持内容をＶＲＡＭコントローラ３３を介してＶＲＡＭ３４に記憶させ、このＶＲＡＭ３４より定期的に画像データを読み出してビデオ信号を発生し、表示部１９で再生出力させる。

選択した画像データが静止画像ではなく動画像であった場合には、その動画データを構成する複数フレームの静止画データを時系列の順で順次再生して表示し、すべての静止画データの再生を終了した時点で、例えば、次に再生の指示がなされるまで先頭に位置する静止画データを表示するなどを行う。

次に、このデジタルカメラ１による動画撮影時の動作について説明する。

図３はデジタルカメラ１の動画ファイルと手ぶれ情報ファイルとの関係を示す図である。

撮影モードキー１０の押下により動画モードを設定した状態で、シャッタキー９を押下すると、動画撮影が開始される。これにより、撮像素子であるＣＣＤ２３から順次出力される各フレームの画像データが動画データとして取り込まれ、手ぶれ補正に伴う画素欠落のない状態でファイル化されてメモリ３８に記録される。前記手ぶれ補正に伴う画素欠落のない状態とは、手ぶれ補正によってフレーム毎に異なる周辺画素部分の情報が失われることなしに取り込まれた状態のことであり、例えばＣＣＤの持つ最大解像度より低い解像度で動画を取り込む場合の画素間引きや、オプティカルブラック検出用領域の画素欠落など、各フレームで同じ部分の画素欠落はあってもかまわない。再度シャッタキー９を押下すると、動画データの記録が終了する。

ここで、ユーザ（撮影者）が三脚などを用いずに、カメラ本体を手で支えながら動画撮影する場合には、所謂「手ぶれ」と呼ばれる画像のぶれ現象が生じる。特に、移動体を被写体として、カメラ本体を動かしながら撮影する場合には、手ぶれが大きく生じることになる。

本実施形態では、このような動画撮影時に生じる手ぶれの情報（ぶれの方向や量）を撮影後に動画データから抽出し、その手ぶれ情報をファイル化して動画ファイルと関連付けて記録しておく構成としている。図３の例では、動画ファイル１に対して手ぶれ情報ファイル１、動画ファイル２に対して手ぶれ情報ファイル２が関連付けられている。これらの手ぶれ情報ファイル１，２は、撮影後にそれぞれに対応した動画ファイル１，２を手ぶれ補正する際に使用される。

図４は動画データの再生表示時に手ぶれ補正の有無を指定するための補正指定画面の一例を示す図、図５は動画データの再記録時に保存方法を指定するための保存方法指定画面の一例を示す図である。

動画撮影によって得られた動画データは、手ぶれ補正なしに画素欠落のない状態でメモリ３８に記録されている。ここで、撮影後に、動画データを手ぶれ補正した状態で再生表示したい場合には、例えばメニューキー１６の操作により、図４に示すような補正指定画面５１を表示する。この補正指定画面５１には、手ぶれ補正の有無を指定するための項目５２，５３が設けられている。この例では、項目５２をカーソル等により選択すると、「手ぶれ補正する」ことが設定され、項目５３をカーソル等により選択すると、「手ぶれ補正しない」ことが設定される。

また、動画データを手ぶれ補正した状態で恒久保存したい場合には、例えばメニューキー１６の操作などにより再記録モードを設定する。これにより、動画データが手ぶれ補正されてメモリ３８に再記録される。その際、図５に示すような保存方法指定画面６１にて保存方法を指定することができる。この保存方法指定画面６１には、保存方法として「上書き保存」または「新規保存」を指定するための項目６２，６３が設けられている。この例では、項目６２をカーソル等により選択すると、「上書き保存」が設定され、項目６３をカーソル等により選択すると、「新規保存」が設定される。このときの設定情報は、図２に示す制御部３２内の設定記憶部３２ａに記憶される。

以下に、このデジタルカメラ１による動画データの処理について詳しく説明する。なお、以下の各フローチャートで示される処理は、マイクロコンピュータである制御部３２がＲＯＭやＲＡＭ等の記録媒体に記録された所定のプログラムを読み込むことにより実行される。

（ａ）手ぶれ情報付加処理
まず、動画データに手ぶれ情報を付加するための手ぶれ情報付加処理について説明する。

図６はデジタルカメラ１による手ぶれ情報付加処理の動作を示すフローチャートである。この手ぶれ情報付加処理は、動画撮影後に自動的あるいはユーザの指示に従って実行される。

まず、メモリ３８の中で手ぶれ情報を付加する動画ファイルが特定される（ステップＡ１１）。これは、例えばユーザが所定の操作により手ぶれ情報を付加する動画ファイルを明示的に指示することで行なわれる。手ぶれ情報を付加する動画ファイルが特定されると、その動画ファイル（動画データ）を構成する各フレーム画像を順次処理するためのフレーム位置（ポインタ）が初期化された後（ステップＡ１２）、以下のような手順で手ぶれ情報ファイルが作成される。

すなわち、現フレーム位置より前にある複数のフレーム画像が比較されて、各画素毎に動きベクトル（移動方向および移動量）が検出される（ステップＡ１３）。続いて、この検出された各画素の動きベクトルに基づいて、同じ動きベクトルを持つ画素同士がグループ化される（ステップＡ１４）。

ここで、所定数以上の画素数で構成されるグループの中で最も移動量の少ないグループが基準被写体、その他のグループが移動被写体として特定される（ステップＡ１５）。

図９に具体例を示す。今、フレーム１，フレーム２…の各フレーム画像からなる動画データを想定する。図中のＰａ，Ｐｂ，Ｐｃは同じ動きベクトルを持つ画素のグループの大まかな位置を示す枠であり、各画素のグループの画素領域を厳密に示すものではない。これらの移動量が下記のようであったとすると、ＰａとＰｂが基準被写体、Ｐｃが移動被写体として特定されることになる。

Ｐａの移動量：上方向へ１０ピクセル、右方向へ１５ピクセル
Ｐｂの移動量：上方向へ１０ピクセル、右方向へ１５ピクセル
Ｐｃの移動量：上方向へ１０ピクセル、右方向へ３００ピクセル。

このようにして基準被写体が特定されると、その基準被写体の動きベクトルが現フレームの撮影時におけるカメラのパーンまたは手ぶれによって生じたカメラの移動ベクトルとして、図示せぬワークメモリなどに一時記憶される（ステップＡ１６）。

図９の例では、上方向へ１０ピクセル、右方向へ１５ピクセルがカメラの移動ベクトルとして記憶される。この移動ベクトルには、ユーザが意図的に動かしたカメラのパーンによる動きが含まれている可能性がある。そこで、まず、現フレーム位置より前の所定数分のフレーム画像に対応して得られたカメラ移動ベクトルの平均値からカメラのパーンベクトルが求められる（ステップＡ１７）。そして、前記ステップＡ１６で得られた現フレーム位置におけるカメラの移動ベクトルと、前記ステップＡ１７で得られたカメラのパーンベクトルとの差分から現フレーム位置における手ぶれベクトルが求められる（ステップＡ１８）。

この例とは異なり、例えば、撮影者がＰｃで示される被写体をフレームの中央に収めるべくカメラをパーンさせていた場合には、画像データ上でのＰｃの移動量が最も少なくなるため、Ｐｃが基準被写体として特定されることになり、パーンベクトルと手ぶれベクトルもこの基準被写体の動きに着目した異なるものとなる。

このようにして求められた手ぶれベクトルは、当該フレームに付加された番号と対応付けられて、手ぶれ情報ファイルに追加記憶される（ステップＡ１９）。

以後同様にして、次の処理対象となるフレーム位置が順次更新されて（ステップＡ２０，Ａ２１）、そのフレーム位置における手ぶれベクトルが手ぶれ情報ファイルに追加記憶される（ステップＡ１３〜Ａ１９）。そして、すべてのフレームに対する処理が終了した時点で（ステップＡ２０のＮｏ）、手ぶれ情報ファイルが当該動画ファイルに関連付けられてメモリ３８に記録されて（ステップＡ２２）、ここでの手ぶれ情報付加処理が終了する。

（ｂ）再生表示処理
次に、動画データの再生表示処理について説明する。

図７はデジタルカメラ１による動画データの再生表示処理の動作を示すフローチャートである。この再生表示処理は、動画撮影後にユーザが所定の操作により再生表示を指示することで実行される。その際、図４に示したような補正指定画面５１を通じて手ぶれ補正の有無をユーザが任意のタイミングで指定することができる。以下では、前記補正指定画面５１において、「手ぶれ補正する」が指定されたものとして説明する。

まず、メモリ３８の中で再生表示する動画ファイルが特定される（ステップＢ１１）。これは、例えばユーザが所定の操作により再生表示する動画ファイルを明示的に指示することで行なわれる。続いて、この動画ファイルに対応した手ぶれ情報ファイルが特定される（ステップＢ１２）。再生表示する動画ファイルとそれに対応した手ぶれ情報ファイルが特定されると、処理対象となるフレーム位置（ポインタ）が初期化された後（ステップＢ１３）、以下のような手順で動画データが再生表示される。

すなわち、動画ファイルから現フレーム位置における画像データ、手ぶれ情報ファイルから現フレーム位置における手ぶれベクトルがそれぞれ抽出される（ステップＢ１４，Ｂ１５）。

ここで、表示方法として、「拡大／縮小表示」と「補間表示」の２通りがある（ステップＢ１６）。「拡大／縮小表示」では、画像データから手ぶれベクトルに対応した周囲領域以外の部分を切り出すことで、その切り出した画像データを手ぶれ補正した画像として生成する（ステップＢ１７）。

図１０に具体例を示す。図中の斜線で示す周囲領域が手ぶれにより画面からはみ出す部分であり、それ以外の領域が手ぶれのない部分として切り出される。この場合、切り出しにより画角が狭くなるため、図１１の例に示すように、前記切り出した画像データを表示デバイスの解像度に合わせて拡大あるいは縮小処理してから表示するものとする（ステップＢ１８）。

一方、「補間表示」では、手ぶれベクトルに従って画像データの表示位置を調整することで、手ぶれ補正した画像を生成する（ステップＢ１９）。この場合、表示位置によっては所定の画面領域からはみ出す部分が生じるので、そのはみ出し部分については削除し、欠落する部分については他のフレーム画像の対応する部分を利用して補間処理してから表示するものとする（ステップＢ２０）。

なお、「拡大／縮小表示」または「補間表示」とするのかは、例えば図４に示した補正指定画面５１で手ぶれ補正を指定したときにユーザが任意に指定できるものとする。

以後同様にして、次の処理対象となるフレーム位置が順次更新されて（ステップＢ２１，Ｂ２２）、更新後のフレーム位置における画像データと手ぶれベクトルが読み出され、その画像データが手ぶれ補正された状態で所定のフレームレートに従って表示される（ステップＢ１４〜Ｂ２０）。そして、すべてのフレームに対する処理が終了すると（ステップＢ２１のＮｏ）、ここでの再生表示処理が終了する。

（ｃ）再記録処理
次に、動画データの再記録処理について説明する。

図８はデジタルカメラ１による動画データの再記録処理の動作を示すフローチャートである。この再記録処理は、動画撮影後にユーザが所定の操作により再記録モードを指示することで実行される。その際に、図５に示したような保存方法指定画面６１を通じて「上書き保存」とするのか、「新規保存」とするのかをユーザが任意に指定することができる。

まず、メモリ３８の中で再記録する動画ファイルが特定される（ステップＣ１１）。これは、例えばユーザが所定の操作により再記録する動画ファイルを明示的に指示することで行なわれる。続いて、この動画ファイルに対応した手ぶれ情報ファイルが特定される（ステップＣ１２）。再記録する動画ファイルとそれに対応した手ぶれ情報ファイルが特定されると、処理対象となるフレーム位置（ポインタ）が初期化された後（ステップＣ１３）、以下のような手順で動画データが再生表示される。

すなわち、動画ファイルから現フレーム位置における画像データ、手ぶれ情報ファイルから現フレーム位置における手ぶれベクトルがそれぞれ抽出される（ステップＣ１４，Ｃ１５）。

ここで、画像データから手ぶれベクトルに対応した周囲領域を除いた部分が取り出され、その切り出された画像データが手ぶれ補正後の画像データとして生成される（ステップＣ１６）。この手ぶれ補正後の画像データを再記録する際に、前記図５の保存方法指定画面６１で指定された保存方法が確認される（ステップＣ１７）。

その結果、保存方法として「上書き保存」が指定されていれば、前記切り出された画像データつまり手ぶれ補正後の画像が元の解像度に合わせて拡大処理された後、当該フレーム部分の画像データに代わってメモリ３８に記録される（ステップＣ１８）。一方、「新規保存」が指定されていれば、前記切り出された画像データつまり手ぶれ補正後の画像が予め指定された解像度に合わせて拡大あるいは縮小処理された後、新たな動画ファイルとしてメモリ３８に追加記録される（ステップＣ１９）。

以後同様にして、次の処理対象となるフレーム位置が順次更新されて（ステップＣ２０，Ｃ２１）、更新後のフレーム位置における画像データと手ぶれベクトルが読み出され、その画像データが手ぶれ補正された状態で再記録される（ステップＣ１４〜Ｃ１９）。そして、すべてのフレームに対する処理が終了すると（ステップＣ２０のＮｏ）、ここでの再記録処理が終了する。

なお、前記再記録処理では、必要に応じて、元の画像データの解凍処理や、補正後の画像データの再圧縮処理が行われるものとする。

以上のように、動画撮影によって得られた動画データと、その動画データから検出された手ぶれ情報とを関連付けてメモリ３８に記録しておくことで、後に必要に応じて、そのメモリ３８に記録された動画データを当該動画データに対応した手ぶれ情報を用いて補正処理することができる。

この場合、動画撮影時には動画データが画素欠落のない状態でメモリ３８に記録されているため、そのまま画角優先とした動画データを得ることができ、また、再生表示時に手ぶれ補正を指定すれば、手ぶれ補正した画像データを得ることもできる。

さらに、手ぶれ補正後の動画データを保存することもできる。その際、上書き保存とするか、あるいは、新規保存とするのかをユーザが任意に指定することができる。この場合、例えばメモリ３８の容量が少ないときには上書き保存にし、元データつまり画角優先とした撮影時の動画データを残しておきたいときに新規保存にするといったように、メモリ３８の使用状況などに応じて保存方法を使い分けることができる。

なお、前記実施形態では、動画データに関する各種処理、すなわち、動画撮影処理、手ぶれ情報付加処理、再記録処理、再生表示処理をそれぞれ個別に実行するものとしたが、これらの処理を並行して行うことでも良い。

図１２はデジタルカメラ１による動画撮影処理、手ぶれ情報付加処理、再記録処理、再生表示処理を並行処理する場合を示している。

手ぶれ情報付加処理は、通常は動画撮影処理が完了した後にそのときに得られた動画ファイルに対して行われるが、処理速度に余裕があれば、動画撮影処理と同時あるいは所定フレーム数分のタイムラグをおいて動画撮影処理と並行に行うことでも良い。

また、再記録処理は、通常は手ぶれ情報付加処理が完了した後にそのときに得られた手ぶれ情報ファイルを利用して行われるが、処理速度に余裕があれば、手ぶれ情報付加処理と同時あるいは所定フレーム数分のタイムラグをおいて手ぶれ情報付加処理と並行に行うことでも良い。

また、再生表示処理は、通常は手ぶれ情報付加処理が完了した後にそのときに得られた手ぶれ情報ファイルを利用して行われるが、処理速度に余裕があれば、手ぶれ情報付加処理と同時あるいは所定フレーム数分のタイムラグをおいて手ぶれ情報付加処理と並行に行うことでも良い。さらに、この再生表示処理を再記録処理と同時あるいは並行に行うことでも良い。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

第２の実施形態では、前記第１の実施形態で説明した手ぶれ補正の有無や保存方法に加え、さらに、手ぶれの動きに対する追従性の度合いや、被写体を判定するための画素割合をユーザが任意に指定可能としたものである。

図１３は本発明の第２の実施形態におけるデジタルカメラ１による設定処理を示すフローチャートである。この設定処理は、例えば図４の補正指定画面５１で「手ぶれ補正する」の項目５２を選択したときに実行される。

すなわち、ユーザが前記補正指定画面５１でで「手ぶれ補正する」ことを指定した場合において、図１４に示すような設定画面７１が表示部１９に表示される（ステップＤ１１）。この設定画面７１には、手ぶれの動きに対する追従性の度合いを指定するための項目７２，７３と、判定用画素の割合を指定するための項目７４，７５，７６が設けられている。

手ぶれ追従性の度合いを設定する場合において、前記設定画面７１上の項目７２または項目７３をカーソル等により選択すると（ステップＤ１２のＹｅｓ）、その選択項目に対応した追従性の度合いが設定情報として図２に示す制御部３２の設定記憶部３２ａに記憶される（ステップＤ１３）。この例では、前記項目７２の選択により追従性「低い」が設定され、前記項目７３の選択により追従性「高い」が設定される。なお、ユーザにより追従性の度合いが指定されなかった場合には、例えばデフォルトとして追従性「低い」が設定されるものとする。

ここで、図１５を参照して、このデジタルカメラ１による手ぶれの動きに対する追従性について説明する。

今、動画撮影時における画像の動き量が図１５（ａ）のような状態であったとする。この動き量には、ユーザの意図しない手ぶれによる動きの他に、ユーザがカメラを意図的にパーンしたときの動きが含まれている。また、ユーザによる意図的なパーンであっても、実際に再生して見ると動きが激し過ぎて見苦しい場合があり、このような画像の動きについても、手ぶれと同じように除去することが望ましい。ここでは、手ぶれや過度のパーンなどを含めた好ましくない画像の動き成分のことを手ぶれ成分（手ぶれベクトル）と呼び、それ以外の適正なパーンによる好ましい画像の動き成分のことをパーン成分（パーンベクトル）と呼ぶこととする。また、画像の動きの中から手ぶれ成分を除去する処理のことを手ぶれ補正処理と呼ぶこととする。

しかしながら、除去すべき手ぶれ成分とそれ以外のパーン成分とを実際に動画を再生して見る前に切り分けることは難しい。ここでの追従性とは、どこまでが手ぶれ成分で、どこからがパーン成分かを動的に切り分けるための指針であり、この追従性に応じて手ぶれ補正処理を行う際の手ぶれ補正の度合いを変化させる。

図１５（ｂ）および図１５（ｃ）は、図１５（ａ）の状態から、手ぶれ成分を除去してパーン成分だけとなった状態を表したものである。

図１５（ｂ）は追従性を低く設定した場合の画像の動き量を表している。追従性を低く設定した場合には、各フレームの画像データに対する手ぶれ補正の度合いが低くなり（画像全体の動きの中で、手ぶれとみなされる動き成分の割合がより少なくなり）、手ぶれによる小さな動きによって各フレーム毎に画面からはみ出してしまう部分が補正されることになる。これに対し、図１５（ｃ）は追従性を高く設定した場合の画像の動き量を表している。追従性を高く設定した場合には、各フレームの画像データに対する手ぶれ補正の度合いが高くなり（画像全体の動きの中で、手ぶれとみなされる動き成分の割合がより多くなり）、手ぶれの他にカメラのパーンによる大きな動きも含めて、各フレーム毎に画面からはみ出してしまう部分が補正されることになる。

また、上述した第１の実施形態において、撮影者が図９のＰｃで示される被写体をフレームの中央に収めるべくカメラをパーンさせていた場合には、Ｐｃが基準被写体として特定される場合もあることを説明したが、このＰｃで示される被写体が非常に小さいものであったり、撮影者が意図する被写体ではなかった場合には、該被写体を基準被写体とするのは好ましくない。そこで、各被写体部分が基準被写体として特定されるための条件を画像データ全体に占める各被写体部分の画素割合によって指定できるようにする。

図１３のフローチャートに戻って、被写体を判定するための画素割合を設定する場合において、前記設定画面７１上の項目７４〜７６のいずれか１つをカーソル等により選択すると（ステップＤ１４のＹｅｓ）、その選択項目に対応した画素割合が設定情報として図２に示す制御部３２の設定記憶部３２ａに記憶される（ステップＤ１５）。ここでは、前記項目７４の選択により「割合Ａ」が設定され、前記項目７５の選択により「割合Ｂ」が設定され、前記項目７６の選択により「割合Ｃ」が設定される。なお、「割合Ａ」、「割合Ｂ」、「割合Ｃ」の順で割合が大きくなるものとする。また、ユーザにより判定用画素の割合が指定されなかった場合には、例えばデフォルトとして「割合Ａ」が設定されるものとする。

次に、第２の実施形態における手ぶれ情報付加処理について説明する。

図１６は第２の実施形態における手ぶれ情報付加処理の動作を示すフローチャートである。なお、基本的な処理の流れは図６と同じであり、異なる点は手ぶれ補正の追従性と判定用画素の割合の設定情報を加味して処理が行われることである。

まず、メモリ３８の中で手ぶれ情報を付加する動画ファイルが特定される（ステップＥ１１）。これは、例えばユーザが所定の操作により手ぶれ情報を付加する動画ファイルを明示的に指示することで行なわれる。手ぶれ情報を付加する動画ファイルが特定されると、その動画ファイル（動画データ）を構成する各フレーム画像を順次処理するためのフレーム位置（ポインタ）が初期化された後（ステップＥ１２）、以下のような手順で手ぶれ情報ファイルが作成される。

すなわち、現フレーム位置より前にある複数のフレーム画像が比較されて、各画素毎に動きベクトル（移動方向および移動量）が検出される（ステップＥ１３）。続いて、この検出された各画素の動きベクトルに基づいて、同じ動きベクトルを持つ画素同士がグループ化される（ステップＥ１４）。

ここで、前記設定画面７１で設定された判定用画素割合以上の画素数で構成されるグループの中で最も移動量の少ないグループが基準被写体、その他のグループが移動被写体として特定される（ステップＥ１５）。この場合、判定用画素の割合が小さいほど、例えば小さな虫なども含めて被写体の判定がなされることになる。

このようにして基準被写体が特定されると、その基準被写体の動きベクトルが現フレームの撮影時におけるカメラのパーンまたは手ぶれによって生じたカメラの移動ベクトルとして、図示せぬワークメモリなどに一時記憶される（ステップＥ１６）。

続いて、前記設定記憶部３２ａに設定されている手ぶれ追従性の度合いに応じて、平均化フレーム数が決定される（ステップＥ１７）。図１４で説明したように、この手ぶれ追従性の度合いは事前にユーザが任意に指定可能であり、追従性が高いほど、平均化フレーム数が多くなり、結果的に手ぶれ補正の度合いが高くなる。

平均化フレーム数が決定されると、現フレーム位置より前の平均化フレーム数分のフレーム画像に対応して得られたカメラ移動ベクトルの平均値からカメラのパーンベクトルが求められる（ステップＥ１８）。そして、前記ステップＥ１６で得られた現フレーム位置におけるカメラの移動ベクトルと、前記ステップＥ１８で得られたカメラのパーンベクトルとの差分から現フレーム位置における手ぶれベクトルが求められる（ステップＥ１９）。

このようにして求められた手ぶれベクトルは、当該フレームに付加された番号と対応付けられて、手ぶれ情報ファイルに追加記憶される（ステップＥ２０）。

以後同様にして、次の処理対象となるフレーム位置が順次更新されて（ステップＥ２１，Ｅ２２）、そのフレーム位置における手ぶれベクトルが手ぶれ情報ファイルに追加記憶される（ステップＥ１３〜Ｅ２０）。そして、すべてのフレームに対する処理が終了した時点で（ステップＥ２１のＮｏ）、手ぶれ情報ファイルが当該動画ファイルに関連付けられてメモリ３８に記録されて（ステップＥ２３）、ここでの手ぶれ情報付加処理が終了する。

以上のように、手ぶれ追従性の度合いや判定用画素の割合が任意に設定された手ぶれ情報ファイルが作成される。この手ぶれ情報ファイルは、上述したように再生表示時に動画ファイルを手ぶれ補正するときに利用される。この場合、例えば手ぶれ追従性が高めに設定された手ぶれ情報ファイルであれば、図１５で説明したように、手ぶれだけでなく、カメラの過度のパーンを含めた動きが補正されることになる。

また、図１７に示すように、１つの動画ファイルに対して、複数の手ぶれ情報ファイルを付加しておくことでも可能である。この場合、再生表示時や再記録時にユーザが所望の手ぶれ情報ファイルを指定することにより、その指定された手ぶれ情報ファイルに基づいて当該動画ファイルに対する手ぶれ補正処理が行われることになる。

図１７の例では、動画ファイル１に対して、手ぶれ追従性が高めに設定された手ぶれ情報ファイル１−ａと、手ぶれ追従性が低めに設定された手ぶれ情報ファイル１−ｂとが関連付けられている。

また、別の動画ファイル２には、手ぶれ追従性が高めに設定された手ぶれ情報ファイル２−ａと、手ぶれ追従性が低めに設定された手ぶれ情報ファイル２−ｂと、さらに、手ぶれ情報ファイル２−ｃとが関連付けられている。この手ぶれ情報ファイル２−ｃは、図２に示すジャイロセンサ４２によって検出した手ぶれ情報をファイル化したものである。デジタルカメラ１にジャイロセンサ４２が搭載されている場合には、動画撮影時にカメラの動きから手ぶれ情報を検出することができる。

なお、前記第２の実施形態では、ユーザが手ぶれ追従性の度合い（低い／高い）を指定し、その指定された手ぶれ追従性の度合いに応じて平均化フレーム数を決定することで、結果的に手ぶれ補正の度合いを変更するものとしたが、他の方法により手ぶれ補正の度合いを変更することでも良い。

また、前記各実施形態では、デジタルカメラを例にして説明したが、本発明はこれに限る者ではなく、例えばデジタルムービカメラの他、同様の動画撮像機能を備えた携帯電話やＰＤＡ（Personal Digital Assistant）などにも適用可能である。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

図１は本発明の第１の実施形態に係る撮像装置として動画撮影可能なデジタルカメラを例にした場合の外観構成を示す図である。 図２は同実施形態におけるデジタルカメラの電子回路構成を示すブロック図である。 図３は同実施形態におけるデジタルカメラの動画ファイルと手ぶれ情報ファイルとの関係を示す図である。 図４は同実施形態における動画データの再生表示時に手ぶれ補正の有無を指定するための補正指定画面の一例を示す図である。 図５は同実施形態における動画データの再記録時に保存方法を指定するための保存方法指定画面の一例を示す図である。 図６は同実施形態におけるデジタルカメラによる手ぶれ情報付加処理の動作を示すフローチャートである。 図７は同実施形態におけるデジタルカメラによる動画データの再生表示処理の動作を示すフローチャートである。 図８は同実施形態におけるデジタルカメラによる動画データの再記録処理の動作を示すフローチャートである。 図９は動画撮影時に得られる動画データの各フレーム画像の一例を示す図である。 図１０は前記動画データの各フレーム画像から手ぶれ領域以外の部分を切り出す場合の一例を示す図である。 図１１は前記切り出した画像データを表示デバイスの解像度に合わせて表示する場合の一例を示す図である。 図１２は前記デジタルカメラによる動画撮影処理、手ぶれ情報付加処理、再記録処理、再生表示処理を並行処理する場を示す図である。 図１３は本発明の第２の実施形態におけるデジタルカメラによる設定処理を示すフローチャートである。 図１４は同実施形態における手ぶれ追従性の度合いと判定用画素の割合の設定画面の一例を示す図である。 図１５は同実施形態におけるデジタルカメラによる手ぶれ追従性を説明するための図である。 図１６は同実施形態におけるデジタルカメラによる手ぶれ情報付加処理の動作を示すフローチャートである。 図１７は同実施形態におけるデジタルカメラの動画ファイルと手ぶれ情報ファイルとの関係を示す図である。

符号の説明

１…デジタルカメラ、２…ボディ、３…撮影レンズ、４…セルフタイマランプ、５…光学ファインダ窓、６…ストロボ発光部、７…マイクロホン部、８…電源キー、９…シャッタキー、１０…撮影モードキー、１１…再生モードキー、１２…光学ファインダ、１３…スピーカ部、１４…マクロキー、１５…ストロボキー、１６…メニュー（ＭＥＮＵ）キー、１７…リングキー、１８…セット（ＳＥＴ）キー、１９…表示部、２０ａ，２０ｂ…ズームキー、２１…モータ、２２…レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…ドライバ、２６…サンプルホールド回路（Ｓ／Ｈ）、２７…Ａ／Ｄ変換器、２８…画像処理回路、２９…ＤＭＡコントローラ、３０…ＤＲＡＭインタフェース（Ｉ／Ｆ）、３１…ＤＲＡＭ、３２…制御部、３２ａ…設定記憶部、３３…ＶＲＡＭコントローラ、３４…ＶＲＡＭ、３５…デジタルビデオエンコーダ、３６…キー入力部、３７…ＪＰＥＧ回路、３８…メモリ、３９…音声処理部、４０…ＵＳＢインタフェース（Ｉ／Ｆ）、４１…ストロボ駆動部、５１…補正指定画面、６１…保存方法指定画面、７１…手ぶれ追従性と判定用画素割合の設定画面。

Claims (12)

1. 撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得する動画撮影手段と、
   この動画撮影手段によって得られた動画データに対する手ぶれ情報を生成する手ぶれ情報生成手段と、
   手ぶれ補正するか否かを指定する補正指定手段と、
   この補正指定手段による手ぶれ補正の指定に応じて、前記手ぶれ情報生成手段で生成された手ぶれ情報に基づいて前記動画撮影手段により取得された動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録する動画処理手段と
   を具備したことを特徴とする撮像装置。
2. 前記動画撮影手段により取得された動画データを、少なくとも記録状態の変更が指示されるまでの間、手ぶれ補正に伴う画素欠落のない状態で記録保存する記録手段を備え、
   前記補正指定手段は、前記動画撮影手段による動画データの取得後の任意のタイミングで当該動画データを手ぶれ補正するか否かをユーザに指定させ、
   前記動画処理手段は、前記補正指定手段により手ぶれ補正することが指定された場合に、前記記録手段に手ぶれ補正に伴う画素欠落のない状態で記録保存されている動画データに対して手ぶれ補正処理を行うことを特徴とする請求項１記載の撮像装置。
3. 前記手ぶれ情報生成手段によって生成された手ぶれ情報を前記動画撮影手段により取得された動画データと関連付けて記録保存する記録手段を備え、
   前記補正指定手段は、前記記録手段に記録保存されている任意の動画データに対して手ぶれ補正するか否かを指定し、
   前記動画処理手段は、前記補正指定手段により手ぶれ補正すると指定された動画データに対して、該動画データに対応して前記記録手段に記録保存されている手ぶれ情報に基づいて手ぶれ補正処理を行うことを特徴とする請求項１記載の撮像装置。
4. 前記補正指定手段は、手ぶれ補正の度合いを指定することを含み、
   前記動画処理手段は、前記補正指定手段によって指定された手ぶれ補正の度合いに応じて前記動画データの補正後の手ぶれ状態が変化するように前記手ぶれ補正処理を制御することを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. 再記録時における動画データの保存方法を指定する保存方法指定手段を備え、
   前記動画処理手段は、前記保存方法指定手段によって指定された保存方法に従って、前記補正後の動画データを前記記録手段に再記録することを特徴とする請求項２または３記載の撮像装置。
6. 前記保存方法には、上書き保存と新規保存が含まれ、
   前記動画処理手段は、前記保存方法指定手段によって前記上書き保存が指定された場合には前記補正後の動画データを前記記録手段に元の動画データに代わって再記録し、前記新規保存が指定された場合には前記補正後の動画データを前記記録手段の元の動画データとは別の領域に再記録することを特徴とする請求項５記載の撮像装置。
7. 動きの異なる複数の被写体が撮影された動画データ上において、手ぶれを判定するための基準となる基準被写体を特定する特定手段を備え、
   前記手ぶれ情報生成手段は、前記特定手段によって特定された基準被写体の動きに着目した手ぶれ情報を生成することを特徴とする請求項１記載の撮像装置。
8. 被写体判定のための画素割合を指定する画素割合指定手段を備え、
   前記特定手段は、前記画素割合指定手段によって指定された画素割合に基づいて前記基準被写体を特定することを特徴とする請求項７記載の撮像装置。
9. 撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得するステップと、
   前記動画データの手ぶれの動きを示す手ぶれ情報を生成するステップと、
   手ぶれ補正するか否かを指定するステップと、
   手ぶれ補正が指定された場合に、前記手ぶれ情報に基づいて前記動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録するステップと
   を含むことを特徴とする動画処理方法。
10. 動画撮影機能を備えた撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得する機能と、
    前記動画データの手ぶれの動きを示す手ぶれ情報を生成する機能と、
    手ぶれ補正するか否かを指定する機能と、
    手ぶれ補正が指定された場合に、前記手ぶれ情報に基づいて前記動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録する機能と
    を実現させることを特徴とするプログラム。
11. 撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得するステップと、
    前記動画データの手ぶれの動きを示す手ぶれ情報を生成するステップと、
    この生成された手ぶれ情報を動画データと関連付けて所定のメモリに記録するステップと、
    手ぶれ補正するか否かを指定するステップと、
    手ぶれ補正が指定された場合に、前記メモリに記録された動画データに対応した手ぶれ情報に基づいて当該動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録するステップと
    を含むことを特徴とする動画処理方法。
12. 動画撮影機能を備えた撮像装置に搭載されたコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    撮像素子から連続的に出力される各フレームの画像データを動画データとして手ぶれ補正に伴う画素欠落のない状態で取得する機能と、
    前記動画データの手ぶれの動きを示す手ぶれ情報を生成する機能と、
    この生成された手ぶれ情報を動画データと関連付けて所定のメモリに記録する機能と、
    手ぶれ補正するか否かを指定する機能と、
    手ぶれ補正が指定された場合に、前記メモリに記録された動画データに対応した手ぶれ情報に基づいて当該動画データの手ぶれ補正処理を行い、その手ぶれ補正後の動画データを再生表示または再記録する機能と
    を実現させることを特徴とするプログラム。

Images