JP4784297B2

JP4784297B2 - 撮影済み動画像の手振れ補正装置及び手振れ補正方法

Info

Publication number: JP4784297B2
Application number: JP2005361502A
Authority: JP
Inventors: 耕次北
Original assignee: NK Works Co Ltd
Current assignee: Noritsu Precision Co Ltd
Priority date: 2005-12-15
Filing date: 2005-12-15
Publication date: 2011-10-05
Anticipated expiration: 2025-12-15
Also published as: JP2007164570A

Description

本発明は、撮影済み動画像の手振れ補正装置及び手振れ補正方法に関する。

近年、小型軽量ビデオカメラの中には、手振れ補正装置を備えたものがある。前記手振れ補正装置には、ジャイロや高速シャッターの採用によって撮影時に手振れを吸収することで、動画像に対して手振れの影響が起こりにくくする手振れ予防装置と、手振れの状態で撮影した動画像に対して、画像処理によって手振れの影響を補正除去する手振れ補正装置とがある。

画像処理によって手振れの影響を補正除去する手振れ補正装置としては、例えば、特許文献１に示すように、動画イメージデータのフレーム内で指定された特徴をもつ部分の位置情報を算出する代表画像データ捜索部と、前記代表画像データの位置情報の変化から代表画像データのベクトル情報を算出するベクトル算出部と、前記ベクトル算出部からの情報から手振れ状態を監視するベクトル推移監視部と、このベクトル推移監視部からの情報によりオリジナルイメージフレームを補正しろの範囲で切り出すイメージ切り出し処理部とを有することで、編集後の画像サイズが、編集前の画像サイズよりも小さくなるものの、小刻みに変動する画像を、変動しないように補正する技術が提案されている。

特開平１０−１３６３０４号公報

しかし、上述した従来技術では、編集後の画像サイズが、編集前の画像サイズよりも小さくなるため、画像の表示範囲が狭くなってしまうという問題があった。

本発明は、上述した従来の問題点に鑑み、動画像の表示範囲を撮影した画枠と比べて狭くすることなく、撮影済み動画像の手振れを補正することが可能な撮影済み動画像の手振れ補正装置及び手振れ補正方法を提供することを目的とする。

上述の目的を達成するため、本発明による撮影済み動画像の手振れ補正装置の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別手段と、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別手段と、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成手段と、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生手段とを備えてなる点にある。

上述の構成によれば、前記動画像再生手段が、移動ベクトルに基づいて各フレーム画像の画面の振れを補正するとともに、補正により生じる画像欠損部を前記情景画像から補完して新たなフレーム画像を生成するため、例えば、新たなフレーム画像の画像サイズを任意のフレーム画像と同一画像サイズとすれば、画像の表示範囲を狭くすることなく、撮影済み動画像の手振れを補正することができるのである。

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記合成処理は時系列的に変動するフレーム画像を重ね合わせ処理する点にあり、前記情景画像生成手段は、確実に情景画像を生成することができるのである。

同第三の特徴構成は、同請求項３に記載した通り、上述の第一特徴構成に加えて、前記合成処理は時系列的に変動するフレーム画像を順次貼り付け処理する点にあり、前記情景画像生成手段は、確実に情景画像を生成することができるのである。

同第四の特徴構成は、同請求項４に記載した通り、上述の第一特徴構成に加えて、前記合成処理は任意のフレーム画像に対する情景画像を、時間的に前後するフレーム画像から求められる動体をその変位速度に基づいて予測される位置に変位させた画像として生成する点にある。

本発明による撮影済み動画像の手振れ補正方法の第一の特徴構成は、同請求項５に記載した通り、所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別ステップと、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別ステップと、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成ステップと、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生ステップからなる点にある。

以上説明した通り、本発明によれば、動画像の表示範囲を狭くすることなく、撮影済み動画像の手振れを補正することが可能な撮影済み動画像の手振れ補正装置及び手振れ補正方法を提供することができるようになった。

以下、本発明による撮影済み動画像の手振れ補正装置及び手振れ補正方法の実施形態について説明する。前記撮影済み動画像の手振れ補正装置の機能ブロック構成は図１に示すように、動画像としての連続する複数のフレーム画像が記録される動画像記録手段１０と、前記動画像の任意のフレーム画像から抽出される複数の注目画素としての代表画像が、前記任意のフレーム画像と連続するフレーム画像に存在するときに、前記任意のフレーム画像とそれに連続するフレーム画像とが同一シーンを撮影したフレーム画像であると判別するシーン判別手段１１と、前記任意のフレーム画像及び同一シーンと判別された連続するフレーム画像間で、前記各代表画像の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別手段１２と、手振れ画像と判別された各フレーム画像を所定の注目画素における代表画像が一致するように合成処理して情景画像を生成する情景画像生成手段１３と、前記移動ベクトルに基づいて各フレーム画像の画面の振れを補正するとともに、補正により生じる画像欠損部を前記情景画像から補完して新たなフレーム画像を生成する動画像再生手段１４を備えて構成されている。尚、前記動画像記録手段１０に記録される動画像Ｍｓは、図２に示すように、連続した複数のフレーム画像Ｆｐ（ｉ）から構成されている。

前記シーン判別手段１１は、任意のフレーム画像Ｆｐ（ｉ）から複数の代表画像を抽出する代表画像抽出手段１５と、前記任意のフレーム画像Ｆｐ（ｉ）から所定のフレーム画像数Ｎａ１前まで連続する各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記任意のフレーム画像Ｆｐ（ｉ）から所定のフレーム画像数Ｎａ２後まで連続する各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）のそれぞれに、前記任意のフレーム画像Ｆｐ（ｉ）から抽出された各代表画像と同一の画像が存在しているか否かに基づいて、前記任意のフレーム画像Ｆｐ（ｉ）とそれに連続する前記前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）または前記後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）が、同一シーンを撮影したフレーム画像であるか否かを判別する代表画像判別手段１６を備えて構成されている。

前記代表画像抽出手段１５は、例えば、図３に示すように、任意のフレーム画像Ｆｐ（ｉ）における、予め設定されている複数の注目画素領域Ｅｒ（ｊ）の画像を、それぞれ代表画像Ｐｐ（ｉ，ｊ）として抽出するように構成されている。

尚、代表画像Ｐｐ（ｉ，ｊ）は、フレーム画像において略１０画素単位で選択されるものが好ましく、例えば地上波アナログ放送に対応するＳＤ規格である７２０×４８０画素データでは７０×５０画素程度、ハイビジョン放送に対応するＨＤ規格である１９２０×１０８０画素データでは１９０×１００画素程度となるように抽出される。

前記代表画像判別手段１６は、前記各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）のそれぞれに、前記各代表画像Ｐｐ（ｉ，ｊ）と同一の画像が存在しているか否かを判別し、前記各代表画像Ｐｐ（ｉ，ｊ）の何れの代表画像もが存在しているフレーム画像を、前記任意のフレーム画像Ｆｐ（ｉ）と同一シーンを撮影したフレーム画像であると判別するように構成されている。

前記手振れ画像判別手段１２は、前記代表画像判別手段１６により、前記各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）、及び、前記各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）の何れもが、前記任意のフレーム画像Ｆｐ（ｉ）と同一シーンを撮影したフレーム画像と判別されたときに、前記任意のフレーム画像Ｆｐ（ｉ）をも含めた連続フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）（以下、「単位動画像Ｍｐ（ｉ）」とも記す）において、図４に示すように、前後のフレーム画像間での前記各代表画像Ｐｐ（ｉ，ｊ）の移動方向及び移動量を表す移動ベクトルＢｅ（ｊ）を夫々生成するとともに、図５（ａ）、図５（ｂ）に示すように、前記各移動ベクトルのＸ軸方向成分Ｂｘ（ｊ）と、Ｙ軸方向成分Ｂｙ（ｊ）の変動特性を、前記代表画像Ｐｐ（ｉ，ｊ）毎に生成し、前記各変動特性に基づいて、前記単位動画像Ｍｐ（ｉ）が手振れ画像であるか否かを判別するように構成されている。

前記手振れ画像の判別は、例えば、手振れ画像の特徴として、動画像の画面全体が特定方向に小刻みに揺れることで、前記各代表画像Ｐｐ（ｉ，ｊ）における移動ベクトルの変動特性が等しく、且つ、前記Ｘ軸方向成分またはＹ軸方向成分の変動特性の少なくとも一方がｓｉｎカーブとなる特徴があるため、前記各移動ベクトルの変動特性が、このようになるときに、前記単位動画像Ｍｐ（ｉ）が手振れ画像であると判別するように構成されている。

前記情景画像生成手段１３は、前記手振れ画像判別手段１２により手振れ画像と判別された単位動画像Ｍｐ（ｉ）を、図６に示すように、前記単位動画像Ｍｐ（ｉ）を構成する前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように合成処理することで情景画像Ｓｐ（ｉ）を生成するように構成されている。

ここで、前記情景画像Ｓｐ（ｉ）は、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように合成処理しているため、前記単位動画像Ｍｐ（ｉ）が上述のような手振れ画像であったときには、前記任意のフレーム画像Ｆｐ（ｉ）の画像サイズよりも、大きな画像サイズのフレーム画像として生成される。

尚、前記合成処理は、時系列的に変動するフレーム画像、つまり、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）を重ね合わせ処理してもよいし、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）を順次貼り付け処理してもよい。つまり、各フレーム画像の重複領域における画像が、重複する各フレーム画像の平均画像となるように合成処理してもよいし、各フレーム画像の重複領域における画像が、最新時のフレーム画像に順次更新されていくといった合成処理を行ってもよい。何れにしても、前記情景画像Ｓｐ（ｉ）が、前記単位動画像Ｍｐ（ｉ）の画像範囲を補った画像サイズのフレーム画像となるように生成される構成となっていればよい。

更に、前記合成処理は、任意のフレーム画像Ｆｐ（ｉ）に対する情景画像Ｓｐ（ｉ）を、時間的に前後するフレーム画像、つまり、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）から求められる動体をその変位速度に基づいて予測される位置に変位させた画像として生成してもよい。

前記動画像再生手段１４は、前記情景画像生成手段１３により生成された情景画像Ｓｐ（ｉ）から、図７に示すように、前記情景画像Ｓｐ（ｉ）の中心位置Ｓｏと、その中心位置Ｈｏが一致するように、前記任意のフレーム画像Ｆｐ（ｉ）と同一画像サイズのサンプル画像Ｈｐ（ｉ）を抽出するように構成されている。

また、前記動画像再生手段１４は、図８（ａ）に示すように、前記サンプル画像Ｈｐ（ｉ）における各代表画像Ｐｐ（ｉ，ｊ）と、前記任意のフレーム画像Ｆｐ（ｉ）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように互いの画像領域を重ね合わせ、図８（ｂ）に示すように、前記互いの画像領域が一致する一致領域Ｒｅを、前記任意のフレーム画像Ｆｐ（ｉ）の画像とするとともに、前記任意のフレーム画像Ｆｐ（ｉ）からはみ出した前記サンプル画像Ｈｐ（ｉ）のはみ出し領域Ｒｄを、前記サンプル画像Ｈｐ（ｉ）の画像とした、前記任意のフレーム画像Ｆｐ（ｉ）または前記サンプル画像Ｈｐ（ｉ）と同一画像サイズで、且つ、前記サンプル画像Ｈｐ（ｉ）と同一画像領域の新たなフレーム画像Ｎｐ（ｉ）を生成するように構成されている。尚、前記サンプル画像Ｈｐ（ｉ）からはみ出した前記任意のフレーム画像Ｆｐ（ｉ）のはみ出し領域Ｒｏは、切り捨てられるように構成されている。

以下、撮影済み動画像の手振れ補正装置の動作について、図９、図１０のフローチャートに基づいて説明する。前記動画像記録手段１０に、所定数Ａｘの連続したフレーム画像からなる動画像Ｍｓが記録されると、前記シーン判別手段１１は、前記動画像Ｍｓから任意のフレーム画像Ｆｐ（ｉ）を抽出する（ＳＡ１）。

任意のフレーム画像Ｆｐ（ｉ）が抽出されると、前記代表画像抽出手段１５は、前記抽出されたフレーム画像Ｆｐ（ｉ）から、予め設定されている複数の注目画素領域Ｅｒ（ｊ）における画像を、それぞれ代表画像Ｐｐ（ｉ，ｊ）として抽出する（ＳＡ２）。

前記代表画像判別手段１６は、前記任意のフレーム画像Ｆｐ（ｉ）から所定のフレーム画像数Ｎａ１前まで連続する各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記任意のフレーム画像Ｆｐ（ｉ）から所定のフレーム画像数Ｎａ２後まで連続する各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）を抽出する（ＳＡ３）。

ここで、前記所定のフレーム画像数Ｎａ１及び前記所定のフレーム画像数Ｎａ２は、前記任意のフレーム画像Ｆｐ（ｉ）をも含めた、前記フレーム画像Ｆｐ（ｉ−Ｎａ１）から前記フレーム画像Ｆｐ（ｉ＋Ｎａ２）までの前記単位動画像Ｍｐ（ｉ）が、１秒以内の動画像となるように設定されることが好ましい。例えば、１秒間の動画像が３０コマのフレーム画像から構成されているときには、Ｎａ２−Ｎａ１≦３０に設定されることが好ましい。

尚、フレーム画像番号が、Ｎａ１＞ｉや、ｉ＞Ａｘ−Ｎａ２となることにより、フレーム画像に割り当てられていないフレーム画像番号が生じるときには、そのフレーム画像の抽出を省いた状態で、以下の処理が継続される。

前記代表画像判別手段１６は、前記前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）毎に、前記各代表画像Ｐｐ（ｉ，ｊ）と同一の画像の全てが存在しているか否かを判別し（ＳＡ４）、前記各代表画像Ｐｐ（ｉ，ｊ）の何れの代表画像もが存在しているフレーム画像を、前記任意のフレーム画像Ｆｐ（ｉ）と同一シーンを撮影したフレーム画像であると判別する（ＳＡ５）。また、前記各代表画像Ｐｐ（ｉ，ｊ）のうち、１つでも代表画像が存在していないフレーム画像を、前記任意のフレーム画像Ｆｐ（ｉ）とは異なるシーンを撮影したフレーム画像であると判別する（ＳＡ６）。

前記各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）に対して、前記ステップＳＡ４から前記ステップＳＡ６の処理が終了し（ＳＡ７）、前記各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）の何れもが、前記任意のフレーム画像Ｆｐ（ｉ）と同一シーンを撮影したフレーム画像と判別されると（ＳＡ８）、前記手振れ画像判別手段１２は、前記任意のフレーム画像Ｆｐ（ｉ）をも含めた連続フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）、つまり、前記単位動画像Ｍｐ（ｉ）において、前後のフレーム画像間での前記各代表画像Ｐｐ（ｉ，ｊ）の移動方向及び移動量を表す移動ベクトルＢｅ（ｊ）を夫々生成する（ＳＡ９）。

また、前記手振れ画像判別手段１２は、前記各移動ベクトルのＸ軸方向成分Ｂｘ（ｊ）と、Ｙ軸方向成分Ｂｙ（ｊ）の変動特性を、前記代表画像Ｐｐ（ｉ，ｊ）毎に生成し（ＳＡ１０）、前記各変動特性に基づいて、前記単位動画像Ｍｐ（ｉ）が手振れ画像であるか否かを判別する。

例えば、前記各代表画像Ｐｐ（ｉ，ｊ）における移動ベクトルの変動特性が等しく（ＳＡ１１）、且つ、前記Ｘ軸方向成分またはＹ軸方向成分の変動特性の少なくとも一方がｓｉｎカーブとなっているときに（ＳＡ１２、ＳＡ１３）、前記単位動画像Ｍｐ（ｉ）が手振れ画像であると判別する（ＳＡ１４）。

前記単位動画像Ｍｐ（ｉ）が手振れ画像と判別されると、前記情景画像生成手段１３は、前記単位動画像Ｍｐ（ｉ）を構成する前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）を、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように合成処理することで情景画像Ｓｐ（ｉ）を生成する（ＳＡ１５）。

前記情景画像Ｓｐ（ｉ）が生成されると、前記動画像再生手段１４は、前記生成された情景画像Ｓｐ（ｉ）の中心位置を算出し（ＳＡ１６）、前記算出した情景画像Ｓｐ（ｉ）の中心位置と、その中心位置が一致するように、前記任意のフレーム画像Ｆｐ（ｉ）と同一画像サイズのサンプル画像Ｈｐ（ｉ）を前記情景画像Ｓｐ（ｉ）から抽出する（ＳＡ１７）。

また、前記動画像再生手段１４は、前記サンプル画像Ｈｐ（ｉ）における各代表画像Ｐｐ（ｉ，ｊ）と、前記任意のフレーム画像Ｆｐ（ｉ）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように互いの画像領域を重ね合わせ（ＳＡ１８）、前記互いの画像領域が一致する一致領域Ｒｅを、前記重ね合わせたフレーム画像の画像とするとともに、前記重ね合わせたフレーム画像からはみ出した前記サンプル画像Ｈｐ（ｉ）のはみ出し領域Ｒｏを、前記サンプル画像Ｈｐ（ｉ）における画像とした、前記任意のフレーム画像Ｆｐ（ｉ）または前記サンプル画像Ｈｐ（ｉ）と同一画像サイズで、且つ、前記サンプル画像Ｈｐ（ｉ）と同一画像領域の新たなフレーム画像Ｎｐ（ｉ）を生成する（ＳＡ１９）。

ここで、前記新たなフレーム画像Ｎｐ（ｉ）は、前記任意のフレーム画像Ｆｐ（ｉ）と比較したとき、前記任意のフレーム画像Ｆｐ（ｉ）における画像欠損部が前記情景画像Ｓｐ（ｉ）により補完されたフレーム画像として生成されている。

そして、前記動画像Ｍｓとしての所定数Ａｘの連続したフレーム画像に対して、１フレーム画像毎に、前記ステップＳＡ１から前記ステップＳＡ１９の処理が終了することで（ＳＡ２０、ＳＡ２１）、前記動画像Ｍｓは、前記動画像Ｍｓから手振れの影響を除去した新たな動画像Ｎｍｓに変換される。

つまり、１秒以内の動画像を構成する各フレーム画像は、それらが同一シーンであったときにはほぼ同一画像となるが、手振れ状態で撮影した画像は、このほぼ同一画像であるべき状態のときに、その前後のフレーム画像間において、撮影対象物が小刻みに移動しているため、前記撮影済み動画像の手振れ補正装置では、これを補正している。

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。

例えば、実施例の中で示された代表画像判別手段は、代表画像Ｐｐ（ｉ，ｊ）が存在するかを確認することを示したが、精度を下げても実質問題がないので、代表画像Ｐｐ（ｉ，ｊ）に含まれる画素の所定パーセントが一致することで同一シーンと判断してもよい。

また、移動ベクトルの変動特性を判別する場合、一例としてＸ軸方向成分またはＹ軸方向成分の変動特性の少なくとも一方がｓｉｎカーブとなっているか否かを判断することを記載したが、これはあくまで一例であり、一方向に所定の反復運動が確認された際など手振れ画像と判断する形態などとしてもよい。

撮影済み動画像の手振れ補正装置の機能ブロック構成の説明図動画像を構成する連続したフレーム画像の説明図注目画素領域と代表画像の説明図前後のフレーム画像間での各代表画像の移動ベクトルの説明図移動ベクトルの変動特性の説明図であり、（ａ）はＸ軸方向成分、（ｂ）Ｙ軸方向成分情景画像の説明図情景画像とサンプル画像との関係の説明図（ａ）フレーム画像とサンプル画像の重ね合わせの説明図、（ｂ）新たなフレーム画像の説明図撮影済み動画像の手振れ補正装置の動作を説明するためのフローチャート撮影済み動画像の手振れ補正装置の動作を説明するためのフローチャート

１０：動画像記録手段
１１：シーン判別手段
１２：手振れ画像判別手段
１３：情景画像生成手段
１４：動画像再生手段
１５：代表画像抽出手段
１６：代表画像判別手段

Claims

所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別手段と、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別手段と、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成手段と、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生手段とを備えてなる撮影済み動画像の手振れ補正装置。
前記合成処理は時系列的に変動するフレーム画像を重ね合わせ処理するものである請求項１記載の撮影済み動画像の手振れ補正装置。
前記合成処理は時系列的に変動するフレーム画像を順次貼り付け処理するものである請求項１記載の撮影済み動画像の手振れ補正装置。
前記合成処理は任意のフレーム画像に対する情景画像を、時間的に前後するフレーム画像から求められる動体をその変位速度に基づいて予測される位置に変位させた画像として生成するものである請求項１記載の撮影済み動画像の手振れ補正装置。
所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別ステップと、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別ステップと、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成ステップと、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生ステップからなる撮影済み動画像の手振れ補正方法。