JP4784297B2 - Camera shake correction apparatus and camera shake correction method for captured moving image - Google Patents
Camera shake correction apparatus and camera shake correction method for captured moving image Download PDFInfo
- Publication number
- JP4784297B2 JP4784297B2 JP2005361502A JP2005361502A JP4784297B2 JP 4784297 B2 JP4784297 B2 JP 4784297B2 JP 2005361502 A JP2005361502 A JP 2005361502A JP 2005361502 A JP2005361502 A JP 2005361502A JP 4784297 B2 JP4784297 B2 JP 4784297B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- camera shake
- scene
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
Description
本発明は、撮影済み動画像の手振れ補正装置及び手振れ補正方法に関する。 The present invention relates to a camera shake correction apparatus and a camera shake correction method for a captured moving image.
近年、小型軽量ビデオカメラの中には、手振れ補正装置を備えたものがある。前記手振れ補正装置には、ジャイロや高速シャッターの採用によって撮影時に手振れを吸収することで、動画像に対して手振れの影響が起こりにくくする手振れ予防装置と、手振れの状態で撮影した動画像に対して、画像処理によって手振れの影響を補正除去する手振れ補正装置とがある。 In recent years, some small and light video cameras have a camera shake correction device. The camera shake correction device employs a gyroscope and a high-speed shutter to absorb camera shake during shooting, thereby preventing the effect of camera shake from occurring on a moving image and a moving image shot in the state of camera shake. Thus, there is a camera shake correction device that corrects and removes the influence of camera shake by image processing.
画像処理によって手振れの影響を補正除去する手振れ補正装置としては、例えば、特許文献1に示すように、動画イメージデータのフレーム内で指定された特徴をもつ部分の位置情報を算出する代表画像データ捜索部と、前記代表画像データの位置情報の変化から代表画像データのベクトル情報を算出するベクトル算出部と、前記ベクトル算出部からの情報から手振れ状態を監視するベクトル推移監視部と、このベクトル推移監視部からの情報によりオリジナルイメージフレームを補正しろの範囲で切り出すイメージ切り出し処理部とを有することで、編集後の画像サイズが、編集前の画像サイズよりも小さくなるものの、小刻みに変動する画像を、変動しないように補正する技術が提案されている。
As a camera shake correction apparatus that corrects and removes the influence of camera shake by image processing, for example, as shown in
しかし、上述した従来技術では、編集後の画像サイズが、編集前の画像サイズよりも小さくなるため、画像の表示範囲が狭くなってしまうという問題があった。 However, the above-described conventional technique has a problem that the image display range becomes narrow because the image size after editing is smaller than the image size before editing.
本発明は、上述した従来の問題点に鑑み、動画像の表示範囲を撮影した画枠と比べて狭くすることなく、撮影済み動画像の手振れを補正することが可能な撮影済み動画像の手振れ補正装置及び手振れ補正方法を提供することを目的とする。 In view of the above-described conventional problems, the present invention is a camera shake of a captured moving image that can correct camera shake of the captured moving image without reducing the display range of the moving image compared to the captured image frame. An object of the present invention is to provide a correction device and a camera shake correction method.
上述の目的を達成するため、本発明による撮影済み動画像の手振れ補正装置の第一の特徴構成は、特許請求の範囲の書類の請求項1に記載した通り、所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別手段と、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別手段と、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成手段と、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生手段とを備えてなる点にある。
In order to achieve the above-described object, a first characteristic configuration of a camera-shake correction apparatus for a captured moving image according to the present invention is as follows from a predetermined number of consecutive frame images as described in
上述の構成によれば、前記動画像再生手段が、移動ベクトルに基づいて各フレーム画像の画面の振れを補正するとともに、補正により生じる画像欠損部を前記情景画像から補完して新たなフレーム画像を生成するため、例えば、新たなフレーム画像の画像サイズを任意のフレーム画像と同一画像サイズとすれば、画像の表示範囲を狭くすることなく、撮影済み動画像の手振れを補正することができるのである。 According to the above-described configuration, the moving image reproducing unit corrects the shake of the screen of each frame image based on the movement vector, and complements the image defect portion caused by the correction from the scene image to generate a new frame image. For example, if the image size of a new frame image is the same as that of an arbitrary frame image, it is possible to correct camera shake of a captured moving image without narrowing the image display range. .
同第二の特徴構成は、同請求項2に記載した通り、上述の第一特徴構成に加えて、前記合成処理は時系列的に変動するフレーム画像を重ね合わせ処理する点にあり、前記情景画像生成手段は、確実に情景画像を生成することができるのである。
As described in
同第三の特徴構成は、同請求項3に記載した通り、上述の第一特徴構成に加えて、前記合成処理は時系列的に変動するフレーム画像を順次貼り付け処理する点にあり、前記情景画像生成手段は、確実に情景画像を生成することができるのである。
As described in
同第四の特徴構成は、同請求項4に記載した通り、上述の第一特徴構成に加えて、前記合成処理は任意のフレーム画像に対する情景画像を、時間的に前後するフレーム画像から求められる動体をその変位速度に基づいて予測される位置に変位させた画像として生成する点にある。
In the fourth feature configuration, as described in
本発明による撮影済み動画像の手振れ補正方法の第一の特徴構成は、同請求項5に記載した通り、所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別ステップと、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別ステップと、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成ステップと、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生ステップからなる点にある。
According to the first characteristic configuration of the camera shake correction method for a captured moving image according to the present invention, a plurality of pixels of interest extracted from a predetermined number of consecutive frame images are present in each frame image, as described in
以上説明した通り、本発明によれば、動画像の表示範囲を狭くすることなく、撮影済み動画像の手振れを補正することが可能な撮影済み動画像の手振れ補正装置及び手振れ補正方法を提供することができるようになった。 As described above, according to the present invention, there is provided a camera shake correction device and a camera shake correction method for a captured moving image that can correct camera shake of the captured moving image without narrowing the display range of the moving image. I was able to do it.
以下、本発明による撮影済み動画像の手振れ補正装置及び手振れ補正方法の実施形態について説明する。前記撮影済み動画像の手振れ補正装置の機能ブロック構成は図1に示すように、動画像としての連続する複数のフレーム画像が記録される動画像記録手段10と、前記動画像の任意のフレーム画像から抽出される複数の注目画素としての代表画像が、前記任意のフレーム画像と連続するフレーム画像に存在するときに、前記任意のフレーム画像とそれに連続するフレーム画像とが同一シーンを撮影したフレーム画像であると判別するシーン判別手段11と、前記任意のフレーム画像及び同一シーンと判別された連続するフレーム画像間で、前記各代表画像の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別手段12と、手振れ画像と判別された各フレーム画像を所定の注目画素における代表画像が一致するように合成処理して情景画像を生成する情景画像生成手段13と、前記移動ベクトルに基づいて各フレーム画像の画面の振れを補正するとともに、補正により生じる画像欠損部を前記情景画像から補完して新たなフレーム画像を生成する動画像再生手段14を備えて構成されている。尚、前記動画像記録手段10に記録される動画像Msは、図2に示すように、連続した複数のフレーム画像Fp(i)から構成されている。
Hereinafter, embodiments of a camera shake correction apparatus and a camera shake correction method for a captured moving image according to the present invention will be described. As shown in FIG. 1, the functional block configuration of the camera-shake correction apparatus for a captured moving image includes a moving
前記シーン判別手段11は、任意のフレーム画像Fp(i)から複数の代表画像を抽出する代表画像抽出手段15と、前記任意のフレーム画像Fp(i)から所定のフレーム画像数Na1前まで連続する各前フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i−1)及び前記任意のフレーム画像Fp(i)から所定のフレーム画像数Na2後まで連続する各後フレーム画像Fp(i+1)、Fp(i+2)、・・・、Fp(i+Na2)のそれぞれに、前記任意のフレーム画像Fp(i)から抽出された各代表画像と同一の画像が存在しているか否かに基づいて、前記任意のフレーム画像Fp(i)とそれに連続する前記前フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i−1)または前記後フレーム画像Fp(i+1)、Fp(i+2)、・・・、Fp(i+Na2)が、同一シーンを撮影したフレーム画像であるか否かを判別する代表画像判別手段16を備えて構成されている。
The scene discriminating means 11 continues from the arbitrary frame image Fp (i) to the representative
前記代表画像抽出手段15は、例えば、図3に示すように、任意のフレーム画像Fp(i)における、予め設定されている複数の注目画素領域Er(j)の画像を、それぞれ代表画像Pp(i,j)として抽出するように構成されている。
For example, as shown in FIG. 3, the representative
尚、代表画像Pp(i,j)は、フレーム画像において略10画素単位で選択されるものが好ましく、例えば地上波アナログ放送に対応するSD規格である720×480画素データでは70×50画素程度、ハイビジョン放送に対応するHD規格である1920×1080画素データでは190×100画素程度となるように抽出される。 The representative image Pp (i, j) is preferably selected in units of approximately 10 pixels in the frame image. For example, in the case of 720 × 480 pixel data, which is an SD standard corresponding to terrestrial analog broadcasting, about 70 × 50 pixels. In 1920 × 1080 pixel data, which is an HD standard corresponding to high-definition broadcasting, the data is extracted to have about 190 × 100 pixels.
前記代表画像判別手段16は、前記各前フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i−1)及び前記各後フレーム画像Fp(i+1)、Fp(i+2)、・・・、Fp(i+Na2)のそれぞれに、前記各代表画像Pp(i,j)と同一の画像が存在しているか否かを判別し、前記各代表画像Pp(i,j)の何れの代表画像もが存在しているフレーム画像を、前記任意のフレーム画像Fp(i)と同一シーンを撮影したフレーム画像であると判別するように構成されている。 The representative image discriminating means 16 includes the front frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i−1) and the rear frame images Fp (i + 1). ), Fp (i + 2),..., Fp (i + Na2), it is determined whether or not the same image as each representative image Pp (i, j) exists, and each representative image Pp ( The frame image in which any representative image of i, j) exists is determined to be a frame image obtained by photographing the same scene as the arbitrary frame image Fp (i).
前記手振れ画像判別手段12は、前記代表画像判別手段16により、前記各前フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i−1)、及び、前記各後フレーム画像Fp(i+1)、Fp(i+2)、・・・、Fp(i+Na2)の何れもが、前記任意のフレーム画像Fp(i)と同一シーンを撮影したフレーム画像と判別されたときに、前記任意のフレーム画像Fp(i)をも含めた連続フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)(以下、「単位動画像Mp(i)」とも記す)において、図4に示すように、前後のフレーム画像間での前記各代表画像Pp(i,j)の移動方向及び移動量を表す移動ベクトルBe(j)を夫々生成するとともに、図5(a)、図5(b)に示すように、前記各移動ベクトルのX軸方向成分Bx(j)と、Y軸方向成分By(j)の変動特性を、前記代表画像Pp(i,j)毎に生成し、前記各変動特性に基づいて、前記単位動画像Mp(i)が手振れ画像であるか否かを判別するように構成されている。
The camera shake image
前記手振れ画像の判別は、例えば、手振れ画像の特徴として、動画像の画面全体が特定方向に小刻みに揺れることで、前記各代表画像Pp(i,j)における移動ベクトルの変動特性が等しく、且つ、前記X軸方向成分またはY軸方向成分の変動特性の少なくとも一方がsinカーブとなる特徴があるため、前記各移動ベクトルの変動特性が、このようになるときに、前記単位動画像Mp(i)が手振れ画像であると判別するように構成されている。 For example, as a feature of the hand shake image, the image of the hand shake image is characterized in that the entire moving image screen is shaken in a specific direction in small increments, so that the variation characteristics of the movement vector in each representative image Pp (i, j) are equal, and Since at least one of the variation characteristics of the X-axis direction component or the Y-axis direction component has a sin curve, when the variation characteristics of the respective movement vectors become like this, the unit moving image Mp (i ) Is a camera shake image.
前記情景画像生成手段13は、前記手振れ画像判別手段12により手振れ画像と判別された単位動画像Mp(i)を、図6に示すように、前記単位動画像Mp(i)を構成する前記各フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)における各代表画像Pp(i,j)が一致するように合成処理することで情景画像Sp(i)を生成するように構成されている。 The scene image generation means 13 converts the unit moving images Mp (i) determined as the camera shake images by the camera shake image determination means 12 into the unit moving images Mp (i) as shown in FIG. The representative images Pp (i, j) in the frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i),. As described above, the scene image Sp (i) is generated by performing the synthesizing process.
ここで、前記情景画像Sp(i)は、前記各フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)における各代表画像Pp(i,j)が一致するように合成処理しているため、前記単位動画像Mp(i)が上述のような手振れ画像であったときには、前記任意のフレーム画像Fp(i)の画像サイズよりも、大きな画像サイズのフレーム画像として生成される。 Here, the scene image Sp (i) includes the frame images Fp (i-Na1), Fp (i- (Na1-1)), ..., Fp (i), ..., Fp (i + Na2). ) Are combined so that the representative images Pp (i, j) coincide with each other. Therefore, when the unit moving image Mp (i) is a camera shake image as described above, the arbitrary frame image Fp ( It is generated as a frame image having a larger image size than the image size of i).
尚、前記合成処理は、時系列的に変動するフレーム画像、つまり、前記各フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)を重ね合わせ処理してもよいし、前記各フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)を順次貼り付け処理してもよい。つまり、各フレーム画像の重複領域における画像が、重複する各フレーム画像の平均画像となるように合成処理してもよいし、各フレーム画像の重複領域における画像が、最新時のフレーム画像に順次更新されていくといった合成処理を行ってもよい。何れにしても、前記情景画像Sp(i)が、前記単位動画像Mp(i)の画像範囲を補った画像サイズのフレーム画像となるように生成される構成となっていればよい。 The composition processing is performed in a time-series manner, that is, the frame images Fp (i-Na1), Fp (i- (Na1-1)),..., Fp (i),. Fp (i + Na2) may be overlaid, and the frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i),. -Fp (i + Na2) may be sequentially pasted. In other words, the image in the overlapping area of each frame image may be combined so that it becomes the average image of the overlapping frame images, or the image in the overlapping area of each frame image is sequentially updated to the latest frame image. It is also possible to perform a composition process such as In any case, it is sufficient that the scene image Sp (i) is generated so as to be a frame image having an image size that complements the image range of the unit moving image Mp (i).
更に、前記合成処理は、任意のフレーム画像Fp(i)に対する情景画像Sp(i)を、時間的に前後するフレーム画像、つまり、前記各フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)から求められる動体をその変位速度に基づいて予測される位置に変位させた画像として生成してもよい。 Further, the composition processing is performed by converting a scene image Sp (i) for an arbitrary frame image Fp (i) to temporally follow frame images, that is, the frame images Fp (i-Na1) and Fp (i- ( Na1-1)),..., Fp (i),..., Fp (i + Na2) may be generated as an image that is displaced to a position predicted based on the displacement speed.
前記動画像再生手段14は、前記情景画像生成手段13により生成された情景画像Sp(i)から、図7に示すように、前記情景画像Sp(i)の中心位置Soと、その中心位置Hoが一致するように、前記任意のフレーム画像Fp(i)と同一画像サイズのサンプル画像Hp(i)を抽出するように構成されている。
As shown in FIG. 7, the moving
また、前記動画像再生手段14は、図8(a)に示すように、前記サンプル画像Hp(i)における各代表画像Pp(i,j)と、前記任意のフレーム画像Fp(i)における各代表画像Pp(i,j)が一致するように互いの画像領域を重ね合わせ、図8(b)に示すように、前記互いの画像領域が一致する一致領域Reを、前記任意のフレーム画像Fp(i)の画像とするとともに、前記任意のフレーム画像Fp(i)からはみ出した前記サンプル画像Hp(i)のはみ出し領域Rdを、前記サンプル画像Hp(i)の画像とした、前記任意のフレーム画像Fp(i)または前記サンプル画像Hp(i)と同一画像サイズで、且つ、前記サンプル画像Hp(i)と同一画像領域の新たなフレーム画像Np(i)を生成するように構成されている。尚、前記サンプル画像Hp(i)からはみ出した前記任意のフレーム画像Fp(i)のはみ出し領域Roは、切り捨てられるように構成されている。 Further, as shown in FIG. 8 (a), the moving image reproduction means 14 performs each representative image Pp (i, j) in the sample image Hp (i) and each frame image Fp (i). The image regions are overlapped so that the representative images Pp (i, j) match each other, and as shown in FIG. 8B, the match region Re where the image regions match each other is defined as the arbitrary frame image Fp. The arbitrary frame in which the image of (i) and the protruding area Rd of the sample image Hp (i) protruding from the arbitrary frame image Fp (i) are the images of the sample image Hp (i) It is configured to generate a new frame image Np (i) having the same image size as the image Fp (i) or the sample image Hp (i) and having the same image area as the sample image Hp (i). There. The protruding area Ro of the arbitrary frame image Fp (i) protruding from the sample image Hp (i) is configured to be cut off.
以下、撮影済み動画像の手振れ補正装置の動作について、図9、図10のフローチャートに基づいて説明する。前記動画像記録手段10に、所定数Axの連続したフレーム画像からなる動画像Msが記録されると、前記シーン判別手段11は、前記動画像Msから任意のフレーム画像Fp(i)を抽出する(SA1)。
Hereinafter, the operation of the camera shake correction apparatus for a captured moving image will be described with reference to the flowcharts of FIGS. 9 and 10. When the moving image Ms composed of a predetermined number Ax of continuous frame images is recorded in the moving
任意のフレーム画像Fp(i)が抽出されると、前記代表画像抽出手段15は、前記抽出されたフレーム画像Fp(i)から、予め設定されている複数の注目画素領域Er(j)における画像を、それぞれ代表画像Pp(i,j)として抽出する(SA2)。
When an arbitrary frame image Fp (i) is extracted, the representative
前記代表画像判別手段16は、前記任意のフレーム画像Fp(i)から所定のフレーム画像数Na1前まで連続する各前フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i−1)及び前記任意のフレーム画像Fp(i)から所定のフレーム画像数Na2後まで連続する各後フレーム画像Fp(i+1)、Fp(i+2)、・・・、Fp(i+Na2)を抽出する(SA3)。 The representative image discriminating means 16 is configured so that each of the previous frame images Fp (i-Na1), Fp (i- (Na1-1)), continuous from the arbitrary frame image Fp (i) to a predetermined number of frame images Na1. .., Fp (i−1) and each subsequent frame image Fp (i + 1), Fp (i + 2),..., Fp that continues from the arbitrary frame image Fp (i) to a predetermined number of frame images Na2. (I + Na2) is extracted (SA3).
ここで、前記所定のフレーム画像数Na1及び前記所定のフレーム画像数Na2は、前記任意のフレーム画像Fp(i)をも含めた、前記フレーム画像Fp(i−Na1)から前記フレーム画像Fp(i+Na2)までの前記単位動画像Mp(i)が、1秒以内の動画像となるように設定されることが好ましい。例えば、1秒間の動画像が30コマのフレーム画像から構成されているときには、Na2−Na1≦30に設定されることが好ましい。 Here, the predetermined frame image number Na1 and the predetermined frame image number Na2 are determined from the frame image Fp (i−Na1) including the arbitrary frame image Fp (i) to the frame image Fp (i + Na2). It is preferable that the unit moving image Mp (i) up to) is set to be a moving image within one second. For example, when a 1-second moving image is composed of 30 frame images, it is preferable to set Na2−Na1 ≦ 30.
尚、フレーム画像番号が、Na1>iや、i>Ax−Na2となることにより、フレーム画像に割り当てられていないフレーム画像番号が生じるときには、そのフレーム画像の抽出を省いた状態で、以下の処理が継続される。 When the frame image number is not assigned to the frame image due to Na1> i or i> Ax-Na2, the following processing is performed without extracting the frame image. Will continue.
前記代表画像判別手段16は、前記前フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i−1)及び前記後フレーム画像Fp(i+1)、Fp(i+2)、・・・、Fp(i+Na2)毎に、前記各代表画像Pp(i,j)と同一の画像の全てが存在しているか否かを判別し(SA4)、前記各代表画像Pp(i,j)の何れの代表画像もが存在しているフレーム画像を、前記任意のフレーム画像Fp(i)と同一シーンを撮影したフレーム画像であると判別する(SA5)。また、前記各代表画像Pp(i,j)のうち、1つでも代表画像が存在していないフレーム画像を、前記任意のフレーム画像Fp(i)とは異なるシーンを撮影したフレーム画像であると判別する(SA6)。 The representative image discriminating means 16 includes the front frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i−1) and the rear frame images Fp (i + 1), For each Fp (i + 2),..., Fp (i + Na2), it is determined whether or not all the same images as the representative images Pp (i, j) exist (SA4), and the representative images are determined. A frame image in which any representative image of Pp (i, j) exists is determined to be a frame image obtained by photographing the same scene as the arbitrary frame image Fp (i) (SA5). Further, among the representative images Pp (i, j), a frame image in which no representative image exists is a frame image obtained by photographing a scene different from the arbitrary frame image Fp (i). Discriminate (SA6).
前記各前フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i−1)及び前記各後フレーム画像Fp(i+1)、Fp(i+2)、・・・、Fp(i+Na2)に対して、前記ステップSA4から前記ステップSA6の処理が終了し(SA7)、前記各前フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i−1)及び前記各後フレーム画像Fp(i+1)、Fp(i+2)、・・・、Fp(i+Na2)の何れもが、前記任意のフレーム画像Fp(i)と同一シーンを撮影したフレーム画像と判別されると(SA8)、前記手振れ画像判別手段12は、前記任意のフレーム画像Fp(i)をも含めた連続フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)、つまり、前記単位動画像Mp(i)において、前後のフレーム画像間での前記各代表画像Pp(i,j)の移動方向及び移動量を表す移動ベクトルBe(j)を夫々生成する(SA9)。
Each of the previous frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i−1) and each of the subsequent frame images Fp (i + 1), Fp (i + 2),. For Fp (i + Na2), the processing from step SA4 to step SA6 ends (SA7), and the previous frame images Fp (i-Na1), Fp (i- (Na1-1)), ..., Fp (i-1) and each of the subsequent frame images Fp (i + 1), Fp (i + 2), ..., Fp (i + Na2) are the same as the arbitrary frame image Fp (i). When it is determined that the scene image is a frame image (SA8), the camera shake
また、前記手振れ画像判別手段12は、前記各移動ベクトルのX軸方向成分Bx(j)と、Y軸方向成分By(j)の変動特性を、前記代表画像Pp(i,j)毎に生成し(SA10)、前記各変動特性に基づいて、前記単位動画像Mp(i)が手振れ画像であるか否かを判別する。
In addition, the hand movement
例えば、前記各代表画像Pp(i,j)における移動ベクトルの変動特性が等しく(SA11)、且つ、前記X軸方向成分またはY軸方向成分の変動特性の少なくとも一方がsinカーブとなっているときに(SA12、SA13)、前記単位動画像Mp(i)が手振れ画像であると判別する(SA14)。 For example, when the variation characteristics of the movement vectors in the representative images Pp (i, j) are equal (SA11), and at least one of the variation characteristics of the X-axis direction component or the Y-axis direction component is a sin curve. (SA12, SA13), it is determined that the unit moving image Mp (i) is a camera shake image (SA14).
前記単位動画像Mp(i)が手振れ画像と判別されると、前記情景画像生成手段13は、前記単位動画像Mp(i)を構成する前記各フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)を、前記各フレーム画像Fp(i−Na1)、Fp(i−(Na1−1))、・・・、Fp(i)、・・・、Fp(i+Na2)における各代表画像Pp(i,j)が一致するように合成処理することで情景画像Sp(i)を生成する(SA15)。 When the unit moving image Mp (i) is determined as a camera shake image, the scene image generating means 13 uses the frame images Fp (i-Na1), Fp (i) constituting the unit moving image Mp (i). − (Na1-1)),..., Fp (i),..., Fp (i + Na2) are converted into the frame images Fp (i−Na1), Fp (i− (Na1-1)),. .., Fp (i),..., Fp (i + Na2) are combined so that the representative images Pp (i, j) match to generate a scene image Sp (i) (SA15).
前記情景画像Sp(i)が生成されると、前記動画像再生手段14は、前記生成された情景画像Sp(i)の中心位置を算出し(SA16)、前記算出した情景画像Sp(i)の中心位置と、その中心位置が一致するように、前記任意のフレーム画像Fp(i)と同一画像サイズのサンプル画像Hp(i)を前記情景画像Sp(i)から抽出する(SA17)。 When the scene image Sp (i) is generated, the moving image reproduction means 14 calculates the center position of the generated scene image Sp (i) (SA16), and the calculated scene image Sp (i) The sample image Hp (i) having the same image size as that of the arbitrary frame image Fp (i) is extracted from the scene image Sp (i) so that the center position of the image coincides with the center position (SA17).
また、前記動画像再生手段14は、前記サンプル画像Hp(i)における各代表画像Pp(i,j)と、前記任意のフレーム画像Fp(i)における各代表画像Pp(i,j)が一致するように互いの画像領域を重ね合わせ(SA18)、前記互いの画像領域が一致する一致領域Reを、前記重ね合わせたフレーム画像の画像とするとともに、前記重ね合わせたフレーム画像からはみ出した前記サンプル画像Hp(i)のはみ出し領域Roを、前記サンプル画像Hp(i)における画像とした、前記任意のフレーム画像Fp(i)または前記サンプル画像Hp(i)と同一画像サイズで、且つ、前記サンプル画像Hp(i)と同一画像領域の新たなフレーム画像Np(i)を生成する(SA19)。 Further, the moving image reproducing means 14 matches each representative image Pp (i, j) in the sample image Hp (i) with each representative image Pp (i, j) in the arbitrary frame image Fp (i). The image areas are overlapped with each other (SA18), and the coincidence area Re where the image areas coincide with each other is set as an image of the overlapped frame image, and the sample protrudes from the overlapped frame image. The protruding area Ro of the image Hp (i) is an image in the sample image Hp (i), and has the same image size as the arbitrary frame image Fp (i) or the sample image Hp (i), and the sample A new frame image Np (i) in the same image area as the image Hp (i) is generated (SA19).
ここで、前記新たなフレーム画像Np(i)は、前記任意のフレーム画像Fp(i)と比較したとき、前記任意のフレーム画像Fp(i)における画像欠損部が前記情景画像Sp(i)により補完されたフレーム画像として生成されている。 Here, when the new frame image Np (i) is compared with the arbitrary frame image Fp (i), an image defect portion in the arbitrary frame image Fp (i) is caused by the scene image Sp (i). It is generated as a complemented frame image.
そして、前記動画像Msとしての所定数Axの連続したフレーム画像に対して、1フレーム画像毎に、前記ステップSA1から前記ステップSA19の処理が終了することで(SA20、SA21)、前記動画像Msは、前記動画像Msから手振れの影響を除去した新たな動画像Nmsに変換される。 Then, the processing from step SA1 to step SA19 is completed for each frame image with respect to a predetermined number Ax of continuous frame images as the moving image Ms (SA20, SA21), so that the moving image Ms. Is converted into a new moving image Nms from which the influence of camera shake is removed from the moving image Ms.
つまり、1秒以内の動画像を構成する各フレーム画像は、それらが同一シーンであったときにはほぼ同一画像となるが、手振れ状態で撮影した画像は、このほぼ同一画像であるべき状態のときに、その前後のフレーム画像間において、撮影対象物が小刻みに移動しているため、前記撮影済み動画像の手振れ補正装置では、これを補正している。 In other words, each frame image constituting a moving image within one second becomes almost the same image when they are in the same scene, but an image taken in a camera shake state should be the almost same image. Since the object to be photographed is moving little by little between the frame images before and after that, the camera shake correction device for the photographed moving image corrects this.
尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。 Note that the above-described embodiment is merely an example of the present invention, and it is needless to say that the specific configuration and the like of each block can be changed and designed as appropriate within the scope of the effects of the present invention.
例えば、実施例の中で示された代表画像判別手段は、代表画像Pp(i,j)が存在するかを確認することを示したが、精度を下げても実質問題がないので、代表画像Pp(i,j)に含まれる画素の所定パーセントが一致することで同一シーンと判断してもよい。 For example, the representative image discriminating means shown in the embodiment shows that the representative image Pp (i, j) exists, but there is no substantial problem even if the accuracy is lowered. It may be determined that the scenes are the same when a predetermined percentage of the pixels included in Pp (i, j) match.
また、移動ベクトルの変動特性を判別する場合、一例としてX軸方向成分またはY軸方向成分の変動特性の少なくとも一方がsinカーブとなっているか否かを判断することを記載したが、これはあくまで一例であり、一方向に所定の反復運動が確認された際など手振れ画像と判断する形態などとしてもよい。 In addition, when determining the variation characteristic of the movement vector, as an example, it has been described that it is determined whether at least one of the variation characteristic of the X-axis direction component or the Y-axis direction component is a sin curve. It is only an example, and it may be determined as a camera shake image when a predetermined repetitive motion is confirmed in one direction.
10:動画像記録手段
11:シーン判別手段
12:手振れ画像判別手段
13:情景画像生成手段
14:動画像再生手段
15:代表画像抽出手段
16:代表画像判別手段
10: moving image recording means 11: scene discriminating means 12: camera shake image discriminating means 13: scene image generating means 14: moving image reproducing means 15: representative image extracting means 16: representative image discriminating means
Claims (5)
A scene determination step for determining that the same scene is captured when a plurality of target pixels extracted from a predetermined number of consecutive frame images are present in each frame image; and consecutive frames determined to be the same scene A camera shake image determination step for generating a movement vector representing a movement direction and a movement amount of a corresponding pixel of interest between the images, and determining whether the image is a camera shake image based on a variation characteristic of the movement vector; A scene image generation step for generating a scene image by synthesizing the determined frame images so that predetermined pixels of interest coincide with each other, and setting a sample image area of the same size as the frame image at the center position of the scene image The correction target frame is added to the scene image so that the target pixel of the sample image area matches the target pixel of the correction target frame image. Superimposing an image, in the image area of the correction target frame image overlapping the sample image area, a scenery image of the sample image region which does not overlap with the correction target frame image areas, consisting of moving image reproduction step of generating a camera shake correction frame image A method for correcting camera shake of captured video.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005361502A JP4784297B2 (en) | 2005-12-15 | 2005-12-15 | Camera shake correction apparatus and camera shake correction method for captured moving image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005361502A JP4784297B2 (en) | 2005-12-15 | 2005-12-15 | Camera shake correction apparatus and camera shake correction method for captured moving image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007164570A JP2007164570A (en) | 2007-06-28 |
JP4784297B2 true JP4784297B2 (en) | 2011-10-05 |
Family
ID=38247373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005361502A Expired - Fee Related JP4784297B2 (en) | 2005-12-15 | 2005-12-15 | Camera shake correction apparatus and camera shake correction method for captured moving image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4784297B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5003657B2 (en) * | 2008-11-17 | 2012-08-15 | 株式会社Jvcケンウッド | Image stabilization device |
CN108463994B (en) * | 2016-01-15 | 2020-09-18 | 株式会社摩如富 | Image processing apparatus, image processing method, and storage medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3257035B2 (en) * | 1992-05-14 | 2002-02-18 | ソニー株式会社 | Apparatus and method for correcting image vibration |
JP4419499B2 (en) * | 2003-01-07 | 2010-02-24 | セイコーエプソン株式会社 | Image generation device, image displacement amount detection device, image generation method, image displacement amount detection method, image generation program, and image displacement amount detection program |
-
2005
- 2005-12-15 JP JP2005361502A patent/JP4784297B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007164570A (en) | 2007-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101008917B1 (en) | Image processing method and device, and recording medium having recorded thereon its program | |
KR101247645B1 (en) | Display control apparatus, display control method and storage medium | |
CN101795355B (en) | Imaging apparatus and image processing method | |
US20100214422A1 (en) | Recording Apparatus, Reproducing Apparatus, Recording Method, Recording Program, and Computer-Readable Recording Medium | |
JP2009282979A (en) | Image processor and image processing method | |
JP2007328755A (en) | Image processor, image processing method and program | |
JP5729963B2 (en) | Image composition processing apparatus and control method thereof | |
JPWO2005079061A1 (en) | Image processing apparatus, image processing method, and program | |
JP2006094058A (en) | Image processing apparatus, program, and method for pre-process to reproduce stationary image as dynamic image | |
JP4777116B2 (en) | Image processing apparatus and method, and imaging apparatus | |
JP4636979B2 (en) | Imaging apparatus and control method thereof | |
JP2006005452A (en) | Image composite apparatus and image composite system | |
JP4784297B2 (en) | Camera shake correction apparatus and camera shake correction method for captured moving image | |
JP2008164758A (en) | Image restoration device | |
JP5091098B2 (en) | Image composition apparatus, image composition method, and image composition program | |
JP2009044329A (en) | Program, image processing method, and image processor | |
JP6351335B2 (en) | Imaging device, control method thereof, and control program | |
JP5402242B2 (en) | Image reproduction apparatus, imaging apparatus, image reproduction method, and image reproduction program | |
JP6327892B2 (en) | Imaging apparatus and control method thereof | |
JP4934992B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
JP6995490B2 (en) | Video playback device and its control method and program | |
JP2009071857A (en) | Image processing apparatus, image processing method and program | |
JP4665826B2 (en) | Imaging apparatus and image processing program | |
JP2015041865A (en) | Image processing apparatus and image processing method | |
WO2013005477A1 (en) | Imaging device, three-dimensional image capturing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110221 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110221 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110627 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140722 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |