JP4784297B2 - Camera shake correction apparatus and camera shake correction method for captured moving image - Google Patents

Camera shake correction apparatus and camera shake correction method for captured moving image Download PDF

Info

Publication number
JP4784297B2
JP4784297B2 JP2005361502A JP2005361502A JP4784297B2 JP 4784297 B2 JP4784297 B2 JP 4784297B2 JP 2005361502 A JP2005361502 A JP 2005361502A JP 2005361502 A JP2005361502 A JP 2005361502A JP 4784297 B2 JP4784297 B2 JP 4784297B2
Authority
JP
Japan
Prior art keywords
image
frame
camera shake
scene
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005361502A
Other languages
Japanese (ja)
Other versions
JP2007164570A (en
Inventor
耕次 北
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Noritsu Precision Co Ltd
Original Assignee
NK Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NK Works Co Ltd filed Critical NK Works Co Ltd
Priority to JP2005361502A priority Critical patent/JP4784297B2/en
Publication of JP2007164570A publication Critical patent/JP2007164570A/en
Application granted granted Critical
Publication of JP4784297B2 publication Critical patent/JP4784297B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Description

本発明は、撮影済み動画像の手振れ補正装置及び手振れ補正方法に関する。   The present invention relates to a camera shake correction apparatus and a camera shake correction method for a captured moving image.

近年、小型軽量ビデオカメラの中には、手振れ補正装置を備えたものがある。前記手振れ補正装置には、ジャイロや高速シャッターの採用によって撮影時に手振れを吸収することで、動画像に対して手振れの影響が起こりにくくする手振れ予防装置と、手振れの状態で撮影した動画像に対して、画像処理によって手振れの影響を補正除去する手振れ補正装置とがある。   In recent years, some small and light video cameras have a camera shake correction device. The camera shake correction device employs a gyroscope and a high-speed shutter to absorb camera shake during shooting, thereby preventing the effect of camera shake from occurring on a moving image and a moving image shot in the state of camera shake. Thus, there is a camera shake correction device that corrects and removes the influence of camera shake by image processing.

画像処理によって手振れの影響を補正除去する手振れ補正装置としては、例えば、特許文献１に示すように、動画イメージデータのフレーム内で指定された特徴をもつ部分の位置情報を算出する代表画像データ捜索部と、前記代表画像データの位置情報の変化から代表画像データのベクトル情報を算出するベクトル算出部と、前記ベクトル算出部からの情報から手振れ状態を監視するベクトル推移監視部と、このベクトル推移監視部からの情報によりオリジナルイメージフレームを補正しろの範囲で切り出すイメージ切り出し処理部とを有することで、編集後の画像サイズが、編集前の画像サイズよりも小さくなるものの、小刻みに変動する画像を、変動しないように補正する技術が提案されている。   As a camera shake correction apparatus that corrects and removes the influence of camera shake by image processing, for example, as shown in Patent Document 1, a representative image data search that calculates position information of a part having a specified feature in a frame of moving image data A vector calculation unit that calculates vector information of representative image data from a change in position information of the representative image data, a vector transition monitoring unit that monitors a camera shake state from information from the vector calculation unit, and this vector transition monitoring By having an image cutout processing unit that cuts out the original image frame within the range of correction based on information from the unit, the image size after editing is smaller than the image size before editing, but an image that fluctuates in small increments, Techniques have been proposed for correcting so as not to fluctuate.

特開平１０−１３６３０４号公報JP-A-10-136304

しかし、上述した従来技術では、編集後の画像サイズが、編集前の画像サイズよりも小さくなるため、画像の表示範囲が狭くなってしまうという問題があった。   However, the above-described conventional technique has a problem that the image display range becomes narrow because the image size after editing is smaller than the image size before editing.

本発明は、上述した従来の問題点に鑑み、動画像の表示範囲を撮影した画枠と比べて狭くすることなく、撮影済み動画像の手振れを補正することが可能な撮影済み動画像の手振れ補正装置及び手振れ補正方法を提供することを目的とする。   In view of the above-described conventional problems, the present invention is a camera shake of a captured moving image that can correct camera shake of the captured moving image without reducing the display range of the moving image compared to the captured image frame. An object of the present invention is to provide a correction device and a camera shake correction method.

上述の目的を達成するため、本発明による撮影済み動画像の手振れ補正装置の第一の特徴構成は、特許請求の範囲の書類の請求項１に記載した通り、所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別手段と、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別手段と、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成手段と、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生手段とを備えてなる点にある。 In order to achieve the above-described object, a first characteristic configuration of a camera-shake correction apparatus for a captured moving image according to the present invention is as follows from a predetermined number of consecutive frame images as described in claim 1 of the claims. Scene discriminating means for discriminating that the same scene is captured when there are a plurality of extracted target pixels in each frame image, and corresponding pixel of interest between successive frame images discriminated as the same scene A movement vector representing a movement direction and an amount of movement is generated, and a camera shake image determination unit that determines whether the image is a camera shake image based on a variation characteristic of the movement vector, and each frame image determined as a camera shake image is predetermined. samples of the scene image producing means for producing a scene image by combining processed as the pixel of interest matches the frame image the same size in the central position of the scenery image An image area is set, the correction target frame image is superimposed on the scene image, and the correction target frame image is superimposed on the scene image so that the target pixel of the sample image area matches the target pixel of the correction target frame image. The image processing apparatus includes moving image reproduction means for generating a camera shake correction frame image using the region and the scene image of the sample image region that is not superimposed on the correction target frame image region .

上述の構成によれば、前記動画像再生手段が、移動ベクトルに基づいて各フレーム画像の画面の振れを補正するとともに、補正により生じる画像欠損部を前記情景画像から補完して新たなフレーム画像を生成するため、例えば、新たなフレーム画像の画像サイズを任意のフレーム画像と同一画像サイズとすれば、画像の表示範囲を狭くすることなく、撮影済み動画像の手振れを補正することができるのである。   According to the above-described configuration, the moving image reproducing unit corrects the shake of the screen of each frame image based on the movement vector, and complements the image defect portion caused by the correction from the scene image to generate a new frame image. For example, if the image size of a new frame image is the same as that of an arbitrary frame image, it is possible to correct camera shake of a captured moving image without narrowing the image display range. .

同第二の特徴構成は、同請求項２に記載した通り、上述の第一特徴構成に加えて、前記合成処理は時系列的に変動するフレーム画像を重ね合わせ処理する点にあり、前記情景画像生成手段は、確実に情景画像を生成することができるのである。   As described in claim 2, the second feature configuration is that, in addition to the first feature configuration described above, the composition processing is performed by superimposing frame images that change in time series, and the scene The image generation means can reliably generate a scene image.

同第三の特徴構成は、同請求項３に記載した通り、上述の第一特徴構成に加えて、前記合成処理は時系列的に変動するフレーム画像を順次貼り付け処理する点にあり、前記情景画像生成手段は、確実に情景画像を生成することができるのである。   As described in claim 3, the third feature configuration is that, in addition to the first feature configuration described above, the synthesis processing sequentially pastes frame images that change in time series, The scene image generation means can reliably generate a scene image.

同第四の特徴構成は、同請求項４に記載した通り、上述の第一特徴構成に加えて、前記合成処理は任意のフレーム画像に対する情景画像を、時間的に前後するフレーム画像から求められる動体をその変位速度に基づいて予測される位置に変位させた画像として生成する点にある。   In the fourth feature configuration, as described in claim 4, in addition to the first feature configuration described above, the composition processing obtains a scene image for an arbitrary frame image from temporally surrounding frame images. The moving object is generated as an image displaced to a position predicted based on the displacement speed.

本発明による撮影済み動画像の手振れ補正方法の第一の特徴構成は、同請求項５に記載した通り、所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別ステップと、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別ステップと、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成ステップと、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生ステップからなる点にある。 According to the first characteristic configuration of the camera shake correction method for a captured moving image according to the present invention, a plurality of pixels of interest extracted from a predetermined number of consecutive frame images are present in each frame image, as described in claim 5. A scene discrimination step for discriminating that it is a frame image obtained by photographing the same scene from time to time, and generating a movement vector representing a movement direction and a movement amount of a corresponding pixel of interest between successive frame images determined to be the same scene, A camera shake image discriminating step for discriminating whether or not the image is a camera shake image based on the fluctuation characteristics of the movement vector, and a scene image obtained by synthesizing each frame image determined to be a camera shake image so that a predetermined pixel of interest matches. a scene image generation step of generating, by setting the sample image region of the frame image and the same size in the central position of the scene image, the sample image The correction target frame image is superimposed on the scene image so that the target pixel of the area matches the target pixel of the correction target frame image, and an image area of the correction target frame image to be superimposed on the sample image area; A scene image in a sample image area that is not superimposed is composed of a moving image reproduction step for generating a camera shake correction frame image .

以上説明した通り、本発明によれば、動画像の表示範囲を狭くすることなく、撮影済み動画像の手振れを補正することが可能な撮影済み動画像の手振れ補正装置及び手振れ補正方法を提供することができるようになった。   As described above, according to the present invention, there is provided a camera shake correction device and a camera shake correction method for a captured moving image that can correct camera shake of the captured moving image without narrowing the display range of the moving image. I was able to do it.

以下、本発明による撮影済み動画像の手振れ補正装置及び手振れ補正方法の実施形態について説明する。前記撮影済み動画像の手振れ補正装置の機能ブロック構成は図１に示すように、動画像としての連続する複数のフレーム画像が記録される動画像記録手段１０と、前記動画像の任意のフレーム画像から抽出される複数の注目画素としての代表画像が、前記任意のフレーム画像と連続するフレーム画像に存在するときに、前記任意のフレーム画像とそれに連続するフレーム画像とが同一シーンを撮影したフレーム画像であると判別するシーン判別手段１１と、前記任意のフレーム画像及び同一シーンと判別された連続するフレーム画像間で、前記各代表画像の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別手段１２と、手振れ画像と判別された各フレーム画像を所定の注目画素における代表画像が一致するように合成処理して情景画像を生成する情景画像生成手段１３と、前記移動ベクトルに基づいて各フレーム画像の画面の振れを補正するとともに、補正により生じる画像欠損部を前記情景画像から補完して新たなフレーム画像を生成する動画像再生手段１４を備えて構成されている。尚、前記動画像記録手段１０に記録される動画像Ｍｓは、図２に示すように、連続した複数のフレーム画像Ｆｐ（ｉ）から構成されている。   Hereinafter, embodiments of a camera shake correction apparatus and a camera shake correction method for a captured moving image according to the present invention will be described. As shown in FIG. 1, the functional block configuration of the camera-shake correction apparatus for a captured moving image includes a moving image recording unit 10 that records a plurality of continuous frame images as a moving image, and an arbitrary frame image of the moving image. A frame image in which the arbitrary frame image and the continuous frame image are taken from the same scene when a representative image as a plurality of pixels of interest extracted from the frame image is continuous with the arbitrary frame image. A movement vector representing a movement direction and a movement amount of each of the representative images between the scene determination unit 11 that determines that the image is an arbitrary frame image and a continuous frame image that is determined to be the same scene, and Based on the fluctuation characteristics of the movement vector, the camera shake image discriminating means 12 discriminates whether or not the image is a camera shake image, and the camera shake image is discriminated. A scene image generating unit 13 that generates a scene image by synthesizing the frame image so that a representative image at a predetermined pixel of interest matches, and correcting a shake of the screen of each frame image based on the movement vector The moving image reproducing means 14 is configured to generate a new frame image by complementing the image defect portion caused by the above-mentioned scene image. The moving image Ms recorded in the moving image recording means 10 is composed of a plurality of continuous frame images Fp (i) as shown in FIG.

前記シーン判別手段１１は、任意のフレーム画像Ｆｐ（ｉ）から複数の代表画像を抽出する代表画像抽出手段１５と、前記任意のフレーム画像Ｆｐ（ｉ）から所定のフレーム画像数Ｎａ１前まで連続する各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記任意のフレーム画像Ｆｐ（ｉ）から所定のフレーム画像数Ｎａ２後まで連続する各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）のそれぞれに、前記任意のフレーム画像Ｆｐ（ｉ）から抽出された各代表画像と同一の画像が存在しているか否かに基づいて、前記任意のフレーム画像Ｆｐ（ｉ）とそれに連続する前記前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）または前記後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）が、同一シーンを撮影したフレーム画像であるか否かを判別する代表画像判別手段１６を備えて構成されている。   The scene discriminating means 11 continues from the arbitrary frame image Fp (i) to the representative image extracting means 15 for extracting a plurality of representative images and from the arbitrary frame image Fp (i) to a predetermined number of frame images Na1. After each frame image Fp (i-Na1), Fp (i- (Na1-1)),..., Fp (i-1) and the arbitrary frame image Fp (i) after a predetermined number of frame images Na2. In each of the subsequent frame images Fp (i + 1), Fp (i + 2),..., Fp (i + Na2), the same image as each representative image extracted from the arbitrary frame image Fp (i). Based on whether or not it exists, the arbitrary frame image Fp (i) and the previous frame image Fp (i-Na1), Fp (i- (Na1-1)),. (I 1) or representative image discriminating means 16 for discriminating whether or not the subsequent frame images Fp (i + 1), Fp (i + 2),..., Fp (i + Na2) are frame images obtained by photographing the same scene. It is configured.

前記代表画像抽出手段１５は、例えば、図３に示すように、任意のフレーム画像Ｆｐ（ｉ）における、予め設定されている複数の注目画素領域Ｅｒ（ｊ）の画像を、それぞれ代表画像Ｐｐ（ｉ，ｊ）として抽出するように構成されている。   For example, as shown in FIG. 3, the representative image extraction unit 15 converts the images of a plurality of target pixel areas Er (j) set in advance in an arbitrary frame image Fp (i) into representative images Pp ( i, j) is extracted.

尚、代表画像Ｐｐ（ｉ，ｊ）は、フレーム画像において略１０画素単位で選択されるものが好ましく、例えば地上波アナログ放送に対応するＳＤ規格である７２０×４８０画素データでは７０×５０画素程度、ハイビジョン放送に対応するＨＤ規格である１９２０×１０８０画素データでは１９０×１００画素程度となるように抽出される。   The representative image Pp (i, j) is preferably selected in units of approximately 10 pixels in the frame image. For example, in the case of 720 × 480 pixel data, which is an SD standard corresponding to terrestrial analog broadcasting, about 70 × 50 pixels. In 1920 × 1080 pixel data, which is an HD standard corresponding to high-definition broadcasting, the data is extracted to have about 190 × 100 pixels.

前記代表画像判別手段１６は、前記各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）のそれぞれに、前記各代表画像Ｐｐ（ｉ，ｊ）と同一の画像が存在しているか否かを判別し、前記各代表画像Ｐｐ（ｉ，ｊ）の何れの代表画像もが存在しているフレーム画像を、前記任意のフレーム画像Ｆｐ（ｉ）と同一シーンを撮影したフレーム画像であると判別するように構成されている。   The representative image discriminating means 16 includes the front frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i−1) and the rear frame images Fp (i + 1). ), Fp (i + 2),..., Fp (i + Na2), it is determined whether or not the same image as each representative image Pp (i, j) exists, and each representative image Pp ( The frame image in which any representative image of i, j) exists is determined to be a frame image obtained by photographing the same scene as the arbitrary frame image Fp (i).

前記手振れ画像判別手段１２は、前記代表画像判別手段１６により、前記各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）、及び、前記各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）の何れもが、前記任意のフレーム画像Ｆｐ（ｉ）と同一シーンを撮影したフレーム画像と判別されたときに、前記任意のフレーム画像Ｆｐ（ｉ）をも含めた連続フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）（以下、「単位動画像Ｍｐ（ｉ）」とも記す）において、図４に示すように、前後のフレーム画像間での前記各代表画像Ｐｐ（ｉ，ｊ）の移動方向及び移動量を表す移動ベクトルＢｅ（ｊ）を夫々生成するとともに、図５（ａ）、図５（ｂ）に示すように、前記各移動ベクトルのＸ軸方向成分Ｂｘ（ｊ）と、Ｙ軸方向成分Ｂｙ（ｊ）の変動特性を、前記代表画像Ｐｐ（ｉ，ｊ）毎に生成し、前記各変動特性に基づいて、前記単位動画像Ｍｐ（ｉ）が手振れ画像であるか否かを判別するように構成されている。   The camera shake image discriminating unit 12 is configured to use the representative image discriminating unit 16 to perform the previous frame images Fp (i-Na1), Fp (i- (Na1-1)),..., Fp (i-1), In addition, each of the subsequent frame images Fp (i + 1), Fp (i + 2),..., Fp (i + Na2) is determined as a frame image obtained by photographing the same scene as the arbitrary frame image Fp (i). The continuous frame images Fp (i-Na1), Fp (i- (Na1-1)),..., Fp (i),. , Fp (i + Na2) (hereinafter also referred to as “unit moving image Mp (i)”), as shown in FIG. 4, the moving direction of each representative image Pp (i, j) between the previous and next frame images and Each of the movement vectors Be (j) representing the movement amount is generated. In addition, as shown in FIGS. 5A and 5B, the variation characteristics of the X-axis direction component Bx (j) and the Y-axis direction component By (j) of each of the movement vectors are represented by the representative image. The unit moving image Mp (i) is generated for each Pp (i, j), and based on each variation characteristic, it is configured to determine whether or not the unit moving image Mp (i) is a camera shake image.

前記手振れ画像の判別は、例えば、手振れ画像の特徴として、動画像の画面全体が特定方向に小刻みに揺れることで、前記各代表画像Ｐｐ（ｉ，ｊ）における移動ベクトルの変動特性が等しく、且つ、前記Ｘ軸方向成分またはＹ軸方向成分の変動特性の少なくとも一方がｓｉｎカーブとなる特徴があるため、前記各移動ベクトルの変動特性が、このようになるときに、前記単位動画像Ｍｐ（ｉ）が手振れ画像であると判別するように構成されている。   For example, as a feature of the hand shake image, the image of the hand shake image is characterized in that the entire moving image screen is shaken in a specific direction in small increments, so that the variation characteristics of the movement vector in each representative image Pp (i, j) are equal, and Since at least one of the variation characteristics of the X-axis direction component or the Y-axis direction component has a sin curve, when the variation characteristics of the respective movement vectors become like this, the unit moving image Mp (i ) Is a camera shake image.

前記情景画像生成手段１３は、前記手振れ画像判別手段１２により手振れ画像と判別された単位動画像Ｍｐ（ｉ）を、図６に示すように、前記単位動画像Ｍｐ（ｉ）を構成する前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように合成処理することで情景画像Ｓｐ（ｉ）を生成するように構成されている。   The scene image generation means 13 converts the unit moving images Mp (i) determined as the camera shake images by the camera shake image determination means 12 into the unit moving images Mp (i) as shown in FIG. The representative images Pp (i, j) in the frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i),. As described above, the scene image Sp (i) is generated by performing the synthesizing process.

ここで、前記情景画像Ｓｐ（ｉ）は、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように合成処理しているため、前記単位動画像Ｍｐ（ｉ）が上述のような手振れ画像であったときには、前記任意のフレーム画像Ｆｐ（ｉ）の画像サイズよりも、大きな画像サイズのフレーム画像として生成される。   Here, the scene image Sp (i) includes the frame images Fp (i-Na1), Fp (i- (Na1-1)), ..., Fp (i), ..., Fp (i + Na2). ) Are combined so that the representative images Pp (i, j) coincide with each other. Therefore, when the unit moving image Mp (i) is a camera shake image as described above, the arbitrary frame image Fp ( It is generated as a frame image having a larger image size than the image size of i).

尚、前記合成処理は、時系列的に変動するフレーム画像、つまり、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）を重ね合わせ処理してもよいし、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）を順次貼り付け処理してもよい。つまり、各フレーム画像の重複領域における画像が、重複する各フレーム画像の平均画像となるように合成処理してもよいし、各フレーム画像の重複領域における画像が、最新時のフレーム画像に順次更新されていくといった合成処理を行ってもよい。何れにしても、前記情景画像Ｓｐ（ｉ）が、前記単位動画像Ｍｐ（ｉ）の画像範囲を補った画像サイズのフレーム画像となるように生成される構成となっていればよい。   The composition processing is performed in a time-series manner, that is, the frame images Fp (i-Na1), Fp (i- (Na1-1)),..., Fp (i),. Fp (i + Na2) may be overlaid, and the frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i),. -Fp (i + Na2) may be sequentially pasted. In other words, the image in the overlapping area of each frame image may be combined so that it becomes the average image of the overlapping frame images, or the image in the overlapping area of each frame image is sequentially updated to the latest frame image. It is also possible to perform a composition process such as In any case, it is sufficient that the scene image Sp (i) is generated so as to be a frame image having an image size that complements the image range of the unit moving image Mp (i).

更に、前記合成処理は、任意のフレーム画像Ｆｐ（ｉ）に対する情景画像Ｓｐ（ｉ）を、時間的に前後するフレーム画像、つまり、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）から求められる動体をその変位速度に基づいて予測される位置に変位させた画像として生成してもよい。   Further, the composition processing is performed by converting a scene image Sp (i) for an arbitrary frame image Fp (i) to temporally follow frame images, that is, the frame images Fp (i-Na1) and Fp (i- ( Na1-1)),..., Fp (i),..., Fp (i + Na2) may be generated as an image that is displaced to a position predicted based on the displacement speed.

前記動画像再生手段１４は、前記情景画像生成手段１３により生成された情景画像Ｓｐ（ｉ）から、図７に示すように、前記情景画像Ｓｐ（ｉ）の中心位置Ｓｏと、その中心位置Ｈｏが一致するように、前記任意のフレーム画像Ｆｐ（ｉ）と同一画像サイズのサンプル画像Ｈｐ（ｉ）を抽出するように構成されている。   As shown in FIG. 7, the moving image reproduction unit 14 determines the center position So of the scene image Sp (i) and the center position Ho from the scene image Sp (i) generated by the scene image generation unit 13. Are extracted so that a sample image Hp (i) having the same image size as that of the arbitrary frame image Fp (i) is extracted.

また、前記動画像再生手段１４は、図８（ａ）に示すように、前記サンプル画像Ｈｐ（ｉ）における各代表画像Ｐｐ（ｉ，ｊ）と、前記任意のフレーム画像Ｆｐ（ｉ）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように互いの画像領域を重ね合わせ、図８（ｂ）に示すように、前記互いの画像領域が一致する一致領域Ｒｅを、前記任意のフレーム画像Ｆｐ（ｉ）の画像とするとともに、前記任意のフレーム画像Ｆｐ（ｉ）からはみ出した前記サンプル画像Ｈｐ（ｉ）のはみ出し領域Ｒｄを、前記サンプル画像Ｈｐ（ｉ）の画像とした、前記任意のフレーム画像Ｆｐ（ｉ）または前記サンプル画像Ｈｐ（ｉ）と同一画像サイズで、且つ、前記サンプル画像Ｈｐ（ｉ）と同一画像領域の新たなフレーム画像Ｎｐ（ｉ）を生成するように構成されている。尚、前記サンプル画像Ｈｐ（ｉ）からはみ出した前記任意のフレーム画像Ｆｐ（ｉ）のはみ出し領域Ｒｏは、切り捨てられるように構成されている。   Further, as shown in FIG. 8 (a), the moving image reproduction means 14 performs each representative image Pp (i, j) in the sample image Hp (i) and each frame image Fp (i). The image regions are overlapped so that the representative images Pp (i, j) match each other, and as shown in FIG. 8B, the match region Re where the image regions match each other is defined as the arbitrary frame image Fp. The arbitrary frame in which the image of (i) and the protruding area Rd of the sample image Hp (i) protruding from the arbitrary frame image Fp (i) are the images of the sample image Hp (i) It is configured to generate a new frame image Np (i) having the same image size as the image Fp (i) or the sample image Hp (i) and having the same image area as the sample image Hp (i). There. The protruding area Ro of the arbitrary frame image Fp (i) protruding from the sample image Hp (i) is configured to be cut off.

以下、撮影済み動画像の手振れ補正装置の動作について、図９、図１０のフローチャートに基づいて説明する。前記動画像記録手段１０に、所定数Ａｘの連続したフレーム画像からなる動画像Ｍｓが記録されると、前記シーン判別手段１１は、前記動画像Ｍｓから任意のフレーム画像Ｆｐ（ｉ）を抽出する（ＳＡ１）。   Hereinafter, the operation of the camera shake correction apparatus for a captured moving image will be described with reference to the flowcharts of FIGS. 9 and 10. When the moving image Ms composed of a predetermined number Ax of continuous frame images is recorded in the moving image recording unit 10, the scene determination unit 11 extracts an arbitrary frame image Fp (i) from the moving image Ms. (SA1).

任意のフレーム画像Ｆｐ（ｉ）が抽出されると、前記代表画像抽出手段１５は、前記抽出されたフレーム画像Ｆｐ（ｉ）から、予め設定されている複数の注目画素領域Ｅｒ（ｊ）における画像を、それぞれ代表画像Ｐｐ（ｉ，ｊ）として抽出する（ＳＡ２）。   When an arbitrary frame image Fp (i) is extracted, the representative image extraction unit 15 extracts images in a plurality of preset pixel regions of interest Er (j) from the extracted frame image Fp (i). Are extracted as representative images Pp (i, j), respectively (SA2).

前記代表画像判別手段１６は、前記任意のフレーム画像Ｆｐ（ｉ）から所定のフレーム画像数Ｎａ１前まで連続する各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記任意のフレーム画像Ｆｐ（ｉ）から所定のフレーム画像数Ｎａ２後まで連続する各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）を抽出する（ＳＡ３）。   The representative image discriminating means 16 is configured so that each of the previous frame images Fp (i-Na1), Fp (i- (Na1-1)), continuous from the arbitrary frame image Fp (i) to a predetermined number of frame images Na1. .., Fp (i−1) and each subsequent frame image Fp (i + 1), Fp (i + 2),..., Fp that continues from the arbitrary frame image Fp (i) to a predetermined number of frame images Na2. (I + Na2) is extracted (SA3).

ここで、前記所定のフレーム画像数Ｎａ１及び前記所定のフレーム画像数Ｎａ２は、前記任意のフレーム画像Ｆｐ（ｉ）をも含めた、前記フレーム画像Ｆｐ（ｉ−Ｎａ１）から前記フレーム画像Ｆｐ（ｉ＋Ｎａ２）までの前記単位動画像Ｍｐ（ｉ）が、１秒以内の動画像となるように設定されることが好ましい。例えば、１秒間の動画像が３０コマのフレーム画像から構成されているときには、Ｎａ２−Ｎａ１≦３０に設定されることが好ましい。   Here, the predetermined frame image number Na1 and the predetermined frame image number Na2 are determined from the frame image Fp (i−Na1) including the arbitrary frame image Fp (i) to the frame image Fp (i + Na2). It is preferable that the unit moving image Mp (i) up to) is set to be a moving image within one second. For example, when a 1-second moving image is composed of 30 frame images, it is preferable to set Na2−Na1 ≦ 30.

尚、フレーム画像番号が、Ｎａ１＞ｉや、ｉ＞Ａｘ−Ｎａ２となることにより、フレーム画像に割り当てられていないフレーム画像番号が生じるときには、そのフレーム画像の抽出を省いた状態で、以下の処理が継続される。   When the frame image number is not assigned to the frame image due to Na1> i or i> Ax-Na2, the following processing is performed without extracting the frame image. Will continue.

前記代表画像判別手段１６は、前記前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）毎に、前記各代表画像Ｐｐ（ｉ，ｊ）と同一の画像の全てが存在しているか否かを判別し（ＳＡ４）、前記各代表画像Ｐｐ（ｉ，ｊ）の何れの代表画像もが存在しているフレーム画像を、前記任意のフレーム画像Ｆｐ（ｉ）と同一シーンを撮影したフレーム画像であると判別する（ＳＡ５）。また、前記各代表画像Ｐｐ（ｉ，ｊ）のうち、１つでも代表画像が存在していないフレーム画像を、前記任意のフレーム画像Ｆｐ（ｉ）とは異なるシーンを撮影したフレーム画像であると判別する（ＳＡ６）。   The representative image discriminating means 16 includes the front frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i−1) and the rear frame images Fp (i + 1), For each Fp (i + 2),..., Fp (i + Na2), it is determined whether or not all the same images as the representative images Pp (i, j) exist (SA4), and the representative images are determined. A frame image in which any representative image of Pp (i, j) exists is determined to be a frame image obtained by photographing the same scene as the arbitrary frame image Fp (i) (SA5). Further, among the representative images Pp (i, j), a frame image in which no representative image exists is a frame image obtained by photographing a scene different from the arbitrary frame image Fp (i). Discriminate (SA6).

前記各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）に対して、前記ステップＳＡ４から前記ステップＳＡ６の処理が終了し（ＳＡ７）、前記各前フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ−１）及び前記各後フレーム画像Ｆｐ（ｉ＋１）、Ｆｐ（ｉ＋２）、・・・、Ｆｐ（ｉ＋Ｎａ２）の何れもが、前記任意のフレーム画像Ｆｐ（ｉ）と同一シーンを撮影したフレーム画像と判別されると（ＳＡ８）、前記手振れ画像判別手段１２は、前記任意のフレーム画像Ｆｐ（ｉ）をも含めた連続フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）、つまり、前記単位動画像Ｍｐ（ｉ）において、前後のフレーム画像間での前記各代表画像Ｐｐ（ｉ，ｊ）の移動方向及び移動量を表す移動ベクトルＢｅ（ｊ）を夫々生成する（ＳＡ９）。   Each of the previous frame images Fp (i−Na1), Fp (i− (Na1-1)),..., Fp (i−1) and each of the subsequent frame images Fp (i + 1), Fp (i + 2),. For Fp (i + Na2), the processing from step SA4 to step SA6 ends (SA7), and the previous frame images Fp (i-Na1), Fp (i- (Na1-1)), ..., Fp (i-1) and each of the subsequent frame images Fp (i + 1), Fp (i + 2), ..., Fp (i + Na2) are the same as the arbitrary frame image Fp (i). When it is determined that the scene image is a frame image (SA8), the camera shake image determination unit 12 includes continuous frame images Fp (i-Na1) and Fp (i−) including the arbitrary frame image Fp (i). (Na1-1)), ... Fp (i),..., Fp (i + Na2), that is, in the unit moving image Mp (i), the moving direction and moving amount of each representative image Pp (i, j) between the previous and next frame images are set. Represented movement vectors Be (j) are generated (SA9).

また、前記手振れ画像判別手段１２は、前記各移動ベクトルのＸ軸方向成分Ｂｘ（ｊ）と、Ｙ軸方向成分Ｂｙ（ｊ）の変動特性を、前記代表画像Ｐｐ（ｉ，ｊ）毎に生成し（ＳＡ１０）、前記各変動特性に基づいて、前記単位動画像Ｍｐ（ｉ）が手振れ画像であるか否かを判別する。   In addition, the hand movement image discriminating unit 12 generates a variation characteristic of the X-axis direction component Bx (j) and the Y-axis direction component By (j) of each movement vector for each representative image Pp (i, j). Then (SA10), it is determined whether or not the unit moving image Mp (i) is a camera shake image based on the variation characteristics.

例えば、前記各代表画像Ｐｐ（ｉ，ｊ）における移動ベクトルの変動特性が等しく（ＳＡ１１）、且つ、前記Ｘ軸方向成分またはＹ軸方向成分の変動特性の少なくとも一方がｓｉｎカーブとなっているときに（ＳＡ１２、ＳＡ１３）、前記単位動画像Ｍｐ（ｉ）が手振れ画像であると判別する（ＳＡ１４）。   For example, when the variation characteristics of the movement vectors in the representative images Pp (i, j) are equal (SA11), and at least one of the variation characteristics of the X-axis direction component or the Y-axis direction component is a sin curve. (SA12, SA13), it is determined that the unit moving image Mp (i) is a camera shake image (SA14).

前記単位動画像Ｍｐ（ｉ）が手振れ画像と判別されると、前記情景画像生成手段１３は、前記単位動画像Ｍｐ（ｉ）を構成する前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）を、前記各フレーム画像Ｆｐ（ｉ−Ｎａ１）、Ｆｐ（ｉ−（Ｎａ１−１））、・・・、Ｆｐ（ｉ）、・・・、Ｆｐ（ｉ＋Ｎａ２）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように合成処理することで情景画像Ｓｐ（ｉ）を生成する（ＳＡ１５）。   When the unit moving image Mp (i) is determined as a camera shake image, the scene image generating means 13 uses the frame images Fp (i-Na1), Fp (i) constituting the unit moving image Mp (i). − (Na1-1)),..., Fp (i),..., Fp (i + Na2) are converted into the frame images Fp (i−Na1), Fp (i− (Na1-1)),. .., Fp (i),..., Fp (i + Na2) are combined so that the representative images Pp (i, j) match to generate a scene image Sp (i) (SA15).

前記情景画像Ｓｐ（ｉ）が生成されると、前記動画像再生手段１４は、前記生成された情景画像Ｓｐ（ｉ）の中心位置を算出し（ＳＡ１６）、前記算出した情景画像Ｓｐ（ｉ）の中心位置と、その中心位置が一致するように、前記任意のフレーム画像Ｆｐ（ｉ）と同一画像サイズのサンプル画像Ｈｐ（ｉ）を前記情景画像Ｓｐ（ｉ）から抽出する（ＳＡ１７）。   When the scene image Sp (i) is generated, the moving image reproduction means 14 calculates the center position of the generated scene image Sp (i) (SA16), and the calculated scene image Sp (i) The sample image Hp (i) having the same image size as that of the arbitrary frame image Fp (i) is extracted from the scene image Sp (i) so that the center position of the image coincides with the center position (SA17).

また、前記動画像再生手段１４は、前記サンプル画像Ｈｐ（ｉ）における各代表画像Ｐｐ（ｉ，ｊ）と、前記任意のフレーム画像Ｆｐ（ｉ）における各代表画像Ｐｐ（ｉ，ｊ）が一致するように互いの画像領域を重ね合わせ（ＳＡ１８）、前記互いの画像領域が一致する一致領域Ｒｅを、前記重ね合わせたフレーム画像の画像とするとともに、前記重ね合わせたフレーム画像からはみ出した前記サンプル画像Ｈｐ（ｉ）のはみ出し領域Ｒｏを、前記サンプル画像Ｈｐ（ｉ）における画像とした、前記任意のフレーム画像Ｆｐ（ｉ）または前記サンプル画像Ｈｐ（ｉ）と同一画像サイズで、且つ、前記サンプル画像Ｈｐ（ｉ）と同一画像領域の新たなフレーム画像Ｎｐ（ｉ）を生成する（ＳＡ１９）。   Further, the moving image reproducing means 14 matches each representative image Pp (i, j) in the sample image Hp (i) with each representative image Pp (i, j) in the arbitrary frame image Fp (i). The image areas are overlapped with each other (SA18), and the coincidence area Re where the image areas coincide with each other is set as an image of the overlapped frame image, and the sample protrudes from the overlapped frame image. The protruding area Ro of the image Hp (i) is an image in the sample image Hp (i), and has the same image size as the arbitrary frame image Fp (i) or the sample image Hp (i), and the sample A new frame image Np (i) in the same image area as the image Hp (i) is generated (SA19).

ここで、前記新たなフレーム画像Ｎｐ（ｉ）は、前記任意のフレーム画像Ｆｐ（ｉ）と比較したとき、前記任意のフレーム画像Ｆｐ（ｉ）における画像欠損部が前記情景画像Ｓｐ（ｉ）により補完されたフレーム画像として生成されている。   Here, when the new frame image Np (i) is compared with the arbitrary frame image Fp (i), an image defect portion in the arbitrary frame image Fp (i) is caused by the scene image Sp (i). It is generated as a complemented frame image.

そして、前記動画像Ｍｓとしての所定数Ａｘの連続したフレーム画像に対して、１フレーム画像毎に、前記ステップＳＡ１から前記ステップＳＡ１９の処理が終了することで（ＳＡ２０、ＳＡ２１）、前記動画像Ｍｓは、前記動画像Ｍｓから手振れの影響を除去した新たな動画像Ｎｍｓに変換される。   Then, the processing from step SA1 to step SA19 is completed for each frame image with respect to a predetermined number Ax of continuous frame images as the moving image Ms (SA20, SA21), so that the moving image Ms. Is converted into a new moving image Nms from which the influence of camera shake is removed from the moving image Ms.

つまり、１秒以内の動画像を構成する各フレーム画像は、それらが同一シーンであったときにはほぼ同一画像となるが、手振れ状態で撮影した画像は、このほぼ同一画像であるべき状態のときに、その前後のフレーム画像間において、撮影対象物が小刻みに移動しているため、前記撮影済み動画像の手振れ補正装置では、これを補正している。 In other words, each frame image constituting a moving image within one second becomes almost the same image when they are in the same scene, but an image taken in a camera shake state should be the almost same image. Since the object to be photographed is moving little by little between the frame images before and after that, the camera shake correction device for the photographed moving image corrects this.

尚、上述した実施形態は、本発明の一例に過ぎず、本発明の作用効果を奏する範囲において各ブロックの具体的構成等を適宜変更設計できることは言うまでもない。   Note that the above-described embodiment is merely an example of the present invention, and it is needless to say that the specific configuration and the like of each block can be changed and designed as appropriate within the scope of the effects of the present invention.

例えば、実施例の中で示された代表画像判別手段は、代表画像Ｐｐ（ｉ，ｊ）が存在するかを確認することを示したが、精度を下げても実質問題がないので、代表画像Ｐｐ（ｉ，ｊ）に含まれる画素の所定パーセントが一致することで同一シーンと判断してもよい。   For example, the representative image discriminating means shown in the embodiment shows that the representative image Pp (i, j) exists, but there is no substantial problem even if the accuracy is lowered. It may be determined that the scenes are the same when a predetermined percentage of the pixels included in Pp (i, j) match.

また、移動ベクトルの変動特性を判別する場合、一例としてＸ軸方向成分またはＹ軸方向成分の変動特性の少なくとも一方がｓｉｎカーブとなっているか否かを判断することを記載したが、これはあくまで一例であり、一方向に所定の反復運動が確認された際など手振れ画像と判断する形態などとしてもよい。   In addition, when determining the variation characteristic of the movement vector, as an example, it has been described that it is determined whether at least one of the variation characteristic of the X-axis direction component or the Y-axis direction component is a sin curve. It is only an example, and it may be determined as a camera shake image when a predetermined repetitive motion is confirmed in one direction.

撮影済み動画像の手振れ補正装置の機能ブロック構成の説明図Explanatory drawing of a functional block configuration of a camera shake correction device for a captured moving image 動画像を構成する連続したフレーム画像の説明図Explanatory drawing of continuous frame images that make up a moving image 注目画素領域と代表画像の説明図Explanatory drawing of the target pixel area and representative image 前後のフレーム画像間での各代表画像の移動ベクトルの説明図Explanatory drawing of the movement vector of each representative image between the previous and next frame images 移動ベクトルの変動特性の説明図であり、（ａ）はＸ軸方向成分、（ｂ）Ｙ軸方向成分It is explanatory drawing of the fluctuation characteristic of a movement vector, (a) is an X-axis direction component, (b) Y-axis direction component 情景画像の説明図Illustration of scene image 情景画像とサンプル画像との関係の説明図Illustration of the relationship between the scene image and the sample image （ａ）フレーム画像とサンプル画像の重ね合わせの説明図、（ｂ）新たなフレーム画像の説明図(A) Explanatory diagram of superposition of frame image and sample image, (b) Explanatory diagram of new frame image 撮影済み動画像の手振れ補正装置の動作を説明するためのフローチャートFlowchart for explaining the operation of the camera shake correction device for a captured moving image 撮影済み動画像の手振れ補正装置の動作を説明するためのフローチャートFlowchart for explaining the operation of the camera shake correction device for a captured moving image

１０：動画像記録手段
１１：シーン判別手段
１２：手振れ画像判別手段
１３：情景画像生成手段
１４：動画像再生手段
１５：代表画像抽出手段
１６：代表画像判別手段
10: moving image recording means 11: scene discriminating means 12: camera shake image discriminating means 13: scene image generating means 14: moving image reproducing means 15: representative image extracting means 16: representative image discriminating means

Claims (5)

所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別手段と、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別手段と、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成手段と、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生手段とを備えてなる撮影済み動画像の手振れ補正装置。 Scene discriminating means for discriminating that the same scene is captured when a plurality of target pixels extracted from a predetermined number of consecutive frame images exist in each frame image, and consecutive frames discriminated as the same scene A camera shake image determination unit that generates a movement vector representing a movement direction and a movement amount of a corresponding pixel of interest between images, and determines whether the image is a camera shake image based on a variation characteristic of the movement vector; a camera shake image; A scene image generating means for generating a scene image by synthesizing the determined frame images so that predetermined pixels of interest coincide with each other, and a sample image area having the same size as the frame image is set at the center position of the scene image. The correction target frame image is superimposed on the scene image so that the target pixel of the sample image area matches the target pixel of the correction target frame image. And an image region of the correction target frame image overlapping the sample image area, in the scenery image of the sample image region which does not overlap with the correction target frame image region, and a moving image reproduction means for generating a hand shake correction frame image photographing A camera shake correction device for finished moving images. 前記合成処理は時系列的に変動するフレーム画像を重ね合わせ処理するものである請求項１記載の撮影済み動画像の手振れ補正装置。   2. The camera shake correction apparatus for a captured moving image according to claim 1, wherein the synthesizing process superimposes frame images that change in time series. 前記合成処理は時系列的に変動するフレーム画像を順次貼り付け処理するものである請求項１記載の撮影済み動画像の手振れ補正装置。 2. The camera shake correction apparatus for a captured moving image according to claim 1, wherein the synthesizing process sequentially pastes frame images that change in time series. 前記合成処理は任意のフレーム画像に対する情景画像を、時間的に前後するフレーム画像から求められる動体をその変位速度に基づいて予測される位置に変位させた画像として生成するものである請求項１記載の撮影済み動画像の手振れ補正装置。   2. The composition processing generates a scene image for an arbitrary frame image as an image obtained by displacing a moving object obtained from temporally preceding and following frame images to a position predicted based on the displacement speed. Camera shake correction device for recorded video. 所定数連続する各フレーム画像から抽出される複数の注目画素が各フレーム画像に存在するときに同一シーンを撮影したフレーム画像であると判別するシーン判別ステップと、同一シーンと判別された連続するフレーム画像間で対応する注目画素の移動方向及び移動量を表す移動ベクトルを夫々生成し、当該移動ベクトルの変動特性に基づいて手振れ画像であるか否かを判別する手振れ画像判別ステップと、手振れ画像と判別された各フレーム画像を所定の注目画素が一致するように合成処理して情景画像を生成する情景画像生成ステップと、前記情景画像の中心位置にフレーム画像と同サイズのサンプル画像領域を設定し、当該サンプル画像領域の注目画素と補正対象フレーム画像の注目画素が一致するように、情景画像に補正対象フレーム画像を重ね、前記サンプル画像領域と重畳する補正対象フレーム画像の画像領域と、補正対象フレーム画像領域と重畳しないサンプル画像領域の情景画像とで、手振れ補正フレーム画像を生成する動画像再生ステップからなる撮影済み動画像の手振れ補正方法。
A scene determination step for determining that the same scene is captured when a plurality of target pixels extracted from a predetermined number of consecutive frame images are present in each frame image; and consecutive frames determined to be the same scene A camera shake image determination step for generating a movement vector representing a movement direction and a movement amount of a corresponding pixel of interest between the images, and determining whether the image is a camera shake image based on a variation characteristic of the movement vector; A scene image generation step for generating a scene image by synthesizing the determined frame images so that predetermined pixels of interest coincide with each other, and setting a sample image area of the same size as the frame image at the center position of the scene image The correction target frame is added to the scene image so that the target pixel of the sample image area matches the target pixel of the correction target frame image. Superimposing an image, in the image area of the correction target frame image overlapping the sample image area, a scenery image of the sample image region which does not overlap with the correction target frame image areas, consisting of moving image reproduction step of generating a camera shake correction frame image A method for correcting camera shake of captured video.
JP2005361502A 2005-12-15 2005-12-15 Camera shake correction apparatus and camera shake correction method for captured moving image Expired - Fee Related JP4784297B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005361502A JP4784297B2 (en) 2005-12-15 2005-12-15 Camera shake correction apparatus and camera shake correction method for captured moving image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005361502A JP4784297B2 (en) 2005-12-15 2005-12-15 Camera shake correction apparatus and camera shake correction method for captured moving image

Publications (2)

Publication Number Publication Date
JP2007164570A JP2007164570A (en) 2007-06-28
JP4784297B2 true JP4784297B2 (en) 2011-10-05

Family

ID=38247373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005361502A Expired - Fee Related JP4784297B2 (en) 2005-12-15 2005-12-15 Camera shake correction apparatus and camera shake correction method for captured moving image

Country Status (1)

Country Link
JP (1) JP4784297B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5003657B2 (en) * 2008-11-17 2012-08-15 株式会社Ｊｖｃケンウッド Image stabilization device
CN108463994B (en) * 2016-01-15 2020-09-18 株式会社摩如富 Image processing apparatus, image processing method, and storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3257035B2 (en) * 1992-05-14 2002-02-18 ソニー株式会社 Apparatus and method for correcting image vibration
JP4419499B2 (en) * 2003-01-07 2010-02-24 セイコーエプソン株式会社 Image generation device, image displacement amount detection device, image generation method, image displacement amount detection method, image generation program, and image displacement amount detection program

Also Published As

Publication number Publication date
JP2007164570A (en) 2007-06-28

Similar Documents

Publication Publication Date Title
KR101008917B1 (en) Image processing method and device, and recording medium having recorded thereon its program
KR101247645B1 (en) Display control apparatus, display control method and storage medium
CN101795355B (en) Imaging apparatus and image processing method
US20100214422A1 (en) Recording Apparatus, Reproducing Apparatus, Recording Method, Recording Program, and Computer-Readable Recording Medium
JP2009282979A (en) Image processor and image processing method
JP2007328755A (en) Image processor, image processing method and program
JP5729963B2 (en) Image composition processing apparatus and control method thereof
JPWO2005079061A1 (en) Image processing apparatus, image processing method, and program
JP2006094058A (en) Image processing apparatus, program, and method for pre-process to reproduce stationary image as dynamic image
JP4777116B2 (en) Image processing apparatus and method, and imaging apparatus
JP4636979B2 (en) Imaging apparatus and control method thereof
JP2006005452A (en) Image composite apparatus and image composite system
JP4784297B2 (en) Camera shake correction apparatus and camera shake correction method for captured moving image
JP2008164758A (en) Image restoration device
JP5091098B2 (en) Image composition apparatus, image composition method, and image composition program
JP2009044329A (en) Program, image processing method, and image processor
JP6351335B2 (en) Imaging device, control method thereof, and control program
JP5402242B2 (en) Image reproduction apparatus, imaging apparatus, image reproduction method, and image reproduction program
JP6327892B2 (en) Imaging apparatus and control method thereof
JP4934992B2 (en) Image processing apparatus, electronic camera, and image processing program
JP6995490B2 (en) Video playback device and its control method and program
JP2009071857A (en) Image processing apparatus, image processing method and program
JP4665826B2 (en) Imaging apparatus and image processing program
JP2015041865A (en) Image processing apparatus and image processing method
WO2013005477A1 (en) Imaging device, three-dimensional image capturing method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110221

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110221

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110301

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110627

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees