JP4046673B2 - Intentional moving imaging scene detection device and detection method, and recording medium recording an intentional moving imaging scene detection program - Google Patents
Intentional moving imaging scene detection device and detection method, and recording medium recording an intentional moving imaging scene detection program Download PDFInfo
- Publication number
- JP4046673B2 JP4046673B2 JP2003326569A JP2003326569A JP4046673B2 JP 4046673 B2 JP4046673 B2 JP 4046673B2 JP 2003326569 A JP2003326569 A JP 2003326569A JP 2003326569 A JP2003326569 A JP 2003326569A JP 4046673 B2 JP4046673 B2 JP 4046673B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- condition
- imaging scene
- intentional
- detecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
この発明は、意図的な移動撮像シーンの検出装置および検出方法ならびに意図的な移動撮像シーン検出プログラムを記録した記録媒体に関する。 The present invention relates to an apparatus and method for detecting an intentional moving imaging scene and a recording medium on which an intentional moving imaging scene detection program is recorded.
手ぶれ補正を行う場合、撮影シーンのフレーム間の動きが、撮影者の意図しないカメラ運動(いわゆる手ぶれ)に因るものなのか、撮影者の意図的なカメラ運動(いわゆるパンニング、チルティングなど)に因るものなのかを判別し、意図的なカメラ運動に対しては、手ぶれ補正処理を行わないように処理される。 When camera shake correction is performed, whether the movement between frames in the shooting scene is due to camera movements that are not intended by the photographer (so-called camera shake) or due to camera movements that are intended by the photographer (so-called panning, tilting, etc.) Therefore, the camera shake correction process is not performed for the intentional camera movement.
撮影シーンのフレーム間の動きが意図的なカメラ運動であるか否かを判別する方法が、特開平07−23276号公報、および特開平05−14801号公報に記載されている。 A method for determining whether or not the motion between frames of a shooting scene is an intentional camera motion is described in Japanese Patent Application Laid-Open Nos. 07-23276 and 05-14801.
特開平07−23276号公報に記載の発明では、画像の積分ベクトルが補正可能範囲以上であるフレームがある閾値以上連続したときまたは画像全体の動きベクトルが同一方向を向くフレームがある閾値以上連続したとき、パンニングまたはチルティングの開始と判定し、画像全体の動きベクトルがこれと反対方向を向くフレームがある閾値以上連続したときまたは画像全体の動きベクトルある閾値以下となったときに、パンニングまたはチルティングの終了と検出している。 In the invention described in Japanese Patent Application Laid-Open No. 07-23276, when a frame in which the integral vector of the image is greater than or equal to a correctable range continues for a certain threshold or more than a certain threshold for which the motion vector of the entire image is directed in the same direction. When it is determined that panning or tilting has started, and when the motion vector of the entire image continues for a certain threshold or more or the motion vector of the entire image falls below a certain threshold, panning or chilling Ending is detected.
特開平05−14801号公報に記載の発明では、フレーム間の動きから角速度を算出し、同一方向の角速度が一定時間以上生じているか否かによって、パンニングまたはチルティングの開始および終了を検出している。 In the invention described in Japanese Patent Laid-Open No. 05-14801, the angular velocity is calculated from the motion between frames, and the start and end of panning or tilting are detected depending on whether the angular velocity in the same direction has occurred for a certain time or more. Yes.
従来手法では、パンニングおよびチルティングであることを確認するための基準を用いて、パンニングおよびチルティングの開始および終了フレームを決定している。しかしながら、パンニングおよびチルティングを確定するための基準としては、大きな手ぶれシーンなどをパンニングおよびチルティングと誤認識しないように、厳しい基準を設定する必要があるため、パンニングおよびチルティングの検出が遅れ、パンニングおよびチルティングシーンを手ぶれ補正することにより不自然な結果を生じることがあった。 In the conventional method, the start and end frames of panning and tilting are determined using a criterion for confirming panning and tilting. However, as a standard for determining panning and tilting, it is necessary to set a strict standard so that a large camera shake scene or the like is not mistakenly recognized as panning and tilting, so detection of panning and tilting is delayed, In some cases, camera shake correction in panning and tilting scenes produces unnatural results.
具体的に言えば、例えば、パンニングシーンの開始フレームの検出が遅れると、本来のパンニングシーンの開始フレームから、パンニングシーンの開始フレームと検出されたフレームまでの数フレームは、本来パンニングされているフレームであっても、誤って手ぶれ補正が行われるために停止シーンとなり、パンニングシーンの開始フレームと検出されたフレームになると画面は遅れた数フレーム分のパンニングの移動を瞬時に行った後、パンニングシーンに切り替わる(以降、スティック現象と呼ぶ)。
この発明は、意図的な移動撮像シーンをより高精度に検出することができる意図的な移動撮像シーンの検出装置および検出方法ならびに意図的な移動撮像シーン検出プログラムを記録した記録媒体を提供することを目的とする。 The present invention provides an apparatus and method for detecting an intentional moving imaging scene capable of detecting an intentional moving imaging scene with higher accuracy, and a recording medium on which an intentional moving imaging scene detection program is recorded. With the goal.
請求項1に記載の発明は、動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーンの検出装置において、意図的な移動撮像シーンの開始フレームを検出するための第1条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第1手段、第1手段によって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第2条件であって、第1条件とは異なる第2条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に1つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第2手段、第2手段によって開始フレームを検出した後に、第1手段によって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第3条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第3手段、および第3手段によって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第4条件であって、第3条件とは異なる第4条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に1つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第4手段を備えていることを特徴とする。 According to a first aspect of the present invention, there is provided an apparatus for detecting an intentional moving imaging scene for detecting an intentional moving imaging scene from moving image data. The first means for detecting the temporary start frame of the intentional moving imaging scene using one condition, and when the temporary start frame is detected by the first means, the start frame of the intentional moving imaging scene is Using a second condition for detection, which is different from the first condition, in a direction that goes back to the past from the temporary start frame or a frame immediately before the temporary start frame. The second means for detecting the start frame of the intentional moving imaging scene by searching the start frame of the intentional moving imaging scene, and after detecting the start frame by the second means, Using the third condition for detecting the end frame of the intentional moving imaging scene with respect to the frame temporally ahead of the temporary starting frame detected by one means, The third means for detecting the end frame, and the fourth condition for detecting the end frame of the intentional moving imaging scene when the provisional end frame is detected by the third means, the third condition A fourth condition different from the above is used to search for the end frame of the intentional moving imaging scene in the direction in which the time is advanced from the temporary end frame or the frame one temporally ahead of the temporary end frame. Thus, a fourth means for detecting the end frame of the intentional moving imaging scene is provided.
請求項2に記載の発明は、請求項1に記載の意図的な移動撮像シーンの検出装置において、第1条件は、隣接フレーム間の移動速度が第1閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第2条件は、隣接フレーム間の移動速度が第1閾値より小さい第2閾値以上であることという条件であり、第3条件は、隣接フレーム間の移動速度が第3閾値以下であることという条件であり、第4条件は、隣接フレーム間の移動速度が第3閾値より小さい第4閾値以下であることという条件であることを特徴とする。 According to a second aspect of the present invention, in the apparatus for detecting an intentional moving imaging scene according to the first aspect, the first condition is that a frame whose moving speed between adjacent frames is equal to or greater than a first threshold is equal to or greater than a predetermined number of frames. The second condition is a condition that the moving speed between adjacent frames is equal to or greater than a second threshold value that is smaller than the first threshold, and the third condition is a condition that the moving speed between adjacent frames is the first condition. The fourth condition is a condition that the moving speed between adjacent frames is less than or equal to a fourth threshold value that is smaller than the third threshold value.
請求項3に記載の発明は、動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーンの検出方法において、意図的な移動撮像シーンの開始フレームを検出するための第1条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第1ステップ、第1ステップによって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第2条件であって、第1条件とは異なる第2条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に1つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第2ステップ、第2ステップによって開始フレームを検出した後に、第1ステップによって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第3条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第3ステップ、および第3ステップによって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第4条件であって、第3条件とは異なる第4条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に1つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第4ステップを備えていることを特徴とする。 According to a third aspect of the present invention, there is provided a method for detecting an intentional moving imaging scene for detecting an intentional moving imaging scene from moving image data. The first step of detecting the temporary start frame of the intentional moving imaging scene using one condition. When the temporary start frame is detected by the first step, the start frame of the intentional moving imaging scene is Using a second condition for detection, which is different from the first condition, in a direction that goes back to the past from the temporary start frame or a frame immediately before the temporary start frame. The second frame is used to detect the start frame of the intentional moving imaging scene by searching for the starting frame of the intentional moving imaging scene. After the detection, the intentional movement is performed using the third condition for detecting the end frame of the intentional moving imaging scene with respect to the temporally preceding frame detected by the first step. The third step for detecting the provisional end frame of the imaging scene, and the fourth condition for detecting the end frame of the intentionally moving imaging scene when the provisional end frame is detected in the third step, Then, using the fourth condition different from the third condition, the intentional end of the moving imaging scene is advanced in a direction in which the time is advanced from the temporary end frame or the frame one temporally ahead of the temporary end frame. A fourth step of detecting an end frame of an intentional moving imaging scene by searching for a frame is provided.
請求項4に記載の発明は、請求項3に記載の意図的な移動撮像シーンの検出方法において、第1条件は、隣接フレーム間の移動速度が第1閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第2条件は、隣接フレーム間の移動速度が第1閾値より小さい第2閾値以上であることという条件であり、第3条件は、隣接フレーム間の移動速度が第3閾値以下であることという条件であり、第4条件は、隣接フレーム間の移動速度が第3閾値より小さい第4閾値以下であることという条件であることを特徴とする。 According to a fourth aspect of the present invention, in the method for detecting an intentional moving imaging scene according to the third aspect, the first condition is that the number of frames in which the moving speed between adjacent frames is equal to or greater than a first threshold is equal to or greater than a predetermined number of frames. The second condition is a condition that the moving speed between adjacent frames is equal to or greater than a second threshold value that is smaller than the first threshold, and the third condition is a condition that the moving speed between adjacent frames is the first condition. The fourth condition is a condition that the moving speed between adjacent frames is less than or equal to a fourth threshold value that is smaller than the third threshold value.
請求項5に記載の発明は、動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーン検出プログラムを記録したコンピュータ読み取り可能な記録媒体において、意図的な移動撮像シーンの開始フレームを検出するための第1条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第1ステップ、第1ステップによって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第2条件であって、第1条件とは異なる第2条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に1つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第2ステップ、第2ステップによって開始フレームを検出した後に、第1ステップによって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第3条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第3ステップ、および第3ステップによって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第4条件であって、第3条件とは異なる第4条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に1つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第4ステップをコンピュータに実行させるための意図的な移動撮像シーン検出プログラムを記録していることを特徴とする。 According to a fifth aspect of the present invention, there is provided a computer-readable recording medium that records an intentional moving imaging scene detection program for detecting an intentional moving imaging scene from moving image data. The first step for detecting the temporary start frame of the intentional moving imaging scene using the first condition for detecting the start frame. When the temporary start frame is detected by the first step, A second condition for detecting a start frame of a moving imaging scene that is different from the first condition, and is temporally one prior to the temporary start frame or the temporary start frame. The start frame of the intentional moving imaging scene is detected by searching for the starting frame of the intentional moving imaging scene in a direction going back from the previous frame. After detecting the start frame in the second step and the second step, for detecting the end frame of the intentional moving imaging scene with respect to the temporally preceding frame detected in the first step. The third step of detecting a temporary end frame of the intentional moving imaging scene using the third condition, and the end of the intentional moving imaging scene when the temporary end frame is detected by the third step Using a fourth condition for detecting a frame that is different from the third condition, the time is advanced from the temporary end frame or the temporally preceding frame from the temporary end frame. The fourth step of detecting the end frame of the intentional moving imaging scene is performed by searching for the end frame of the intentional moving imaging scene in the direction. Characterized in that it stores the intended movement image scene detection program to be executed by the computer.
請求項6に記載の発明は、請求項5に記載の意図的な移動撮像シーン検出プログラムを記録したコンピュータ読み取り可能な記録媒体において、第1条件は、隣接フレーム間の移動速度が第1閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第2条件は、隣接フレーム間の移動速度が第1閾値より小さい第2閾値以上であることという条件であり、第3条件は、隣接フレーム間の移動速度が第3閾値以下であることという条件であり、第4条件は、隣接フレーム間の移動速度が第3閾値より小さい第4閾値以下であることという条件であることを特徴とする。 The invention described in claim 6 is a computer-readable recording medium in which the intentional moving imaging scene detection program according to claim 5 is recorded. The first condition is that the moving speed between adjacent frames is equal to or higher than a first threshold value. The second condition is a condition that the moving speed between adjacent frames is equal to or higher than a second threshold value smaller than the first threshold value, and the third condition is as follows: The moving speed between adjacent frames is a condition that the moving speed between adjacent frames is not more than a third threshold, and the fourth condition is a condition that the moving speed between adjacent frames is not more than a fourth threshold that is smaller than the third threshold. And
この発明によれば、意図的な移動撮像シーンをより高精度に検出することができるようになる。 According to the present invention, an intentional moving imaging scene can be detected with higher accuracy.
以下、本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described.
〔1〕手ぶれ補正装置の説明 [1] Explanation of image stabilizer
図1は、手ぶれ補正装置の構成を示している。 FIG. 1 shows a configuration of a camera shake correction apparatus.
手ぶれ補正装置は、パーソナルコンピュータ10によって実現される。パーソナルコンピュータ10には、ディスプレイ21、マウス22およびキーボード23が接続されている。パーソナルコンピュータ10は、CPU11、メモリ12、ハードディスク13、CD−ROMのようなリムーバブルディスク20のドライブ14を備えている。
The camera shake correction device is realized by the personal computer 10. A
ハードディスク13には、OS(オペレーションシステム)等の他、手ぶれ補正処理プログラムが格納されている。手ぶれ補正処理プログラムには、意図的な移動撮像シーン検出プログラムが含まれている。手ぶれ補正処理プログラムは、それが格納されたCD−ROM等のリムーバブルディスク20を用いて、ハードディスク13にインストールされる。また、ハードディスク13にはビデオカメラなどによって撮像された動画像ファイルが予め格納されているものとする。
〔2〕手ぶれ補正プログラムが起動せしめられた場合にCPUによって行われる手ぶれ補正処理の説明
The
[2] Description of camera shake correction processing performed by the CPU when the camera shake correction program is started
図2は、CPUによって行われる手ぶれ補正の全体的な処理手順を示している。 FIG. 2 shows an overall processing procedure of camera shake correction performed by the CPU.
まず、各入力フレームに対して1つ前の入力フレームとの間の幾何変換行列(隣接フレーム間の幾何変換行列)を算出する(ステップ1)。つまり、入力フレーム上の座標を1つ前のフレーム上の座標に変換するための幾何変換行列を算出する。算出された幾何変換行列は、メモリ12に保存される。幾何変換行列は、次式(1)のように3×3の要素で表すことができ、2フレーム間の世界座標変換の係数に相当する。
First, a geometric transformation matrix between each input frame and the previous input frame (geometric transformation matrix between adjacent frames) is calculated (step 1). That is, a geometric transformation matrix for converting coordinates on the input frame into coordinates on the previous frame is calculated. The calculated geometric transformation matrix is stored in the
次に、各入力フレーム毎に得られた幾何変換行列を基に、意図的な移動撮影シーンを検出するための意図的な移動撮影シーン検出処理を行う(ステップ2)。具体的には、意図的な移動撮影シーンの開始フレームと終了フレームとを検出する。次に、意図的な移動撮影シーン以外のフレームに対して、手ぶれ補正処理を行う(ステップ3)。 Next, an intentional moving shooting scene detection process for detecting an intentional moving shooting scene is performed based on the geometric transformation matrix obtained for each input frame (step 2). Specifically, the start frame and the end frame of the intentional moving shooting scene are detected. Next, camera shake correction processing is performed on frames other than the intentional moving shooting scene (step 3).
隣接フレーム間の幾何変換行列は、次のようにして求められる。現入力フレームをFcurrとし、1つ前の入力フレームをFprevとする。まず、Fcurrの特徴点Pcurrを抽出する。特徴点とは、隣接画素の輝度値が急激に変化する点である。次に、フレームFprev、Fcurr間での特徴点Pcurrの動きベクトルを算出する。特徴点の動きベクトルの算出は、勾配法によるオプティカルフロー推定を用いる。Fcurrの全特徴点に対して動きベクトルの算出を行い、フレーム間の全特徴点の対応付け結果を得る。1組の対応点(x1,y1)・(x1’,y1’)から次式(2)のように2つの方程式が得られるので、3組以上の対応点を検出することにより6つ以上の方程式を導出する。これらの方程式から、未知数6の幾何変換行列を線形解法で算出する。 The geometric transformation matrix between adjacent frames is obtained as follows. The current input frame is F curr and the previous input frame is F prev . First, the feature point P curr of F curr is extracted. A feature point is a point where the luminance value of an adjacent pixel changes abruptly. Next, a motion vector of the feature point P curr between the frames F prev and F curr is calculated. The motion vector of the feature point is calculated using optical flow estimation by a gradient method. A motion vector is calculated for all feature points of F curr , and a result of associating all feature points between frames is obtained. Since two equations are obtained from one set of corresponding points (x1, y1) and (x1 ′, y1 ′) as shown in the following equation (2), six or more points are detected by detecting three or more sets of corresponding points. Derive the equation. From these equations, an unknown 6 geometric transformation matrix is calculated by a linear solution.
図3は、図2のステップ2の意図的な移動撮影シーン検出処理の詳細な手順を示している。
FIG. 3 shows a detailed procedure of the intentional moving shooting scene detection process in
まず、第1フレームを注目フレームFi とする(ステップ11)。注目フレームFi とそれより1つ前のフレームFi-1 との間の移動速度(隣接フレーム間の移動速度)Vi を算出して保持する(ステップ12)。隣接フレーム間の移動速度Vi の算出は、それぞれ水平、垂直方向の移動量成分を意味する幾何変換行列の要素m13,m23を用いて、次式(3)に基づいて行う。 First, the first frame is set as the attention frame F i (step 11). A moving speed (moving speed between adjacent frames) V i between the frame of interest F i and the previous frame F i-1 is calculated and held (step 12). The movement speed V i between adjacent frames is calculated based on the following equation (3) using the elements m 13 and m 23 of the geometric transformation matrix that mean the movement amount components in the horizontal and vertical directions, respectively.
上記式(3)において、Di は、注目フレームFi に対応する幾何変換行列の要素m13,m23から算出される値であり、Di-1 は、注目フレームFi より1つ前のフレームFi-1 に対応する幾何変換行列の要素m13,m23から算出される値である。なお、注目フレームFi が第1フレームのときには、隣接フレーム間の移動速度Vi を0とする。 In the above equation (3), D i is a value calculated from the elements m 13 and m 23 of the geometric transformation matrix corresponding to the target frame F i , and D i-1 is one before the target frame F i. This is a value calculated from the elements m 13 and m 23 of the geometric transformation matrix corresponding to the frame F i-1 . When the frame of interest F i is the first frame, the moving speed V i between adjacent frames is set to zero.
次に、意図的な移動撮影シーンの終了フレームを探索中であることを記憶するフラグflagがセット(flag=1)されているか、リセット(flag=0)されているかを判別する(ステップ13)。このフラグflagは、初期状態ではリセット(flag=0)されている。 Next, it is determined whether a flag flag for storing that the end frame of the intentional moving shooting scene is being searched is set (flag = 1) or reset (flag = 0) (step 13). . This flag flag is reset (flag = 0) in the initial state.
フラグflagがリセットされていれば、ステップ14に移行する。フラグflagがセットされていれば、ステップ24に移行する。 If the flag flag is reset, the process proceeds to step 14. If the flag flag is set, the process proceeds to step 24.
ステップ14では、注目フレームFi が意図的な移動撮影シーンの仮開始フレームであるか否かの判定を行う。具体的には、隣接フレーム間の移動速度Vが3ピクセル/フレーム以上であるフレームが、20回以上連続した場合には、注目フレームFi が意図的な移動撮影シーンの仮開始フレームであると判定する。そうでない場合には、注目フレームFi は、意図的な移動撮影シーンの仮開始フレームではないと判定する。
In
注目フレームFi が意図的な移動撮影シーンの仮開始フレームでないと判定した場合には、注目フレームFi が最終フレームか否かを判定する(ステップ15)。注目フレームFi が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームFi をその次のフレームに更新させた後(ステップ16)、ステップ12に戻る。 When the target frame F i is judged not a provisional start frame of intentional movement photographic scene, the frame of interest F i determines whether the last frame (step 15). If the target frame F i is the last frame, the process is terminated. If it is not the final frame, the attention frame F i is updated to the next frame (step 16), and then the process returns to step 12.
上記ステップ14において、注目フレームFi が意図的な移動撮影シーンの仮開始フレームであると判定した場合には、意図的な移動撮影シーンの真の開始フレームの判定処理に移行する。
If it is determined in
意図的な移動撮影シーンの真の開始フレームの判定処理について説明する。意図的な移動撮影シーンの真の開始フレームの判定処理では、上記ステップ14で決定された仮開始フレームFi より1つ前のフレームから、過去のフレームに遡る方向(逆方向)に、意図的な移動撮影シーンの開始フレームを探索する。上記ステップ14で決定された仮開始フレームFi から、過去のフレームに遡る方向(逆方向)に、意図的な移動撮影シーンの開始フレームを探索してもよい。探索の対象となっているフレームを探索対象フレームということにする。
A process for determining the true start frame of an intentional moving shooting scene will be described. In the determination process of the true start frame of the intentional moving shooting scene, the intentionally moves in the direction (reverse direction) going back to the past frame from the frame immediately before the temporary start frame F i determined in
まず、上記ステップ14で決定された仮開始フレームFi より1つ前のフレームを、探索対象フレームとする(ステップ17)。探索対象フレームとそれより1つ前のフレームとの間の移動速度(上記ステップ12で既に算出されている)が1ピクセル/フレーム以下であるか否かを判別する(ステップ18)。探索対象フレームに対応する隣接フレーム間の移動速度が1ピクセル/フレーム以下でなければ、探索対象フレームを現探索対象フレームより1つ前のフレームに更新した後(ステップ19)、ステップ18に戻る。
First, the frame immediately before the temporary start frame F i determined in
上記ステップ18において、探索対象フレームに対応する隣接フレーム間の移動速度が1ピクセル/フレーム以下であると判別した場合には、探索対象フレームを意図的な移動撮影シーンの真の開始フレームと決定する(ステップ20)。また、フラグflagをセット(flag=1)する(ステップ21)。次に、注目フレームFi が最終フレームか否かを判定する(ステップ22)。注目フレームFi が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームFi をその次のフレームに更新させた後(ステップ23)、ステップ12に戻る。この場合には、ステップ12で隣接フレーム間の移動速度Vi が算出された後、ステップ13に進むが、フラグflagがセット(flag=1)されているので、ステップ13からステップ24に移行することになる。
If it is determined in
ステップ24では、注目フレームFi が、意図的な移動撮影シーンの仮終了フレームであるか否かを判定する。この判定は、注目フレームFi に対応する隣接フレーム間の移動速度Vi が3ピクセル/フレーム以下であるか否かに基づいて行われる。つまり、注目フレームFi に対応する隣接フレーム間の移動速度Vi が3ピクセル/フレーム以下である場合には、注目フレームFi が、意図的な移動撮影シーンの仮終了フレームであると判定する。注目フレームFi に対応する隣接フレーム間の移動速度Vi が3ピクセル/フレームより大きい場合には、注目フレームFi は、意図的な移動撮影シーンの仮終了フレームではないと判定する。
In
注目フレームFi が意図的な移動撮影シーンの仮終了フレームでないと判定した場合には、注目フレームFi が最終フレームか否かを判定する(ステップ25)。注目フレームFi が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームFi をその次のフレームに更新させた後(ステップ26)、ステップ12に戻る。この場合には、ステップ12で隣接フレーム間の移動速度Vi が算出された後、ステップ13に進むが、フラグflagがセット(flag=1)されているので、ステップ13からステップ24に移行することになる。
When the target frame F i is judged not a provisional end frame of intentional movement photographic scene, the frame of interest F i determines whether the last frame (step 25). If the target frame F i is the last frame, the process is terminated. If it is not the final frame, the attention frame F i is updated to the next frame (step 26), and then the process returns to step 12. In this case, after the moving speed V i between adjacent frames is calculated in
上記ステップ24において、注目フレームFi が、意図的な移動撮影シーンの仮終了フレームであると判定した場合には、意図的な移動撮影シーンの真の終了フレームの判定処理に移行する。
う。
If it is determined in
Yeah.
意図的な移動撮影シーンの真の終了フレームの判定処理について説明する。意図的な移動撮影シーンの真の終了フレームの判定処理では、上記ステップ24で決定された仮終了フレームFi より1つ先のフレームから、時間を進める方向(順方向)に、意図的な移動撮影シーンの終了フレームを探索する。上記ステップ24で決定された仮終了フレームFi から、時間を進める方向(順方向)に、意図的な移動撮影シーンの終了フレームを探索してもよい。探索の対象となっているフレームを探索対象フレームということにする。
A process for determining a true end frame of an intentional moving shooting scene will be described. In the determination processing of the true end frame of intentional movement shooting scene from one previous frame from the temporary end frame F i determined at
まず、上記ステップ24で決定された仮終了フレームFi より1つ先のフレーム(仮終了フレームFi の次のフレーム)を、探索対象フレームとする(ステップ27)。探索対象フレームとそれより1つ前の入力フレームとの間の移動速度(フレームの移動速度)を算出する(ステップ28)。そして、探索対象フレームに対応する隣接フレーム間の移動速度が1ピクセル/フレーム以下であるか否かを判別する(ステップ29)。探索対象フレームに対応する隣接フレーム間の移動速度が1ピクセル/フレーム以下でなれれば、探索対象フレームを現探索対象フレームより1つ先のフレーム(仮終了フレームFi の次のフレーム)に更新した後(ステップ30)、ステップ28に戻る。 First, the frame immediately following the provisional end frame F i determined in step 24 (the frame next to the provisional end frame F i ) is set as a search target frame (step 27). A moving speed (moving speed of the frame) between the search target frame and the previous input frame is calculated (step 28). Then, it is determined whether or not the moving speed between adjacent frames corresponding to the search target frame is 1 pixel / frame or less (step 29). If the moving speed between adjacent frames corresponding to the search target frame can be 1 pixel / frame or less, the search target frame is updated to a frame one after the current search target frame (the frame next to the provisional end frame F i ). After (step 30), the process returns to step 28.
上記ステップ29において、探索対象フレームに対応する隣接フレーム間の移動速度が1ピクセル/フレーム以下であると判別した場合には、探索対象フレームを意図的な移動撮影シーンの真の終了フレームと決定する(ステップ31)。また、フラグflagをリセット(flag=0)する(ステップ32)。次に、注目フレームFi が最終フレームか否かを判定する(ステップ22)。注目フレームFi が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームFi をその次のフレームに更新させた後(ステップ23)、ステップ12に戻る。この場合には、ステップ12で隣接フレーム間の移動速度Vi が算出された後、ステップ13に進むが、フラグflagがリセット(flag=0)されているので、ステップ13からステップ14に移行することになる。
If it is determined in
図4(a)は、入力フレーム番号に対する、隣接フレーム間の移動速度の大きさの変化を示している。図4(b)は、フレーム間の移動速度の大きさがある閾値を越えた期間を意図的な移動撮影シーンと判定した結果を示す。ここで、Fs が仮開始フレーム、Fe が仮終了フレームに相当する。図4(c)は仮開始、終了フレームから、より正確な開始、終了フレームを検出した結果を示す。ここで、Fs ’が最終的な開始フレーム(真の開始フレーム)、Fe ’が最終的な終了フレーム(真の終了フレーム)に相当する。 FIG. 4A shows the change in the magnitude of the moving speed between adjacent frames with respect to the input frame number. FIG. 4B shows a result of determining a period in which the magnitude of the moving speed between frames exceeds a certain threshold as an intentional moving shooting scene. Here, F s corresponds to a provisional start frame and F e corresponds to a provisional end frame. FIG. 4C shows the result of detecting more accurate start and end frames from the temporary start and end frames. Here, F s ′ corresponds to the final start frame (true start frame), and F e ′ corresponds to the final end frame (true end frame).
図5は、図2のステップ3の手ぶれ補正処理の詳細な手順を示している。
FIG. 5 shows a detailed procedure of the camera shake correction process in
まず、第1フレームを注目フレームFi とする(ステップ41)。次に、注目フレームFi が意図的な移動撮影シーンであるか否かを判別する(ステップ42)。この判別は、図2のステップ2の意図的な移動撮影シーン検出処理結果に基づいて行われる。
First, the first frame is set as the attention frame F i (step 41). Next, it is determined whether or not the frame of interest Fi is an intentional moving shooting scene (step 42). This determination is performed based on the result of the intentional moving shooting scene detection process in
注目フレームFi が意図的な移動撮影シーンでない場合には、手ぶれ補正を行う(ステップ43)。手ぶれ補正は、次のようにして行われる。 When the target frame F i is not an intentional movement shooting scene performs camera shake correction (step 43). The camera shake correction is performed as follows.
第1フレームから最初の意図的な移動撮影シーンの真の開始フレームの1つの前のフレームまでのフレーム区間、意図的な移動撮影シーンの真の終了フレームの1つ先のフレームから次の意図的な移動撮影シーンの真の開始フレームの1つ前のフレームまでのフレーム区間、最後の意図的な移動撮影シーンの真の終了フレームの1つ先のフレームから最終フレームまでのフレーム区間を、それぞれ手ぶれ補正区間ということにする。 The frame section from the first frame to the frame immediately before the true start frame of the first intentional moving shooting scene, the next intentional frame from the frame immediately before the true end frame of the intentional moving shooting scene The frame section from the first frame before the true start frame of the moving scene to the last frame, and the frame section from the first frame to the last frame of the true end frame of the last intentional shooting scene, respectively. This is referred to as a correction interval.
手ぶれ補正は、注目フレームが存在する手ぶれ補正区間の最初のフレーム(基準フレーム)から注目フレームまでの各隣接フレーム間の幾何変換行列を積算することによって、累積幾何変換行列(注目フレーム上の座標を基準フレーム上の座標に変換するための幾何変換行列)を算出し、注目フレームを累積幾何変換行列で幾何変換することによって行われる。 Image stabilization is performed by accumulating the geometric transformation matrix between each adjacent frame from the first frame (reference frame) to the target frame in the camera shake correction section where the target frame exists. This is performed by calculating (geometric transformation matrix for converting into coordinates on the reference frame) and geometrically transforming the frame of interest with the cumulative geometric transformation matrix.
手ぶれ補正が行われると、注目フレームFi が最終フレームか否かを判定する(ステップ45)。注目フレームFi が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームFi をその次のフレームに更新させた後(ステップ46)、ステップ42に戻る。 When camera shake correction is performed, it is determined whether or not the frame of interest Fi is the last frame (step 45). Attention frame F i is equal to the final frame, the process is terminated. If it is not the final frame, the attention frame F i is updated to the next frame (step 46), and then the process returns to step 42.
上記ステップ42において、注目フレームFi が意図的な移動撮影シーンであると判定した場合には、手ぶれ補正を行わないが、視線の移動開始位置をその前の手ぶれ補正区間の手ぶれ補正後のフレームに合わせるための処理(視線補正)を行う(ステップ44)。つまり、注目フレームを、その前の手ぶれ補正区間の最終フレームに対して算出された累積幾何変換行列で幾何変換する。
If it is determined in
視線補正が行われると、注目フレームFi が最終フレームか否かを判定する(ステップ45)。注目フレームFi が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームFi をその次のフレームに更新させた後(ステップ46)、ステップ42に戻る。 When the line-of-sight correction is performed, it is determined whether or not the frame of interest Fi is the final frame (step 45). If the target frame F i is the last frame, the process is terminated. If it is not the final frame, the attention frame F i is updated to the next frame (step 46), and then the process returns to step 42.
10 パーソナルコンピュータ
11 CPU
12 メモリ
13 ハードディスク
14 リムーバブルディスク
10
12
Claims (6)
意図的な移動撮像シーンの開始フレームを検出するための第1条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第1手段、
第1手段によって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第2条件であって、第1条件とは異なる第2条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に1つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第2手段、
第2手段によって開始フレームを検出した後に、第1手段によって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第3条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第3手段、および
第3手段によって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第4条件であって、第3条件とは異なる第4条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に1つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第4手段、
を備えていることを特徴とする意図的な移動撮像シーンの検出装置。 In a device for detecting an intentional moving imaging scene for detecting an intentional moving imaging scene from moving image data,
A first means for detecting a temporary start frame of an intentional moving imaging scene using a first condition for detecting a starting frame of the intentional moving imaging scene;
When a temporary start frame is detected by the first means, the second condition for detecting the start frame of the intentional moving imaging scene is set using a second condition different from the first condition, By searching for the start frame of the intentional moving imaging scene in the direction going back to the past from the temporary starting frame or the frame immediately before the temporary starting frame, A second means for detecting a start frame;
After the start frame is detected by the second means, a third condition for detecting the end frame of the intentional moving imaging scene with respect to the temporally preceding frame detected by the first means is set. And a third means for detecting a provisional end frame of the intentional moving imaging scene, and if a provisional end frame is detected by the third means, the end frame of the intentional moving imaging scene is detected. The fourth condition is for the purpose of advancing the time from the provisional end frame or the frame one temporally ahead of the provisional end frame using a fourth condition that is different from the third condition. A fourth means for detecting an end frame of an intentional moving imaging scene by searching for an end frame of a typical moving imaging scene;
A device for detecting an intentional moving imaging scene, comprising:
意図的な移動撮像シーンの開始フレームを検出するための第1条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第1ステップ、
第1ステップによって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第2条件であって、第1条件とは異なる第2条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に1つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第2ステップ、
第2ステップによって開始フレームを検出した後に、第1ステップによって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第3条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第3ステップ、および
第3ステップによって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第4条件であって、第3条件とは異なる第4条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に1つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第4ステップ、
を備えていることを特徴とする意図的な移動撮像シーンの検出方法。 In a method for detecting an intentional moving imaging scene for detecting an intentional moving imaging scene from moving image data,
A first step of detecting a tentative start frame of an intentional moving imaging scene using a first condition for detecting a starting frame of the intentional moving imaging scene;
When a temporary start frame is detected in the first step, the second condition for detecting the start frame of the intentional moving imaging scene is set using a second condition different from the first condition, By searching for the start frame of the intentional moving imaging scene in the direction going back to the past from the temporary starting frame or the frame immediately before the temporary starting frame, A second step of detecting a start frame;
After the start frame is detected in the second step, the third condition for detecting the end frame of the intentional moving imaging scene is determined with respect to the temporally preceding frame detected in the first step. And a third step of detecting a provisional end frame of the intentional moving imaging scene, and when a provisional end frame is detected by the third step, the end frame of the intentional moving imaging scene is detected. The fourth condition is for the purpose of advancing the time from the provisional end frame or the frame one temporally ahead of the provisional end frame using a fourth condition that is different from the third condition. A fourth step of detecting an end frame of an intentional moving imaging scene by searching for an end frame of a typical moving imaging scene;
A method for detecting an intentional moving imaging scene, comprising:
意図的な移動撮像シーンの開始フレームを検出するための第1条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第1ステップ、
第1ステップによって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第2条件であって、第1条件とは異なる第2条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に1つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第2ステップ、
第2ステップによって開始フレームを検出した後に、第1ステップによって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第3条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第3ステップ、および
第3ステップによって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第4条件であって、第3条件とは異なる第4条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に1つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第4ステップ、
をコンピュータに実行させるための意図的な移動撮像シーン検出プログラムを記録したコンピュータ読み取り可能な記録媒体。 In a computer-readable recording medium that records an intentional moving imaging scene detection program for detecting an intentional moving imaging scene from moving image data,
A first step of detecting a tentative start frame of an intentional moving imaging scene using a first condition for detecting a starting frame of the intentional moving imaging scene;
When a temporary start frame is detected in the first step, the second condition for detecting the start frame of the intentional moving imaging scene is set using a second condition different from the first condition, By searching for the start frame of the intentional moving imaging scene in the direction going back to the past from the temporary starting frame or the frame immediately before the temporary starting frame, A second step of detecting a start frame;
After the start frame is detected in the second step, the third condition for detecting the end frame of the intentional moving imaging scene is determined with respect to the temporally preceding frame detected in the first step. And a third step of detecting a provisional end frame of the intentional moving imaging scene, and when a provisional end frame is detected by the third step, the end frame of the intentional moving imaging scene is detected. The fourth condition is for the purpose of advancing the time from the provisional end frame or the frame one temporally ahead of the provisional end frame using a fourth condition that is different from the third condition. A fourth step of detecting an end frame of an intentional moving imaging scene by searching for an end frame of a typical moving imaging scene;
A computer-readable recording medium on which an intentional moving imaging scene detection program for causing a computer to execute is recorded.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003326569A JP4046673B2 (en) | 2003-09-18 | 2003-09-18 | Intentional moving imaging scene detection device and detection method, and recording medium recording an intentional moving imaging scene detection program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003326569A JP4046673B2 (en) | 2003-09-18 | 2003-09-18 | Intentional moving imaging scene detection device and detection method, and recording medium recording an intentional moving imaging scene detection program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005094493A JP2005094493A (en) | 2005-04-07 |
JP4046673B2 true JP4046673B2 (en) | 2008-02-13 |
Family
ID=34456719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003326569A Expired - Fee Related JP4046673B2 (en) | 2003-09-18 | 2003-09-18 | Intentional moving imaging scene detection device and detection method, and recording medium recording an intentional moving imaging scene detection program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4046673B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5371310B2 (en) * | 2008-07-24 | 2013-12-18 | キヤノン株式会社 | Image processing device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2803072B2 (en) * | 1990-10-18 | 1998-09-24 | 富士写真フイルム株式会社 | Image stabilization device |
JP3297913B2 (en) * | 1992-10-22 | 2002-07-02 | ソニー株式会社 | Magnetic tape cassette and recording / reproducing method |
JPH06276467A (en) * | 1993-03-23 | 1994-09-30 | Toshiba Corp | Video index generating system |
JP2957851B2 (en) * | 1993-06-29 | 1999-10-06 | 三洋電機株式会社 | Image stabilization method |
JPH08191411A (en) * | 1994-11-08 | 1996-07-23 | Matsushita Electric Ind Co Ltd | Scene discrimination method and representative image recording and display device |
JP3802964B2 (en) * | 1997-03-31 | 2006-08-02 | 日本放送協会 | Video editing system and moving image dividing method |
-
2003
- 2003-09-18 JP JP2003326569A patent/JP4046673B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005094493A (en) | 2005-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107241544B (en) | Video image stabilization method, device and camera shooting terminal | |
JP5284048B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
US7221776B2 (en) | Video stabilizer | |
US8988529B2 (en) | Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera | |
EP2640057B1 (en) | Image processing device, image processing method and program | |
US10044936B2 (en) | Method and apparatus for estimating motion in video, method and apparatus for stabilizing video, and computer-readable recording medium | |
JP4695972B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
KR101071352B1 (en) | Apparatus and method for tracking object based on PTZ camera using coordinate map | |
US8004528B2 (en) | Method, systems and computer product for deriving three-dimensional information progressively from a streaming video sequence | |
JP2012151796A (en) | Image processing device, image processing method, and program | |
WO2014010174A1 (en) | Image angle variation detection device, image angle variation detection method and image angle variation detection program | |
JP2008176504A (en) | Object detector and method therefor | |
US20200036895A1 (en) | Image processing apparatus, control method thereof, and image capture apparatus | |
JP2010140425A (en) | Image processing system | |
JP4606318B2 (en) | Video metadata correction apparatus and program | |
JP2005346425A (en) | Automatic tracking system and automatic tracking method | |
JP5127692B2 (en) | Imaging apparatus and tracking method thereof | |
JP4017578B2 (en) | Camera shake correction device, camera shake correction method, and recording medium recording camera shake correction program | |
US20200134840A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP4046673B2 (en) | Intentional moving imaging scene detection device and detection method, and recording medium recording an intentional moving imaging scene detection program | |
JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
JP6245968B2 (en) | Image processing apparatus, imaging apparatus, and control method | |
JP2006215657A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
JP6602089B2 (en) | Image processing apparatus and control method thereof | |
JP4743601B2 (en) | Moving image processing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071120 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |