JP4225503B2 - Moving image cut point detection device - Google Patents
Moving image cut point detection device Download PDFInfo
- Publication number
- JP4225503B2 JP4225503B2 JP2005040878A JP2005040878A JP4225503B2 JP 4225503 B2 JP4225503 B2 JP 4225503B2 JP 2005040878 A JP2005040878 A JP 2005040878A JP 2005040878 A JP2005040878 A JP 2005040878A JP 4225503 B2 JP4225503 B2 JP 4225503B2
- Authority
- JP
- Japan
- Prior art keywords
- dissolve
- moving image
- scene
- frame
- cut point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Description
本発明は動画像のカット点検出装置に関し、特に、動画像検索においてシーンを分類するためのカット点検出を、非常に効率的かつ高い精度で行うことができるカット点検出装置に関する。 The present invention relates to a moving image cut point detection device , and more particularly to a cut point detection device capable of performing cut point detection for classifying a scene in moving image search with very high efficiency and high accuracy.
動画像のカット点には瞬時カットの他にディゾルブ、フェードイン、フェードアウト、ワイプなどの特殊カットがある。瞬時カットについては、例えば文献1(B.L.Yeo and B.Liu," Rapid scene analysis on compressed video",IEEE Tr.Circuits and Systems for Video Technology, Dec.1995 )では、フレーム間差分値がピーク点を持つところを検出してカット点を判定している。ただし、この場合フラッシュでもピーク点が生じて過剰な検出となるため、瞬時カットとフラッシュを区別する方式が提案されている(第1従来方式)。上記文献では数秒間のフレーム間差分の最大値と平均値からフラッシュ検出を行なっている。 There are special cuts such as dissolve, fade-in, fade-out, and wipe in addition to instantaneous cuts at the cut points of moving images. Regarding instantaneous cut, for example, in Reference 1 (BLYeo and B. Liu, “Rapid scene analysis on compressed video”, IEEE Tr. Circuits and Systems for Video Technology, Dec. 1995), the inter-frame difference value has a peak point. This is detected to determine the cut point. However, in this case, a peak point is generated even in the flash, resulting in excessive detection. Therefore, a method for distinguishing instantaneous cut from flash is proposed (first conventional method). In the above-mentioned document, flash detection is performed from the maximum value and the average value of the inter-frame differences for several seconds.
ディゾルブやフェードなど数フレームから数秒間に渡って徐々にシーンが変化する場合の特殊カットについては、例えば文献2(A.Hampapur, R.Jain and T.Weymouth,"Digital Video Segmentation",Proc. ACM Multimedia 94, pp.357-364, 1994)では、フレーム間輝度差分値がほぼ一定値になる場合にディゾルブと判断している(第2従来方式)。 For special cuts when the scene changes gradually over several seconds from several frames, such as dissolves and fades, refer to Reference 2 (A. Hampapur, R. Jain and T. Weymouth, "Digital Video Segmentation", Proc. ACM In Multimedia 94, pp.357-364, 1994), it is determined to be a dissolve when the inter-frame luminance difference value becomes a substantially constant value (second conventional method).
画面の空間的な位置が徐々に変化するワイプの検出については、例えば上記文献2ではワイプモデルを用い、輝度成分の水平方向に関する偏微分値が一定の場合水平方向のワイプと判定している(第3従来方式)。
前記第1従来方式では、鋭いピーク値をフラッシュ部分において検出することが可能であるが、連続したフラッシュや弱いフラッシュでは検出が困難であるという問題があった。また、前記第2の従来方式では、前記フレーム間輝度差分値の変化は動きの場合との区別が非常に困難であり、また、動きのあるディゾルブでは差分値は一定値をとるとは限らない。さらに、前記第3の従来方式では、カメラや物体の動きに対しても非常に敏感といえる。さらに、さまざまな方向に対応するためには各方向について微分値を求める必要があり、処理が複雑であるという問題があった。 In the first conventional method, it is possible to detect a sharp peak value in a flash portion, but there is a problem that it is difficult to detect with a continuous flash or a weak flash. Further, in the second conventional method, the change in the inter-frame luminance difference value is very difficult to distinguish from the case of motion, and the difference value does not always take a constant value in a dissolve with motion. . Furthermore, it can be said that the third conventional method is very sensitive to the movement of the camera and the object. Furthermore, in order to cope with various directions, it is necessary to obtain a differential value for each direction, and there is a problem that processing is complicated.
本発明の目的は、前記した従来技術の問題点を解決し、従来の手法よりも簡単な方法を用いて、ディゾルブやワイプなどの特殊カット点の検出をすることのできるカット点検出装置を提供することにある。 An object of the present invention is to provide a cut point detection device that can solve the above-described problems of the prior art and can detect special cut points such as dissolves and wipes using a method that is simpler than conventional methods. There is to do.
前記目的を達成するために、本発明は、動画像データ入力部、画面内アクティビティ演算部、移動平均演算部および平坦部判定部を備え、前記移動平均演算部は前記画面内アクティビティ演算部で求められた各フレームの画面内アクティビティの移動平均差分を求め、前記平坦部判定部は、前記移動平均差分のある区間の累積和を算出する手段と、該累積和が予め定められた第1のしきい値より小さな区間の後に、該累積和が予め定められた第2のしきい値より大きな区間が現れる時に、平坦部のディゾルブと判定する手段とを具備した点に第1の特徴がある。 To achieve the above object, the present invention comprises a moving image data input unit, an in-screen activity calculation unit, a moving average calculation unit, and a flat part determination unit, and the moving average calculation unit is obtained by the in-screen activity calculation unit. It obtains a moving average difference of screen activities in each frame that is, the flat portion judging unit includes means for calculating the cumulative sum of the section of the moving average difference, the first tooth the cumulative sum reaches a predetermined A first feature is that it comprises means for determining that a flat portion dissolves when a section in which the cumulative sum exceeds a predetermined second threshold appears after a section smaller than the threshold value.
また、本発明は、前記平坦部判定部は、前記符号化予測誤差の正規化予測誤差が予め定められた第4のしきい値より大きなフレームの数が、ある区間で予め定められた第5のしきい値より大きな場合にディゾルブと判定する手段を具備した点に第2の特徴がある。 Further, according to the present invention, the flat portion determination unit is configured such that the number of frames in which the normalized prediction error of the encoded prediction error is larger than a predetermined fourth threshold is predetermined in a certain section . There is a second feature in that a means for determining a dissolve when it is larger than the threshold value is provided .
本発明によれば、カット点の検出について平坦部でのディゾルブ検出精度を向上させ、動きシーンとディゾルブシーンと判別し、ワイプシーンを高い精度で検出することができるため、従来に比べて非常に高い精度でカット検出が可能となる。 According to the present invention, it is possible to improve the dissolve detection accuracy at the flat portion for the detection of the cut point, to distinguish between a motion scene and a dissolve scene, and to detect a wipe scene with high accuracy. Cut detection is possible with high accuracy.
本発明によれば、平坦部などのディゾルブ検出精度を高め、動きシーンをディゾルブと誤検出することを減少できる効果がある。 According to the present invention, there is an effect that the accuracy of detecting a dissolve such as a flat portion can be improved and the erroneous detection of a motion scene as a dissolve can be reduced.
一例として、MPEG1で圧縮されたTV番組1時間のカット点検出を本発明を用いて行った所、特願平8-252333号で開示された方法を用いた場合の検出率90%に対して、約95%の精度でこれらのシーンチェンジを検出することができた。 As an example, when a cut point detection for one hour of a TV program compressed with MPEG1 is performed using the present invention, the detection rate is 90% when the method disclosed in Japanese Patent Application No. 8-252333 is used. These scene changes could be detected with an accuracy of about 95%.
以下に、図面を参照して、本発明を詳細に説明する。図1に本発明の実施例1に関するフローチャートを示す。まず画像入力10で画像が1フレーム入力され、瞬時カット検出11で瞬時カットが検出される。ここで瞬時カットと判定された画像についてはフラッシュ検出12でフラッシュ画像かどうかを検出する。もしフラッシュ画像でない場合は瞬時カットの登録表示13で該フレーム瞬時カットの登録や表示処理を行い、残りフレームの処理20を行う。瞬時カット検出11で瞬時カットと判定されなかった場合、またはフラッシュ検出12でフラッシュ検出とされた場合には、基本ディゾルブ検出14でディゾルブ画像の検出を行う。
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 shows a flowchart relating to the first embodiment of the present invention. First, one frame of an image is input by the
ここでもしディゾルブと判定された場合は、パン,モーション(Pan, Motion) 検出15でパニングや動き画像かどうかを判定する。もしこれらに該当しない場合はディゾルブカットの登録表示16で該フレームはディゾルブとしてディゾルブカットの登録や表示処理を行い、残りフレームの処理20を行う。また、 Pan, Motion検出15でパニングや動き画像と判定された場合は、ワイプカット検出18に移行する。
If it is determined to be a dissolve, pan /
基本ディゾルブ検出14で検出されなかったフレームについてはフラット領域ディゾルブ検出17においてフラット領域でのディゾルブかどうかを判定する。もしディゾルブと判定された場合は、ディゾルブカットの登録表示16に移行する。ディゾルブカットと判定されなかった場合はワイプカット検出18に移行する。ワイプカット検出18ではワイプカットかどうかを判定する。もし、ワイプカットと判定された場合はワイプカットの登録表示19にて該フレームをワイプカットと登録したり表示処理を行い、残りフレーム処理20へ移行する。もし、ワイプカットと判定されなかった場合も残りフレーム処理20へ移行する。
For frames that are not detected by the
以下に、MPEGデータからカット点検出を行う処理を、図2を参照して詳細に説明する。図2は一体としてカット検出装置を構成するが、説明を分かりやすくするために、(a) 〜(d) 図に分けて記載されている。 Hereinafter, the process of detecting cut points from MPEG data will be described in detail with reference to FIG. Although FIG. 2 integrally constitutes the cut detection device, it is divided into FIGS. (A ) to (d) for ease of explanation.
同図(a) の符号化データは可変長復号部21に入力され、該可変長復号部21にて各ブロックの量子化された2次元DCT係数が復号され、該2次元DCT係数は平均値成分抽出部22に入力される。該平均値成分抽出部22の平均値成分抽出法としては、例えば氏原、中島らによる“簡易復号処理による圧縮動画像データからのカット点検出”、情報処理学会第51回全国大会、6S-9(1995)や、特願平7-263681号等に開示されている方法等を用いることができる。
The encoded data shown in FIG. 5A is input to the variable
平均値成分抽出部22で得られた平均値成分は瞬時カット点検出部23に入力され、瞬時カットが検出される。瞬時カット点検出法についても上記文献に記載されている方法を用いることができる。
The average value component obtained by the average value
フラッシュでは画面が1フレーム単位で大きく変化するため、シーンチェンジとして誤検出されることも多い。従って、瞬時カット検出部23で瞬時カットと判定された場合は、同図(b) のフラッシュシーン判定部2iに入力され、フラッシュシーンかどうかを判定する。
In the flash, the screen changes greatly in units of one frame, so it is often erroneously detected as a scene change. Therefore, when the instantaneous
フラッシュが発生したフレームにおける輝度や色差分布は前フレームのものとは全く異なるが、シーンチェンジとは異なって、これらの分布はフラッシュシーン後1〜2フレームで元の状態に戻る。フラッシュシーンモデルを図3と図4に示す。図3はシングルフラッシュシーンのモデルを示し、図4は連続フラッシュシーンのモデルを示している。 The luminance and color difference distribution in the frame where the flash occurs is completely different from that in the previous frame, but unlike the scene change, these distributions return to the original state in one to two frames after the flash scene. The flash scene model is shown in FIGS. FIG. 3 shows a single flash scene model, and FIG. 4 shows a continuous flash scene model.
例えば、図3(a) のようにフレームnのみがフラッシュシーンの場合、フレームnとn-1 の相関は低い(図示のL)が,フレームn+1 とフレームn-1 の相関は高い(図示のH)。 For example, when only frame n is a flash scene as shown in FIG. 3 (a), the correlation between frames n and n-1 is low (L in the figure), but the correlation between frames n + 1 and n-1 is high ( H) shown.
そこで、同図(b) の色差ヒストグラム演算部2gにおいて、平均値成分抽出部22から入力された色差信号の平均値成分データより、フレームの色差ヒストグラムを計算し、計算結果を色差相関演算部2hおよび第5のメモリ2jに入力する。色差相関演算部2hでは入力されたフレームn+1 の色差ヒストグラムおよび予め第5のメモリ2jに格納してあったフレームn およびフレームn-1 の色差ヒストグラムより色差ヒストグラム相関ρ(n, n-1)、ρ(n+1, n-1)を求め、フラッシュシーン判定部2iに入力する。
Therefore, in the color difference
なお、色差ヒストグラムおよび色差相関の演算方法としては、たとえば、中島らによる“フレーム間輝度差分と色差相関による圧縮同画像データからのカット検出”、電子情報通信学会秋季大会D-501(1994) 、特願平5-216895号、あるいは特願平6-46561 号に開示されている方法を用いることができる。 As the calculation method of the color difference histogram and the color difference correlation, for example, “Cut detection from compressed image data by inter-frame luminance difference and color difference correlation” by Nakajima et al. , IEICE Autumn Meeting D-501 (1994), The method disclosed in Japanese Patent Application No. 5-216895 or Japanese Patent Application No. 6-46561 can be used.
図3(a) に示したように、フレームn がフラッシュシーンの場合、フラッシュシーン判定部2iではフレームn とn-1 の相関ρ(n,n−1)は低いが、フレームn+1 とフレームn-1 の相関ρ(n+1,n−1)は高いため、以下に示すような判定式(1) を満足する場合、フレームn をフラッシュシーンと判定することができる。
ρ(n,n−1)<Th_fl、ρ(n+1,n−1)>Th_fh…(1)
ここに、Th_fl、Th_fhはそれぞれ、第1、第2の閾値を示し、Th_fl<Th_fhである。該第1、第2の閾値は、それぞれ、カット点と判定できる程度の低い値(例えば、0.7)、非カット点と判定できる程度の高い値(例えば、0.9)である。
As shown in FIG. 3A, when the frame n is a flash scene, the flash scene determination unit 2i has a low correlation ρ (n, n-1) between the frames n and n-1, but the frames n + 1 and Since the correlation ρ (n + 1, n−1) of the frame n−1 is high, the frame n can be determined as a flash scene when the following expression (1) is satisfied.
ρ (n, n−1) <Th_fl, ρ (n + 1, n−1)> Th_fh (1)
Here, Th_fl and Th_fh indicate the first and second threshold values, respectively, and Th_fl <Th_fh. The first and second threshold values are low values (for example, 0.7) that can be determined as cut points and high values (for example, 0.9) that can be determined as non-cut points, respectively.
図3(b) のようにフレームn-1 がフラッシュシーンの場合、フレームn とフレームn-1 の相関は低いが、フレームn とフレームn-2 の相関は高くなる。また、図4のように連続してフラッシュシーンとなる場合も同様に隣接フレームとの相関から判別することが可能である。 As shown in FIG. 3B, when the frame n-1 is a flash scene, the correlation between the frame n and the frame n-1 is low, but the correlation between the frame n and the frame n-2 is high. In addition, when flash scenes are continuously formed as shown in FIG. 4, it is possible to determine from the correlation with adjacent frames in the same manner.
もし、フラッシュシーンと判定された場合は(フラッシュシーン判定部2iの判断がイエス)、カット検出処理を終了して、同図(a) の符号化データ入力に戻り、次のフレームを入力する。また、フラッシュシーンでないと判定された場合には、カット点画像保持部2dでカット点画像を登録、保持し、カット点画像表示部2kでカット点画像の表示を行う。なお、カット点画像の表示については、特願平8-252333号の“動画像の特殊カット点検出装置”に開示されている方法を用いることができる。
If it is determined that the scene is a flash scene (Yes in the flash scene determination unit 2i), the cut detection process is terminated, the process returns to the encoded data input shown in FIG. 5A, and the next frame is input. If it is determined that the scene is not a flash scene, the cut point image is registered and held in the cut point
瞬時カット点検出部23で瞬時カットと判定されなかった画像については、基本ディゾルブ検出部24においてディゾルブ画像の判定を行う。ディゾルブ画像の判定方法については、例えば特願平8-252333号の“動画像の特種カット点検出装置”に開示されている方法を用いることができる。
For an image that has not been determined to be an instantaneous cut by the instantaneous cut
基本ディゾルブ検出部24でディゾルブと判定された場合でも、動きシーンやパニングシーンを過って検出することがある。たとえば特願平8-252333号の“動画像の特殊カット点検出装置”に開示されているアクティビティについては、ディゾルブも動きシーンも類似した変化を示す。ただし、動きシーンでは符号化ブロックはほとんどすべて動き補償ブロックになり、フレーム間差分も大きい。これに対して、ディゾルブでは動き補償ブロック数は少なくまたフレーム間差分も小さい。
Even when the basic dissolve
そこで、基本ディゾルブ検出部24でディゾルブと判定された場合、動きシーン判定部2aで動きシーンかどうかを判定する。動きシーン判定部2aには可変長復号部21から各ブロックの動きベクトルMVが入力され、またフレーム間差分演算部2bからフレーム間差分Dnを計算する。なお、 Dn については特願平5-216895号に開示されている方法や平均値成分抽出部22から得られるフレームnの輝度信号のブロック平均値を第3のメモリ2cに蓄積すると共に、第3のメモリ2cから得られるフレームn-1のブロック平均値を用いて輝度信号のブロック平均値のフレーム間絶対差分の累積和を計算して求めることができる。
Therefore, when the basic dissolve
動きシーン判定部2aではフレーム間差分演算部2bから得られるフレーム間差分Dnと可変長復号部21から得られる動きベクトルMVにより動きシーンの判定を行う。動きシーンやパニングシーンでは多くのブロックが動き補償ブロックとなる。これについては以下のような判定式(2) を用いることができる。
MVC,PMVC>Th_mvc …(2)
前記Th_mvc はしきい値で、例えば0.45MNを用いることができる。
The motion scene determination unit 2 a determines a motion scene based on the interframe difference Dn obtained from the interframe
MVC, PMVC> Th_mvc (2)
The Th_mvc is a threshold value, for example, 0.45MN.
ここで、MVCとPMVCはそれぞれ最も新しいフレームの動きベクトル数と2番目に新しいフレームの動きベクトル数である。たとえばMPEGの場合、入力されたフレームに最も近いPピクチャーとその次に近いPピクチャーを用いることが可能である。ただし、動きベクトル数は、動きベクトルの大きさがしきい値Th_mv(例えば、4pel/frame )を越えるベクトル数をカウントする。また、動きシーンでは、大きなフレーム間差分を有する。また、パニングシーンでは、多くのブロックが同一の動きベクトルを有する。したがって、それぞれ以下に示す式(3) (4) を用いて動きシーンやパニングシーンを判別することができる
Dn,Dn-1 >Th_bm…(3)
Dn >Th_mm,|<mvx>|or|<mvy>|>Th_am…(4)
Here, MVC and PMVC are the number of motion vectors of the newest frame and the number of motion vectors of the second newest frame, respectively. For example, in the case of MPEG, it is possible to use the P picture closest to the input frame and the P picture closest to the next. However, the number of motion vectors counts the number of vectors whose motion vector size exceeds a threshold Th_mv (for example, 4 pel / frame). In addition, a motion scene has a large inter-frame difference. In the panning scene, many blocks have the same motion vector. Therefore, a moving scene and a panning scene can be discriminated using the following equations (3) and (4), respectively. Dn, Dn-1> Th_bm (3)
Dn> Th_mm, | <mvx> | or | <mvy>|> Th_am (4)
ここで、Dnはフレームnとフレームn-1 とのフレーム間差分、また、Dn-1はフレームn-1 とフレームn-2 のフレーム間差分U10である。さらにTh_bm 、Th_mm 、Th_am はしきい値であり、例えば、Th_bm =7.5MN、Th_mm =1.5MN、Th_am =5pel/frame を用いることができる。<mvx> 、<mvy> は水平方向の動きベクトルと垂直方向の動きベクトルの画面平均を示す。 Here, Dn is an interframe difference between the frame n and the frame n-1, and Dn-1 is an interframe difference U10 between the frame n-1 and the frame n-2. Further, Th_bm, Th_mm, and Th_am are threshold values, and for example, Th_bm = 7.5MN, Th_mm = 1.5MN, Th_am = 5 pel / frame can be used. <mvx> and <mvy> indicate the screen average of the horizontal motion vector and the vertical motion vector.
したがって、(3) 式と(4) 式のいずれかと(2) 式を満足する場合、動きシーンかパニングシーンと判定することができる。 Therefore, when either (3) or (4) and (2) are satisfied, it can be determined that the scene is a moving scene or a panning scene.
動きシーン判定部2a で動きシーンと判定された場合は、同図(c) のワイプシーン判定部2e でワイプシーンかどうかを判定する。また、動きシーンでないと判定された場合は、ディゾルブシーンと判定することができるため、同図(b) のカット点画像保持部2d へ移行する。
If the motion scene determination unit 2a determines that the scene is a motion scene, the wipe scene determination unit 2e in FIG. If it is determined that the scene is not a moving scene, it can be determined as a dissolve scene, and the process proceeds to the cut-point
基本ディゾルブ検出部24でディゾルブでないと判定された場合は、第1の平坦部用判定部25へ移行する。たとえば特願平8-252333号“動画像の特殊カット点検出装置”に開示されているアクティビティの移動平均差分を用いた場合、該差分値の絶対値がしきい値以上のフレームが存在する場合ディゾルブと判定している。平坦部でディゾルブが発生した場合、アクティビティの変化が非常に小さいため、アクティビティの移動平均差分値の絶対値がしきい値以上にならないこともある。しかしながら、ディゾルブ区間ではしきい値に近い値を保持しながら差分値が変化する。従って、ある区間で差分値がある程度の大きさを保持し、かつその積分値が大きい場合平坦部のディゾルブとすることができる。ディゾルブの場合、特願平8-252333号にもあるように、アクティビティの移動平均差分は負の値を持つ区間の後に正の値を有する区間が現れる。このため、以下のような式(5) 〜(7) を用いてこれらの区間の判定を行うことができる。
When the basic dissolve
式(7) において、dh, dmはそれぞれ正の整数で、ディゾルブ区間の大きさを指定する定数である。Th_sa やTh_ea は判定のためのしきい値であり、例えば、Th_sa =70、Th_ea =1を用いることができる。また、DMV(t)は画面内のアクティビティの移動平均差分で特願平8-252333号で開示された方法を用いることが可能である。具体的には、同図(d) に示されているように、画面内アクティビィティ演算部2l で画面内アクティビィティを演算し、これを移動平均演算部2m に入れて画面内のアクティビティの移動平均差分DMV(t)を求める。なお、前記画面内アクティビィティは、メモリ2n に格納される。
In Equation (7), dh and dm are positive integers, and are constants that specify the size of the dissolve interval. Th_sa and Th_ea are threshold values for determination. For example, Th_sa = 70 and Th_ea = 1 can be used. DMV (t) is a moving average difference of activities in the screen, and the method disclosed in Japanese Patent Application No. 8-252333 can be used. Specifically, as shown in (d) of the figure, the in-screen activity calculation unit 2l calculates the in-screen activity and puts it in the moving
第1の平坦部用判定部25では該差分DMV(t) が(5) 式および(6) 式を満足する場合、平坦部のディゾルブと判定することができる。
When the difference DMV (t) satisfies the expressions (5) and (6), the first flat
第1の平坦部判定部25で平坦部のディゾルブと判定された場合、第2の平坦部判定部27に入力される。一方、ディゾルブと判定されなかった場合は、ゆっくりとしたパニングにおいては画面内のアクティビティの移動平均差分DMV(t) は、平坦部でのディゾルブと類似した変化を持ち、上記判定式でもディゾルブと過って検出される可能性がある。ゆっくりとしたパニングでは、動き量も小さく動き補償予測効率が高く予測誤差は小さくなる。他方、ディゾルブでは2つの画面が合成されているため、動き補償予測効率はあまり高くない。従って、予測誤差量の大小によってディゾルブとパニングの区別が可能である。
When the first flat
可変長復号部21からフレームnのブロック(i, j)における符号化予測誤差のDCT係数のDC成分DCn(i, j) は正規化予測誤差演算部29に入力され、正規化予測誤差NPEn が求められる。正規化予測誤差量NPEn は以下のようにDC成分の画面平均値を元に計算することができる。
The DC component DCn (i, j) of the DCT coefficient of the coding prediction error in the block (i, j) of the frame n from the variable
ここで、MNは画面内の総ブロック数で、kはフレーム間符号化ブロック数を示す。
正規化予測誤差量NPEn は第2のメモリ28に入力されると共に第2の平坦部用判定部27に入力される。ディゾルブ区間ではNPEn は大きな値を持つため、大きな予測誤差を有するフレーム数をしきい値と比較してディゾルブ区間と判定することができる。従って、以下のような式を用いて判定することが可能である。
Here, MN is the total number of blocks in the screen, and k is the number of inter-frame encoded blocks.
The normalized prediction error amount NPEn is input to the
ここで、PEflは予測誤差が大きなフレームがどうかを示すフラグで、フレームl の正規化予測誤差NPEl がしきい値Th_pe(例えば、3MN)より大きな場合PEflは1とする。また、bd_pとdd_pディゾルブ前の区間とディゾルブ中の区間を示す。これにより、(9) 式が満足された場合、平坦部でのディゾルブと判定することができる。もしディゾルブと判定された場合は同図(b) のカット点画像保持部2d に移行し、カット点画像の保持および記録を行う。また、ディゾルブと判定されなかった場合は同図(c) のワイプシーン判定部2e に移行する。
Here, PEfl is a flag indicating whether or not there is a frame having a large prediction error. PEfl is set to 1 when the normalized prediction error NPEl of the frame l is larger than a threshold Th_pe (for example, 3MN). In addition, a section before bd_p and dd_p dissolve and a section during dissolve are shown. As a result, when the expression (9) is satisfied, it can be determined as a dissolve in a flat portion. If it is determined to be a dissolve, the process proceeds to the cut point
ワイプシーンチェンジモデルを図5に示す。同図(a) は現在のショットAの上に新しいショットBが右方向に移動しながら出現する例である。同図(b) は同図(a) の変形例でショットAが水平方向で徐々に縮小する一方、ショットBが拡張しながら出現する例である。同図(c)(d)は同図(b) の変形例であり、垂直方向に拡大や縮小しながらシーンが移行する例である。また、同図(e) はページをめくるようにしてシーンが移行する例で、現在のショットAのページがめくれて、次のショットBが出現する。 The wipe scene change model is shown in FIG. FIG. 4A shows an example in which a new shot B appears on the current shot A while moving in the right direction. FIG. 6B shows an example in which the shot A gradually decreases in the horizontal direction while the shot B appears while expanding in the modified example of FIG. (C) and (d) are modified examples of FIG. (B), in which the scene shifts while being enlarged or reduced in the vertical direction. FIG. 4E shows an example in which the scene shifts by turning the page. The page of the current shot A is turned over, and the next shot B appears.
どのワイプにおいてもシーンが変化する間は2つのショットの位置が変化し、また変化前後はショット内に大きな動きがない限り各ショットは静止し安定している。さらに、ワイプシーンチェンジ中における各ショットのはゆっくりと一定の動きで位置や形が変化する。従って、フレーム間差分はどのワイプシーンチェンジも図6に示すような単純なモデルで代表することができる。図6は、フレーム間差分を用いたワイプモデルを示している。 In any wipe, the position of two shots changes while the scene changes, and before and after the change, each shot is stationary and stable unless there is a large movement in the shot. Furthermore, the position and shape of each shot during the wipe scene change slowly and constantly move. Accordingly, any wipe scene change between frames can be represented by a simple model as shown in FIG. FIG. 6 shows a wipe model using inter-frame differences.
図2(a) のフレーム間差分演算部2b で得られるフレーム間差分Dn は同図(c) の第4のメモリ2f とワイプシーン判定部2e に入力される。ワイプシーン判定部2e ではフレーム間差分をワイプモデルと比較してワイプシーンの判定を行う。ワイプ区間ではフレーム間差分が安定して大きく、また前後の区間ではフレーム間差分は小さいことから、以下のような判定式(11)を用いることが可能である。
The inter-frame difference Dn obtained by the inter-frame
BW>Th_bw, DW>Th_dw, AW>Th_aw …(11)
ここで、BW、DW、AWはそれぞれワイプ前、ワイプ中、ワイプ後と認定されたフレーム数で、Th_bw, Th_dw, Th_aw はしきい値である。該しきい値Th_bw, Th_dw, Th_aw としては、例えばTh_bw =27, Th_dw=24, Th_aw =5を用いることができる。なお、BW、DW、AWは以下の式(12)を用いて求めることが可能である。
BW> Th_bw, DW> Th_dw, AW> Th_aw (11)
Here, BW, DW, and AW are the numbers of frames recognized as before, during, and after wiping, respectively, and Th_bw, Th_dw, and Th_aw are threshold values. As the threshold values Th_bw, Th_dw, Th_aw, for example, Th_bw = 27, Th_dw = 24, Th_aw = 5 can be used. BW, DW, and AW can be obtained using the following equation (12).
DL(k) 、DH(k) はフレームkにおけるフレーム間差分Dk がそれぞれ高いか低いかを示すフラグで以下に示す式(13)を用いて決定することができる。
if Dk >Th_wp then DL(k) =0,DH(k) =1,else DL(k) =1,DH(k) =0…(13)
ここに、しきい値Th_wpとして、例えばTh_wp=1.36MNを用いることができる。
DL (k) and DH (k) are flags indicating whether the inter-frame difference Dk in frame k is high or low, and can be determined using the following equation (13).
if Dk> Th_wp then DL (k) = 0, DH (k) = 1, else DL (k) = 1, DH (k) = 0 (13)
Here, for example, Th_wp = 1.36MN can be used as the threshold Th_wp.
ワイプシーン判定部2e でワイプシーンと判定された場合は、ワイプシーンとして図2(b) のカット点画像保持部2d とカット点画像表示部2k でそれぞれカットの保持と表示を行って、次のフレーム入力処理に移行する。また、ワイプと判定されなかった場合は直接次のフレーム入力処理に移行する。
When the wipe scene determination unit 2e determines that a wipe scene is detected, the cut point
前記実施形態は、MPEGで圧縮された場合のカット点検出法について述べたが、本発明はこれに限定されず、圧縮されていない動画像データや他の圧縮方法でも、同様な処理によりカット点の検出を行うことが可能である。 In the above-described embodiment, the cut point detection method when compressed by MPEG has been described. However, the present invention is not limited to this, and cut points can be obtained by the same process even in uncompressed moving image data and other compression methods. Can be detected.
また、本発明は部分的に組み合わせることも可能で、ディゾルブ検出部分のみを用いて他のカット点検出方式と組み合わせたり、ワイプシーン検出のみを瞬時カット検出と組み合わせることも可能である。 In addition, the present invention can be partially combined, and it is also possible to combine with other cut point detection methods using only the dissolve detection part, or to combine only wipe scene detection with instantaneous cut detection.
21…可変長復号部、22…平均値成分検出部、23…瞬時カット点検出部、24…基本ディゾルブ検出部、25…平坦部用判定部1、26、28、2c、2f、2j、2h…第1〜6メモリ、27…平坦部用判定部2、2d…カット点画像保持部、2e…ワイプシーン判定部、2g…色差ヒストグラム演算部、2h…色差相関演算部、2i…フラッシュシーン判定部、2k…カット点画像表示部、2l…画面内アクティビィティ演算部、2m…移動平均演算部。
DESCRIPTION OF
Claims (4)
前記移動平均演算部は前記画面内アクティビティ演算部で求められた各フレームの画面内アクティビティの移動平均差分を求め、
前記平坦部判定部は、前記移動平均差分のある区間の累積和を算出する手段と、該累積和が予め定められた第1のしきい値より小さな区間の後に、該累積和が予め定められた第2のしきい値より大きな区間が現れる時に、平坦部のディゾルブと判定する手段とを具備したことを特徴とする動画像のカット点検出装置。 A moving image data input unit, an in-screen activity calculation unit, a moving average calculation unit and a flat part determination unit,
The moving average calculation unit obtains the moving average difference of the in-screen activity of each frame obtained by the in-screen activity calculation unit,
The flat portion judging unit includes means for calculating the cumulative sum of the section of the moving average difference, after a small interval than the first threshold value the cumulative sum reaches a predetermined, the cumulative sum is predetermined A moving image cut point detecting apparatus comprising: means for determining a flat portion dissolve when a section larger than the second threshold value appears.
前記平坦部判定部は、さらに、各フレームの符号化予測誤差が予め定められた第3のしきい値より小さい場合はゆっくりとした動きシーンと判定し、大きい場合はディゾルブと判定する手段を具備したことを特徴とする動画像のカット点検出装置。 The moving image cut point detection device according to claim 1,
The flat part determining unit further includes means for determining that the motion prediction scene is slow when the encoding prediction error of each frame is smaller than a predetermined third threshold value, and determining that it is a dissolve when it is larger. An apparatus for detecting cut points of a moving image.
前記符号化誤差として、前記符号化予測誤差の直流成分を基に求められた画面全体の正規化予測誤差が用いられることを特徴とする動画像のカット点検出装置。 In the moving image cut point detection device according to claim 2,
Examples encoding error, the encoding prediction error cut detection device of the moving image, wherein Rukoto normalized prediction error of the entire screen is used determined based on the DC component of.
前記平坦部判定部は、前記符号化予測誤差の正規化予測誤差が予め定められた第4のしきい値より大きなフレームの数が、ある区間で予め定められた第5のしきい値より大きな場合にディゾルブと判定する手段を具備したことを特徴とする動画像のカット点検出装置。 In the moving image cut point detection device according to claim 3,
The flat portion determination unit has a number of frames in which a normalized prediction error of the encoding prediction error is larger than a predetermined fourth threshold value than a fifth threshold value determined in advance in a certain section. A moving image cut point detecting device comprising means for determining a dissolve as a case.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005040878A JP4225503B2 (en) | 2005-02-17 | 2005-02-17 | Moving image cut point detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005040878A JP4225503B2 (en) | 2005-02-17 | 2005-02-17 | Moving image cut point detection device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9041709A Division JPH10224741A (en) | 1997-02-10 | 1997-02-10 | Cut point detection method for moving image |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007303159A Division JP4261603B2 (en) | 2007-11-22 | 2007-11-22 | Moving image cut point detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005237002A JP2005237002A (en) | 2005-09-02 |
JP4225503B2 true JP4225503B2 (en) | 2009-02-18 |
Family
ID=35019426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005040878A Expired - Lifetime JP4225503B2 (en) | 2005-02-17 | 2005-02-17 | Moving image cut point detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4225503B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2007138858A1 (en) | 2006-05-25 | 2009-10-01 | 日本電気株式会社 | Special effect detection device for video, special effect detection method, special effect detection program, and video reproduction device |
JP5026152B2 (en) * | 2007-06-04 | 2012-09-12 | 日本放送協会 | Dissolve detection device and program |
WO2009090586A1 (en) * | 2008-01-17 | 2009-07-23 | Koninklijke Philips Electronics N.V. | Flash detection |
-
2005
- 2005-02-17 JP JP2005040878A patent/JP4225503B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2005237002A (en) | 2005-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6473459B1 (en) | Scene change detector | |
US6940910B2 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
US8036263B2 (en) | Selecting key frames from video frames | |
US20100303150A1 (en) | System and method for cartoon compression | |
US20010021268A1 (en) | Hierarchical hybrid shot change detection method for MPEG-compressed video | |
JPH1075457A (en) | Moving object detector in moving image | |
JP2009147911A (en) | Video data compression preprocessing method, video data compression method employing the same and video data compression system | |
US20130113999A1 (en) | Methods, systems, and computer-readable media for detecting scene changes in a video | |
JP2006314090A (en) | Method for converting and displaying video to be implemented by computer | |
US8611423B2 (en) | Determination of optimal frame types in video encoding | |
JP4913801B2 (en) | Shielding object image identification apparatus and method | |
JP4225503B2 (en) | Moving image cut point detection device | |
JPH10224741A (en) | Cut point detection method for moving image | |
KR100963701B1 (en) | Video identification device | |
Smeaton et al. | An evaluation of alternative techniques for automatic detection of shot boundaries in digital video | |
JP4261603B2 (en) | Moving image cut point detection device | |
JP2004112678A (en) | Video-searching instrument | |
JP2006518960A (en) | Shot break detection | |
JPH1023421A (en) | Moving picture processing method | |
JP2003061112A (en) | Camerawork detector and camerawork detection method | |
JPH118854A (en) | Cut point detection method and device therefor | |
JPH10112863A (en) | Method and device for extracting motion subject information | |
KR100343780B1 (en) | Method of Camera Motion Detection in Compressed Domain for Content-Based Indexing of Compressed Video | |
JP3339544B2 (en) | Dissolve detection method and device | |
KR20020040503A (en) | Shot detecting method of video stream |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070926 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080827 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081120 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141205 Year of fee payment: 6 |
|
EXPY | Cancellation because of completion of term |