JP2008301425A - Dissolve-detecting device and program - Google Patents
Dissolve-detecting device and program Download PDFInfo
- Publication number
- JP2008301425A JP2008301425A JP2007148388A JP2007148388A JP2008301425A JP 2008301425 A JP2008301425 A JP 2008301425A JP 2007148388 A JP2007148388 A JP 2007148388A JP 2007148388 A JP2007148388 A JP 2007148388A JP 2008301425 A JP2008301425 A JP 2008301425A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- dissolve
- frames
- dissolve section
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 71
- 238000001514 detection method Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 description 40
- 238000003860 storage Methods 0.000 description 16
- 239000002131 composite material Substances 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Studio Circuits (AREA)
Abstract
Description
本発明は、ディゾルブ検出装置及びプログラムに関する。 The present invention relates to a dissolve detection device and a program.
一台のカメラで連続して撮影された映像の区間はショットと呼ばれ、ショットを連結してなる映像(以下、連結映像と称する。)におけるショットの切り替え点はショット境界と呼ばれる。 A section of a video continuously shot by one camera is called a shot, and a shot switching point in a video (hereinafter referred to as a connected video) obtained by connecting shots is called a shot boundary.
ショット境界においては、ディゾルブという切り替え手法が用いられることがある。ディゾルブは、複数フレームにわたってショットを徐々に切り替えていくもので、自然な切り替えを演出するために用いられるものである。 At the shot boundary, a switching method called dissolve may be used. The dissolve is used for gradually switching shots over a plurality of frames, and is used for producing natural switching.
図7は、ディゾルブの例を説明するための説明図である。同図は、横軸をフレーム、縦軸を画素値(RGB方式を用いる場合にはR成分,G成分,B成分それぞれの値。輝度−色差方式を用いる場合には輝度成分及び2つの色差成分それぞれの値。)の合成比率としたグラフであり、ショットAとショットBとをディゾルブを用いて連結した例を示している。 FIG. 7 is an explanatory diagram for explaining an example of a dissolve. In the figure, the horizontal axis represents the frame, and the vertical axis represents the pixel value (values of the R component, G component, and B component when using the RGB method. When using the luminance-color difference method, the luminance component and the two color difference components) And a combination ratio of each value.), And shows an example in which shot A and shot B are connected using a dissolve.
図7の例において、フレームt1までの各フレームでは、ショットAの合成比率が1(100%)であり、ショットAの画素値がそのまま連結映像の画素値となっている。また、フレームt2(t2>t1)以降の各フレームでは、ショットBの合成比率が1(100%)であり、ショットBの画素値がそのまま連結映像の画素値となっている。 In the example of FIG. 7, in each frame up to frame t1, the composition ratio of shot A is 1 (100%), and the pixel value of shot A is the pixel value of the connected video as it is. In each frame after frame t2 (t2> t1), the composition ratio of shot B is 1 (100%), and the pixel value of shot B is the pixel value of the connected video as it is.
一方、フレームt1とフレームt2の間(ディゾルブ区間という。通常10フレーム(1秒)程度。)の各フレームでは、連結映像の各画素の画素値は、次に示す式(1)により決定されている。ここで、ft(r)は連結映像のフレームtにおける座標r(変数rはベクトル値である。以下同じ。)の画素の画素値であり、ft1(r)は、ショットAのフレームt1における座標rの画素の画素値であり、ft2(r)はショットBのフレームt2における座標rの画素の画素値である。また、α(t)はフレームtにおけるショットAの合成比率であり、式(2)で表される。 On the other hand, in each frame between frames t1 and t2 (referred to as a dissolve interval, usually about 10 frames (1 second)), the pixel value of each pixel of the connected video is determined by the following equation (1). Yes. Here, f t (r) is the pixel value of the pixel at the coordinate r (variable r is a vector value; the same applies hereinafter) in the frame t of the connected video, and f t1 (r) is the frame t1 of the shot A. Is the pixel value of the pixel at coordinate r, and f t2 (r) is the pixel value of the pixel at coordinate r in frame t2 of shot B. Α (t) is a composition ratio of shot A in frame t, and is expressed by equation (2).
式(1)において、右辺のft1(r)及びft2(r)は、それぞれフレームt1及びフレームt2における各ショットの各画素の画素値である。このことは、ディゾルブ区間内の各フレームにおいては映像内の被写体が動かないということを意味している。 In Expression (1), f t1 (r) and f t2 (r) on the right side are pixel values of each pixel of each shot in the frame t1 and the frame t2, respectively. This means that the subject in the video does not move in each frame in the dissolve section.
さて、近年、放送の多チャンネル化に伴って大量の映像が生産されるようになり、そのような映像群の中から必要な情報を見つけるための映像の要約技術や検索技術の必要性が増している。これらの技術において上記連結映像を扱う場合、上述したショット単位で分割することが必要不可欠である。そして、この分割を行うためには、連結映像内のショット境界を検出することが必要となる。 In recent years, as the number of broadcast channels has increased, a large amount of video has been produced, and the need for video summarization and search technologies to find necessary information from such video groups has increased. ing. When these linked images are handled in these techniques, it is indispensable to divide them in the above-described shot units. In order to perform this division, it is necessary to detect shot boundaries in the connected video.
瞬時にショットが切り替わるショット境界については、隣接するフレーム間の差分を算出する方法によって比較的容易にショット境界を検出できる。一方、上述したディゾルブを用いるショット境界については、隣接するフレーム間の差分の変化が小さいため、上記方法でのショット境界の検出は困難である。 With respect to shot boundaries at which shots change instantaneously, it is relatively easy to detect shot boundaries by a method of calculating a difference between adjacent frames. On the other hand, regarding the shot boundary using the above-described dissolve, since the change in the difference between adjacent frames is small, it is difficult to detect the shot boundary by the above method.
このため、ショット境界の検出のためのディゾルブ区間検出技術が種々提案されている。そのような技術の一例においては、式(1)及び式(2)から導かれる式(3)の関係が用いられる。すなわち、この技術は、ディゾルブ区間内の隣接フレーム間では式(3)の関係が成り立つことに鑑み、連結映像内の各フレームについて順次、隣接フレームとの間で式(3)の関係が成り立つか否かを判定するものである。そして、式(3)の関係が成り立つフレームが所定数フレームにわたって続いた場合に、それらのフレームはディゾルブ区間内にあると判定するものである。 For this reason, various dissolve section detection techniques for detecting a shot boundary have been proposed. In an example of such a technique, the relationship of Formula (3) derived from Formula (1) and Formula (2) is used. In other words, in this technique, in view of the fact that the relationship of Equation (3) is established between adjacent frames in the dissolve section, is the relationship of Equation (3) established sequentially with the adjacent frames for each frame in the connected video? It is to determine whether or not. When frames satisfying the relationship of Expression (3) continue for a predetermined number of frames, it is determined that these frames are in the dissolve section.
特許文献1〜5及び非特許文献1〜3にも、ディゾルブ区間検出技術の例が開示されている。
特許文献1には、フレームのエッジ強度を用いて算出される特徴量に基づいてディゾルブ区間の検出を行う技術が開示されている。
特許文献2には、フレームのエッジ特徴の時間的変化に基づいてディゾルブ区間の検出を行う技術が開示されている。映像内の被写体が動く場合、うまくいかない可能性有り。
特許文献3には、連結映像から複数フレームにわたって変化傾向が一定している領域(緩変化領域)を抽出し、緩変化領域の画面に占める割合がしきい値よりも大きいフレームをディゾルブ区間内のフレームであると判定することによりディゾルブ区間の検出を行う技術が開示されている。映像内の被写体が動く場合、緩変化領域として抽出できるとは限らない。
In
特許文献4には、フレーム間の2次差分画像の画素値が0付近に集中するというディゾルブ区間の特徴を利用してディゾルブ区間の検出を行う技術が開示されている。映像内の被写体が動く場合、必ずしもそうなるとは限らない。
特許文献5には、ディゾルブ区間を一旦検出した後、動きシーンやパニングシーンの特徴を有する場合にディゾルブ区間でないと判定する技術が開示されている。この技術は、ディゾルブを検出した後に、防止するものであり、未検出を防止できるものではない。
Patent Document 4 discloses a technique for detecting a dissolve section using a feature of a dissolve section in which pixel values of a secondary difference image between frames are concentrated in the vicinity of 0. This is not necessarily the case when the subject in the video moves.
Japanese Patent Application Laid-Open No. 2005-228561 discloses a technique for detecting a dissolve section once and then determining that it is not a dissolve section when it has features of a motion scene or a panning scene. This technique prevents the detection after detecting the dissolve, and does not prevent the non-detection.
非特許文献1には、ディゾルブのパターンを学習し、学習結果に基づくパターン認識を行うことにより、ディゾルブ区間の検出を行う技術が開示されている。
非特許文献2には、フレーム空間における映像シーケンスの3次元表現が、ディゾルブ区間では直線になるというディゾルブの特徴を利用してディゾルブ区間の検出を行う技術が開示されている。
非特許文献3には、ディゾルブ区間中では輝度が単調増減するというディゾルブの特徴を用いてディゾルブ区間の検出を行う技術が開示されている。
Non-Patent
Non-Patent
ところで、近年、ディゾルブ区間内の各フレームにおいても、映像内の被写体を動かすことが多くなっている。そのような場合、式(1)は次の式(4)のように書き換えられる。ここで、fA,t(r)は、ショットAのフレームtにおける座標rの画素の画素値であり、fB,t(r)はショットBのフレームtにおける座標rの画素の画素値である。 By the way, in recent years, the subject in the video is often moved in each frame in the dissolve section. In such a case, equation (1) can be rewritten as the following equation (4). Here, f A, t (r) is the pixel value of the pixel at the coordinate r in the frame t of the shot A, and f B, t (r) is the pixel value of the pixel at the coordinate r in the frame t of the shot B. is there.
式(3)を用いる方法は式(1)に従うディゾルブを前提としており、式(4)に従うディゾルブ(映像内の被写体に動きがあるディゾルブ)を用いるショット境界の検出には使えない。 The method using Equation (3) is premised on the dissolve according to Equation (1), and cannot be used to detect a shot boundary using the dissolve according to Equation (4) (the dissolve in which the subject in the image moves).
また、上記各文献に記載された技術にも、式(4)に従うディゾルブに適用する場合、高い検出精度が得られないという問題がある。すなわち、特許文献1〜4及び非特許文献2〜3に記載のディゾルブ検出技術は、いずれもディゾルブ区間に現れる特徴を検出することによりディゾルブ区間を検出しようとするものであるが、式(4)に従うディゾルブでは必ずしもそのような特徴が現れるとは限らないため、高い検出精度が得られない。また、特許文献5の技術では、ディゾルブ区間の誤検出を防止することはできるもののディゾルブ区間の未検出を防止することはできず、結局高い検出精度が得られない。さらに、非特許文献1の技術では、学習度が上がらないと高い検出精度を望むことはできない。
Further, the techniques described in the above documents also have a problem that high detection accuracy cannot be obtained when applied to the dissolve according to the equation (4). That is, the dissolve detection techniques described in
従って、本発明の課題の一つは、映像内の被写体に動きがあるディゾルブ区間を、ディゾルブパターンの学習による方法を用いずとも、高い精度で検出可能なディゾルブ検出装置及びプログラムを提供することにある。 Accordingly, one of the problems of the present invention is to provide a dissolve detection device and a program capable of detecting a dissolve section where a subject in a video is moving without using a method of learning a dissolve pattern with high accuracy. is there.
上記課題を解決するための本発明にかかるディゾルブ区間検出装置は、映像を構成する一連のフレームのうち、N番目(N≧2)からN+M番目(M≧2)のフレーム区間をディゾルブ区間候補として取得するディゾルブ区間候補取得手段と、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定するディゾルブ区間判定手段と、を含み、前記ディゾルブ区間判定手段は、N−K番目(K≧1)からN番目までの各フレームに基づいて、N+1番目からN+M−1番目までの各第1予測フレームを生成する第1予測フレーム群生成手段と、N+M番目からN+M+L番目(L≧1)までの各フレームに基づいて、N+1番目からN+M−1番目までの各第2予測フレームを生成する第2予測フレーム群生成手段と、前記各第1予測フレームそれぞれと、対応する前記第2予測フレームと、を合成することによりN+1番目からN+M−1番目までの各合成フレームを生成する合成フレーム群生成手段と、前記合成フレーム群生成手段により生成された前記各合成フレームそれぞれと、対応する前記ディゾルブ区間候補内の各フレームと、の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に基づき、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定する判定手段と、を含む、ことを特徴とする。
これによれば、動きを考慮した上で予測フレームを生成することができるので、映像内の被写体に動きがあるディゾルブ区間を、ディゾルブパターンの学習による方法を用いずとも、高い精度で検出可能となる。
In order to solve the above-described problem, the dissolve section detection device according to the present invention uses Nth (N ≧ 2) to N + Mth (M ≧ 2) frame sections as a dissolve section candidate among a series of frames constituting a video. A dissolve section candidate acquisition means for acquiring, and a dissolve section determination means for determining whether or not the dissolve section candidate is a dissolve section. The dissolve section determination means starts from the NKth (K ≧ 1). First prediction frame group generation means for generating first prediction frames from (N + 1) th to (N + M−1) th based on each frame from the Nth, and each frame from N + Mth to N + M + Lth (L ≧ 1) Based on the second predicted frame group generating means for generating the second predicted frames from the (N + 1) th to the (N + M−1) th, and the first predicted frames. Generated by the combined frame group generating means and the combined frame group generating means for generating each of the combined frames from the (N + 1) th to the (N + M−1) th by combining the corresponding second predicted frames with the corresponding frames. The similarity calculation means for calculating the similarity between each of the synthesized frames and the corresponding frame in the dissolve section candidate, and the dissolve section candidate based on the similarity calculated by the similarity calculation means And determining means for determining whether or not is a dissolve section.
According to this, since the prediction frame can be generated in consideration of the motion, it is possible to detect the dissolve section where the subject in the video moves with high accuracy without using the method of learning the dissolve pattern. Become.
また、上記ディゾルブ区間検出装置において、N−K番目(K≧1)からN番目までの各フレームに基づいて、N番目のフレームを構成する複数ブロックそれぞれの動きを判定する第1動き判定手段と、N+M番目からN+M+L番目(L≧1)までの各フレームに基づいて、N+M番目のフレームを構成する複数ブロックそれぞれの動きを判定する第2動き判定手段と、を含み、前記第1予測フレーム群生成手段は、前記第1動き判定手段の判定結果に基づいて前記各第1予測フレームを生成し、前記第2予測フレーム群生成手段は、前記第2動き判定手段の判定結果に基づいて前記各第2予測フレームを生成する、こととしてもよい。
これによれば、N番目のフレームの前に続く1又は複数のフレーム及びN+M番目のフレームの後に続く1又は複数のフレームに基づいて、ブロックの動きを判定することができる。
In the dissolve section detection device, a first motion determination unit that determines the motion of each of a plurality of blocks constituting the Nth frame based on each of the NKth (K ≧ 1) to Nth frames. , Second motion determination means for determining the motion of each of a plurality of blocks constituting the N + M-th frame based on each frame from the N + M-th to the N + M + L-th (L ≧ 1), and the first predicted frame group The generation unit generates each first prediction frame based on the determination result of the first motion determination unit, and the second prediction frame group generation unit generates the each prediction frame based on the determination result of the second motion determination unit. The second prediction frame may be generated.
According to this, the motion of the block can be determined based on one or more frames following the Nth frame and one or more frames following the N + Mth frame.
また、上記各ディゾルブ区間検出装置において、前記ディゾルブ区間候補取得手段は、前記Mの複数の値について前記ディゾルブ区間候補の取得を行う、こととしてもよい。
これによれば、ディゾルブ区間長が不明な場合であっても、適切にディゾルブ区間を検出できる。
Moreover, in each of the above-described dissolve section detection devices, the dissolve section candidate acquisition unit may acquire the dissolve section candidates for the plurality of values of M.
According to this, even when the dissolve section length is unknown, the dissolve section can be appropriately detected.
また、上記各ディゾルブ区間検出装置において、前記一連のフレームについて、順次隣接フレーム間差分を算出する隣接フレーム間差分算出手段、を含み、前記ディゾルブ区間候補取得手段は、I番目のフレームとI+1番目のフレームとの間の前記隣接フレーム間差分が所定の閾値以上である場合に、前記Iを前記Nとして前記ディゾルブ区間候補の取得を行う、こととしてもよい。
これによれば、効率的にディゾルブ区間の判定を行うことができる。
Each of the dissolve interval detecting devices includes an inter-adjacent frame difference calculating unit that sequentially calculates an inter-adjacent frame difference for the series of frames, and the dissolve interval candidate acquiring unit includes an I-th frame and an I + 1-th frame. When the difference between adjacent frames with respect to a frame is equal to or larger than a predetermined threshold, the dissolve section candidate may be acquired with I as the N.
According to this, the determination of the dissolve section can be performed efficiently.
また、本発明にかかるプログラムは、映像を構成する一連のフレームのうち、N番目(N≧2)からN+M番目(M≧2)のフレーム区間をディゾルブ区間候補として取得するディゾルブ区間候補取得手段、及び前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定するディゾルブ区間判定手段、としてコンピュータを機能させるためのプログラムであって、前記ディゾルブ区間判定手段は、N−K番目(K≧1)からN番目までの各フレームに基づいて、N+1番目からN+M−1番目までの各第1予測フレームを生成する第1予測フレーム群生成手段と、N+M番目からN+M+L番目(L≧1)までの各フレームに基づいて、N+1番目からN+M−1番目までの各第2予測フレームを生成する第2予測フレーム群生成手段と、前記各第1予測フレームそれぞれと、対応する前記第2予測フレームと、を合成することによりN+1番目からN+M−1番目までの各合成フレームを生成する合成フレーム群生成手段と、前記合成フレーム群生成手段により生成された前記各合成フレームそれぞれと、対応する前記ディゾルブ区間候補内の各フレームと、の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度に基づき、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定する判定手段と、を含む、ことを特徴とする。 Further, a program according to the present invention includes a dissolve section candidate acquisition unit that acquires Nth (N ≧ 2) to N + Mth (M ≧ 2) frame sections as a dissolve section candidate among a series of frames constituting a video, And a program for causing a computer to function as a dissolve section determining means for determining whether or not the dissolve section candidate is a dissolve section, wherein the dissolve section determining means starts from the NKth (K ≧ 1). First prediction frame group generation means for generating first prediction frames from (N + 1) th to (N + M−1) th based on each frame from the Nth, and each frame from N + Mth to N + M + Lth (L ≧ 1) A second predicted frame group generating means for generating the second predicted frames from the (N + 1) th to the (N + M−1) th based on A synthesized frame group generating means for generating each synthesized frame from the (N + 1) th to the (N + M-1) th by synthesizing each of the first predicted frames and the corresponding second predicted frame, and generating the synthesized frame group Based on the similarity calculated by the similarity calculation means, the similarity calculation means for calculating the similarity between each of the synthesized frames generated by the means and each frame in the corresponding dissolve section candidate, And determining means for determining whether or not the dissolve section candidate is a dissolve section.
以下、本発明の実施の形態について、図面を参照しながら説明する。
図1は、本発明の実施の形態にかかるディゾルブ区間検出装置1のシステム構成を示す図である。同図に示すように、ディゾルブ区間検出装置1は、映像入力受付部2、映像記憶部3、隣接フレーム間差分算出部4、ディゾルブ区間候補取得部5、ディゾルブ区間判定部6を含んで構成される。このディゾルブ区間検出装置1は、入力される映像からショット境界を検出するために用いられるものである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a system configuration of a dissolve
映像入力受付部2は、一連のフレームにより構成される映像の入力を受け付け、受け付けた映像を映像記憶部3に記憶させる。
映像記憶部3は、映像入力受付部2から入力された映像を記憶する。図2には、映像記憶部3の記憶内容の例を示している。同図に示すように、映像記憶部3は、映像を構成する一連のフレームを順序付けて記憶するものである。なお、全フレームを描くことはできないので、同図の例では、N−1番目(N≧2)、N番目、N+1番目、N+M−1番目(M≧2)、N+M番目、N+M+1番目の各フレームのみを示している。
The video
The
隣接フレーム間差分算出部4は、映像記憶部3に記憶される一連のフレームについて、順次隣接フレーム間差分を算出する(隣接フレーム間差分算出手段)。この隣接フレーム間差分としては、フレーム間の輝度の差分の二乗和や、これらのフレームに含まれるエッジ部分のフレーム間変化量を用いることが好適である。このうち、エッジ部分変化量は、具体的には式(5)のECRnで表される。ここで、ECRnは、n−1番目のフレーム(以下、フレームn−1と表記する。以下同じ。)とフレームnの間でのエッジ部分変化量である。また、σnはフレームnにおけるエッジ画素(エッジ部分の画素)の総数、Xn inはフレームn−1ではエッジ画素ではなかったがフレームnで新たにエッジ画素となった画素の数、Xn−1 outはフレームn−1ではエッジ画素であったがフレームnではエッジ画素でなくなった画素の数、である。 The inter-adjacent frame difference calculation unit 4 sequentially calculates the inter-adjacent frame difference for a series of frames stored in the video storage unit 3 (adjacent frame difference calculation means). As the difference between adjacent frames, it is preferable to use the sum of squares of the luminance difference between frames or the amount of change between frames of the edge portion included in these frames. Among these, the edge portion change amount is specifically expressed by ECR n in Expression (5). Here, ECR n is an edge portion change amount between the n−1th frame (hereinafter referred to as frame n−1; the same applies hereinafter) and the frame n. In addition, σ n is the total number of edge pixels (edge portion pixels) in frame n, X n in is the number of pixels that were not edge pixels in frame n−1 but became edge pixels in frame n, and X n −1 out is the number of pixels that were edge pixels in frame n−1 but no longer edge pixels in frame n.
ディゾルブ区間候補取得部5は、映像記憶部3に記憶される映像を構成する一連のフレームのうち、フレームN+1において隣接フレーム間差分ECRn+1が所定の閾値以上となったとすると、フレームNからフレームN+Mまでのフレーム区間をディゾルブ区間候補として取得する(ディゾルブ区間候補取得手段)。換言すると、ディゾルブ区間候補取得部5は、フレームIとフレームI+1との間の上記隣接フレーム間差分が上記閾値以上である場合に、上記Iを上記Nとしてディゾルブ区間候補の取得を行う。
If the difference between adjacent frames ECR n + 1 is equal to or greater than a predetermined threshold in the frame N + 1 among the series of frames constituting the video stored in the
また、ディゾルブ区間候補取得部5は、上記Mの複数の値についてディゾルブ区間候補の取得を行う。具体的には、まず、Mの所定の最大値Mmaxについてディゾルブ区間候補の取得を行い、次いで、Mを1ずつ減らしながら、Mが所定の最小値Mminとなるまで、順次ディゾルブ区間候補の取得を行う。
ディゾルブ区間候補取得部5は、以上のようにして取得した各ディゾルブ区間候補を、取得した順に、順次ディゾルブ区間判定部6に出力する。
The dissolve section
The dissolve section
ディゾルブ区間判定部6は、ディゾルブ区間候補がディゾルブ区間であるか否かを判定する(ディゾルブ区間判定手段)。以下、ディゾルブ区間判定部6の処理の具体的内容について、ディゾルブ区間判定部6内部の機能ブロックを参照しながら説明する。
The dissolve
図2は、ディゾルブ区間判定部6内部の機能ブロックを示す概略ブロック図である。同図に示すように、ディゾルブ区間判定部6は、第1動き判定部60、第1予測フレーム群生成部61、第2動き判定部62、第2予測フレーム群生成部63、合成フレーム群生成部64、類似度算出部65、判定部66を含んで構成される。なお、ディゾルブ区間判定部6は、各機能ブロックの処理を、ディゾルブ区間候補取得部5からディゾルブ区間候補が入力されたときに開始する。以下、フレームNからフレームN+Mまでのフレーム区間がディゾルブ区間候補であるとして説明する。
FIG. 2 is a schematic block diagram showing functional blocks inside the dissolve
まず、第1動き判定部60は、N−K番目(Kは1以上の所定値。)からN番目までの各フレームに基づいて、フレームN(ディゾルブ区間候補の1つ前のフレーム)を構成する複数ブロックそれぞれの動きを判定する(第1動き判定手段)。
First, the first
具体的には、第1動き判定部60は、まずフレームNを所定の大きさのブロック(例えば16×16画素の正方形ブロック。)に分割する。そして、ブロックごとに、フレームN−1において、画素値が類似している部分(以下、類似部分という。)を検索する。類似部分は、例えば、各画素の画素値の差がいずれも所定値以下である部分であってもよいし、各画素の画素値の差の平均が所定値以下である部分であってもよい。
Specifically, the first
第1動き判定部60は、検索の結果あるブロックについて類似部分が見つかった場合、その類似部分のフレームN−1内での位置と、該ブロックのフレームN内での位置と、に基づいて、該ブロックの動きを判定する。類似部分が見つからなかった場合には、動きがないと判定する。
第1動き判定部60は、判定した動きを動きベクトルによって表し、第1予測フレーム群生成部61に出力する。
When a similar part is found for a block as a result of the search, the first
The first
図3(a)及び(b)は、第1動き判定部60の処理の具体的な例を示している。図3(a)に示すフレームN−1には被写体O1が含まれており、この被写体O1は、図3(b)に示すフレームNでは少し右上に移動している。この移動の方向及び量が、フレームN−1からフレームNに向かって動きベクトルv(動きベクトルvはベクトル値である。以下同じ。)で表される方向及び量であったとすると、第1動き判定部60は、被写体O1内の各ブロックについて、動きベクトルvで表される動きがあったと判定し、動きベクトルvを出力する。
FIGS. 3A and 3B show a specific example of processing of the first
第1予測フレーム群生成部61は、N−K番目からN番目までの各フレームに基づいて、また、第1動き判定部60の判定結果に基づいて、N+1番目からN+M−1番目までの各第1予測フレームを生成する(第1予測フレーム群生成手段)。
The first predicted frame
より具体的には、第1予測フレーム群生成部61は、以下の式(6)を用いて、順次各第1予測フレームの各画素の画素値を決定していく。ここで、pfX(y)(yはベクトル値)は、フレームXの座標yにある画素の画素値を示している。
More specifically, the 1st prediction frame group production |
式(6)は、各第1予測フレームの各画素の画素値は、各第1予測フレームの前に位置する2つのフレームの画素値の平均により決定されるということを示している。このようにするのは、1つのフレームのみから画素値を決定すると、ノイズの影響を受けやすくなるからである。 Equation (6) indicates that the pixel value of each pixel of each first prediction frame is determined by the average of the pixel values of two frames located before each first prediction frame. This is because if the pixel value is determined from only one frame, it is easily affected by noise.
図3(c)は、以上のようにして生成される各第1予測フレームのうち、第1予測フレームN+1の例を示している。同図では、フレームN−1からフレームNにかけて被写体O1が動きベクトルvで示される動きをしており(図3(a)及び(b))、第1予測フレーム群生成部61は、この動きを継続させて被写体O1を構成する各ブロックの位置を移動させることにより、第1予測フレームN+1を生成する。その結果、生成される第1予測フレームN+1における被写体O1の位置は、フレームNにおける当該被写体O1の位置から動きベクトルvの分だけずれた位置となる。
FIG. 3C shows an example of the first prediction frame N + 1 among the first prediction frames generated as described above. In the figure, the subject O1 moves from the frame N-1 to the frame N as indicated by the motion vector v (FIGS. 3A and 3B), and the first predicted frame
なお、このようにして各第1予測フレームを生成する場合、各画素の画素値の決定において次の2つの問題が生じ得る。一つ目は、例えば2つのブロックがある第1予測フレームにおいて重なる場合、重なっている部分の画素の画素値をいずれのブロックに基づいて決定すればよいか、という問題である。二つ目は、逆に、いずれのブロックにも含まれないこととなる画素の画素値を何に基づいて決定すればよいか、という問題である。一つ目の問題については、動きの大きい方のブロックに基づいて決定すればよい。また、二つ目の問題については、白色や黒色など所定の画素値にすればよい。 In addition, when generating each 1st prediction frame in this way, the following two problems may arise in determination of the pixel value of each pixel. The first problem is, for example, when two blocks overlap in a first prediction frame, which block should determine the pixel value of the overlapping portion of pixels. The second problem is, on the contrary, what the pixel values of pixels that are not included in any block should be determined. The first problem may be determined based on the block with the larger motion. For the second problem, a predetermined pixel value such as white or black may be used.
次に、第2動き判定部62は、N+M番目からN+M+L番目(Lは1以上の所定値)までの各フレームに基づいて、N+M番目のフレーム(ディゾルブ区間の1つ後のフレーム)を構成する複数ブロックそれぞれの動きを判定する(第2動き判定手段)。
Next, the second
具体的には、第2動き判定部62は、まずフレームN+Mを所定の大きさのブロック(例えば16×16画素の正方形ブロック。)に分割する。そして、ブロックごとに、フレームN+M+1において、画素値が類似している部分を検索する。類似部分の具体的内容は、上述した通りである。
Specifically, the second
第2動き判定部62は、検索の結果あるブロックについて類似部分が見つかった場合、その類似部分のフレームN+M内での位置と、該ブロックのフレームN+M+1内での位置と、に基づいて、該ブロックの動きを判定する。類似部分が見つからなかった場合には、動きがないと判定する。
第2動き判定部62は、判定した動きを動きベクトルによって表し、第2予測フレーム群生成部63に出力する。
When a similar part is found for a block as a result of the search, the second
The second
図4(b)及び(c)は、第2動き判定部62の処理の具体的な例を示している。図4(b)に示すフレームN+Mには被写体O2が含まれており、この被写体O2は、図4(c)に示すフレームN+M+1では少し右に移動している。この移動の方向及び量が、フレームN+MからフレームN+M+1に向かって動きベクトルu(動きベクトルuはベクトル値である。以下同じ。)で表される方向及び量であったとすると、第2動き判定部62は、被写体O2内の各ブロックについて、動きベクトルuで表される動きがあったと判定し、動きベクトルuを出力する。
FIGS. 4B and 4C show specific examples of processing of the second
第2予測フレーム群生成部63は、N+M番目からN+M+L番目までの各フレームに基づいて、また、第2動き判定部62の判定結果に基づいて、N+1番目からN+M−1番目までの各第2予測フレームを生成する(第2予測フレーム群生成手段)。
より具体的には、第2予測フレーム群生成部63は、以下の式(7)を用いて、順次各第2予測フレームの各画素の画素値を決定していく。
The second predicted frame
More specifically, the second predicted frame
式(7)は、各第2予測フレームの各画素の画素値は、後の2つのフレームの画素値の平均により決定されるということを示している。このようにするのは、式(6)と同様、1つのフレームのみから画素値を決定すると、ノイズの影響を受けやすくなるからである。 Equation (7) indicates that the pixel value of each pixel of each second prediction frame is determined by the average of the pixel values of the subsequent two frames. This is because, similarly to the equation (6), if the pixel value is determined from only one frame, it is easily affected by noise.
図4(a)は、以上のようにして生成される各第2予測フレームのうち、第2予測フレームN+M−1の例を示している。同図では、フレームN+M+1からフレームN+Mにかけて被写体O2が動きベクトル−uで示される動きをしており(図3(a)及び(b))、第2予測フレーム群生成部63は、この動きを継続させて被写体O2を構成する各ブロックの位置を移動させることにより、第2予測フレームN+M−1を生成する。その結果、生成される第2予測フレームN+M−1における被写体O2の位置は、フレームN+Mにおける当該被写体O2の位置から動きベクトル−uの分だけずれた位置となる。
FIG. 4A shows an example of the second predicted frame N + M−1 among the second predicted frames generated as described above. In the figure, the subject O2 moves from the frame N + M + 1 to the frame N + M as indicated by the motion vector −u (FIGS. 3A and 3B), and the second predicted frame
なお、このようにして各第2予測フレームを生成する場合にも、各画素の画素値の決定において、各第1予測フレームを生成する場合と同様な2つの問題が生じ得るが、上記同様にすればよい。 Even when each second prediction frame is generated in this way, the same two problems as in the case where each first prediction frame is generated may occur in determining the pixel value of each pixel. do it.
合成フレーム群生成部64は、各第1予測フレームそれぞれと、対応する第2予測フレームと、を合成することによりN+1番目からN+M−1番目までの各合成フレームを生成する(合成フレーム群生成手段)。
The synthesized frame
具体的には、合成フレーム群生成部64は、以下の式(8)を用いて、各合成フレームを生成する。ここで、pfX’(r)は、合成フレームXの座標rにある画素の画素値を、pfX from(r)は、第1予測フレームXの座標rにある画素の画素値を、pfX to(r)は、第2予測フレームXの座標rにある画素の画素値を、それぞれ示している。また、α(k)は、フレームkにおける前方ショット(ディゾルブ区間候補がディゾルブ区間であるとして、合成されている2つのショットのうち時間的に前方に位置するショット。)の合成比率であり、式(9)で表される。
Specifically, the composite frame
類似度算出部65は、ディゾルブ区間候補内の各フレームそれぞれと、対応する上記合成フレームとの類似度を算出する(類似度算出手段)。
具体的には、類似度算出部65は、以下の式(10)又は式(11)を用いて、上記類似度を算出する。ここで、sim(fi’,fi)は、フレームi(fi)と合成フレームi(fi’)の類似度であり、pfX(r)は、フレームXの座標rにある画素の画素値である。
The
Specifically, the
式(10)は、フレームiと合成フレームiの画素値の差分二乗和を類似度としたものである。また、式(11)では、フレームiと合成フレームiの各画素の画素値を要素とするベクトルのなす角の余弦値が類似度となっている。
判定部66は、類似度算出部65により算出された類似度に基づき、ディゾルブ区間候補がディゾルブ区間であるか否かを判定する(判定手段)。具体的には、各フレームの類似度の平均値が所定値以上である場合に、ディゾルブ区間候補がディゾルブ区間であると判定する。なお、各フレームの類似度の平均値Diss(N+1,N+M−1)は、式(12)によって算出することが好適である。
Expression (10) is obtained by using the difference square sum of the pixel values of the frame i and the composite frame i as the similarity. In the equation (11), the cosine value of the angle formed by the vector having the pixel values of the pixels of the frame i and the composite frame i as elements is the similarity.
The
図5は、合成フレーム群生成部64、類似度算出部65、及び判定部66の処理について、図3及び図4の例に基づいて説明するための説明図である。なお、図5の例では、M=3としている。
FIG. 5 is an explanatory diagram for explaining the processing of the composite frame
図5に示すように、合成フレーム群生成部64は、各第1予測フレームと、対応する第2予測フレームと、を合成することにより、各合成フレームを生成するのであるが、各合成フレームにおいては、式(8)によりディゾルブをかけたのと同様の効果が得られるため、被写体O1の濃度が少しずつ下がり、一方で、被写体O2の各濃度が少しずつ上がっている。ディゾルブ区間候補がディゾルブ区間であれば、映像記憶部3に記憶される一連のフレームでも同様な濃度変化が現れているはずであり、各合成フレームとの類似度は高くなる。判定部66は、このような類似度の特徴を利用して、ディゾルブ区間候補がディゾルブ区間であるか否かを判定している。
As shown in FIG. 5, the synthesized frame
さて、ディゾルブ区間判定部6は、判定部66の判定結果を出力する。ディゾルブ区間検出装置1は、映像記憶部3に記憶される一連のフレームのうち、ディゾルブ区間判定部6の出力によりディゾルブ区間であると判定されたディゾルブ区間候補にかかるフレーム区間を、ディゾルブ区間として検出する。
Now, the dissolve
以上説明したディゾルブ区間検出装置1の処理について、フローチャートを参照しながら再度より詳細に説明する。
図6は、ディゾルブ区間検出装置1が行うディゾルブ区間判定処理の処理フローを示すフロー図である。同図に示すように、隣接フレーム間差分算出部4は、映像記憶部3から順次フレームを取得し(ステップS1)、隣接フレーム間差分を算出する(ステップS2)。そして、算出した隣接フレーム間差分が所定閾値を上回っているか否かを判定し(ステップS3)、肯定的な判定結果が得られた場合に、処理をステップS4に進める。なおここでは、N番目のフレームにおいて隣接フレーム間差分が所定閾値を上回ったとする。
The process of the dissolve
FIG. 6 is a flowchart showing a process flow of a dissolve section determination process performed by the dissolve
ステップS4では、ディゾルブ区間候補取得部5は、変数Mの記憶領域を用意し、所定値Mmaxを代入する(ステップS4)。そして、フレームN+1からフレームN+M−1までのフレーム区間をディゾルブ区間候補に設定する(ステップS5)。
In step S4, the dissolve section
次に、ディゾルブ区間判定部6は、設定された区間の前のフレーム(フレームN−1及びN)から、第1予測フレーム群を生成する(ステップS6)とともに、設定された区間の後のフレーム(フレームN+M及びN+M+1)から、第2予測フレーム群を生成する(ステップS7)。ディゾルブ区間判定部6は、さらに、生成した第1予測フレーム群及び第2予測フレーム群から、合成フレーム群を生成する(ステップS8)。そして、ディゾルブ区間判定部6は、合成フレーム群を構成する各合成フレームと、映像記憶部3に記憶される一連のフレームのうちフレームN+1からフレームN+M−1までの各フレームと、の類似度を算出する。
Next, the dissolve
次に、ディゾルブ区間判定部6は、各フレームの類似度の平均値を式(12)により算出し、所定閾値を上回っているか否かを判定する(ステップS10)。なお、この判定方法の他に、類似度が所定値以上のフレーム数が所定閾値を上回っているか否かを判定する判定方法を使用してもよい。
Next, the dissolve
ステップS10の判定結果が肯定的なものであった場合、ディゾルブ区間判定部6は、ディゾルブ区間候補を、ディゾルブ区間であると判定する(ステップ11)。この判定がなされると、ディゾルブ区間検出装置1は、残りのフレーム区間にもディゾルブ区間がないかどうか調べるため、映像記憶部3に記憶される全てのフレームについて確認が終わるのでの間、隣接フレーム間差分算出部4の処理から処理を繰り返す(ステップS15)。ただしこの場合、ディゾルブ区間検出装置1は、ステップS1で取得されるフレームの位置(一連のフレーム内での順番)にMを足す(ステップS12)。2つ以上のディゾルブ区間が重なって存在することは、通常考えられないからである。
If the determination result in step S10 is affirmative, the dissolve
一方、ステップS10の判定結果が否定的なものであった場合、ディゾルブ区間判定部6は、ディゾルブ区間候補はディゾルブ区間でないと判定し、変数MにM−1を代入する(ステップS13)。ディゾルブ区間判定部6は、こうして得られる変数Mの値が所定値Mmin(Mmin<Mmax)より大きければ、ステップS5からの処理を繰り返し(S14の肯定判定)、小さければ、ステップS15の処理を開始する(S14の否定判定)。
On the other hand, if the determination result in step S10 is negative, the dissolve
以上説明したように、ディゾルブ区間検出装置1によれば、動きを考慮した上で第1及び第2予測フレームを生成することができるので、映像内の被写体に動きがあるディゾルブ区間を、高い精度で検出可能となる。
また、フレームNの前に続く1又は複数のフレーム及びフレームN+Mの後に続く1又は複数のフレームに基づいて、ブロックの動きを判定することができる。
As described above, according to the dissolve
Also, the motion of the block can be determined based on one or more frames that follow the frame N and one or more frames that follow the frame N + M.
さらに、MをMmaxからMminの間で変化させつつディゾルブ区間候補を取得するようにしているので、ディゾルブ区間長が不明な場合であっても、適切にディゾルブ区間を検出できる。
また、隣接フレーム間差分が所定閾値を上回った場合にのみディゾルブ区間候補を取得するようにしているので、効率的にディゾルブ区間の判定を行うことができる。
Further, since the dissolve section candidate is acquired while changing M from Mmax to Mmin, the dissolve section can be appropriately detected even when the length of the dissolve section is unknown.
In addition, since the dissolve section candidate is acquired only when the difference between adjacent frames exceeds a predetermined threshold, it is possible to efficiently determine the dissolve section.
以上本発明の実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明は、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。 Although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and the present invention can of course be implemented in various modes without departing from the scope of the present invention. It is.
例えば、本発明はディゾルブ区間検出後の後処理用としても用いることができる。すなわち、ディゾルブ区間を一旦背景技術により検出した後、検出された区間について本発明によるディゾルブ区間検出を行い、本当にディゾルブ区間であるか否かを判定する、という用途にも本発明を用いることができる。 For example, the present invention can be used for post-processing after detecting a dissolve section. That is, the present invention can also be used for the purpose of detecting the dissolve section once by the background technique, then performing the dissolve section detection according to the present invention for the detected section, and determining whether or not it is really the dissolve section. .
例えば、ディゾルブ区間検出装置1の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記ディゾルブ区間検出装置1の各処理を行ってもよい。
ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、この「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに、「コンピュータ読み取り可能な記録媒体」には、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
さらに、上記プログラムは、上述した各機能の一部を実現するためのものであってもよい。さらに、上述した各機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
For example, a program for realizing the function of the dissolve
Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
Furthermore, the “computer-readable recording medium” includes a volatile memory (for example, DRAM (DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Dynamic Random Access Memory)), etc., which hold programs for a certain period of time.
The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
Further, the program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve each function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
1 ディゾルブ区間検出装置、
2 映像入力受付部、
3 映像記憶部、
4 隣接フレーム間差分算出部、
5 ディゾルブ区間候補取得部、
6 ディゾルブ区間判定部、
60 第1動き判定部、
61 第1予測フレーム群生成部、
62 第2動き判定部、
63 第2予測フレーム群生成部、
64 合成フレーム群生成部、
65 類似度算出部、
66 判定部、
O1,O2 被写体。
1 Dissolve section detection device,
2 Video input reception unit,
3 Video storage unit,
4 Adjacent frame difference calculation unit,
5 Dissolve section candidate acquisition unit,
6 Dissolve section judgment unit,
60 1st motion determination part,
61 first prediction frame group generation unit,
62 second motion determination unit,
63 second prediction frame group generation unit,
64 composite frame group generator,
65 similarity calculation unit,
66 determination unit,
O1, O2 Subject.
Claims (5)
前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定するディゾルブ区間判定手段と、
を含み、
前記ディゾルブ区間判定手段は、
N−K番目(K≧1)からN番目までの各フレームに基づいて、N+1番目からN+M−1番目までの各第1予測フレームを生成する第1予測フレーム群生成手段と、
N+M番目からN+M+L番目(L≧1)までの各フレームに基づいて、N+1番目からN+M−1番目までの各第2予測フレームを生成する第2予測フレーム群生成手段と、
前記各第1予測フレームそれぞれと、対応する前記第2予測フレームと、を合成することによりN+1番目からN+M−1番目までの各合成フレームを生成する合成フレーム群生成手段と、
前記合成フレーム群生成手段により生成された前記各合成フレームそれぞれと、対応する前記ディゾルブ区間候補内の各フレームと、の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度に基づき、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定する判定手段と、
を含む、
ことを特徴とするディゾルブ区間検出装置。 A dissolve section candidate acquisition means for acquiring Nth (N ≧ 2) to N + Mth (M ≧ 2) frame sections as a dissolve section candidate among a series of frames constituting a video;
A dissolve section determining means for determining whether the dissolve section candidate is a dissolve section;
Including
The dissolve section determining means is
First predicted frame group generation means for generating the first predicted frames from the (N + 1) th to the (N + M−1) th based on the respective frames from the NKth (K ≧ 1) to the Nth;
Second predicted frame group generation means for generating the second predicted frames from the (N + 1) th to the (N + M−1) th based on the respective frames from the N + Mth to the N + M + Lth (L ≧ 1);
Combined frame group generating means for generating each combined frame from the (N + 1) th to the (N + M−1) th by combining each of the first predicted frames and the corresponding second predicted frame;
Similarity calculating means for calculating the similarity between each of the combined frames generated by the combined frame group generating means and each frame in the corresponding dissolve section candidate;
Determining means for determining whether or not the dissolve section candidate is a dissolve section based on the similarity calculated by the similarity calculating section;
including,
Dissolve section detection device characterized by the above.
N−K番目(K≧1)からN番目までの各フレームに基づいて、N番目のフレームを構成する複数ブロックそれぞれの動きを判定する第1動き判定手段と、
N+M番目からN+M+L番目(L≧1)までの各フレームに基づいて、N+M番目のフレームを構成する複数ブロックそれぞれの動きを判定する第2動き判定手段と、
を含み、
前記第1予測フレーム群生成手段は、前記第1動き判定手段の判定結果に基づいて前記各第1予測フレームを生成し、
前記第2予測フレーム群生成手段は、前記第2動き判定手段の判定結果に基づいて前記各第2予測フレームを生成する、
ことを特徴とするディゾルブ区間検出装置。 In the dissolve section detection device according to claim 1,
First motion determination means for determining the motion of each of a plurality of blocks constituting the Nth frame based on each of the N-Kth (K ≧ 1) to Nth frames;
Second motion determination means for determining the motion of each of a plurality of blocks constituting the N + M-th frame based on each frame from the N + M-th to the N + M + L-th (L ≧ 1);
Including
The first prediction frame group generation unit generates each first prediction frame based on a determination result of the first motion determination unit,
The second prediction frame group generation unit generates the second prediction frames based on the determination result of the second motion determination unit.
Dissolve section detection device characterized by the above.
前記ディゾルブ区間候補取得手段は、前記Mの複数の値について前記ディゾルブ区間候補の取得を行う、
ことを特徴とするディゾルブ区間検出装置。 In the dissolve section detection device according to claim 1 or 2,
The dissolve section candidate acquisition means acquires the dissolve section candidates for the plurality of values of M.
Dissolve section detection device characterized by the above.
前記一連のフレームについて、順次隣接フレーム間差分を算出する隣接フレーム間差分算出手段、
を含み、
前記ディゾルブ区間候補取得手段は、I番目のフレームとI+1番目のフレームとの間の前記隣接フレーム間差分が所定の閾値以上である場合に、前記Iを前記Nとして前記ディゾルブ区間候補の取得を行う、
を含むことを特徴とするディゾルブ区間検出装置。 In the dissolve section detection device according to any one of claims 1 to 3,
For the series of frames, a difference calculation unit between adjacent frames for calculating a difference between adjacent frames sequentially,
Including
The dissolve section candidate acquisition means acquires the dissolve section candidate with I as the N when the difference between adjacent frames between the I-th frame and the (I + 1) -th frame is equal to or greater than a predetermined threshold. ,
A dissolve section detecting device comprising:
前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定するディゾルブ区間判定手段、
としてコンピュータを機能させるためのプログラムであって、
前記ディゾルブ区間判定手段は、
N−K番目(K≧1)からN番目までの各フレームに基づいて、N+1番目からN+M−1番目までの各第1予測フレームを生成する第1予測フレーム群生成手段と、
N+M番目からN+M+L番目(L≧1)までの各フレームに基づいて、N+1番目からN+M−1番目までの各第2予測フレームを生成する第2予測フレーム群生成手段と、
前記各第1予測フレームそれぞれと、対応する前記第2予測フレームと、を合成することによりN+1番目からN+M−1番目までの各合成フレームを生成する合成フレーム群生成手段と、
前記合成フレーム群生成手段により生成された前記各合成フレームそれぞれと、対応する前記ディゾルブ区間候補内の各フレームと、の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度に基づき、前記ディゾルブ区間候補がディゾルブ区間であるか否かを判定する判定手段と、
を含む、
ことを特徴とするプログラム。 Among the series of frames constituting the video, a dissolve section candidate acquisition means for acquiring Nth (N ≧ 2) to N + Mth (M ≧ 2) frame sections as dissolve section candidates, and the dissolve section candidate is a dissolve section A dissolve section judging means for judging whether or not there is,
As a program for causing a computer to function as
The dissolve section determining means is
First predicted frame group generation means for generating the first predicted frames from the (N + 1) th to the (N + M−1) th based on the respective frames from the NKth (K ≧ 1) to the Nth;
Second predicted frame group generation means for generating the second predicted frames from the (N + 1) th to the (N + M−1) th based on the respective frames from the N + Mth to the N + M + Lth (L ≧ 1);
Combined frame group generating means for generating each combined frame from the (N + 1) th to the (N + M−1) th by combining each of the first predicted frames and the corresponding second predicted frame;
Similarity calculating means for calculating the similarity between each of the combined frames generated by the combined frame group generating means and each frame in the corresponding dissolve section candidate;
Determining means for determining whether or not the dissolve section candidate is a dissolve section based on the similarity calculated by the similarity calculating section;
including,
A program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007148388A JP5026152B2 (en) | 2007-06-04 | 2007-06-04 | Dissolve detection device and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007148388A JP5026152B2 (en) | 2007-06-04 | 2007-06-04 | Dissolve detection device and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008301425A true JP2008301425A (en) | 2008-12-11 |
JP5026152B2 JP5026152B2 (en) | 2012-09-12 |
Family
ID=40174464
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007148388A Active JP5026152B2 (en) | 2007-06-04 | 2007-06-04 | Dissolve detection device and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5026152B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014208688A1 (en) * | 2013-06-27 | 2014-12-31 | Kddi株式会社 | Video coding device, video decoding device, video system, video coding method, video decoding method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285712A (en) * | 2000-03-07 | 2001-10-12 | Lg Electronics Inc | Dissolve/fade detection method in mpeg compression video environment |
JP2005237002A (en) * | 2005-02-17 | 2005-09-02 | Kddi Corp | Method for detecting cut point in moving image |
-
2007
- 2007-06-04 JP JP2007148388A patent/JP5026152B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001285712A (en) * | 2000-03-07 | 2001-10-12 | Lg Electronics Inc | Dissolve/fade detection method in mpeg compression video environment |
JP2005237002A (en) * | 2005-02-17 | 2005-09-02 | Kddi Corp | Method for detecting cut point in moving image |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014208688A1 (en) * | 2013-06-27 | 2014-12-31 | Kddi株式会社 | Video coding device, video decoding device, video system, video coding method, video decoding method, and program |
JP2015012389A (en) * | 2013-06-27 | 2015-01-19 | Kddi株式会社 | Video coding device, video decoding device, video system, video coding method, video decoding method, and program |
CN105379265A (en) * | 2013-06-27 | 2016-03-02 | 凯迪迪爱通信技术有限公司 | Video coding device, video decoding device, video system, video coding method, video decoding method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5026152B2 (en) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230077355A1 (en) | Tracker assisted image capture | |
US9852511B2 (en) | Systems and methods for tracking and detecting a target object | |
US9179071B2 (en) | Electronic device and image selection method thereof | |
JP4698754B2 (en) | Scene change detection method and apparatus | |
US8098885B2 (en) | Robust online face tracking | |
KR100860988B1 (en) | Method and apparatus for object detection in sequences | |
TWI352937B (en) | Motion compensated frame rate conversion | |
KR100985805B1 (en) | Apparatus and method for image stabilization using adaptive Kalman filter | |
Yaakob et al. | A comparison of different block matching algorithms for motion estimation | |
US11070729B2 (en) | Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus | |
US8774276B2 (en) | Image processing method for determining motion vectors of interpolated picture and related apparatus | |
KR20110086826A (en) | Method, apparatus and software for determining motion vectors | |
JP4496992B2 (en) | Animal up-frame detection method, program, and storage medium storing program, and animal up-shot detection method, animal up-frame or shot detection method, program, and storage medium | |
JP7027776B2 (en) | Movement vector calculation method, device, program, and movement vector calculation method including noise reduction processing. | |
CN113269086A (en) | Vilog editing method and system | |
JP2014110020A (en) | Image processor, image processing method and image processing program | |
JP5788299B2 (en) | Image search apparatus, image search method, and program | |
JP5026152B2 (en) | Dissolve detection device and program | |
JP2006215655A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
JP5683153B2 (en) | Image processing apparatus and image processing method | |
JP4997179B2 (en) | Image processing apparatus, method, and program | |
JP2022190958A (en) | Shot boundary detection device, shot boundary learning device, and programs thereof | |
JP2006215657A (en) | Method, apparatus, program and program storage medium for detecting motion vector | |
JP2000132692A (en) | Method for extracting feature point of curve and recording medium recording the method | |
JP2009266169A (en) | Information processor and method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120522 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120620 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5026152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |