JP2014016895A - Information extraction device, information extraction method, and program - Google Patents
Information extraction device, information extraction method, and program Download PDFInfo
- Publication number
- JP2014016895A JP2014016895A JP2012154907A JP2012154907A JP2014016895A JP 2014016895 A JP2014016895 A JP 2014016895A JP 2012154907 A JP2012154907 A JP 2012154907A JP 2012154907 A JP2012154907 A JP 2012154907A JP 2014016895 A JP2014016895 A JP 2014016895A
- Authority
- JP
- Japan
- Prior art keywords
- density distribution
- sampling
- image
- setting
- reference section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、特に、画像サンプルを抽出するために用いて好適な情報抽出装置、情報抽出方法及びプログラムに関する。 The present invention particularly relates to an information extraction apparatus, an information extraction method, and a program suitable for use in extracting an image sample.
従来、動画像の要約や、画像の検索、動画像の代表画像の抽出、ハイライトシーンの検出、イベントの検出、画像認識など、多くのアプリケーションにおいて動画などから画像サンプルを抽出する技術が用いられている。そこで、動画像から重要度の高い複数の画像サンプルを抽出する技術を向上させる要求が高まっている。 Conventionally, techniques for extracting image samples from moving images have been used in many applications, such as summary of moving images, image search, extraction of representative images of moving images, highlight scene detection, event detection, image recognition, etc. ing. Therefore, there is an increasing demand for improving a technique for extracting a plurality of highly important image samples from a moving image.
例えば特許文献１には、予め用意した特定イベントや顔などの特定物体をテンプレートにして、画像内に該当する特定物体が検出された画像フレームを抽出する方法が開示されている。また、特許文献２には、時系列フレームを抽出する方法であって、基準フレームを特定物体やカメラモーション特徴量などから抽出し、その前後を比較することにより連続フレームを取得する技術が開示されている。また、非特許文献１には、ＰＲＦＤ法、ＲＩＦＡＳ法などの時系列アクティブ探索法が開示されている。このようにこれらの方法は、特定シーンや特定物体をあらかじめ用意して検出している技術である。
For example, Patent Document 1 discloses a method of extracting an image frame in which a specific object is detected in an image using a specific object such as a specific event or face prepared in advance as a template.
一方、非特許文献２には、一定区間の画像列を学習データにしてイベント検知を行う装置が開示されている。この技術のように、教師なし学習技術をベースに異常検知を行う場合は、画像列の区間が不明なため複数の参照区間を設定して検出を行う必要がある。
On the other hand, Non-Patent
前述した手法の場合、長い参照区間を設定して大量の画像サンプルセットを用意した場合に、学習に多くの時間がかかるという問題がある。そこで、一定のサンプリング間隔を設定することにより、画像サンプル数を減らすことができるが、重要なイベントを含むフレームもほとんど変化のないフレームも区別できないため、重要なフレームをサンプリングできない場合がある。 In the case of the above-described method, there is a problem that it takes a long time for learning when a large reference section is set and a large number of image sample sets are prepared. Therefore, by setting a certain sampling interval, the number of image samples can be reduced. However, since a frame containing an important event and a frame with little change cannot be distinguished, an important frame may not be sampled.
本発明は前述の問題点に鑑み、計算時間を短縮して重要な画像サンプルを抽出できるようにすることを目的としている。 An object of the present invention is to reduce the calculation time and extract important image samples in view of the above-described problems.
本発明の情報抽出装置は、動画像を構成する画像列を入力する入力手段と、前記入力手段により入力された画像列の参照区間に応じたサンプリングパラメータを設定する設定手段と、前記設定手段によって設定されたサンプリングパラメータに基づいて前記画像列から複数の画像サンプルを抽出する抽出手段と、前記抽出手段によって抽出された画像サンプルの評価値を算出する評価手段と、前記評価手段によって算出された評価値を用いて、前記抽出手段によって抽出された画像サンプルの参照区間とは異なる参照区間のサンプリング密度分布を算出する算出手段とを備え、前記設定手段は、前記サンプリング密度分布を用いて、前記算出手段によって前記サンプリング密度分布を算出した参照区間のサンプリングパラメータを設定することを特徴とする。 The information extraction apparatus according to the present invention includes an input unit that inputs an image sequence constituting a moving image, a setting unit that sets a sampling parameter according to a reference section of the image sequence input by the input unit, and the setting unit. Extraction means for extracting a plurality of image samples from the image sequence based on a set sampling parameter, evaluation means for calculating an evaluation value of the image sample extracted by the extraction means, and evaluation calculated by the evaluation means Calculation means for calculating a sampling density distribution in a reference section different from the reference section of the image sample extracted by the extraction means using a value, and the setting means uses the sampling density distribution to calculate the calculation The sampling parameter of the reference interval for which the sampling density distribution is calculated by means is set. The features.
本発明によれば、重要な画像サンプルを効率良く抽出することができ、他のアプリケーションの処理を容易にすることができる。 According to the present invention, important image samples can be extracted efficiently, and processing of other applications can be facilitated.
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る画像サンプリング装置（情報抽出装置）１００の機能構成例を示すブロック図である。
図１に示すように、本実施形態に係る画像サンプリング装置１００は、画像入力部１１０、パラメータ設定部１２０、画像サンプル抽出部１３０、画像評価部１４０、及びサンプリング密度分布算出部１５０にて構成されている。
(First embodiment)
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a functional configuration example of an image sampling device (information extraction device) 100 according to the present embodiment.
As shown in FIG. 1, the
画像入力部１１０は、ビデオカメラなど時系列的に連続な画像を取得する。本実施形態では、ビデオカメラにより３０分の動画像を構成する画像列１１１を取得する例について説明するが、これに限定するものではなく、予め録画したビデオファイルなど連続する時系列画像を入力する構成であってもよい。
The
パラメータ設定部１２０は、連続した画像列１１１からフレーム画像をサンプリングするために必要なパラメータを設定する。本実施例形態では、パラメータ設定部１２０は、階層パラメータ設定部１２５とサンプリングパラメータ設定部１２６とから構成されている。
The
階層パラメータ設定部１２５は、階層構造全体を処理する際に初回のみ動作し、サンプリングの基準となるキーフレームｔ０、総階層数Ｎ、各階層でのサンプリング数Ｓｎ、及び参照区間Δｔｎからなる階層構造パラメータ１２７を決定する。
The hierarchical
図２は、本実施形態で実際に使用する画像列１１１から、階層的に画像サンプルを抽出する場合の設定状況を示す図である。図２には、総階層数Ｎが５である場合の例を示している。
本実施形態においては、図２に示すように、同一のキーフレームｔ０を起点に異なる参照区間（参照区間Δｔ１〜参照区間Δｔ５）の階層１〜階層５を設定する。これにより、それぞれの参照区間の長さに応じて動作からシーンまで異なるイベントの検出を可能としている。
FIG. 2 is a diagram showing a setting situation when image samples are extracted hierarchically from the
In the present embodiment, as shown in FIG. 2, layers 1 to 5 of different reference sections (reference section Δt 1 to reference section Δt 5 ) are set starting from the same key frame t 0 . This makes it possible to detect different events from operation to scene according to the length of each reference section.
例えば、３０ｆｐｓのビデオカメラで撮像した３０分の動画像を構成する画像列１１１（５４０００フレーム分）に対して、ある時刻ｔ０を基準として、参照区間Δｔｎは、階層パラメータ設定部１２５により以下のように設定される。まず、最上段の参照区間Δｔ５では、Δｔ５＝ｔ０−ｔ５となり、以下、参照区間Δｔｋ＝ｔ０−ｔｋとなる。図２に示す例の場合、参照区間Δｔ５＝１８００（１分）であり、参照区間Δｔ１＝３０（１秒）であるものとする。
For example, with respect to an image sequence 111 (54000 frames) constituting a 30-minute moving image captured by a 30 fps video camera, the reference interval Δt n is set as follows by the hierarchical
サンプリングパラメータ設定部１２６は、階層パラメータ設定部１２５が設定した階層構造パラメータ１２７を元に、階層ごとのサンプリング密度分布ＰＳを設定する。そして、各階層のベース密度分布ＰＢと、サンプリング密度分布ＰＳとを加算して、階層ｎにおける合成サンプリング密度分布Ｐｎを以下の式（１）により計算する。
Ｐｎ＝α（ＰＢ＋ＰＳ） ・・・（１）
Sampling the
P n = α (P B + P S ) (1)
ここでαは正規化係数であり、階層ｎの後述する抽出区間スコアとベース密度分布との和による波形の振幅最大値の逆数となる。また、本実施形態におけるベース密度分布ＰＢは、ＰＢ＝ｃｏｎｓｔ．として定義している。これにより、ベース密度分布がない場合にサンプリング密度が０になってしまい、サンプリングされない参照区間が発生することを防いでいる。そして、階層構造パラメータ１２７及び合成サンプリング密度分布Ｐｎをサンプリングパラメータ１２１として出力する。 Here, α is a normalization coefficient, which is the reciprocal of the maximum amplitude value of the waveform by the sum of an extraction interval score (to be described later) of the layer n and the base density distribution. In addition, the base density distribution P B in the present embodiment is P B = const. It is defined as As a result, the sampling density becomes 0 when there is no base density distribution, thereby preventing the occurrence of a reference section that is not sampled. Then, the hierarchical structure parameter 127 and the combined sampling density distribution P n are output as the sampling parameter 121.
画像サンプル抽出部１３０は、パラメータ設定部１２０から出力されるサンプリングパラメータ１２１を用いて画像列１１１から画像サンプルセット１３１を抽出する。すなわち、サンプリングパラメータ１２１を元に、画像列１１１のフレームから、合成サンプリング密度分布Ｐｎに応じたランダムサンプリングによってサンプリング数Ｓｎ分のフレーム画像を画像サンプルセット１３１として抽出する。
The image
本実施形態においては、動画像の画像列１１１から抽出される画像サンプルセット１３１は、画像サンプリング装置１００を含む上位階層（アプリケーション層）に伝達される。そして、セキュリティカメラや家庭用ビデオカメラなどに搭載される画像認識、イベント検出、ビデオセグメンテーションなど様々な画像処理アプリケーションに使用される。
In the present embodiment, the image sample set 131 extracted from the moving
画像評価部１４０は、サンプリング数Ｓｎの画像サンプルセット１３１を用いて参照区間Δｔｎでの画像の統計的評価を行い、階層ｎでの評価値Ｅｎを出力する。本実施形態では、非特許文献２に記載された手法により評価値Ｅｎを算出する。具体的には、ある画像サンプルセット１３１を訓練データとし、別工程で抽出された画像サンプルセットを検証データとする。そして、二つのデータ集合に対応する二つの確率密度の比を用いて特異点を検出する。そして、評価値Ｅｎは、二つのデータ集合間の特異値とする。なお、この評価値Ｅｎを、画像サンプリング装置１００を含む上位階層（アプリケーション層）に伝達し、様々な画像処理アプリケーションに使用される構成であってもよい。
The
図３は、サンプリング数と計算時間との関係を示す図である。図３において、横軸はサンプリング数を示し、縦軸は該当するサンプリング数の画像サンプルセットを評価するのにかかった時間を示している。一般的に、サンプリング数の増加に従い、非線形に計算時間が増加する。 FIG. 3 is a diagram illustrating the relationship between the number of samplings and the calculation time. In FIG. 3, the horizontal axis represents the number of samplings, and the vertical axis represents the time taken to evaluate the image sample set having the corresponding number of samplings. Generally, the calculation time increases nonlinearly as the number of samplings increases.
図２に示した設定の場合、階層１での処理は、全フレームをサンプリングした場合でも数秒程度である。一方、階層５の参照区間Δｔ５を全フレームにおいてサンプリングにより評価すると、例えば、１８００フレームで約１０８８秒の計算時間が必要となる。そこで本実施形態では、このような計算時間を短縮するために、以下に説明するようにサンプリング密度分布ＰＳを算出して、適切な画像サンプルセットを取得できるようにしている。 In the case of the setting shown in FIG. 2, the processing in the hierarchy 1 is about several seconds even when all the frames are sampled. On the other hand, when the reference section Delta] t 5 hierarchy 5 is evaluated by sampling the entire frame, for example, it is required computation time of about 1088 seconds at 1800 frames. Therefore, in this embodiment, in order to reduce such a calculation time, and it calculates the sampling density distribution P S as described below, and be able to get an appropriate image sample set.
サンプリング密度分布算出部１５０は、評価値Ｅｎ及びサンプリングパラメータ１２１をもとに、上段の階層ｎ＋１の参照区間Δｔｎ＋１におけるサンプリング密度分布ＰＳを算出する。そして、パラメータ設定部１２０へ出力する。本実施形態では、総階層数Ｎはあらかじめ階層パラメータ設定部１２５により設定されているため、階層ｎが総階層数Ｎに達した時点でループを脱し、次のキーフレームに移行する。
Sampling density
次に、サンプリング密度分布ＰＳを具体的に算出する例について、図４を参照しながら説明する。図４において、横軸は時間を示し、縦軸は画像評価部１４０より算出された評価値Ｅｎとして非類似スコアを示している。また、階層パラメータ設定部１２５により参照区間Δｔ１＝３０（フレーム数）、サンプリング数Ｓ１＝２０と設定されているものとする。
Next, an example for specifically calculating the sampling density distribution P S, is described with reference to FIG. 4, the horizontal axis represents time and the vertical axis represents the dissimilar score as the evaluation value E n calculated from the
まず、階層１は初期階層であることから、サンプリング密度分布算出部１５０によりサンプリング密度分布ＰＳは算出されていない。このため、サンプリングパラメータ設定部１２６は、サンプリング密度分布ＰＳ＝０、α＝１とし、予め設定されたベース密度分布ＰＢのみをそのまま合成サンプリング密度分布Ｐ１としてサンプリングパラメータ１２１を設定する。このように本実施形態では、ベース密度分布ＰＢを一様分布として定義し、階層１のサンプリング密度分布とする。
First, hierarchical 1 since the initial hierarchy, the sampling density distribution P S by sampling density
次に、画像サンプル抽出部１３０は、合成サンプリング密度分布Ｐ１と、サンプリング数Ｓ１（Ｓ１＝２０）とに基づき、キーフレームｔ０から３０フレーム分の参照区間Δｔ１からランダムサンプリングにて２０枚のフレーム画像を抽出する。この場合、合成サンプリング密度分布Ｐ１はベース密度分布ＰＢと同じであり、一様分布であるため、参照区間Δｔ１では均等確率なサンプリングとなる。
Next, the image
なお、本実施形態では、ベース密度分布ＰＢは一様分布であるものとしたが、その他の方法によりベース密度分布ＰＢを定義してもよい。例えば、ベース密度分布ＰＢ＝Ａ（ｔ０−ｔ）＋ｃｏｎｓｔ．とし、時間によって減衰（忘却）もしくは増加するように定義してもよい。さらには、ベース密度分布ＰＢ＝Ａ（Δｔｎ−１−Δｔｎ）＋ｃｏｎｓｔ．とし、新規に追加された参照区間の領域のみベース密度を増加させるように定義してもよい。また、ベース密度分布ＰＢを複数用意し、選択できるようにしてもよい。 In the present embodiment, the base density distribution P B is a uniform distribution, but the base density distribution P B may be defined by other methods. For example, base density distribution P B = A (t 0 −t) + const. And may be defined to decay (forget) or increase with time. Further, the base density distribution P B = A (Δt n−1 −Δt n ) + const. And the base density may be defined to increase only in the newly added reference section region. Alternatively, a plurality of base density distributions P B may be prepared and selected.
次に、画像評価部１４０は、抽出された２０フレームの画像サンプルセット１３１を訓練データとする。そして、図４に示すようなキーフレームｔ０後の３０フレーム分の検証データ用参照区間４１１から抽出した２０フレーム分の検証用の画像サンプルセットを検証データとする。なお、検証データ用参照区間４１１から抽出するフレーム数については、どのように決定してもよく、例えば、予め階層ごとに参照するフレーム数を決めておくようにしてもよい。そして、非特許文献２に記載されている手法を用いて非類似スコア１４１を算出する。本実施形態では、キーフレームｔ０を時間軸上に移動させ、キーフレーム毎の非類似スコア（評価値Ｅ１）を算出する。その結果、図４に示すように、階層１の非類似スコア４３１が時系列データの軌跡として算出される。
Next, the
次に、サンプリング密度分布算出部１５０は、次段である階層２のサンプリング密度分布ＰＳを算出する。なお、階層パラメータ設定部１２５により、階層２の参照区間Δｔ２＝４０、サンプリング数Ｓ２＝３０と設定されているものとする。本実施形態では、まず、キーフレームｔ０を基準として、階層２の参照区間Δｔ２の４０フレーム分の非類似スコアを階層１の非類似スコア４３１から抽出し、抽出区間スコア４４１とする。そして、抽出区間スコア４４１でスコアの高いフレームには画像上で変化の大きいフレームが含まれている確率が高いため、抽出区間スコア４４１の波形の振幅を１に正規化して階層２のサンプリング密度分布ＰＳとする。
Next, the sampling density
このようにして算出されたサンプリング密度分布ＰＳは、サンプリングパラメータ設定部１２６に入力され、前述した式（１）により合成サンプリング密度分布Ｐ２が算出される。このとき、正規化係数αは、階層２の抽出区間スコア４４１とベース密度分布ＰＢとの和による波形の振幅最大値の逆数となる。
Thus the sampling density distribution P S that is calculated is inputted to the sampling
以上のように算出した合成サンプリング密度分布Ｐ２を元に上記の処理を繰り返すことによって、総階層数Ｎまでの画像サンプルセット１３１を抽出することができる。ここで、処理時間を短縮するために、階層パラメータ設定部１２５にて各階層のサンプリング数Ｓｎを減少させてもよい。
By repeating the calculated composite sampling density distribution P 2 above processing based on the above, it is possible to extract an image sample set 131 to the total number of layers N. In order to shorten the processing time, it may reduce the sampling number S n of each layer in the hierarchical
また、階層２からは、合成サンプリング密度分布Ｐｎは一様でない分布となる。したがって、画像サンプル抽出部１３０は、合成サンプリング密度分布Ｐｎにより、変化の大きいフレーム領域のサンプリング確率を高く、変化の少ないフレーム領域のサンプリング確率を低く設定する。これにより適切な画像サンプルセット１３１を取得することが可能になる。
Also, from
また、本実施形態では、階層パラメータ設定部１２５において予め総階層数Ｎ、各階層の参照区間Δｔｎ、サンプリング数Ｓｎを決定する例に説明した。一方、総階層数Ｎを事前に設定しないようにし、隣接する階層間の参照区間の増加量を設定し、さらに終了条件を設定するようにしてもよい。この場合、終了条件としては、画像列１１１全体に至るまでといった条件や、非類似スコアが全域で閾値を超えない範囲といった条件などが適用可能である。
Further, in the present embodiment it has been described previously the total number of levels in the hierarchical parameter setting unit 125 N, see section Delta] t n of each layer, the example of determining the sampling number S n. On the other hand, the total number of hierarchies N may not be set in advance, the increase amount of the reference section between adjacent hierarchies may be set, and the end condition may be set. In this case, as the end condition, a condition such as reaching the
また、サンプリング数Ｓｎについては、初期値としてサンプリング数Ｓ１を設定し、順次サンプリング数Ｓｎを増加させ、非類似スコアの変化量が閾値以下になるまでサンプリング数Ｓｎを増加するようにしてもよい。これにより、各階層でのサンプリング数Ｓｎを予め設定する必要はなくなる。 Also, the sampling number S n, sets the number of samples S 1 as an initial value, increasing the sequential sampling number S n, so as to increase the number of samples S n to change the amount of dissimilar score falls below the threshold value May be. Accordingly, it becomes unnecessary to set the sampling number S n in each layer in advance.
以上のように本実施形態によれば、繰り返して合成サンプリング密度分布Ｐｎは算出し、その密度分布に基づいて合成サンプリング密度分布Ｐｎを算出して、この結果に基づいてサンプリングする画像を抽出するようにした。これにより、重要な画像サンプルを効率良く抽出することができ、他のアプリケーションの処理を容易にすることができる。 According to this embodiment as described above, repeated synthetic sampling density distribution P n is calculated, and calculates the combined sampling density distribution P n on the basis of the density distribution, extract an image to be sampled on the basis of the result I tried to do it. Thereby, an important image sample can be extracted efficiently, and processing of other applications can be facilitated.
（第２の実施形態）
以下、本発明の第２の実施形態について図面を参照しながら説明する。なお、本実施形態に係る画像サンプリング装置は、第１の実施形態で説明した画像サンプリング装置１００と基本的な構成が同様であるため、構成の説明は省略する。以下、第１の実施形態との相違点のみを説明する。
(Second Embodiment)
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings. Note that the basic configuration of the image sampling device according to the present embodiment is the same as that of the
第１の実施形態との相違点は、サンプリング密度分布算出部１５０による計算において、前階層の非類似スコアの軌跡を用いるのではなく、前もって非類似度を評価した後にガウス分布を用いてサンプリング密度分布ＰＳを生成する点である。以下、サンプリング密度分布算出部１５０においてサンプリング密度分布ＰＳを算出する処理手順について説明する。
The difference from the first embodiment is that, in the calculation by the sampling density
図５は、本実施形態におけるサンプリング密度分布算出部１５０の詳細な機能構成例を示すブロック図である。
図５に示すように、サンプリング密度分布算出部１５０は、閾値設定部５１０、ピーク時刻抽出部５２０、ガウス分布生成部５３０、及び混合密度分布生成部５４０によって構成されている。
FIG. 5 is a block diagram illustrating a detailed functional configuration example of the sampling density
As shown in FIG. 5, the sampling density
図６は、階層１、階層２、階層３についての非類似スコアの分布を示している。
図６において、横軸は時間を示し、縦軸は非類似スコア（評価値Ｅｎ）を示している。ここで、キーフレームｔ０において、階層１及び階層２に対しては画像評価部１４０により評価値Ｅｎが既に算出されているものとする。以下、図５に示す各構成の機能とともに、階層３のサンプリング密度分布ＰＳを算出する例について図６を参照しながら説明する。なお、参照区間Δｔ１、Δｔ２はそれぞれ３０、４０とする。
FIG. 6 shows the distribution of dissimilar scores for hierarchy 1,
In FIG. 6, the horizontal axis represents time, and the vertical axis represents dissimilarity scores (evaluation values E n ). Here, it is assumed that the evaluation value En has already been calculated by the
閾値設定部５１０は、各階層における閾値６０１〜６０３を設定する。本実施形態では予め適切な値を設定するものとする。
The
次に、ピーク時刻抽出部５２０は、非類似スコアの軌跡から閾値を超えたピークを検出し、そのピーク時刻ｔｍ ｎを検出する。ここで、ｎは階層を示し、ｍは閾値を超えたピークの番号を示す。図６に示す例では、階層１においてはピーク時刻ｔ０ １〜ｔ２ １が検出され、階層２においてはピーク時刻ｔ１ ２〜ｔ２ ２が検出される。さらに、これらのピーク時刻ｔｍ ｎに対して、各階層の参照区間Δｔ１、ｔ２を適用して、図６に示すようにそれぞれの部分領域６１１〜６１５を設定する。
Next, the peak time extracting section 520 detects a peak exceeding the threshold from the trajectory of dissimilar score, and detects the peak time t m n. Here, n indicates a hierarchy, and m indicates a peak number exceeding a threshold value. In the example shown in FIG. 6, the peak time t 0 1 ~t 2 1 is detected in the hierarchy 1,
なお、図６に示す例では、階層２で検出されたピーク時刻のうち、階層１で検出されたピーク時刻ｔｍ １と同期するピーク時刻については除外している。これは、特に各階層の参照区間Δｔｎの差が少ない場合は、同じピーク時刻を別階層でも検出してしまうことが多くなり、これらをすべて合成してしまうと新規で検出されたピーク時刻の成分の影響度が少なくなってしまうからである。なお、同期したピーク時刻も含めて部分領域を抽出しても構わない。
In the example illustrated in FIG. 6, the peak time synchronized with the peak time t m 1 detected in the hierarchy 1 among the peak times detected in the
次に、ガウス分布生成部５３０は、対象となる部分領域６１１〜６１５に対してガウス分布を生成する。例えばピーク時刻ｔ０ １におけるガウス分布については、以下の式（２）に示すようにピーク時刻ｔ０ １を平均μとし参照区間Δｔ１を両区間に持ち、３σ＝２Δｔ１となるようにσを設定したガウス分布ｆを生成する。
Next, the Gaussian distribution generation unit 530 generates a Gaussian distribution for the target
他のピーク時刻ｔｍ ｎに対しても同様に計算し、部分領域に対するガウス分布ｆをすべて算出する。 Also calculated similarly for the other peak time t m n, calculates all the Gaussian distribution f for the partial region.
次に、混合密度分布生成部５４０は、各ピーク時刻ｔｍ ｎにおけるガウス分布ｆを合成し、以下の式（３）により混合ガウス分布ｐを生成する。
Then, mixture density
本実施形態では、生成した混合ガウス分布ｐをサンプリング密度分布ＰＳとして出力する。以後の処理は、第１の実施形態と同様となる。 In the present embodiment, and it outputs the generated mixed Gaussian distribution p as the sampling density distribution P S. Subsequent processing is the same as in the first embodiment.
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。なお、本実施形態に係る画像サンプリング装置は、第１の実施形態で説明した画像サンプリング装置１００と基本的な構成が同様であるため、構成の説明は省略する。以下、第１の実施形態との相違点のみを説明する。
(Third embodiment)
Hereinafter, a third embodiment of the present invention will be described. Note that the basic configuration of the image sampling device according to the present embodiment is the same as that of the
第１の実施形態との相違点は、サンプリング密度分布算出部１５０による計算において、前階層の非類似スコアの軌跡を用いるのではなく、非類似度の高い領域の参照領域をそのままサンプリング密度分布として用いる点である。本実施形態では、サンプリング密度分布算出部１５０において、サンプリング密度分布ＰＳを算出する別の例について説明する。
The difference from the first embodiment is that, in the calculation by the sampling density
第２の実施形態では、ガウス分布を用いてサンプリング密度分布ＰＳを算出したが、部分領域６１１〜６１５に対して、幅を階層の参照区間Δｔｎに設定し、高さを閾値からの突出割合の比による矩形領域ｆとして設定してもよい。そして、それぞれの矩形領域を合成することによって混合密度分布を生成し、該当領域内を均等にサンプリングすることが可能なサンプリング密度分布ＰＳを設定することも可能である。 In the second embodiment, to calculate the sampling density distribution P S using a Gaussian distribution, with respect to partial regions 611-615, to set the width to the hierarchy of the reference period Delta] t n, the protrusion of the height from the threshold You may set as the rectangular area | region f by the ratio of a ratio. Then, to generate the mixed density distribution by combining the respective rectangular regions, it is also possible to set the sampling density distribution P S which is capable of uniformly sampled the corresponding region.
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
１１０ 画像入力部
１２０ パラメータ設定部
１３０ 画像サンプル抽出部
１４０ 画像評価部
１５０ サンプリング密度分布算出部
DESCRIPTION OF
Claims (13)
前記入力手段により入力された画像列の参照区間に応じたサンプリングパラメータを設定する設定手段と、
前記設定手段によって設定されたサンプリングパラメータに基づいて、前記画像列から複数の画像サンプルを抽出する抽出手段と、
前記抽出手段によって抽出された画像サンプルの評価値を算出する評価手段と、
前記評価手段によって算出された評価値を用いて、前記抽出手段によって抽出された画像サンプルの参照区間とは異なる参照区間のサンプリング密度分布を算出する算出手段とを備え、
前記設定手段は、前記サンプリング密度分布を用いて、前記算出手段によって前記サンプリング密度分布を算出した参照区間のサンプリングパラメータを設定することを特徴とする情報抽出装置。 An input means for inputting an image sequence constituting a moving image;
Setting means for setting a sampling parameter corresponding to a reference section of the image sequence input by the input means;
Extraction means for extracting a plurality of image samples from the image sequence based on the sampling parameters set by the setting means;
Evaluation means for calculating an evaluation value of the image sample extracted by the extraction means;
Using the evaluation value calculated by the evaluation means, and a calculation means for calculating a sampling density distribution of a reference section different from the reference section of the image sample extracted by the extraction means,
The information extraction apparatus according to claim 1, wherein the setting means sets a sampling parameter of a reference section in which the sampling density distribution is calculated by the calculation means, using the sampling density distribution.
前記評価手段は、前記抽出手段によって参照区間ごとに抽出された画像サンプルの評価値を参照区間ごとに算出することを特徴とする請求項１に記載の情報抽出装置。 The extraction means extracts a plurality of image samples from the image sequence for each reference section,
The information extracting apparatus according to claim 1, wherein the evaluation unit calculates an evaluation value of the image sample extracted for each reference section by the extraction unit for each reference section.
前記評価値に閾値を設定する閾値設定手段と、
サンプリング密度分布を算出する対象となる参照区間において、前記評価値が前記閾値設定手段によって設定された閾値を超えた時刻を含む区間を抽出し、前記抽出された区間の長さに基づく密度分布を重ね合わせた混合密度分布を生成する生成手段とを備え、
前記混合密度分布を前記サンプリング密度分布とすることを特徴とする請求項１乃至８の何れか１項に記載の情報抽出装置。 The calculating means includes
Threshold setting means for setting a threshold for the evaluation value;
In a reference section for which a sampling density distribution is calculated, a section including a time when the evaluation value exceeds a threshold set by the threshold setting means is extracted, and a density distribution based on the length of the extracted section is obtained. Generating means for generating a superposed mixed density distribution,
The information extraction apparatus according to claim 1, wherein the mixed density distribution is the sampling density distribution.
前記入力工程において入力された画像列の参照区間に応じたサンプリングパラメータを設定する設定工程と、
前記設定工程において設定されたサンプリングパラメータに基づいて前記画像列から複数の画像サンプルを抽出する抽出工程と、
前記抽出工程において抽出された画像サンプルの評価値を算出する評価工程と、
前記評価工程において算出された評価値を用いて、前記抽出工程において抽出された画像サンプルの参照区間とは異なる参照区間のサンプリング密度分布を算出する算出工程とを備え、
前記設定工程においては、前記サンプリング密度分布を用いて、前記算出工程において前記サンプリング密度分布を算出した参照区間のサンプリングパラメータを設定することを特徴とする情報抽出方法。 An input process for inputting an image sequence constituting a moving image;
A setting step for setting a sampling parameter according to a reference section of the image sequence input in the input step;
An extraction step of extracting a plurality of image samples from the image sequence based on the sampling parameters set in the setting step;
An evaluation step of calculating an evaluation value of the image sample extracted in the extraction step;
A calculation step of calculating a sampling density distribution of a reference section different from the reference section of the image sample extracted in the extraction step using the evaluation value calculated in the evaluation step;
In the setting step, a sampling parameter of a reference section in which the sampling density distribution is calculated in the calculation step is set using the sampling density distribution.
前記入力工程において入力された画像列の参照区間に応じたサンプリングパラメータを設定する設定工程と、
前記設定工程において設定されたサンプリングパラメータに基づいて前記画像列から複数の画像サンプルを抽出する抽出工程と、
前記抽出工程において抽出された画像サンプルの評価値を算出する評価工程と、
前記評価工程において算出された評価値を用いて、前記抽出工程において抽出された画像サンプルの参照区間とは異なる参照区間のサンプリング密度分布を算出する算出工程とをコンピュータに実行させ、
前記設定工程においては、前記サンプリング密度分布を用いて、前記算出工程において前記サンプリング密度分布を算出した参照区間のサンプリングパラメータを設定することを特徴とするプログラム。 An input process for inputting an image sequence constituting a moving image;
A setting step for setting a sampling parameter according to a reference section of the image sequence input in the input step;
An extraction step of extracting a plurality of image samples from the image sequence based on the sampling parameters set in the setting step;
An evaluation step of calculating an evaluation value of the image sample extracted in the extraction step;
Using the evaluation value calculated in the evaluation step, causing the computer to execute a calculation step of calculating a sampling density distribution in a reference interval different from the reference interval of the image sample extracted in the extraction step,
In the setting step, a sampling parameter of a reference section in which the sampling density distribution is calculated in the calculation step is set using the sampling density distribution.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012154907A JP2014016895A (en) | 2012-07-10 | 2012-07-10 | Information extraction device, information extraction method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012154907A JP2014016895A (en) | 2012-07-10 | 2012-07-10 | Information extraction device, information extraction method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014016895A true JP2014016895A (en) | 2014-01-30 |
Family
ID=50111495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012154907A Pending JP2014016895A (en) | 2012-07-10 | 2012-07-10 | Information extraction device, information extraction method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2014016895A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019512126A (en) * | 2016-02-29 | 2019-05-09 | アリババ グループ ホウルディング リミテッド | Method and system for training a machine learning system |
| US12026618B2 (en) | 2016-02-29 | 2024-07-02 | Alibaba Group Holding Limited | Method and system for training machine learning system |
-
2012
- 2012-07-10 JP JP2012154907A patent/JP2014016895A/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019512126A (en) * | 2016-02-29 | 2019-05-09 | アリババ グループ ホウルディング リミテッド | Method and system for training a machine learning system |
| JP6991983B2 (en) | 2016-02-29 | 2022-01-14 | アリババ グループ ホウルディング リミテッド | How and systems to train machine learning systems |
| US11720787B2 (en) | 2016-02-29 | 2023-08-08 | Alibaba Group Holding Limited | Method and system for training machine learning system |
| US12026618B2 (en) | 2016-02-29 | 2024-07-02 | Alibaba Group Holding Limited | Method and system for training machine learning system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6161257B2 (en) | Event detection apparatus and method, operation recognition apparatus and method, and program | |
| US10402627B2 (en) | Method and apparatus for determining identity identifier of face in face image, and terminal | |
| Mittal et al. | Sync-draw: Automatic video generation using deep recurrent attentive architectures | |
| US20170243058A1 (en) | Gait recognition method based on deep learning | |
| US11449746B2 (en) | Behavioral biometric feature extraction and verification | |
| CN107609149B (en) | Video positioning method and device | |
| US10404524B2 (en) | Resource and metric ranking by differential analysis | |
| CN107545904B (en) | Audio detection method and device | |
| Bayer et al. | A multi modal approach to gesture recognition from audio and video data | |
| JP2010225118A (en) | Image processing device, method and program | |
| CN107808100B (en) | Steganalysis method for specific test sample | |
| JP5192437B2 (en) | Object region detection apparatus, object region detection method, and object region detection program | |
| KR102306319B1 (en) | Method, Program, Computing Device for generating pose estimation mapping data | |
| US10796158B2 (en) | Generation of video hash | |
| JP2009301242A (en) | Head candidate extraction method, head candidate extraction device, head candidate extraction program and recording medium recording the program | |
| JP2014016895A (en) | Information extraction device, information extraction method, and program | |
| US9508026B2 (en) | System and a method for camera motion analysis and understanding from a video sequence | |
| Qin et al. | Micro-Expression Spotting with Face Alignment and Optical Flow | |
| KR102339478B1 (en) | Method for representing face using dna phenotyping, recording medium and device for performing the method | |
| Amerini et al. | Prana: Prnu-based technique to tell real and deepfake videos apart | |
| Saar et al. | Cross-browser testing in browserbite | |
| Deotale et al. | Optimized hybrid RNN model for human activity recognition in untrimmed video | |
| Chun et al. | 3D human pose estimation from RGB-D images using deep learning method | |
| Alshehri et al. | Accurate Continuous and Non-intrusive User Authentication with Multivariate Keystroke Streaming. | |
| KR102160583B1 (en) | Method and Apparatus for Detecting Object of Event |