JP2008282316A - Dynamic image comparator, dynamic image comparison method, and dynamic image comparison program - Google Patents
Dynamic image comparator, dynamic image comparison method, and dynamic image comparison program Download PDFInfo
- Publication number
- JP2008282316A JP2008282316A JP2007127936A JP2007127936A JP2008282316A JP 2008282316 A JP2008282316 A JP 2008282316A JP 2007127936 A JP2007127936 A JP 2007127936A JP 2007127936 A JP2007127936 A JP 2007127936A JP 2008282316 A JP2008282316 A JP 2008282316A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- feature amount
- still
- still images
- shortest distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000000605 extraction Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000003068 static effect Effects 0.000 abstract 2
- 239000000284 extract Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、動画像比較装置、動画像比較方法、及び動画像比較プログラムに関する。 The present invention relates to a moving image comparison apparatus, a moving image comparison method, and a moving image comparison program.
近年、ユーザが動画像を自由に投稿し、ネット上に発信できるサービスが普及しつつある。このサービスにおいては、ユーザが自分で撮影したオリジナルの動画像ばかりでなく、テレビ番組等から録画した映画、ドラマ、アニメ、CM等をそのまま或はその断片が著作権者に無断で投稿されることが多々ある。そのため、著作権者から侵害の申し立てなどが行われることにより、問題となる動画像は、迅速に削除されることになる。しかしながら、多数のユーザにより動画像が投稿されるために配信される動画像は数多く、著作権者は、その問題となる動画像を見つけ出すことが極めて難しい。 In recent years, services that allow users to freely post moving images and transmit them on the Internet are becoming popular. In this service, not only original moving images shot by users themselves, but also movies, dramas, animations, commercials, etc. recorded from TV programs etc., or fragments thereof are posted without permission to the copyright holder. There are many. Therefore, when a copyright infringement is filed, the problematic moving image is quickly deleted. However, since many moving images are posted by a large number of users, there are many moving images to be distributed, and it is extremely difficult for the copyright holder to find out the moving images that cause the problem.
更に、動画像から所定の部分を抜き出すアプリケーションなどが普及し、ユーザは、動画像の加工を容易に行えるようになった。これにより、著作権者は、ユーザにより投稿された動画像が自己の著作権に係る動画像であるか否かを容易に判別することができなくなっている。 Furthermore, an application that extracts a predetermined portion from a moving image has become widespread, and a user can easily process a moving image. As a result, the copyright holder cannot easily determine whether or not the moving image posted by the user is a moving image related to his / her copyright.
近時、自然言語処理技術などを活用した検索エンジンの進歩により、著作権者は、自己の著作権に係る文書を見つけ出すことが容易になった。また、見つけ出した文書と著作権に係る文書とに一致する箇所があるか否かを比較することができる技術も提案されている(例えば、非特許文献1)。この技術によれば、著作権者は、例えば、見つけ出した文書と著作権に係る文書とに一致する箇所があるか否かを容易に確認することができるようになる。
しかしながら、上記技術によれば、例えば、2つの文書に含まれる文字列の最長の共通部分列を算出することにより文書を比較できるが、動画像は、文字列により構成されるものではないことから、動画像を比較することができないという問題があった。更には、動画像を比較する術がないことから、ネット上に発信された所望する動画像を探し出すことができないという問題があった。 However, according to the above technique, for example, documents can be compared by calculating the longest common partial sequence of character strings included in two documents, but a moving image is not composed of character strings. There was a problem that moving images could not be compared. Furthermore, since there is no way to compare moving images, there is a problem that a desired moving image transmitted on the network cannot be found.
そこで、本発明の目的は、動画像を比較することができる装置、方法、プログラムを提供することである。 Therefore, an object of the present invention is to provide an apparatus, a method, and a program that can compare moving images.
以上のような課題を解決すべく、本発明は、動画像比較装置、動画像比較方法、及び動画像比較プログラムにおいて、第1の動画像と第2の動画像とに一致する部分があるか否かを判別することを特徴とする。 In order to solve the problems as described above, according to the present invention, in the moving image comparison apparatus, the moving image comparison method, and the moving image comparison program, is there a portion that matches the first moving image and the second moving image? It is characterized by determining whether or not.
より具体的には、以下のようなものを提供する。 More specifically, the following is provided.
(1) 複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出手段と、
前記複数の静止画像の各々について特徴量を算出する特徴量算出手段と、
前記静止画像抽出手段により第1の動画像から抽出された複数の静止画像について前記特徴量算出手段により算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出手段により第2の動画像から抽出された複数の静止画像について前記特徴量算出手段により算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成手段と(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成手段により作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得手段又は最短距離を算出する最短距離算出手段と、
前記共通部分取得手段により取得された共通部分又は前記最短距離算出手段により算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別手段と、を備えたことを特徴とする動画像比較装置。
(1) Still image extraction means for extracting each of the plurality of still images from a moving image including a plurality of still images;
Feature amount calculating means for calculating a feature amount for each of the plurality of still images;
The plurality of first feature amounts calculated by the feature amount calculation unit for a plurality of still images extracted from the first moving image by the still image extraction unit are placed on one coordinate axis by the still image extraction unit. A plurality of second feature amounts calculated by the feature amount calculation means for a plurality of still images extracted from the moving image 2 are arranged on another coordinate axis different from the one coordinate axis, and these feature amounts are obtained. A graph generating means for comparing each of whether or not they are equal, and generating a graph formed by adding a path connecting coordinates (t−1, u−1) and coordinates (t, u) if they are equal ( Here, t indicates the t-th feature value, and u indicates the u-th feature value).
Based on the path of the graph created by the graph creating means, the common part obtaining means for obtaining the common part or the shortest distance calculating means for calculating the shortest distance;
Whether there is a portion that matches the first moving image and the second moving image based on the common portion acquired by the common portion acquiring unit or the shortest distance calculated by the shortest distance calculating unit. A moving image comparison apparatus comprising: a moving image determination means for determining.
(1)の構成によれば、第1の動画像から抽出された複数の第1の静止画像の各々について特徴量が算出され、第2の動画像から抽出された複数の第2の静止画像の各々について特徴量が算出される。そして、複数の第1の静止画像の各々について算出された特徴量と複数の第2の静止画像の各々について算出された特徴量とに基づいてグラフが作成される。 According to the configuration of (1), the feature amount is calculated for each of the plurality of first still images extracted from the first moving image, and the plurality of second still images extracted from the second moving image. A feature amount is calculated for each of the above. Then, a graph is created based on the feature amount calculated for each of the plurality of first still images and the feature amount calculated for each of the plurality of second still images.
作成されたグラフの経路に基づいて共通部分が求められた場合には、この共通部分に基づいて第1の動画像と第2の動画像とに一致する部分があるか否かが判別される。ここで、共通部分がある場合には、第1の動画像と第2の動画像とに一致する部分があり、共通部分がない場合には、第1の動画像と第2の動画像とに一致する部分がないので、上記構成によれば、共通部分に基づいて動画像を比較することができるようになる。 When a common part is obtained based on the path of the created graph, it is determined based on this common part whether or not there is a matching part between the first moving image and the second moving image. . Here, when there is a common part, there is a part that matches the first moving image and the second moving image, and when there is no common part, the first moving image and the second moving image Therefore, according to the above configuration, the moving images can be compared based on the common part.
他方、作成されたグラフの経路に基づいて最短距離が算出された場合には、この最短距離に基づいて第1の動画像と第2の動画像とに一致する部分があるか否かが判別される。ここで、最短距離は、第1の動画像と第2の動画像とが相対的に類似している程度を示す指標となっていることから、動画像判別手段は、最短距離から求められる後述の判定値が所定の値以上であれば、第1の動画像と第2の動画像とに一致する部分があると判別し、判定値が所定の値未満であれば、第1の動画像と第2の動画像とに一致する部分がないと判別する。このように判別することで、第1の動画像と第2の動画像とが全体的に類似しているかが分かるようになるので、例えば、特徴量の算出時に多少のノイズが入っていたとしてもこれらを判別できるようになる。 On the other hand, when the shortest distance is calculated based on the path of the created graph, it is determined whether there is a matching portion between the first moving image and the second moving image based on the shortest distance. Is done. Here, since the shortest distance is an index indicating the degree to which the first moving image and the second moving image are relatively similar to each other, the moving image discriminating means is described later based on the shortest distance. If the determination value is equal to or greater than a predetermined value, it is determined that there is a matching portion between the first moving image and the second moving image. If the determination value is less than the predetermined value, the first moving image is determined. And the second moving image is determined not to have a matching part. By determining in this way, it becomes possible to see whether the first moving image and the second moving image are generally similar. For example, it is assumed that there is some noise when calculating the feature amount. Can also be determined.
(2) (1)に記載の動画像比較装置であって、
ユーザ端末により指定された第3の動画像を受付ける動画像受付手段と、
ネットワークを介して一又は複数の第4の動画像を公開する動画像公開装置から前記一又は複数の第4の動画像を取得する動画像取得手段と、
前記一又は複数の第4の動画像の各々について前記第3の動画像と一致する部分があるか否かが前記動画像判別手段により判別されたことを契機として、その判別結果を、前記ユーザ端末により出力可能な態様で送信する結果送信手段と、を備えたことを特徴とする動画像比較装置。
(2) The moving image comparison apparatus according to (1),
Moving image receiving means for receiving a third moving image designated by the user terminal;
Moving image acquisition means for acquiring the one or more fourth moving images from a moving image publishing device that publishes one or more fourth moving images via a network;
When the moving image determining means determines whether or not there is a portion that matches the third moving image for each of the one or more fourth moving images, the determination result is displayed as the user. And a result transmitting means for transmitting in a form that can be output by a terminal.
(2)の構成によれば、動画像公開装置により公開される一又は複数の第4の動画像の各々について第3の動画像と一致する部分があるか否かが判別され、その結果がユーザ端末により出力される。したがって、この構成によれば、ユーザは、第3の動画像又はこれに類似する動画像が動画像公開装置により公開されているか否かを容易に把握することができるようになる。 According to the configuration of (2), it is determined whether or not there is a portion that matches the third moving image for each of one or a plurality of fourth moving images released by the moving image disclosing device. Output from the user terminal. Therefore, according to this configuration, the user can easily grasp whether or not the third moving image or a moving image similar thereto is disclosed by the moving image disclosing device.
(3) (1)又は(2)に記載の動画像比較装置であって、
前記特徴量算出手段は、前記複数の静止画像の各々の差異から特徴量を算出することを特徴とする動画像比較装置。
(3) The moving image comparison apparatus according to (1) or (2),
The moving image comparison apparatus, wherein the feature amount calculation means calculates a feature amount from a difference between each of the plurality of still images.
(3)の構成によれば、静止画像の不要な情報が排され、静止画像の固有の情報に基づいて特徴量が算出される。 According to the configuration of (3), unnecessary information of the still image is eliminated, and the feature amount is calculated based on the unique information of the still image.
(4) 複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出ステップと、
前記複数の静止画像の各々について特徴量を算出する特徴量算出ステップと、
前記静止画像抽出ステップにより第1の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出ステップにより第2の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成ステップと(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成ステップにより作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得ステップ又は最短距離を算出する最短距離算出ステップと、
前記共通部分取得ステップにより取得された共通部分又は前記最短距離算出ステップにより算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別ステップと、を備えたことを特徴とする動画像比較方法。
(4) a still image extraction step of extracting each of the plurality of still images from a moving image including a plurality of still images;
A feature amount calculating step for calculating a feature amount for each of the plurality of still images;
The plurality of first feature amounts calculated by the feature amount calculation step for the plurality of still images extracted from the first moving image by the still image extraction step are placed on one coordinate axis by the still image extraction step. A plurality of second feature amounts calculated in the feature amount calculation step for a plurality of still images extracted from the moving image 2 are arranged on another coordinate axis different from the one coordinate axis, and these feature amounts are obtained. A graph creation step for creating a graph formed by comparing whether or not they are equal to each other and adding a path connecting the coordinates (t−1, u−1) and the coordinates (t, u) if they are equal ( Here, t indicates the t-th feature value, and u indicates the u-th feature value).
Based on the path of the graph created by the graph creating step, a common part obtaining step for obtaining a common part or a shortest distance calculating step for calculating a shortest distance;
Whether there is a portion that matches the first moving image and the second moving image based on the common portion acquired by the common portion acquiring step or the shortest distance calculated by the shortest distance calculating step. A moving image comparison method comprising: a moving image determination step for determining.
(4)の構成によれば、動画像を比較することができる。 According to the configuration of (4), moving images can be compared.
(5) 複数の静止画像を含んで構成される動画像から、前記複数の静止画像の各々を抽出する静止画像抽出ステップと、
前記複数の静止画像の各々について特徴量を算出する特徴量算出ステップと、
前記静止画像抽出ステップにより第1の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出ステップにより第2の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成ステップと(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成ステップにより作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得ステップ又は最短距離を算出する最短距離算出ステップと、
前記共通部分取得ステップにより取得された共通部分又は前記最短距離算出ステップにより算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別ステップと、をコンピュータに実行させることを特徴とする動画像比較プログラム。
(5) a still image extraction step of extracting each of the plurality of still images from a moving image including a plurality of still images;
A feature amount calculating step for calculating a feature amount for each of the plurality of still images;
The plurality of first feature amounts calculated by the feature amount calculation step for the plurality of still images extracted from the first moving image by the still image extraction step are placed on one coordinate axis by the still image extraction step. A plurality of second feature amounts calculated in the feature amount calculation step for a plurality of still images extracted from the moving image 2 are arranged on another coordinate axis different from the one coordinate axis, and these feature amounts are obtained. A graph creation step for creating a graph formed by comparing whether or not they are equal to each other and adding a path connecting the coordinates (t−1, u−1) and the coordinates (t, u) if they are equal ( Here, t indicates the t-th feature value, and u indicates the u-th feature value).
Based on the path of the graph created by the graph creating step, a common part obtaining step for obtaining a common part or a shortest distance calculating step for calculating a shortest distance;
Whether there is a portion that matches the first moving image and the second moving image based on the common portion acquired by the common portion acquiring step or the shortest distance calculated by the shortest distance calculating step. A moving image comparison program for causing a computer to execute a moving image determination step for determination.
(5)の構成によれば、動画像を比較することができる。 According to the configuration of (5), moving images can be compared.
本発明によれば、動画像を比較することができる。 According to the present invention, moving images can be compared.
以下、本発明の実施の形態について図1〜図7を例に挙げて説明する。 Hereinafter, embodiments of the present invention will be described with reference to FIGS.
[動画像比較システム1の構成]
図1を参照して、動画像比較システム1の構成を説明する。
[Configuration of Moving Image Comparison System 1]
The configuration of the moving
図1に示すように、動画像比較システム1は、動画像比較装置10、ユーザ端末21、動画像公開装置22、及びネットワーク23から構成されている。動画像比較システム1では、ネットワーク23を介して、動画像比較装置10、ユーザ端末21、及び動画像公開装置22が相互に通信可能に構成されている。
As shown in FIG. 1, the moving
ユーザ端末21は、インターネット上で公開されている文書、画像、動画像などのコンテンツを表示させるためのウェブページをユーザが検索、閲覧等することができるように構成されている。また、ユーザ端末21は、ユーザの指示に応答して、動画像X(即ち、動画像Xに係る情報)などを動画像比較装置10に送信する。
The
動画像公開装置22は、複数の動画像の情報を格納している。動画像公開装置22は、外部(例えば、ユーザ端末21)からの要求に応じて動画像を操作(例えば、格納している動画像からその要求に応じた動画像を取得)して、要求元に要求に応じたデータを送信する。言い換えるならば、動画像公開装置22は、ネットワークを介して複数の動画像を公開する。なお、動画像比較装置10では、動画像公開装置22が有する複数の動画像と動画像Xとの比較を行うこともできるが、以下では、動画像Yに着目して実施の形態を説明する。
The moving
[動画像比較装置10の構成]
動画像比較装置10は、動画像受付手段11、動画像取得手段12、静止画像抽出手段13、特徴量算出手段14、グラフ作成手段15、共通部分取得手段16、最短距離算出手段17、動画像判別手段18、及び結果送信手段19を備えている。なお、動画像比較装置10は、共通部分取得手段16、最短距離算出手段17の両方を備えてもよいし、何れか一方を備えてもよい。
[Configuration of Moving Image Comparison Apparatus 10]
The moving
動画像受付手段11は、ユーザにより指定された動画像X、動画像Xが公開されているか否かを判別する対象の動画像公開装置22の情報を受付ける。より詳細には、動画像受付手段11は、ネットワーク23を介して通信可能なユーザ端末21から送信された動画像X、動画像Xが公開されているか否かを判別する対象の動画像公開装置22のアドレスを受信する。
The moving image receiving means 11 receives the moving image X designated by the user and the information of the moving
動画像取得手段12は、ネットワーク23を介して通信可能な動画像公開装置22が有する動画像Yを取得する。より詳細には、動画像取得手段12は、動画像受付手段11が受信したアドレスに対応した動画像公開装置22から公開されている動画像Yを取得する。なお、動画像取得手段12は、動画像受付手段11がアドレスを受信する構成に加えて、又はこれに代えて、予め定められたアドレスに基づいて、予め定められたアドレスに対応する動画像公開装置22が有する動画像を取得する構成を備えてもよい。
The moving
静止画像抽出手段13は、動画像受付手段11が受信した動画像Xから動画像Xを構成する静止画像(いわゆるフレーム画像)を抽出する。抽出した静止画像の例については、後述の図2を参照して説明する。更に、静止画像抽出手段13は、動画像取得手段12が取得した動画像Yから動画像Yを構成する静止画像を抽出する。即ち、静止画像抽出手段13は、複数の静止画像を含んで構成される動画像から、複数の静止画像の各々を抽出する。
The still
特徴量算出手段14は、静止画像抽出手段13により抽出された静止画像について特徴量を算出する。特徴量は、静止画像の特徴を数値として表したものである。例えば、特徴量は、静止画像中で使用されている代表色とその色の割合、色の配置(言い換えるならば、色の分布)などを表す数値、静止画像が有するパターンの規則性、方向性などを表す数値、静止画像で使用されている特徴のある形状を表す数値、又はこれらの組合せである。故に、特徴量には、例えば、ある明るさ以上の濃度値の画素を「1」として、静止画像の各画素を数値化してそれらの総和を画素数で除した数値など、適宜加工したものが含まれる。
The feature
グラフ作成手段15は、特徴量算出手段14により算出された特徴量に基づいてグラフを作成する。より詳細には、静止画像抽出手段13により動画像X(第1の動画像)から抽出された複数の静止画像の各々について特徴量算出手段14により第1の特徴量が算出され、静止画像抽出手段13により動画像Y(第2の動画像)から抽出された複数の静止画像の各々について特徴量算出手段14により第2の特徴量が算出された場合に、グラフ作成手段15は、第1の特徴量を一の座標軸上に、第2の特徴量を一の座標軸とは異なる他の座標軸上に配置し、第1の特徴量のうちt番目の特徴量と第2の特徴量のうちu番目の特徴量とが等しい場合には、座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成する。
The
共通部分取得手段16は、第1の特徴量と第2の特徴量との共通部分を取得する。より詳細には、共通部分取得手段16は、グラフ作成手段15により作成されたグラフの経路に基づいて第1の特徴量と第2の特徴量との共通部分を取得する。なお、共通部分については、後述の図4を参照して詳細に説明する。
The common
ここで、複数の第1の静止画像が第1の動画像を構成する順序に対応して第1の特徴量を第1の配列に記憶し、複数の第2の静止画像が第2の動画像を構成する順序に対応して第2の特徴量を上記第1の配列とは異なる第2の配列に記憶する特徴量記憶手段が設けられ、共通部分取得手段16は、第1の配列、第2の配列の両者の共通部分を取得するものであってもよい。
Here, the first feature amount is stored in the first array corresponding to the order in which the plurality of first still images form the first moving image, and the plurality of second still images are the second moving image. Feature amount storage means for storing the second feature amount in a second array different from the first array corresponding to the order of constituting the image is provided, and the common
最短距離算出手段17は、グラフ作成手段15により作成されたグラフの経路に基づいて最短距離を算出する。なお、最短距離は、最長共通部分(LCS:Longuest Common Subsequence)、最小エディット距離(SED:Shotest Edit Distance)などにより求めることができる。なお、最短距離については、後述の図4を参照して詳細に説明する。
The shortest
動画像判別手段18は、共通部分取得手段16により取得された共通部分に基づいて動画像Xと動画像Yとに一致する部分があるか否かを判別する。より詳細には、動画像判別手段18は、取得された共通部分の個数、取得された共通部分の長さ、又はこれらの組合せに応じて動画像Xと動画像Yとに一致する部分があるか否かを判別する。更に、動画像判別手段18は、最短距離算出手段17により算出された最短距離に基づいて動画像Xと動画像Yとに一致する部分があるか否かを判別する。
The moving
結果送信手段19は、動画像Yについて動画像Xと一致する部分があるか否かが動画像判別手段18により判別されたことを条件に、その判別結果を、ユーザ端末21により出力可能な態様で送信する。
A mode in which the
次に、動画像比較システム1における主たる処理について説明する。動画像比較システム1では、基本的に、ユーザ端末21による動画像Xに係る検索要求の検出を契機として一連の処理が開始する。
Next, main processing in the moving
ユーザ端末21は、動画像Xに基づく検索の要求をユーザが行う操作(以下「検索要求操作」という)を検出する。ユーザ端末21は、検索要求操作を検出すると、動画像Xに関連する動画像の情報を取得するための検索要求データを動画像比較装置10に送信する。なお、検索要求データには、動画像Xの情報、動画像Xに関する情報(例えば、動画像公開装置22のアドレス)などが含まれている。
The
動画像比較装置10は、検索要求データを受信すると、検索要求データに含まれる情報(言い換えるならば、ユーザ端末21を用いてユーザにより指定された動画像公開装置22のアドレス)に基づいて、動画像公開装置22から動画像Yを取得する。このとき、動画像が複数ある場合には、複数の動画像を順次取得してもよい。他方、検索の頻度が高い動画像公開装置22に対しては、動画像比較装置10は、動画像公開装置22と同期をとり、動画像を予め取得する構成としてもよい。更に、この場合には、各動画像を構成する静止画像の特徴量を予め算出しておくことが好ましい。
When the moving
動画像比較装置10は、動画像Xと動画像Yとを比較し、結果データを生成する。動画像比較装置10は、結果データを生成すると、結果データをユーザ端末21に送信する。このとき、動画像Xの一部或は全部が含まれる動画像が複数ある場合には、これらが集約された結果データが生成される。なお、結果データの生成は、リアルタイムで行われているが、これに限られず、バッチ処理で行われてもよい。バッチ処理で行われるときには、ユーザのメールアドレスを予め取得して、結果データをそのメールアドレスに対して送信してもよいし、予め定めたウェブページに結果データに応じた画面を表示する構成を採用してもよい。
The moving
ユーザ端末21は、結果データを受信すると、結果データに応じた画面を表示する。より詳細には、ユーザ端末21には、動画像Xに関連する情報が集約された態様で表示されると共に、動画像Xに関連する動画像を参照できる態様で表示される。なお、動画像Xに関連する動画像を参照できる態様に代えて、動画像Xに関連するウェブページが閲覧され得る態様(例えば、ユーザが動画像Xに関連するウェブページを閲覧するためのリンクが表示される態様)を採用してもよい。このように、動画像比較システム1では一連の処理が行われる。なお、ユーザ端末21により出力される画面の例については後述の図5を参照して説明する。
When receiving the result data, the
[動画像の構成]
図2及び図3を参照して、動画像Xの構成を説明する。なお、図2及び図3には、動画像Xを構成する構成要素の一部が例として挙げられている。
[Video structure]
The configuration of the moving image X will be described with reference to FIGS. 2 and 3 exemplify some of the components constituting the moving image X as an example.
図2に示すように、動画像Xは、基本的に、複数の静止画像により構成されている。ただし、動画像Xは、静止画像と音声とが同期したものであってもよい。動画像Xによれば、フレーム1に対応する静止画像からフレーム6に対応する静止画像を素早く切り替える(例えば、1秒間に30回、静止画像を順次切り替える)ことで動きが表現される。 As shown in FIG. 2, the moving image X is basically composed of a plurality of still images. However, the moving image X may be one in which a still image and sound are synchronized. According to the moving image X, the motion is expressed by quickly switching the still image corresponding to the frame 6 from the still image corresponding to the frame 1 (for example, switching the still image sequentially 30 times per second).
他方、動画像Xが複数の静止画像を含んで構成されることにより動画像Xのデータ量が大きくなることを極力防止するために、例えば、図3の(1)及び(2)に示す静止画像は、図3の(3)及び(4)に示すように圧縮されている。 On the other hand, in order to prevent the data amount of the moving image X from increasing as a result of the moving image X including a plurality of still images, for example, the still images shown in (1) and (2) of FIG. The image is compressed as shown in (3) and (4) of FIG.
図3の(1)及び(2)には、フレーム7及びフレーム8に対応する静止画像(言い換えるならば、動画像Xを構成する一続きの静止画像)が示されている。フレーム7(前フレーム)に対応する静止画像とフレーム8(後フレーム)に対応する静止画像とでは、背景部分の絵柄31についての変化は殆どない。これに対し、人間32の位置などは異なっている。そこで、絵柄31(即ち、変化しない部分)については、前フレームに対応する静止画像と同じであるという情報を記憶し、人間32(即ち、変化がある部分)については、どの方向にどれだけの距離を移動したかという情報を記憶する処理(いわゆる動き補償)が行われる。なお、動画像Yの構成については、動画像Xと同様の構成を有しているため説明は省略する。
3 (1) and (2) show still images corresponding to the frames 7 and 8 (in other words, a series of still images constituting the moving image X). There is almost no change in the
このようなことから、動画像Xを構成する複数の静止画像の各々についての特徴量は、複数の静止画像そのものから算出されてもよいし、動画像Xの特質を利用して(例えば、複数の静止画像の各々の差異から)算出されてもよい。動画像Xの特質を利用して特徴量が算出される構成によれば、静止画像の不要な情報が排され、静止画像の固有の情報に基づいて特徴量が算出される。したがって、この構成によれば、静止画像そのものについての特徴量の算出と比べて、特徴量の算出に係る負担を低減することができる場合がある。更には、上記構成により算出される特徴量は、静止画像そのものについての特徴量と比べて、静止画像の特徴をより正確に示すものとなる場合がある。 For this reason, the feature amount for each of the plurality of still images constituting the moving image X may be calculated from the plurality of still images themselves, or using the characteristics of the moving image X (for example, a plurality of still images). May be calculated from the difference between each of the still images. According to the configuration in which the feature amount is calculated using the characteristics of the moving image X, unnecessary information of the still image is eliminated, and the feature amount is calculated based on the unique information of the still image. Therefore, according to this configuration, it may be possible to reduce a burden related to the calculation of the feature amount as compared to the calculation of the feature amount for the still image itself. Further, the feature amount calculated by the above configuration may more accurately indicate the feature of the still image than the feature amount of the still image itself.
図4の(1)を参照して、共通部分を取得する例について説明する。図4の(1)には、動画像Xを構成する複数の静止画像の各々が有する特有の要素(例えば、動画像Xを構成する複数の静止画像の各々についての特徴量)をX軸上に配置し、動画像Yを構成する複数の静止画像の各々が有する特有の要素(例えば、動画像Yを構成する複数の静止画像の各々についての特徴量)をY軸上に配置し、それらの交点を(0,0)とした座標系が示されている。なお、図4の(2)に示す座標系についても同様である。 An example of acquiring the common part will be described with reference to (1) of FIG. In FIG. 4A, a unique element (for example, a feature amount of each of the plurality of still images constituting the moving image X) included in each of the plurality of still images constituting the moving image X is indicated on the X axis. Specific elements (for example, feature quantities of each of the plurality of still images constituting the moving image Y) included in each of the plurality of still images constituting the moving image Y are arranged on the Y axis, and A coordinate system with (0, 0) as the intersection is shown. The same applies to the coordinate system shown in (2) of FIG.
この座標系では、動画像Xのt番目の要素と動画像Yのu番目の要素とが等しい場合に、座標(t−1,u−1)と座標(t,u)とを結ぶ経路が加えられる。例えば、動画像Xの1番目の要素「F」に着目してみると、動画像Xの1番目の要素「F」と等しいのは動画像Yの7番目の要素「F」であることから、座標(0,6)と座標(1,7)とを結ぶ経路が加えられる。そして、全ての要素について同様に操作すると、図4の(1)に示すグラフが作成される。 In this coordinate system, when the t-th element of the moving image X and the u-th element of the moving image Y are equal, there is a path connecting the coordinates (t−1, u−1) and the coordinates (t, u). Added. For example, when attention is paid to the first element “F” of the moving image X, it is the seventh element “F” of the moving image Y that is equal to the first element “F” of the moving image X. A path connecting coordinates (0, 6) and coordinates (1, 7) is added. When the same operation is performed for all elements, a graph shown in (1) of FIG. 4 is created.
ここで作成されたグラフにおいて注目すべきは、動画像Xを構成する静止画像のうち連続する3つの静止画像について算出された特徴量「F」、「H」、「A」が動画像Yを構成する各静止画像について算出された特徴量と一致していることを示す連続した経路である部分33があるということである。これは、動画像Yが動画像Xの一部を含んで構成されていることを示唆している。なお、動画像Xを構成する静止画像のうち連続する4つの静止画像について算出された特徴量「B」、「C」、「E」、「H」が動画像Yを構成する各静止画像について算出された特徴量と一致していることを示す連続した経路である部分34についても同様のことが言える。ここで、動画像Xを構成する静止画像のうち連続する複数の静止画像について算出された特徴量が動画像Yを構成する連続した静止画像についての特徴量と一致する部分を「共通部分」という。
It should be noted in the graph created here that the feature amounts “F”, “H”, and “A” calculated for three consecutive still images among the still images constituting the moving image X represent the moving image Y. That is, there is a portion 33 that is a continuous path indicating that the feature amount calculated for each still image is the same. This suggests that the moving image Y includes a part of the moving image X. It should be noted that the feature quantities “B”, “C”, “E”, and “H” calculated for four consecutive still images among the still images constituting the moving image X are for each still image constituting the moving image Y. The same can be said for the
実施の形態では、共通部分である部分33は、連続する3つの静止画像を示していることから、その長さを、「3」とする。このように、共通部分の長さを規定すると、共通部分の長さは、動画像Xと動画像Yとが類似する度合を示すものとなる。他方、部分33及び部分34がある場合には、部分33(又は、部分34)が1つである場合と比べて、動画像Xと動画像Yとが類似する度合が高いことを示すものとなる。即ち、共通部分の長さ及び個数に基づいて、動画像Xと動画像Yとが類似する度合を特定することができる。
In the embodiment, since the portion 33 which is a common portion shows three continuous still images, the length thereof is “3”. As described above, when the length of the common part is defined, the length of the common part indicates the degree of similarity between the moving image X and the moving image Y. On the other hand, when the portion 33 and the
これらを踏まえると、動画像Xを構成する複数の静止画像の各々について算出された特徴量と動画像Yを構成する複数の静止画像の各々について算出された特徴量との共通部分が求められた場合には、この共通部分に基づいて動画像Xと動画像Yとに一致する部分があるか否かを判別できる。即ち、共通部分がある場合(上記の例で言うならば、共通部分の長さが特定の値以上である場合)には、動画像Xと動画像Yとに一致する部分があり、共通部分がない場合(上記の例で言うならば、共通部分の長さが特定の値未満である場合)には、動画像Xと動画像Yとに一致する部分がないことによれば、共通部分に基づいて動画像を比較することができる。 Based on these, the common part between the feature amount calculated for each of the plurality of still images constituting the moving image X and the feature amount calculated for each of the plurality of still images constituting the moving image Y was obtained. In this case, it is possible to determine whether or not there is a matching portion between the moving image X and the moving image Y based on the common portion. That is, when there is a common part (in the above example, the length of the common part is greater than or equal to a specific value), there is a part that matches the moving image X and the moving image Y, and the common part If there is no part (in the above example, the length of the common part is less than a specific value), the common part is determined that there is no matching part between the moving picture X and the moving picture Y. The moving images can be compared based on the above.
図4の(2)を参照して、最短距離を算出する例について説明する。図4の(2)には、上記グラフが作成されて各経路が設定された場合に、座標(0,0)と座標(10,15)との最短の距離を示す最短経路35が示されている。なお、最短経路35は、一般に複数あり得るが、この問題では、長さを算出することを目的としているため、それらの経路を区別しない。
An example of calculating the shortest distance will be described with reference to (2) of FIG. FIG. 4B shows the
実施の形態では、座標(t,u)から座標(t+1,u)又は座標(t,u+1)への移動を距離「1」、座標(t,u)から座標(t+1,u+1)への移動を距離「0」とする。言い換えるならば、縦又は横方向への移動を距離「1」とし、対角線方向への移動を距離「0」とする。この場合、最短距離は、「11」となる。このように、作成されたグラフの経路に基づいて最短距離を算出することができるようになる。他方、動画像Xを構成する静止画像の数と動画像Yを構成する静止画像の数とを加算した値から最短距離を減算した値を「2」で除した値を、動画像Xを構成する静止画像の数で除した値を算出する。この例での値は、「((10+15)−11)/2/10=0.7」となる。このように、最短距離に基づいて算出され、動画像Xと動画像Yとが類似する度合を示す値を以下「判定値」という。このとき、判定値が所定の値(例えば、「0.1」)以上であれば、動画像Xと動画像Yとに一致する部分があると判別され、判定値が所定の値未満であれば、動画像Xと動画像Yとに一致する部分がないと判別される。更に、判定値が特定の値(例えば、「0.9」)以上であれば、動画像Xと動画像Yとが一致すると判別される。なお、上述した判定値の算出の方法は一例である。 In the embodiment, the movement from the coordinate (t, u) to the coordinate (t + 1, u) or the coordinate (t, u + 1) is the distance “1”, and the movement from the coordinate (t, u) to the coordinate (t + 1, u + 1). Is the distance “0”. In other words, the movement in the vertical or horizontal direction is set as the distance “1”, and the movement in the diagonal direction is set as the distance “0”. In this case, the shortest distance is “11”. In this way, the shortest distance can be calculated based on the created graph path. On the other hand, the value obtained by subtracting the shortest distance from the value obtained by adding the number of still images constituting the moving image X and the number of still images constituting the moving image Y is divided by “2” to form the moving image X. The value divided by the number of still images to be calculated is calculated. The value in this example is “((10 + 15) −11) /2/10=0.7”. The value calculated based on the shortest distance and indicating the degree of similarity between the moving image X and the moving image Y is hereinafter referred to as “determination value”. At this time, if the determination value is equal to or greater than a predetermined value (for example, “0.1”), it is determined that there is a matching portion between the moving image X and the moving image Y, and the determination value is less than the predetermined value. For example, it is determined that there is no matching portion between the moving image X and the moving image Y. Furthermore, if the determination value is equal to or greater than a specific value (for example, “0.9”), it is determined that the moving image X and the moving image Y match. Note that the above-described method of calculating the determination value is an example.
これらを踏まえると、動画像Xを構成する複数の静止画像の各々について算出された特徴量と動画像Yを構成する複数の静止画像の各々について算出された特徴量から最短距離が算出された場合には、この最短距離に基づいて動画像Xと動画像Yとに一致する部分があるか否かを判別できる。即ち、最短距離は、動画像Xと動画像Yとが相対的に類似している程度を示す指標となっていることから、判定値が所定の値以上であれば、動画像Xと動画像Yとに一致する部分があると判別し、判定値が所定の値未満であれば、動画像Xと動画像Yとに一致する部分がないと判別することができる。このように判別することで、動画像Xと動画像Yとが全体的に類似しているかが分かるようになので、例えば、特徴量の算出時に多少のノイズが入っていたとしてもこれらの動画像に一致する部分があるか否かを判別できるようになる。 Based on these, when the shortest distance is calculated from the feature amount calculated for each of the plurality of still images constituting the moving image X and the feature amount calculated for each of the plurality of still images constituting the moving image Y Can determine whether or not there is a matching portion between the moving image X and the moving image Y based on the shortest distance. That is, since the shortest distance is an index indicating the degree of relative similarity between the moving image X and the moving image Y, if the determination value is equal to or greater than a predetermined value, the moving image X and the moving image It is determined that there is a portion that matches Y, and if the determination value is less than a predetermined value, it can be determined that there is no portion that matches the moving image X and the moving image Y. By determining in this way, it can be seen whether the moving image X and the moving image Y are generally similar. For example, even if there is some noise when calculating the feature amount, these moving images It is possible to determine whether or not there is a part that matches.
[ユーザ端末21により出力される画面の例]
図5を参照して、ユーザ端末21により出力される画面の例について説明する。図5には、結果データに応じた画面の一例である結果表示画面40が示されている。結果表示画面40は、主に、動画像タイトル41、類似度合表示部42、類似位置表示部43、動画像出力部44、動画像再生ボタン45、及びプログレスバー46で構成されている。
[Example of screen output by user terminal 21]
With reference to FIG. 5, the example of the screen output by the
動画像タイトル41は、動画像Xに基づいて検索された動画像に付されたタイトルである。類似度合表示部42は、検索された動画像が動画像Xと類似する度合を示す表示部である。類似する度合は、判定値に基づいて算出される。例えば、類似する度合は、判定値を100倍して算出される。類似位置表示部43は、検索された動画像のうち動画像Xと一致する部分を示す一致部43aと一致しない部分を示す不一致部43bとで構成されている。これにより、ユーザは、この類似位置表示部43を参照して、検索された動画像のうち動画像Xに一致する部分を容易に把握することができるようになる。
The moving
動画像出力部44は、例えば、ストリーミングの技術を利用して、検索された動画像を出力する。動画像再生ボタン45は、動画像を再生するときに操作されるボタンである。言い換えるならば、動画像再生ボタン45が操作されることにより、動画像出力部44による動画像の出力が開始する。プログレスバー46は、動画像の出力が完了した割合を棒グラフにて表すと共に、現在、動画像の出力が行われている地点を表す。したがって、プログレスバー46を一致部43aに合わせることにより、検索された動画像のうち動画像Xに一致する部分を容易に確認することができるようになる。
The moving
他方、結果表示画面40には、動画像Xに関連する動画像の情報が集約された態様で示されている。集約された態様は、例えば、検索された動画像ごとに表示された、動画像タイトル41、類似度合表示部42、及び類似位置表示部43などの態様である。これらは、ユーザが認識し易いように識別され、整列されている。例えば、検索の結果は、動画像Xに類似する度合の降順にソートされている。
On the other hand, on the
このように、検索された動画像が複数存在する場合であったとしても、これらに対する結果が集約され、整列され、更には、識別された態様で表示されているので、検索された結果の中から確認したい動画像を探さがなければならないというユーザの手間を省くことができるようになる。 In this way, even if there are a plurality of searched moving images, the results for these are aggregated, aligned, and further displayed in an identified manner. From this, it is possible to save the user from having to search for a moving image to be confirmed.
なお、動画像を再生する構成に加えて、又はこれに代えて、検索された動画像の照会部(例えば、リンク)を設け、ユーザが後述の入力手段を用いて照会部を指定すると、当該動画像を参照できるウェブページがユーザ端末21に表示される構成を採用してもよい。
In addition to or in place of the configuration for reproducing a moving image, an inquiry unit (for example, a link) for a searched moving image is provided, and when the user specifies an inquiry unit using an input unit described later, You may employ | adopt the structure by which the web page which can refer a moving image is displayed on the
[動画像比較装置10の動作]
図6を参照して、動画像比較装置10で実行される主たる処理について説明する。
[Operation of Moving Image Comparison Apparatus 10]
With reference to FIG. 6, main processing executed in the moving
初めに、動画像比較装置10は、動画像X及び動画像Yから夫々静止画像を抽出する(S1)。
First, the moving
続いて、動画像比較装置10は、抽出した静止画像を前処理する(S2)。前処理では、動画像比較装置10は、静止画像のうち有用な情報を強調する処理、静止画像が同一の条件となるような処理などを行う。例えば、動画像比較装置10は、多値画像から2値画像に変換し、図形、文字などの骨格線を抽出する(いわゆる細線化操作)。また、動画像比較装置10は、静止画像の拡大若しくは縮小を行う(いわゆる正規化操作)。これにより、大きさに無関係に静止画像から特徴量を算出することができる。動画像比較装置10は、その他、静止画像の平行移動や回転、更に、静止画像の濃度変換に関する操作を行ってもよい。
Subsequently, the moving
続いて、動画像比較装置10は、特徴抽出を行う(S3)。この処理では、動画像比較装置10は、特徴量を算出し易い様に、例えば、静止画像の不連続部分をエッジとして抽出し、このエッジを境界線として静止画像をいくつかの連続領域に分割する。そして、動画像比較装置10は、動画像Xを構成する各静止画像の各画素或は所定の領域について特徴量を算出し、動画像Yを構成する各静止画像の各画素或は所定の領域について特徴量を算出する。
Subsequently, the moving
続いて、動画像比較装置10は、静止画像の比較を行う(S4)。より詳細には、動画像比較装置10は、動画像Xを構成する各静止画像について算出された特徴量を動画像Xが構成される順序でX軸上に配置し、動画像Yを構成する各静止画像について算出された特徴量を動画像Yが構成される順序でY軸上に配置する。そして、動画像比較装置10は、図4を参照して説明したグラフを作成する。なお、特徴量の比較に加えて、又はこれに代えて、いわゆるパターンマッチングなどにより、動画像Xを構成する各静止画像と動画像Yを構成する各静止画像とが一致するか否かを判別してもよい。
Subsequently, the moving
続いて、動画像比較装置10は、最短距離等を算出する(S5)。より詳細には、動画像比較装置10は、作成したグラフの経路から、共通部分を取得すると共に、最長の共通部分列を求めてこれを最短距離とする。
Subsequently, the moving
続いて、動画像比較装置10は、動画像X及び動画像Yに一致する部分があるか否かを最短距離等に基づいて判別する(S5)。より詳細には、動画像比較装置10は、共通部分、最短距離、又はこれらの組合せに基づいて動画像X及び動画像Yに一致する部分があるか否かを判別する。
Subsequently, the moving
このようなことから、動画像比較装置10は、複数の静止画像を含んで構成される動画像から、複数の静止画像の各々を抽出する静止画像抽出手段13と、複数の静止画像の各々について特徴抽出を行う特徴抽出手段と、静止画像抽出手段13により第1の動画像から抽出された複数の第1の静止画像の各々について上記特徴抽出手段により特徴抽出が行われ、静止画像抽出手段13により第2の動画像から抽出された複数の第2の静止画像の各々について上記特徴抽出手段により特徴抽出が行われた場合に、これらの特定抽出の結果に基づいて、上記複数の第1の静止画像の各々と上記複数の第2の静止画像の各々とを比較する静止画像比較手段と、この静止画像比較手段による比較の結果に基づいて第1の動画像と第2の動画像とに一致する部分があるか否かを判別する動画像判別手段18と、を備えているとも言える。
For this reason, the moving
[サーバのハードウェアの構成]
図7は、動画像比較装置10及び動画像公開装置22(以下「サーバ」という)のハードウェアの構成を示す図である。制御部を構成するCPU110(マルチプロセッサ構成ではCPU120等複数のCPUが追加されてもよい)、バスライン105、通信I/F140、メインメモリ150、BIOS160、USBポート190、I/Oコントローラ170、並びにキーボード及びマウス180等の入力手段や表示装置122を備える。
[Server hardware configuration]
FIG. 7 is a diagram illustrating a hardware configuration of the moving
I/Oコントローラ170には、テープドライブ172、ハードディスク174、光ディスクドライブ176、半導体メモリ178等の記憶手段を接続することができる。
Storage means such as a
BIOS160は、サーバの起動時にCPU110が実行するブートプログラムや、サーバのハードウェアに依存するプログラム等を格納する。
The
ハードディスク174は、サーバとして機能するための各種プログラム及び本実施の形態の機能を実行するプログラムを記憶しており、更に必要に応じて各種データベースを構成可能である。
The
光ディスクドライブ176としては、例えば、DVD−ROMドライブ、CD−ROMドライブ、DVD−RAMドライブ、CD−RAMドライブを使用することができる。この場合は各ドライブに対応した光ディスク177を使用する。光ディスク177から光ディスクドライブ176によりプログラム又はデータを読み取り、I/Oコントローラ170を介してメインメモリ150又はハードディスク174に提供することもできる。また、同様にテープドライブ172に対応したテープメディア171を主としてバックアップのために使用することもできる。
As the
サーバに提供されるプログラムは、ハードディスク174、光ディスク177、又はメモリーカード等の記録媒体に格納されて提供される。このプログラムは、I/Oコントローラ170を介して、記録媒体から読み出され、又は通信I/F140を介してダウンロードされることによって、サーバにインストールされ実行されてもよい。
The program provided to the server is provided by being stored in a recording medium such as the
上述のプログラムは、内部又は外部の記憶媒体に格納されてもよい。ここで、記憶媒体としては、ハードディスク174、光ディスク177、又はメモリーカードの他に、MD等の光磁気記録媒体、テープメディア171を用いることができる。また、専用通信回線やインターネット等の通信回線に接続されたサーバシステムに設けたハードディスク174又は光ディスクライブラリ等の記憶装置を記録媒体として使用し、インターネットを介してプログラムをサーバに提供してもよい。
The above program may be stored in an internal or external storage medium. Here, in addition to the
ここで、表示装置122は、各種画面を表示したり、サーバによる演算処理結果の画面を表示したりするものであり、ブラウン管表示装置(CRT)、液晶表示装置(LCD)等のディスプレイ装置を含む。
Here, the
また、通信I/F140は、サーバをネットワーク23(例えば、専用ネットワーク、公共ネットワークなど)を介してユーザ端末21と接続できるようにするためのネットワーク・アダプタである。通信I/F140は、モデム、ケーブル・モデム及びイーサネット(登録商標)・アダプタを含んでよい。
The communication I /
以上の例は、サーバについて主に説明したが、コンピュータに、プログラムをインストールして、そのコンピュータをサーバとして動作させることにより上記で説明した機能を実現することもできる。したがって、本実施の形態として説明したサーバにより実現される機能は、上述の方法を当該コンピュータにより実行することにより、或は、上述のプログラムを当該コンピュータに導入して実行することによっても実現可能である。 In the above example, the server has been mainly described. However, the functions described above can be realized by installing a program in a computer and operating the computer as a server. Therefore, the functions realized by the server described as the present embodiment can be realized by executing the above method by the computer, or by introducing the above program to the computer and executing it. is there.
以上、実施の形態について説明したが、本発明は上述した実施の形態に限られるものではない。また、本発明による効果は、実施の形態に記載されたものに限定されるものではない。 Although the embodiments have been described above, the present invention is not limited to the above-described embodiments. The effects of the present invention are not limited to those described in the embodiment.
1 動画像比較システム
10 動画像比較装置
11 動画像受付手段
12 動画像取得手段
13 静止画像抽出手段
14 特徴量算出手段
15 グラフ作成手段
16 共通部分取得手段
17 最短距離算出手段
18 動画像判別手段
19 結果送信手段
21 ユーザ端末
22 動画像公開装置
23 ネットワーク
DESCRIPTION OF
Claims (5)
前記複数の静止画像の各々について特徴量を算出する特徴量算出手段と、
前記静止画像抽出手段により第1の動画像から抽出された複数の静止画像について前記特徴量算出手段により算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出手段により第2の動画像から抽出された複数の静止画像について前記特徴量算出手段により算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成手段と(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成手段により作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得手段又は最短距離を算出する最短距離算出手段と、
前記共通部分取得手段により取得された共通部分又は前記最短距離算出手段により算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別手段と、を備えたことを特徴とする動画像比較装置。 A still image extracting means for extracting each of the plurality of still images from a moving image including a plurality of still images;
Feature amount calculating means for calculating a feature amount for each of the plurality of still images;
The plurality of first feature amounts calculated by the feature amount calculation unit for a plurality of still images extracted from the first moving image by the still image extraction unit are placed on one coordinate axis by the still image extraction unit. A plurality of second feature amounts calculated by the feature amount calculation means for a plurality of still images extracted from the moving image 2 are arranged on another coordinate axis different from the one coordinate axis, and these feature amounts are obtained. A graph generating means for comparing each of whether or not they are equal, and generating a graph formed by adding a path connecting coordinates (t−1, u−1) and coordinates (t, u) if they are equal ( Here, t indicates the t-th feature value, and u indicates the u-th feature value).
Based on the path of the graph created by the graph creating means, the common part obtaining means for obtaining the common part or the shortest distance calculating means for calculating the shortest distance;
Whether there is a portion that matches the first moving image and the second moving image based on the common portion acquired by the common portion acquiring unit or the shortest distance calculated by the shortest distance calculating unit. A moving image comparison apparatus comprising: a moving image determination means for determining.
ユーザ端末により指定された第3の動画像を受付ける動画像受付手段と、
ネットワークを介して一又は複数の第4の動画像を公開する動画像公開装置から前記一又は複数の第4の動画像を取得する動画像取得手段と、
前記一又は複数の第4の動画像の各々について前記第3の動画像と一致する部分があるか否かが前記動画像判別手段により判別されたことを契機として、その判別結果を、前記ユーザ端末により出力可能な態様で送信する結果送信手段と、を備えたことを特徴とする動画像比較装置。 The moving image comparison apparatus according to claim 1,
Moving image receiving means for receiving a third moving image designated by the user terminal;
Moving image acquisition means for acquiring the one or more fourth moving images from a moving image publishing device that publishes one or more fourth moving images via a network;
When the moving image determining means determines whether or not there is a portion that matches the third moving image for each of the one or more fourth moving images, the determination result is displayed as the user. And a result transmitting means for transmitting in a form that can be output by a terminal.
前記特徴量算出手段は、前記複数の静止画像の各々の差異から特徴量を算出することを特徴とする動画像比較装置。 The moving image comparison apparatus according to claim 1 or 2,
The moving image comparison apparatus, wherein the feature amount calculation means calculates a feature amount from a difference between each of the plurality of still images.
前記複数の静止画像の各々について特徴量を算出する特徴量算出ステップと、
前記静止画像抽出ステップにより第1の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出ステップにより第2の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成ステップと(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成ステップにより作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得ステップ又は最短距離を算出する最短距離算出ステップと、
前記共通部分取得ステップにより取得された共通部分又は前記最短距離算出ステップにより算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別ステップと、を備えたことを特徴とする動画像比較方法。 A still image extraction step of extracting each of the plurality of still images from a moving image including a plurality of still images;
A feature amount calculating step for calculating a feature amount for each of the plurality of still images;
The plurality of first feature amounts calculated by the feature amount calculation step for the plurality of still images extracted from the first moving image by the still image extraction step are placed on one coordinate axis by the still image extraction step. A plurality of second feature amounts calculated in the feature amount calculation step for a plurality of still images extracted from the moving image 2 are arranged on another coordinate axis different from the one coordinate axis, and these feature amounts are obtained. A graph creation step for creating a graph formed by comparing whether or not they are equal to each other and adding a path connecting the coordinates (t−1, u−1) and the coordinates (t, u) if they are equal ( Here, t indicates the t-th feature value, and u indicates the u-th feature value).
Based on the path of the graph created by the graph creating step, a common part obtaining step for obtaining a common part or a shortest distance calculating step for calculating a shortest distance;
Whether there is a portion that matches the first moving image and the second moving image based on the common portion acquired by the common portion acquiring step or the shortest distance calculated by the shortest distance calculating step. A moving image comparison method comprising: a moving image determination step for determining.
前記複数の静止画像の各々について特徴量を算出する特徴量算出ステップと、
前記静止画像抽出ステップにより第1の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第1の特徴量を一の座標軸上に、前記静止画像抽出ステップにより第2の動画像から抽出された複数の静止画像について前記特徴量算出ステップにより算出された複数の第2の特徴量を前記一の座標軸とは異なる他の座標軸上に配置してこれらの特徴量が等しいか否かを夫々比較し、そして等しい場合に座標(t−1,u−1)と座標(t,u)とを結ぶ経路を加えることにより形成されるグラフを作成するグラフ作成ステップと(ここで、tは第1の特徴量のt番目、uは第2の特徴量のu番目を示す)、
前記グラフ作成ステップにより作成されたグラフの経路に基づいて、共通部分を取得する共通部分取得ステップ又は最短距離を算出する最短距離算出ステップと、
前記共通部分取得ステップにより取得された共通部分又は前記最短距離算出ステップにより算出された最短距離に基づいて前記第1の動画像と前記第2の動画像とに一致する部分があるか否かを判別する動画像判別ステップと、をコンピュータに実行させることを特徴とする動画像比較プログラム。 A still image extraction step of extracting each of the plurality of still images from a moving image including a plurality of still images;
A feature amount calculating step for calculating a feature amount for each of the plurality of still images;
The plurality of first feature amounts calculated by the feature amount calculation step for the plurality of still images extracted from the first moving image by the still image extraction step are placed on one coordinate axis by the still image extraction step. A plurality of second feature amounts calculated in the feature amount calculation step for a plurality of still images extracted from the moving image 2 are arranged on another coordinate axis different from the one coordinate axis, and these feature amounts are obtained. A graph creation step for creating a graph formed by comparing whether or not they are equal to each other and adding a path connecting the coordinates (t−1, u−1) and the coordinates (t, u) if they are equal ( Here, t indicates the t-th feature value, and u indicates the u-th feature value).
Based on the path of the graph created by the graph creating step, a common part obtaining step for obtaining a common part or a shortest distance calculating step for calculating a shortest distance;
Whether there is a portion that matches the first moving image and the second moving image based on the common portion acquired by the common portion acquiring step or the shortest distance calculated by the shortest distance calculating step. A moving image comparison program for causing a computer to execute a moving image determination step for determination.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007127936A JP4916950B2 (en) | 2007-05-14 | 2007-05-14 | Moving image comparison apparatus, moving image comparison method, and moving image comparison program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007127936A JP4916950B2 (en) | 2007-05-14 | 2007-05-14 | Moving image comparison apparatus, moving image comparison method, and moving image comparison program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008282316A true JP2008282316A (en) | 2008-11-20 |
JP4916950B2 JP4916950B2 (en) | 2012-04-18 |
Family
ID=40143061
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007127936A Active JP4916950B2 (en) | 2007-05-14 | 2007-05-14 | Moving image comparison apparatus, moving image comparison method, and moving image comparison program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4916950B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010191954A (en) * | 2009-01-26 | 2010-09-02 | Mitsubishi Electric R&D Centre Europe Bv | Method and apparatus for processing sequence of image, device for processing image data, and computer program product |
JP2010191955A (en) * | 2009-01-26 | 2010-09-02 | Mitsubishi Electric R&D Centre Europe Bv | Method and apparatus for processing sequence of image, storage medium and signal |
WO2012108088A1 (en) * | 2011-02-10 | 2012-08-16 | 日本電気株式会社 | Differing region detection system and differing region detection method |
JP2014506366A (en) * | 2011-01-07 | 2014-03-13 | アルカテル−ルーセント | Method and apparatus for comparing pictures |
JP5569830B2 (en) * | 2011-03-25 | 2014-08-13 | 日本電気株式会社 | Video processing system, video processing method, video processing apparatus, control method thereof, and control program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01107298A (en) * | 1987-10-20 | 1989-04-25 | Nec Corp | Pattern matching system |
JPH09330400A (en) * | 1996-06-11 | 1997-12-22 | Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko | Device and method for recognizing gesture |
JPH11190998A (en) * | 1997-12-25 | 1999-07-13 | Omron Corp | Standard pattern generating method for speech recognition, recording medium for control program for standard pattern generation for implementing the same method, and standard pattern generating device using the same method |
JP2003338997A (en) * | 2002-05-20 | 2003-11-28 | Nippon Telegr & Teleph Corp <Ntt> | Video analyzer, its method, video analysis program, and recording medium recording video analyzing program |
JP2005018674A (en) * | 2003-06-30 | 2005-01-20 | Nippon Hoso Kyokai <Nhk> | Content feature amount extractor, content feature extract program and content feature extract method |
JP2007102264A (en) * | 2005-09-30 | 2007-04-19 | Toshiba Corp | Character recognition device and method |
-
2007
- 2007-05-14 JP JP2007127936A patent/JP4916950B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01107298A (en) * | 1987-10-20 | 1989-04-25 | Nec Corp | Pattern matching system |
JPH09330400A (en) * | 1996-06-11 | 1997-12-22 | Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko | Device and method for recognizing gesture |
JPH11190998A (en) * | 1997-12-25 | 1999-07-13 | Omron Corp | Standard pattern generating method for speech recognition, recording medium for control program for standard pattern generation for implementing the same method, and standard pattern generating device using the same method |
JP2003338997A (en) * | 2002-05-20 | 2003-11-28 | Nippon Telegr & Teleph Corp <Ntt> | Video analyzer, its method, video analysis program, and recording medium recording video analyzing program |
JP2005018674A (en) * | 2003-06-30 | 2005-01-20 | Nippon Hoso Kyokai <Nhk> | Content feature amount extractor, content feature extract program and content feature extract method |
JP2007102264A (en) * | 2005-09-30 | 2007-04-19 | Toshiba Corp | Character recognition device and method |
Non-Patent Citations (2)
Title |
---|
CSNG200000791001, 高橋克直、外2名, "画紋情報を用いた動画像検索方式に関する検討", 映像情報メディア学会技術報告, 19981120, 第22巻、第64号, p.1−8, JP, 社団法人映像情報メディア学会 * |
CSNG200100329002, 片岡良治、外1名, "MPEG符号化情報に基づく類似シーン検出方式", 情報処理学会論文誌, 20000515, 第41巻、第SIG3号, p.37−45, JP, 社団法人情報処理学会 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010191954A (en) * | 2009-01-26 | 2010-09-02 | Mitsubishi Electric R&D Centre Europe Bv | Method and apparatus for processing sequence of image, device for processing image data, and computer program product |
JP2010191955A (en) * | 2009-01-26 | 2010-09-02 | Mitsubishi Electric R&D Centre Europe Bv | Method and apparatus for processing sequence of image, storage medium and signal |
US8699851B2 (en) | 2009-01-26 | 2014-04-15 | Mitsubishi Electric Corporation | Video identification |
JP2014506366A (en) * | 2011-01-07 | 2014-03-13 | アルカテル−ルーセント | Method and apparatus for comparing pictures |
WO2012108088A1 (en) * | 2011-02-10 | 2012-08-16 | 日本電気株式会社 | Differing region detection system and differing region detection method |
US9424469B2 (en) | 2011-02-10 | 2016-08-23 | Nec Corporation | Differing region detection system and differing region detection method |
JP5991488B2 (en) * | 2011-02-10 | 2016-09-14 | 日本電気株式会社 | Different region detection system and different region detection method |
JP5569830B2 (en) * | 2011-03-25 | 2014-08-13 | 日本電気株式会社 | Video processing system, video processing method, video processing apparatus, control method thereof, and control program |
Also Published As
Publication number | Publication date |
---|---|
JP4916950B2 (en) | 2012-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1538351B (en) | Method and computer for generating visually representative video thumbnails | |
JP5827445B2 (en) | Method and system for realizing augmented reality interaction | |
US8014566B2 (en) | Image processing apparatus | |
US9111582B2 (en) | Methods and systems for previewing content with a dynamic tag cloud | |
JP5201142B2 (en) | Screen transmission system, screen transmission server, screen transmission method, and program recording medium | |
WO2020056903A1 (en) | Information generating method and device | |
JP4916950B2 (en) | Moving image comparison apparatus, moving image comparison method, and moving image comparison program | |
US20150189384A1 (en) | Presenting information based on a video | |
KR102550305B1 (en) | Video automatic editing method and syste based on machine learning | |
CN114339360B (en) | Video processing method, related device and equipment | |
CN108345700B (en) | Article representative picture selection method and device and computer equipment | |
CN110263218A (en) | Video presentation document creation method, device, equipment and medium | |
US20200279355A1 (en) | Previewing a content-aware fill | |
KR102052534B1 (en) | Apparatus for judging illegal duplication using object recognition based on deep learning and method thereof | |
EP0662768B1 (en) | Apparatus for providing slow motion video at normal motion play speed | |
KR20130056532A (en) | Selective ppl inserting in motion video and advertisement service method | |
Yu et al. | 3D reconstruction and enrichment of broadcast soccer video | |
GB2555168A (en) | Using labels to track high-frequency offsets for patch-matching algorithms | |
JP2006039753A (en) | Image processing apparatus and image processing method | |
KR20230051032A (en) | Method and apparatus for editing content on a live broadcasting platform | |
KR101995535B1 (en) | Method and program for protecting copying webtoon | |
JP6623905B2 (en) | Server device, information processing method and program | |
WO2015100070A1 (en) | Presenting information based on a video | |
US20120278827A1 (en) | Method for Personalized Video Selection | |
CN115393685B (en) | Text travel data processing method and system based on expandable model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4916950 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |