JP5339303B2 - 動画検索装置および動画検索プログラム - Google Patents
動画検索装置および動画検索プログラム Download PDFInfo
- Publication number
- JP5339303B2 JP5339303B2 JP2010503907A JP2010503907A JP5339303B2 JP 5339303 B2 JP5339303 B2 JP 5339303B2 JP 2010503907 A JP2010503907 A JP 2010503907A JP 2010503907 A JP2010503907 A JP 2010503907A JP 5339303 B2 JP5339303 B2 JP 5339303B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- scene
- audio signal
- moving image
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005236 sound signal Effects 0.000 claims abstract description 267
- 238000004364 calculation method Methods 0.000 claims abstract description 129
- 230000000007 visual effect Effects 0.000 claims abstract description 70
- 230000033764 rhythmic process Effects 0.000 claims description 77
- 230000006870 function Effects 0.000 claims description 43
- 230000007704 transition Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 description 136
- 238000000034 method Methods 0.000 description 107
- 230000008569 process Effects 0.000 description 90
- 238000010586 diagram Methods 0.000 description 42
- 238000001228 spectrum Methods 0.000 description 35
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000004088 simulation Methods 0.000 description 21
- 238000000513 principal component analysis Methods 0.000 description 20
- 238000005311 autocorrelation function Methods 0.000 description 14
- 230000008602 contraction Effects 0.000 description 11
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000007635 classification algorithm Methods 0.000 description 4
- 238000010998 test method Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000000546 chi-square test Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
- G06F16/748—Hypervideo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
図1に示す本発明の最良の実施の形態に係る動画検索装置1は、動画データのシーンから、クエリ動画データに類似するシーンを検索する。本発明の最良の実施の形態に係る動画検索装置1は、動画データベース11中に存在する動画データをシーンに分類して、クエリ動画データと各シーンとの類似度を算出し、クエリ動画データに類似するシーンの検索を行う。
図4に示すように、本発明の最良の実施の形態に係る動画検索装置1は、中央処理制御装置101、ROM(Read Only Memory)102、RAM(Random Access Memory)103及び入出力インタフェース109が、バス110を介して接続されている。入出力インタフェース109には、入力装置104、表示装置105、通信制御装置106、記憶装置107及びリムーバブルディスク108が接続されている。
動画データベース11は、複数の動画データが記憶される。この動画データベース11に記憶される動画データは、本発明の最良の実施の形態に係る動画検索装置1によって分類される対象となる。動画データベース11に記憶される動画データは、オーディオ信号およびビジュアル信号を含むビデオ信号によって構成されている。
ステップS101において、動画データベース11に記憶された動画データの一つについて、オーディオ信号を抽出して読み出し、ステップS102において、オーディオ信号をクリップに分割する。次に、ステップS102で分割された各クリップについて、ステップS103ないしステップS105の処理を繰り返す。
シーン分割部21によって分割された各動画データの各シーンについて、ステップS201ないしステップS203の処理が繰り返される。まず、ステップS201において、シーンに対応するビデオ信号がクリップに分割される。つぎに、ステップS201で分割された各クリップについて、ステップS202において、ビジュアル信号の特徴量が算出され、ステップS203において、オーディオ信号の特徴量が算出される。
シーン分割部21によって全ての動画データから分割され、得られる全てのシーンのうち、任意の2つのシーンについて、ステップS301ないしステップS303の処理が繰り返される。まず、ステップS301において、シーンに対応するオーディオ信号のベース音に基づく類似度が算出される。つぎに、ステップS302において、オーディオ信号の、ベース音以外の楽器に基づく類似度が算出される。さらに、ステップS303において、オーディオ信号のリズムに基づく類似度が算出される。
つぎに、ステップS312において、時間および周波数に注目して、重み付きパワースペクトルを算出し、ステップS313において、重み付きパワースペクトルを用いてベースの音高が推定される。さらに、ステップS314において、DTWを用いて、ベース音高の類似度が算出される。
つぎに、ステップS322において、各音名が示す周波数のエネルギーについて、全周波数域に対するエネルギーの割合が算出される。さらにステップS323において、DTWを用いて、音名のエネルギー割合の類似度が算出される。
さらに、ステップS332ないしステップS335の処理によって、包絡線を検波して、各信号の概形が取得される。具体的には、ステップS332において、ステップS331で取得した波形について全波整流が施され、ステップS333において、低域通過フィルタが施される。さらにステップS334において、ダウンサンプリングされ、ステップS335において、平均値が除去される。
包絡線の検波が終了すると、ステップS336において、自己相関関数が算出され、ステップS337において、DTWを用いて、リズム関数の類似度が算出される。
図11(a)を参照して、ビデオ信号類似度検索部26の処理を説明する。まず、記憶装置107からビデオ信号類似度データ12が読み出される。さらに、シーン分割部21によって分割された各シーンについて、ステップS401においてクエリ動画シーンとのビジュアル信号の類似度が取得されるとともに、ステップS402においてクエリ動画シーンとのオーディオ信号の類似度が取得される。
図12(a)を参照して、オーディオ信号類似度検索部27の処理を説明する。まず、記憶装置107からオーディオ信号類似度データ13が読み出される。さらに、シーン分割部21によって分割された各シーンについて、ステップS501においてクエリ動画シーンとのベース音に基づく類似度が取得される。ステップS502においてクエリ動画シーンとの非ベース音に基づく類似度が取得される。ステップS503においてクエリ動画シーンとのリズムに基づく類似度が取得される。
以下、図1に示す各ブロックについて詳述する。
次に、図1に示すシーン分割部21の処理を説明する。
シーン分割部21は、データベース中に存在する映像間で類似度を算出するために、映像信号をシーン単位に分割する。本発明の最良の実施の形態では、動画データベース11から得られる映像信号のオーディオ信号と動画像フレームの両方を用いることで、シーンの算出を可能とする。
論値)が得られる。オーディオ信号の種類によっては、ユーザの主観評価により、ショットの分類結果が異なる可能性がある。例えば、音楽の付加された音声において、背景に存在する音楽が非常に小さな音量である場合、そのオーディオ信号を「音楽付きの音声」に分類すべきか、それとも主となる「音声」に分類すべきかは、ユーザの要求によって異なる。そこで、ショットに対して、全てのショットクラスタのファジィ推論値を持たせ、最終的にその差分を求めることで、ユーザの主観評価を考慮したシーンの分割が可能となる。
本発明の最良の実施の形態では、まずPCAとMGDを用いて、オーディオ信号が以下に定義する4種類のオーディオクラスに属する程度(以降、帰属確率)を算出する。
・ 無音(silence: Si)
・ 音声(speech: Sp)
・ 音楽(music: Mu)
・ 雑音(noise: No)
各オーディオクラスへの帰属確率は、図13に示す「CLS#1」から「CLS#3」の3つの分類処理を施し、それらの分類結果を用いて算出される。ここで、CLS#1からCLS#3までの各分類処理は、全て同一の手順であり、処理対象信号および2種類の参照信号に対し、「特徴量の算出」、「PCAの適用」、及び「MGDの算出」の3つの処理を行う。ただし、図14に示すように、参照信号は分類処理の目的に応じてSi、Sp、Mu、Noのいずれか(あるいは複数)のオーディオ信号を含む。以下、各処理について説明する。
シーン分割部21は、処理対象であるオーディオ信号、および図14に示した2種類の参照信号から、以下に示すオーディオ信号のフレーム単位(フレーム長:Wf)の特徴量、およびクリップ単位(クリップ長:Wc,ただしWc>Wf)の特徴量を算出する。
− フレーム単位の特徴量:
ボリューム、零交差率、ピッチ、周波数中心位置、周波数帯域幅、サブバンドエネルギー比率
− クリップ単位の特徴量:
非無音率、零比率
さらに、シーン分割部21は、オーディオ信号のフレーム単位の特徴量のクリップ内での平均値および標準偏差を算出し、それらをクリップ単位の特徴量に加える。
まず、ステップS1101において、1クリップのオーディオ信号について、オーディオ信号のフレームに分割する。つぎに、ステップS1101で分割した各オーディオ信号のフレームについて、ステップS1102ないしステップS1107において、ボリューム、零交差率、ピッチ、周波数中心位置、周波数帯域幅、サブバンドエネルギー比率を算出する。つぎに、ステップS1108において、1クリップに含まれる各オーディオ信号のフレームのボリューム、零交差率、ピッチ、周波数中心位置、周波数帯域幅、サブバンドエネルギー比率の各特徴量に対する平均値と標準偏差を算出する。
一方、ステップS1109において、1クリップのオーディオ信号について、非無音率を算出し、ステップS1110において、零比率を算出する。
ステップS1111において、ステップS1108ないしステップS1110において算出した平均値、標準偏差、非無音率および零比率の各特徴量を統合して、クリップにおけるオーディオ信号の特徴量として出力する。
シーン分割部21は、処理対象信号のクリップから算出された特徴量、および2種類の参照信号から算出されたクリップ単位の特徴量を正規化し、PCAを施す。PCAを施すことで、相関の高い特徴量間の影響を軽減することが可能となる。また、PCAより得られた主成分のうち、その固有値が1以上であるものを以降の処理で使用することで、計算量の増加やヒューズの現象を回避することが可能となる。
ここで用いられる参照信号は、分類されるクラスに応じて異なる。例えば、図13に示す「CLS#1」においては、Si+Noと、Sp+Muとに分類される。このとき用いられる2種類の参照信号の一つは、無音(Si)のみで構成される信号と、雑音(No)のみで構成される信号をと、重ならないように時間軸方向に連結した信号である。もう一つの参照信号は、音声(Sp)のみで構成される信号と、音楽(Mu)のみで構成される信号をと、重ならないように時間軸方向に連結した信号である。また、「CLS#2」において用いられる2種類の参照信号は、無音(Si)のみで構成される信号と、雑音(No)のみで構成される信号である。同様に、「CLS#3」において用いられる2種類の参照信号は、音声(Sp)のみで構成される信号と、音楽(Mu)のみで構成される信号である。
図16(a)に示す処理を説明する。まず、ステップS1201において、図15を参照して説明した処理に従って算出された処理対象信号のクリップの特徴量が入力される。
つぎに、ステップS1204において、クリップ単位の特徴量を正規化し、ステップS1205において、PCA(主成分分析)を施す。さらにステップS1206において、固定値が1以上となる主成分の軸を算出し、処理対象信号のクリップの主成分を出力する。
図16(b)に示す処理を説明する。まず、ステップS1251において、参照信号1のクリップから算出される特徴量を入力するとともに、ステップ1252において、参照信号2のクリップから算出される特徴量を入力する。
つぎに、ステップS1253において、参照信号1および参照信号2のそれぞれについて、クリップ単位の特徴量を正規化し、ステップS1254において、PCA(主成分分析)を施す。さらにステップS1255において、固定値が1以上となる主成分の軸を算出し、参照信号1および参照信号2について、一つの主成分を出力する。
ここで入力される参照信号1および参照信号2は、上述したように、クラスの分類処理によって異なる。後述するCLS#1〜3ごとに、の各分類処理において用いられる全ての参照信号1および参照信号2について、予め図16(b)の処理が実行される。
PCAによる特徴量削減処理で得られた主成分を用いて、MGDを算出する。
ここで、MGD(マハラノビス汎距離)は、多変数間の相関に基づき算出される距離である。MGDでは、処理対象信号と参照信号との特徴ベクトル群との距離をマハラノビス汎距離により算出する。これにより、主成分分析で得られた主成分の分布形状を考慮した距離を算出することが可能となる。
まず、ステップS1301において、処理対象信号の各クリップの主成分を要素とするベクトルを入力する。ここで入力されるベクトルは、上述した図16(a)によって算出されたデータである。
次に、CLS#1の分類処理として、ステップS1302ないしステップS1305の処理を行う。具体的には、ステップS1302において、処理対象信号と参照信号1との距離を算出し、ステップS1303において、処理対象信号が参照信号1のクラスタに属する帰属度を算出する。さらに、ステップS1304において、処理対象信号と参照信号2との距離を算出し、ステップS1305において、処理対象信号が参照信号2のクラスタに属する帰属度を算出する。
ここで、ステップS1310において、ステップS1303およびステップS1307で算出された帰属度に基づいて、オーディオクラスSiへの帰属確率P1が算出される。同様に、ステップS1311において、ステップS1303およびステップS1309で算出された帰属度に基づいて、オーディオクラスNoへの帰属確率P4が算出される。
ここで、ステップS1316において、ステップS1305およびステップS1313で算出された帰属度に基づいて、オーディオクラスSpへの帰属確率P2が算出される。同様に、ステップS1317において、ステップS1305およびステップS1315で算出された帰属度に基づいて、オーディオクラスMuへの帰属確率P3が算出される。
本発明の最良の実施の形態においては、分割χ2検定法を用いて、ショットカットを得る。分割χ2 検定法は、まず動画像のフレームを4×4=16個の同じ大きさの矩形領域に分割し、各領域ごとに64色種の色ヒストグラムH(f,r,b)を作成する。ただし、fはビデオ信号のフレーム番号、rは領域番号、bはヒストグラムのビン数を表す。隣接する2枚の動画像のフレームの色ヒストグラムから、次式で算出される評価値Er(r=1,・・・,16)を算出する。
まずステップS1401において、ビジュアル信号のフレームのデータを取得する。次に、ステップS1402において、ステップS1401で取得したビジュアル信号のフレームを、4×4=16個の矩形領域に分割し、ステップS1403において、各領域について、64色種の色ヒストグラムH(f,r,b)を作成する。
さらにステップS1404において、隣接するビジュアル信号のフレーム間で、色ヒストグラムの差分評価Erを算出する。各矩形領域について算出された差分評価Erの中で、小さい8つの総和Esumを算出する。
ステップS1406において、Esumが閾値よりも大きな値を示す時刻で、ショットカットを判定し、ショット区間を出力する。
本発明の最良の実施の形態においては、まず単一のショット内における各オーディオクラスへの帰属確率の平均値
NB (Negative Big)
NBM (Negative Big Medium)
NM (Negative Medium)
NSM (Negative Small Medium)
NS (Negative Small)
ZO (Zero)
PS (Positive Small)
PSM (Positive Small Medium)
PM (Positive Medium)
PBM (Positive Big Medium)
PB (Positive Big)
ここで、それぞれのファジィ変数に対し、次式で定義される三角型のメンバシップ関数を定め、図19に示すように、各変数を割り当てることで、ファジィ集合を生成する。
本発明の最良の実施の形態においては、各ショットに対するオーディオクラスへの帰属確率の算出処理で設定された入力変数、およびメンバシップ関数の値
本発明の最良の実施の形態においては、ファジィ推論処理で算出される各ショットクラスに属する度合
ここで、ηをショット番号とし、隣接するショット間の距離D(η1,η2)を次式で定義する。
まずステップS1501において、各ショットの全クリップにおける帰属確率の平均値を算出する。つぎにステップS1502において、11段階のファジィ係数を読み出し、各ショットに対するメンバシップ関数を算出する。ステップS1501およびステップS1502の処理は、各ショットに対するオーディオクラスへの帰属確率の算出処理に相当する。
ステップS1503において、入力変数およびメンバシップ関数の値から、出力およびその出力のメンバシップ関数の値を算出する。このとき、図20および図21に示すファジィ制御規則が参照される。ステップS1503の処理は、各ショットに対するオーディオクラスへの帰属確率の算出処理に相当する。
さらにステップS1504において、異なるショット間でのメンバシップ関数の距離を算出し、ステップS1505において、その距離が閾値よりも大きいか判定する。その距離が閾値よりも大きい場合、そのフレーム間で映像信号のシーンカットを判定し、シーン区間を出力する。ステップS1504およびステップS1505の処理は、ファジィ推論値を用いたシーン分割処理に相当する。
次に、図1に示すビデオ信号類似度算出部23の処理を説明する。
ビデオ信号類似度算出部23は、映像情報に注目した検索・分類を行うため、シーン分割部21で算出される各シーンに対して、他のシーンとの類似度を算出する処理について説明を行う。本発明の最良の実施の形態では、動画データベース11中に存在する映像のシーン間について、ビジュアル(動画像)信号の特徴量とオーディオ信号の特徴量から、それらの類似度を類似度として算出する。本発明の最良の実施の形態では、まず映像中のシーンをクリップに分割し、各々に対してビジュアル信号の特徴量の抽出、およびオーディオ信号の特徴量の抽出を行う。さらに、これらの特徴量に対して3次元のDTWを設定することで、シーン間の類似度の算出を可能とする。
本発明の最良の実施の形態では、従来2次元で定義されているDTWを3次元で再定義し、新たにそれらを用いるためのコストの設定を行っている。このとき、コストをビジュアル信号およびオーディオ信号のそれぞれに設定することにより、2つのシーン間で動画像、音響の一方が異なる場合においても、類似した映像を検索・分類することが可能となる。さらに、DTWの特徴からシーン間の時間尺が異なる場合や、シーン間でビジュアル信号とオーディオ信号の開始時刻にずれが生じた場合においても、適切にシーン間の類似部分を対応付けることが可能となる。
本発明の最良の実施の形態では、映像に含まれるビジュアル信号(動画像信号)とオーディオ信号(音響信号)の双方に着目してシーン間の類似度を算出する。まず、本発明の最良の実施の形態では、与えられたシーンを短時間のクリップに分割し、シーンをクリップの一次元列として表現する。次に、各クリップからビジュアル信号による特徴量、およびオーディオ信号による特徴量をそれぞれ抽出する。最後に、DTWを用いてクリップ列間の特徴量の類似部分を対応付けし、得られる最適経路をシーン間の類似度として定義する。ここで本発明の最良の実施の形態では、DTWを新たに3次元に拡張して用いることで、ビジュアル信号とオーディオ信号の協調処理によるシーン間の類似度の算出を可能とした。以下、各処理について説明する。
本発明の最良の実施の形態では、処理対象であるシーンを、短時間Tc[sec]のクリップに分割する。
本発明の最良の実施の形態では、ビデオ信号のクリップへの分割処理で得られる各クリップからビジュアル信号の特徴量を抽出する。本発明の最良の実施の形態では、ビジュアル信号の特徴として画像の色成分に着目し、各クリップの動画像の所定のフレームからHSV表色系における色ヒストグラムを算出し特徴量に用いる。ここで、動画像の所定のフレームとは、例えば各クリップの動画像の先頭のフレームである。また、人間の知覚システムにおいて色相がより重要なことに着目し、色相、彩度、明度のヒストグラムのビン数を、例えばそれぞれ12、2、2とする。よって、クリップ単位から得られるビジュアル信号の特徴量は全部で48次元になる。本実施例においては、色相、彩度、明度のヒストグラムのビン数が、12、2、2の場合について説明するが、任意に設定されても良い。
まず、ステップS2101において、クリップの動画像の所定のフレームを抽出し、ステップS2102において、RGB表色系からHSV表色系へ変換する。
つぎにステップS2103において、例えば、H軸を12、S軸を2、V軸を2に分割した3次元色ヒストグラムを生成して、この3次元色ヒストグラムを当該クリップのビジュアル信号の特徴量として算出する。
本発明の最良の実施の形態において、ビデオ信号のクリップへの分割処理で得られる各クリップからオーディオ信号の特徴量を抽出する。本発明の最良の実施の形態では、オーディオ信号の特徴量として10次元の特徴量を用いた。具体的には、クリップに含まれるオーディオ信号を固定長Tf[sec](Tf<Tc)のフレーム毎に解析を行う。
まず、各クリップからオーディオ信号の特徴量を抽出する際に、オーディオ信号に含まれる音声部分の影響を軽減するために、オーディオ信号の各フレームを音声フレームと背景音フレームに分類する。ここで、オーディオ信号における音声部分の特徴は大きな振幅と、大部分がフォルマント周波数と呼ばれる低周波数のパワーを持つことに着目し、短時間のエネルギー(以降、STE)と短時間のスペクトル(以降、STS)を用いてオーディオ信号の各フレームを分類する。
e)音声フレーム率VFR:
ここで、VFRはクリップに含まれるオーディオ信号の全フレームにおける音声フレームの割合である。
g)STE標準偏差ESTD:
STEの標準偏差ESTDは、次式で定義される。
まずステップS2201において、オーディオ信号の各クリップについて、短時間のオーディオ信号のフレームへ分割される。つぎにステップS2202において、オーディオ信号のフレーム内のオーディオ信号が持つエネルギーが算出されるとともに、ステップS2203において、フレーム内のオーディオ信号が持つスペクトルが算出される。
ステップS2204において、ステップS2201で分割されたオーディオ信号の各フレームが、音声フレームと背景音フレームに分類される。この分類されたオーディオ信号のフレームに基づいて、ステップS2205において、上述したa)からg)の各特徴量が算出される。
本発明の最良の実施の形態では、ビジュアル信号の特徴量抽出処理およびオーディオ信号の特徴量抽出処理で得られたクリップ単位の特徴量を用いて、シーン間の類似度を定義する。一般的に、クリップ列の比較にDTWを用いて類似部分を対応づけ、得られる最適経路をシーン間の類似度として定義している。しかしながら、この場合、DTWに用いる局所コストをクリップ間の全特徴量の差に基づき決定しているため、シーン間において片方の信号のみが類似している場合や、シーン間においてビジュアル信号とオーディオ信号の開始時刻にズレが発生した場合などに適切な類似度が得られない可能性がある。
本発明の最良の実施の形態では、まず、3次元DTWの3つの要素として、クエリシーンのクリップτ(1≦τ≦T1)、ターゲットシーンのビジュアル信号のクリップtx(1≦tx≦T2)、ターゲットシーンのオーディオ信号のクリップty(1≦ty≦T2)をそれぞれ用いる。この3つの要素に対し、3次元DTW上の各格子点における局所コストd(τ,tx,ty)を以下の3種類で定義する。
本発明の最良の実施の形態で用いられる3次元DTW上の各格子点は、図25および図26に示すように直前の7つの格子点からそれぞれ局所パス#1〜#7で連結されている。以下に各局所パスが持つ役割を示す。
a)局所パス#1および#2について
クリップ単位による伸縮を許容するパスである。パス#1はクエリシーンのクリップの時間軸方向への伸縮を、パス#2はターゲットシーンのクリップの時間軸方向への伸縮をそれぞれ許容する役割を持つ。
b)局所パス#3ないし#5について
類似部分の対応付けを行うパスである。クリップ間において、パス#3はビジュアル信号を、パス#4はオーディオ信号を、パス#5は両方の信号を類似部分としてそれぞれ対応付けを行う役割を持つ。
c)局所パス#6および#7について
両信号の同期によるズレを許容するパスである。パス#6はシーン間におけるビジュアル信号の時間軸方向へのズレを、パス##7はシーン間におけるオーディオ信号の時間軸方向へのズレをそれぞれ許容する役割を持つ。
上述した(処理4−1)および(処理4−2)で説明した局所コストと局所パスを用いて、累積コストS(τ,tx,ty)を直前の7つの格子点からの累積コストと移動コストの和が最小となる格子点を用いて、以下で定義する。
まず、ステップS2301において、3次元DTWを用いたシーン間の特徴量に基づくマッチングを行う。具体的には、上記(式2−10)における{}内の7つの結果のうち、最小のものを選択する。
つぎにステップS2302において、3次元DTWに必要な局所コストが設定され、ステップS2303において、局所パスが設定される。さらにステップS2304においてα、β、γの各移動コストを設定する。αは、パス#1およびパス#2の移動コストであり、βは、パス#3およびパス#4の移動コストであり、γは、パス#6およびパス#7の移動コストである。
さらにステップS2305において、マッチングによる最適経路をシーン間の類似度として算出する。
ここで、DTWの概要について説明する。
本発明の最良の実施の形態における類似度算出処理で用いられるDTWの構成について説明を行う。DTWは、二つの一次元信号に伸縮を施し、信号間の類似度を算出する手法である。このため、時系列において伸縮の生じる信号等の比較に有効である。特に音楽信号では、演奏速度の変化が頻繁に発生することから、類似度の算出にDTWを用いることは有効と考えられる。以降、類似度算出において、参照する信号を参照パターン、参照パターンとの類似度を求める信号を被参照パターンと呼ぶ。
a)wはパターンの始点、終点を一致させる。
本発明の最良の実施の形態では、音楽の特徴として、同一楽曲の演奏速度が異なる場合にも、楽譜上の音符が欠落することがない点に着眼する。この特徴を換言すると以下の2点で表現可能と考えられる。
a)被参照パターンが、参照パターンに伸縮のみを加えたパターンである場合、これらのパターンは同一と見なす。
b)被参照パターンと参照パターンが同一の場合、被参照パターンは参照パターンを欠落することなく含有する。
次に、図1に示すオーディオ信号類似度算出部24の処理を説明する。
オーディオ信号類似度算出部24は、シーン分割部21で算出されるシーンに対して音楽情報に注目した検索・分類を行うため、類似度の算出を行う。本発明の最良の実施の形態では、動画データベース11からシーン分割部21で得られる全てのシーン中で、オーディオ信号のベース音に基づく類似度、他楽器に基づく類似度、リズムに基づく類似度を算出する。本発明の最良の実施の形態では、オーディオ信号類似度算出部24は、オーディオ信号に対して以下の三種類の類似度算出を行う。
・ ベース音に基づく類似度算出
・ 他楽器に基づく類似度算出
・ リズムに基づく類似度算出
まず、楽器音は基本周波数の倍音を多く含む(以降、倍音構造)ため、周波数域が高くなるに従い、基本周波数の特定が困難となる点である。次に、楽曲中には発音の際に発生する擦弦音等の雑音が含まれ、音階上に存在しない周波数が楽器音の基本周波数として推定され得る点である。
まず、本発明の最良の実施の形態においては、音楽のメロディーの推移に着眼し、楽曲の類似度算出を可能とする。本発明の最良の実施の形態では、メロディーがベース音、およびベース以外の楽器音から構成されると仮定する。これは、ベース音と他楽器音により同時に発音される音がメロディーの特徴を決定する和音や調の指標となるためである。
さらに、本発明の最良の実施の形態においては、楽曲のリズムに基づく新たな類似度を算出する。音楽におけるリズムは、メロディー、コード(和音)と併せて音楽の三要素と呼ばれ、楽曲の細かな構成を決定する重要な要素として知られる。そこで、本発明の最良の実施の形態では、リズムに着眼して楽曲間の類似度を定義する。
以下、「ベース音に基づく類似度」、「他楽器に基づく類似度」、「リズムに基づく類似度」のそれぞれについて、詳述する。
オーディオ信号類似度算出部24において、ベース音に基づく類似度算出処理を説明する。この処理は、図7のステップS301および図8に相当する。
本発明の最良の実施の形態では、楽曲中のベース音の推移として、ベース音が示す音高の推移を用いる。音高とは、楽譜上に記載される各音符が示す基本周波数とする。したがって、音高の推移はベース音に含まれる主要な周波数におけるエネルギーの推移を意味する。
図30においては、パワースペクトルから音階をあてはめ、その後、ベース音の音階を選択する場合について説明したが、この方法には限られない。具体的には、パワースペクトルから、周波数毎のヒストグラムを取得し、最大値の周波数から音階を取得しても良い。
この処理では、オーディオ信号に対し、ベース音の周波数域40−250Hzを通過域とする帯域通過フィルタを施し、得られた信号の各時刻でパワースペクトルを算出する。
この処理では、通過帯域フィルタによるベース音の抽出処理で得られるパワースペクトルの時間軸方向、および周波数軸方向に、ガウス関数に基づく重みを付加する。ここで、時間軸関数の重みを付加することにより、対象時刻のパワースペクトルが大きく利用される。周波数軸方向の重みを付加することにより、各音階(C、C#、D、・・・、H)に重みを置くことで、音階上の信号が選択される。ここで、ガウス関数による重みとは、exp{−(x−μ)/(2σ2)}である(μ=平均、σ=標準偏差)。最後に、重み付けされた各時刻のパワースペクトルにおいて最大のエネルギーを与える周波数を音高として推定する。時刻t(0≦t≦T)、周波数fにおいて、パワースペクトルより算出されるエネルギーをP(t、f)とし、重み付けされたパワースペクトルを(式3−1)に示すR(t、f)で定義する。
(式3−1)に示すR(t、f)は、(式3−2)の時間軸方向の重みにより、一定時間持続する基本周波数を音高と推定可能とする。また、(式3−3)に示す周波数軸方向の重みにより、音階上に存在する周波数のみを音高として推定可能とする。
この処理では、R(t、f)の各時刻tにおいて最大値を与える周波数fをベースの音高とし、B(t)と表す。
この処理では、データベース中の全ての二映像間においてオーディオ信号のベース音高を推定し、上述したDTWによる類似度算出を行う。ここで、上述したDTWの説明において、(式2−15)中で用いる各コストは以下のように設定する。
まず、動画データベース11の各シーンについて、ステップS3101ないしステップS3109の処理が実行される。
ステップS3101において、1つのシーンにフーリエ変換をする。ステップS3102において、40−250Hzを通過域とするフィルタを施す。ステップS3103において、各時刻について、パワースペクトルP(s,f)を算出する。
まずステップS3110において、所定の時刻間において、(式3−6)においてコストd(i,j)を決定するために、ベース音の一致不一致を算出する。次に、ステップS3111において、(式3−6)および(式3−7)に従って、DTWにおけるコストd(i,j)およびCi,j(b,a)を設定する。ステップS3112において、DTWによる類似度を算出する。
オーディオ信号類似度算出部24において、他楽器に基づく類似度算出処理を説明する。この処理は、図7のステップS302および図9に相当する。
一般的な音楽の構成では、主にベース音が楽曲の最低音となるため、その他の楽器音はベース音の周波数域より高い周波数を示す。また、ベース音より高い周波数域で、各音名は図32の周波数を持ち、各周波数の2k(k=1,2,・・・)倍の周波数も同一の音名として扱われる。
そこで、本発明の最良の実施の形態では、ベース以外の楽器音が示すエネルギーを、ベース音より高く、かつ音名を持つ周波数のエネルギーとする。さらに、各音名が示す周波数のエネルギーには、図32の2k倍の周波数が示すエネルギーの和を用いる。これにより、本発明の最良の実施の形態では、複数の楽器による倍音構造を軽減し、音高の推定が困難な周波数域に存在する楽器音についても類似度算出に用いることを可能とする。
このように、ある音階X(例えば、C、C#、D、またはH等)について注目するとき、その音は、1オクターブ上、2オクターブ上と、オクターブ単位で同様に存在する。ここで、ある音階の周波数をfxと表す場合、図33に示すように、1オクターブ上、2オクターブ上・・・の各音は、それぞれ、2fx、4fx・・・・で与えられる。
以下で詳細を説明する。なお、オーディオ信号は信号長T秒、サンプリングレートfsとし、時刻t(0≦t≦T))、周波数fに対するエネルギーをパワースペクトルより算出し、P(t、f)と表す。
図34に示す処理において、CからHまでの各12音階について、4オクターブ分の周波数のエネルギーPC(t)、PC#(t)・・・・PH(t)を算出する。
図34においては、パワースペクトルから音階をあてはめ、その後、ベース音の音階を選択する場合について説明したが、この方法には限られない。具体的には、パワースペクトルから、周波数毎のヒストグラムを取得し、最大値の周波数から音階を取得しても良い。
パワースペクトルから、各音名が示す周波数のエネルギーを算出する。図32において音名Xに対応する周波数をfXとして、音名Xが示す周波数のエネルギーPX(t)を次式で定義する。
音名が示す周波数のエネルギーの算出処理で得られた各音名が示す周波数のエネルギーを全周波数域に対するエネルギーの割合で表現する。これにより、音名毎に時間軸方向での比較が可能となり、推移を得ることが可能となる。音名Xが示す周波数のエネルギーの割合px(t)は次式で示される。
データベース中の全ての二映像間においてオーディオ信号のベース以外の楽器音のエネルギーを算出し、それぞれpxr(t)、pxi(t)と表す。これらを用いて各音名毎にDTWによる類似度算出を行う。したがって、類似度は音名の数である12だけ得られる。そこで、ベース以外の楽器音の類似度は音名毎に得られた類似度の和により定義する。すなわち、音名Xについて得られる類似度をDaxとすると、ベース以外の楽器による音の類似度Daは次式で表される。
まず、動画データベース11の各シーンについて、ステップS3201ないしステップS3206の処理が実行される。
ステップS3201において、1つのシーンにフーリエ変換をする。ステップS3202において、各時刻のパワースペクトルを算出し、ステップS3203において、音名Xが示す周波数エネルギーPx(t)を算出して、px(t)を算出する。
一方、ステップS3204において、全周波数のエネルギーを算出する。さらにステップS3205において、ステップS3203で算出された音名が示す周波数のエネルギーPx(t)と、ステップS3204で算出された全周波数のエネルギーに基づいて、エネルギーの割合px(t)を算出する。ステップS3206において、このエネルギーの割合px(t)を、ベース以外の楽器音におけるエネルギーとして出力する。
まずステップS3207において、DTWにおけるコストd(i,j)およびCi,j(b,a)を設定し、ステップS3208において、DTWによって、各音名における2シーン間の類似度を算出する。ステップS3209において、ステップS3208において算出された全音名の類似度の和Daを算出する。ステップS3210において、この和Daを、ベース音以外の楽器による音の類似度として出力する。
オーディオ信号類似度算出部24において、リズムに基づく類似度算出処理を説明する。この処理は、図7のステップS303および図10に相当する。
楽曲のテンポに代表される細かなリズムは、打楽器を含めた全ての楽器における発音時刻の間隔により定義される。また、大域的なリズムは、連続して発音される楽器音により構成される楽句や楽節等が出現する間隔により決定すると考えられる。したがって、リズムは上記の時間間隔によって与えられるため、一定の区間内では楽曲の時刻に依存しない。そこで、本発明の最良の実施の形態ではオーディオ信号が弱定常性であると仮定し、自己相関関数によりリズム関数を表現する。これにより、本発明の最良の実施の形態は、オーディオ信号を用いて楽曲のリズムを一意に表現し、リズムに基づく類似度の算出を可能とする。
具体的なアルゴリズムを以下に示す。尚、各処理は図10の各ステップに対応する。
2分割フィルタバンクによる低周波・高周波成分の算出処理においては、2分割フィルタバンクを用いて、処理対象信号を階層的に高周波、および低周波へU回だけ分解し、高周波成分を含む側の信号をxu(n)(u=1,・・・・U;,n=1,・・・・NU)と表す。ここで、NUはxuの信号長を示す。このようにして得られた各信号は、それぞれ異なる周波数帯を示すため、含まれる楽器の種類も異なると考えられる。したがって、得られた信号毎のリズムを推定し、結果を統合することで、複数種類の楽器音によるリズムが推定可能となる。
図36を参照して、2分割フィルタバンクによる低周波・高周波成分の算出処理を説明する。ステップS3301において、2分割フィルタにより、低周波成分と高周波成分に分ける。次に、ステップS3301で分割された低周波成分を、ステップS3302において、さらに低周波成分と高周波成分に分ける。一方、ステップS3301で分割された高周波成分を、ステップS3303において、さらに低周波成分と高周波成分に分ける。このように所定回数(U回)だけ、2分割フィルタ処理を繰り返し、ステップS3304において、高周波成分を含む側の信号xu(n)を出力する。図37に示すように、入力された信号の高周波成分が、2分割フィルタバンクによる低周波・高周波成分の算出処理によって出力されている。
2分割フィルタバンクによる低周波・高周波成分の算出処理で得られた信号xu(n)から包絡線を検波する。包絡線は、信号の各時刻における接線を共有する曲線であり、信号の概形を得ることを可能とする。したがって、包絡線検波により、楽器の発音に伴って音量が増加する時刻が推定可能となる。以下に包絡線を検波する処理の詳細を示す。
(式5−1)に示す全波整流を施し、信号y1u(n)(u=1,・・・・,U;,n=1,・・・・,NU)を得る。
1)全波整流で得られた信号y1u(n)に対し、(式5−2)に示す単純な低域通過フィルタを施し、信号y2u(n)(u=1,・・・・,U;,n=1,・・・・,Nu)を得る。
低域通過フィルタを通すことにより、低周波数の信号から、図39(a)に示す信号が出力される。具体的には、ローパスフィルタを通しても信号は変化せず、ハイパスフィルタを通すことにより、小刻みな波の信号が出力される。また、低域通過フィルタを通すことにより、高周波数の信号から、図39(b)に示す信号が出力される。具体的には、ハイパスフィルタを通しても信号は変化せず、ローパスフィルタを通すことにより、なだらかな波の信号が出力される。
2)低域通過フィルタの適用で得られた信号y2u(n)に対し、(式5−3)に示すダウンサンプリングを施し、信号
ダウンサンプリング処理をすることにより、図40(a)に示す信号から間引きされ、図40(b)に示す信号が出力される。
3)ダウンサンプリングで得られた信号y3u(n)に(式5−4)を施し、信号の平均が0となる信号yu(n)(u=1,・・・・,U;,n=1,・・・・,Nu)を得る。
平均値除去処理をすることにより、図41(a)に示す信号から、図41(b)に示す信号が出力される。
包絡線の検波処理で得られた信号yu(n)を2u−1倍のサンプリングレートにアップサンプリングし、信号長を等しくした後、すべてを加算する。これにより得られた信号をy(n)(n=1,・・・・,N1)とする。ただし、N1は信号長を表す。さらに、y(n)を用いて、自己相関関数z(m)(m=0,・・・,N1−1)を次式により算出する。
自己相関を用いることにより、信号に含まれる繰り返しパターンを探し、ノイズに含まれる周期的な信号を抽出することが容易となる。
このように、本発明の最良の実施の形態においては、様々なオーディオ信号の特徴を、自己相関関数から抽出されるファクターによって表すことができる。
本発明の最良の実施の形態では、時刻tから一定時間の信号を用いて算出される上記の自己相関関数を時刻tにおけるリズム関数とし、楽曲間の類似度算出に利用する。リズム関数は、複数の周波数域において音量が増加する時刻の周期を表現するため、複数の楽器音によるリズムを含む。このため、本発明の最良の実施の形態では、局所的なリズムから大域的なリズムを含む複数のリズムを用いて楽曲の類似度算出を可能とする。
次に、得られたリズム関数を用いて楽曲の類似度を算出する。そこで、まずリズムの類似度について考察する。楽曲におけるリズムは、演奏者や編曲者によって変動する。このため、同一の楽曲であっても、楽曲の全体、または一部が異なる速度で演奏される場合が存在する。このため、リズムに基づいて楽曲間の類似度を定義するには、リズムの変動を許容する必要がある。そこで、本発明の最良の実施の形態では、リズムに基づく類似度の算出に、メロディーに基づく類似度と同様にDTWを利用する。これにより、本発明の最良の実施の形態では、演奏者や編曲者によってリズムが変更された楽曲を変更前の楽曲と同一と判断可能とする。また、楽曲自体が異なる場合にも、類似するリズムを示す楽曲を類似楽曲として判断可能とする。
ステップS3401において、包絡線が入力されると、処理対象のシーンの楽曲と参照楽曲について、ステップS3402ないしステップS3404の処理が繰り返される。
まず、ステップS3402において、対象シーンのオーディオ信号に基づいて出力された包絡線をアップサンプリングする。ステップS3403において、yu(n)をuに対して全て加算し、y(n)を取得し、ステップS3404において、y(n)の自己相関関数Z(m)を算出する。
一方、参照楽曲における自己関数Z(m)が算出される。ステップS3405において、処理対象シーンの楽曲における自己関数Z(m)をリズム関数として、参照楽曲における自己関数Z(m)との類似度を、DTWを適用して算出して、ステップS3406において、類似度を出力する。
表示部28は、検索部25による検索結果を表示するとともに、映像の再生、検索、および、検索・分類結果の可視化を行うユーザインターフェースである。表示部28のユーザインターフェースは、下記の各機能を有していることが好ましい。
・映像の再生
動画データベース11に記憶されたの映像データを任意の位置に配置し再生する。このとき、再生中の映像の現在のフレーム位置より後方にあるフレームの画像を、3次元空間上で、映像の後方に配置し表示する。
それぞれの画像を配置する位置を常に更新することで、画像が奥から手前に向かって流れているような視覚効果を得ることができる。
・シーン単位の頭出し
シーン分割部21によって分割されたシーンを単位とした頭出しを行う。ユーザの操作により再生中のシーンの前後シーンの開始位置へ動画像のフレーム位置を移動する。
・検索結果の表示
映像の再生中に検索操作を行うことで、検索部25によって類似シーン検索を行い、検索結果を表示する。検索部25による類似シーンの検索は、分類部によって求められた類似度に基づいて行う。表示部28は、クエリシーンとの類似度が一定の閾値よりも小さいシーンを、動画データベース11から抽出して、検索結果として表示する。
表示する際はクエリシーンの表示位置を原点とした3次元空間で表示する。このとき検索結果の各シーンについて、類似度と対応した座標をそれぞれのシーンに与える。それらを、図44に示す透視変換を行うことにより、検索結果の各シーンの表示位置および大きさを決定する。
ただし、分類部22のビデオ信号類似度算出部23において映像情報に注目した分類のアルゴリズムを用いた場合、3次元空間上の軸は、3次元DTWによって得られる3つの座標となる。また、分類部22のオーディオ信号類似度算出部24において音楽情報に注目した分類のアルゴリズムを用いた場合、3次元空間上の軸はそれぞれ、ベース音に基づく類似度、他の楽器に基づく類似度、リズムに基づく類似度となる。
これにより、検索結果の中でクエリシーンとより類似したシーンがクエリシーンの近くに表示される。また、表示された検索結果の映像に対しても同様に、その映像を選択することによって、その時刻に再生中のシーンをクエリとした類似シーン検索を行うことができる。
このように本発明では、映像情報に注目した分類および音楽情報に注目した分類のそれぞれについて、表示装置に表示する座標を変更させることにより、さらに分類パラメータを重み付けした分類結果を取得することができる。例えば、音楽情報に着目した分類について、リズムに基づく類似度が高い座標には、リズムの類似度が高く、ベース音や他の楽器に基づく類似度が低いシーンが表示される。
このような本発明の最良の実施の形態に係る動画検索装置1によれば、映像の構成要素であるオーディオ信号およびビデオ信号を用いて映像間の類似度を算出し、それらの分類結果を3次元の空間上に可視化することができる。本発明の最良の実施の形態では、映像に対して楽曲に基づいた類似度の算出、および音響・ビジュアル信号の双方に基づいた類似度の算出の2つの類似度算出機能を持ち、映像の異なる要素に注目することで、ユーザの好みに応じた検索モードを実現することができる。さらに、この機能を用いることで、クエリ映像を与えた場合に自動で類似映像の検索をすることができる。また、クエリ映像が存在しない場合、データベース中の映像の自動分類を行い、注目する映像に対して類似する映像をユーザに呈示することができる。
図45に示す本発明の変形例に係る動画検索装置1aは、図1に示す本発明の最良の実施の形態に係る動画検索装置1と比べて、検索部25aおよび表示部28aが異なる。本発明の最良の実施の形態に係る検索部25では、ビデオ信号類似度検索部26が、ビデオ信号類似度データ12に基づいてクエリ動画データに類似する動画データを検索するとともに、オーディオ信号類似度検索部27が、オーディオ信号類似度データ13に基づいてクエリ動画データに類似する動画データを検索する。さらに、本発明の最良の実施の形態に係る表示部28では、ビデオ信号類似度表示部29が、ビデオ信号類似度検索部26による検索結果を画面に表示するとともに、オーディオ信号類似度表示部30が、オーディオ信号類似度検索部27による検索結果を画面に表示する。
一方、本発明の変形例においては、検索部25aが、ビデオ信号類似度データ12およびオーディオ類似度データ13に基づいてクエリ動画データに類似する動画データを検索し、表示部28aが、検索結果を画面に表示する。具体的には、検索部25aは、ユーザから嗜好データが入力されると、その嗜好データに従って、各シーンに対するビデオ信号類似度データ12およびオーディオ類似度データ13の類似度の割合を決定して、その割合に基づいた検索結果を取得する。表示部28aはさらに、検索部25aによって取得された検索結果を、画面に表示する。
これにより、本発明の変形例においては、一つの操作で、複数のパラメータを考慮して算出された分類結果を出力することができる。
表示部28aは、検索部25aによって検索された各シーンについて該統合された類似度に対応する座標を取得して表示する。
嗜好入力部A201のいずれかに、ユーザがマウスでクリックすると、クリック点のPxの座標に基づいて、検索部25aは、ビデオ信号類似度算出部23によって算出されたビデオ信号類似度データ12と、オーディオ信号類似度算出部24によって算出されたオーディオ信号類似度データ13のそれぞれを重み付けする。さらに、検索部25aは、クリック点のPyの座標に基づいて、各類似度データについて、各パラメータの重み付けを決定する。具体的には、検索部25aは、ビデオ信号類似度データ12の音響による類似度と、動画像による類似度の各重みを決定するとともに、オーディオ信号類似度データ13のリズムによる類似度と、他楽器およびベースによる類似度の各重みを決定する。
図48(a)を参照して、検索部25aによる処理を説明する。まず、記憶装置107からビデオ信号類似度データ12およびオーディオ信号類似度データ13が読み出される。さらに、シーン分割部21によって分割された各シーンについて、ビデオ信号類似度データ12から、ステップS601においてクエリ動画シーンとのビジュアル信号の類似度が取得されるとともに、ステップS602においてクエリ動画シーンとのオーディオ信号の類似度が取得される。さらに、シーン分割部21によって分割された各シーンについて、オーディオ信号類似度データ13から、ステップS603において、クエリ動画シーンとのベース音に基づく類似度が取得される。ステップS604においてクエリ動画シーンとの非ベース音に基づく類似度が取得される。ステップS605においてクエリ動画シーンとのリズムに基づく類似度が取得される。
ユーザが指定するのは図47に示されるような二次元の嗜好パラメータであり、この嗜好パラメータをもとに、それぞれの類似度に対する重み係数が決定される。そして重み係数を掛けた類似度の総和を最終的なシーン間の類似度とし、これに基づいて類似シーンの検索を行う。
ここで、ユーザが指定する嗜好パラメータPx,Pyと最終的なシーン間の類似度Dの関係は以下の式で示される。
図49ないし図59を参照して、本発明の実施の形態に係る動画検索装置によるシミュレーション結果を説明する。このシミュレーションにおいては、動画データベース11に、クエリシーンを含む動画データと、このクエリシーンに類似するシーンを含む約10分間の動画データとを記憶している。本シミュレーションにおいては、このクエリシーンに類似するシーンを含む動画データを検索対象の動画データとし、この動画データに含まれる複数のシーンから、クエリシーンに類似するシーンを検索できるかをシミュレーションする。
図49は、クエリシーンの動画データを示している。上段の画像は、動画データのビジュアル信号により構成された一定時間ごとのフレーム画像である。下段の画像は、動画データのオーディオ信号の波形である。
図51に示す図は、3次元DTWによって得られる3つの座標を示したものである。図51に示したパス#5は、上述したとおり、ビジュアル信号とオーディオ信号との両方の信号を類似部分としてそれぞれ対応付けを行う役割を持つパスである。
図50に示す結果により、高精度にシーン間の類似度が算出されていることを確認することができる。また、図51により、実施の形態で用いた3次元DTWにより、適切にシーン間の類似度の対応付けがなされていることを確認することができる。
図52は、クエリシーンの動画データを示している。上段の画像は、動画データのビジュアル信号により構成された一定時間ごとのフレーム画像である。下段の画像は、動画データのオーディオ信号の波形である。一方、図53は、検索対象の動画データに含まれるシーンを示している。図52に示したクエリシーンのフレームF13ないしF17は、図53に示した検索対象のシーンのフレームF21ないしF25と類似している。図52に示したオーディオ信号と、図53に示したオーディオ信号は、明らかに異なる。
図55に示す図は、3次元DTWによって得られる3つの座標を示したものである。図55に示したパス#1は、上述したとおり、クエリシーンのクリップの時間軸方向への伸縮を許容する役割を持つパスである。また、図55に示したパス#3は、ビジュアル信号を類似部分として対応付けを行う役割を持つ。
図55に示す結果により、時間軸方向にずれたビジュアル信号についても、高精度にシーン間の類似度が算出されていることを確認することができる。また、図55により、実施の形態で用いた3次元DTWにより、適切にシーン間の類似度の対応付けがなされていることを確認することができる。
図56は、クエリシーンの動画データを示している。上段の画像は、動画データのビジュアル信号により構成された一定時間ごとのフレーム画像である。下段の画像は、動画データのオーディオ信号の波形である。一方、図57は、検索対象の動画データに含まれるシーンを示している。図56に示したクエリシーンのビジュアル信号により構成されたフレーム画像は、図57に示した検索対象シーンのビジュアル信号により構成されたフレーム画像とは明らかに異なる。一方、図56に示したクエリデータのオーディオ信号と、図57に示した検索対象シーンのオーディオ信号は類似している。
図59に示す図は、3次元DTWによって得られる3つの座標を示したものである。図59に示したパス#4は、オーディオ信号を類似部分として対応付けを行う役割を持つ。
図59に示す結果により、高精度にシーン間の類似度が算出されていることを確認することができる。また、図59により、実施の形態で用いた3次元DTWにより、適切にシーン間の類似度の対応付けがなされていることを確認することができる。
上記のように、本発明の最良の実施の形態および変形例によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなる。
例えば、本発明の最良の実施の形態に記載した動画検索装置は、図1に示すように一つのハードウェア上に構成されても良いし、その機能や処理数に応じて複数のハードウェア上に構成されても良い。又、既存の情報システム上に実現されても良い。
一方、ビデオ信号のみに基づいて類似度を算出、検索および表示する実施態様も考えられる。具体的には、分類部22はビデオ信号類似度算出部23を備え、検索部25はビデオ信号類似度検索部26を備え、表示部28はビデオ信号類似度表示部29を備える。
同様に、オーディオ信号のみに基づいて類似度を算出、検索および表示する実施態様も考えられる。具体的には、分類部22はオーディオ信号類似度算出部24を備え、検索部25はオーディオ信号類似度検索部27を備え、表示部28はオーディオ信号類似度算出部30を備える。
Claims (10)
- 動画データのシーンから、クエリ動画データに類似するシーンを検索する動画検索装置であって、
クエリ動画データを含む動画データが記憶された動画データベース記憶装置と、
前記動画データのビジュアル信号をショットに分割して、該ショットに対応するオーディオ信号の特徴量の差分が小さい連続したショットをシーンとして出力するシーン分割部と、
前記シーン分割部によって分割されたそれぞれのシーンについて、前記オーディオ信号のベース音の音高の推移に基づく類似度と、前記ベース音を除く音に基づく類似度を含む、シーン間のオーディオ信号の類似度を算出して、オーディオ信号類似度データを生成するオーディオ信号類似度算出部と、
前記オーディオ信号類似度データに基づいて、前記クエリ動画データのシーンと、前記シーン間の類似度が一定の閾値よりも小さいシーンを検索するオーディオ信号類似度検索部と、
を備える動画検索装置。 - 前記オーディオ信号類似度検索部によって検索された各シーンについて該類似度に対応する座標を取得して表示するオーディオ信号類似度表示部
を更に備える請求項1に記載の動画検索装置。 - 前記シーン分割部によって分割されたそれぞれのシーンについて、前記ビジュアル信号の特徴量と前記オーディオ信号の特徴量から、シーン間のビデオ信号の類似度を算出して、ビデオ信号類似度データを生成するビデオ信号類似度算出部と、
前記ビデオ信号類似度データに基づいて、前記クエリ動画データのシーンと、前記シーン間の類似度が一定の閾値よりも小さいシーンを検索するビデオ信号類似度検索部と、
を更に備える請求項1に記載の動画検索装置。 - 前記ビデオ信号類似度検索部によって検索された各シーンについて該類似度に対応する座標を取得して表示するビデオ信号類似度表示部
を更に備える請求項3に記載の動画検索装置。 - 前記オーディオ信号類似度算出部は、さらに、シーン間のオーディオ信号の類似度として、リズムに基づく類似度を算出して、前記オーディオ信号類似度データを生成し、
ビデオ信号類似度とオーディオ信号類似度に対する嗜好の割合である嗜好データを取得し、前記ビデオ信号類似度データおよび前記オーディオ信号類似度データに基づいて、前記ビジュアル信号の特徴量と前記オーディオ信号の特徴量から算出されたシーン間の類似度と、前記オーディオ信号のベース音に基づく類似度と、前記ベース音を除く音に基づく類似度と、前記リズムに基づく類似度とに対する重み係数を決定して、各シーンの各類似度にこの重み係数を乗算して統合された類似度に基づいて、前記シーン間の統合された類似度が一定の閾値よりも小さいシーンを検索する検索部と、
前記検索部によって検索された各シーンについて該統合された類似度に対応する座標を取得して表示する表示部
を更に備えることを特徴とする請求項3に記載の動画検索装置。 - 動画データのシーンから、クエリ動画データに類似するシーンごとに検索する動画検索プログラムであって、
コンピュータを、
動画データベース記憶装置に記憶されたクエリ動画データおよび動画データのビジュアル信号をショットに分割して、該ショットに対応するオーディオ信号の特徴量の差分が小さい連続したショットをシーンとして出力するシーン分割手段と、
前記シーン分割手段によって分割されたそれぞれのシーンについて、前記オーディオ信号のベース音の音高の推移に基づく類似度と、前記ベース音を除く音に基づく類似度を含む、シーン間のオーディオ信号の類似度を算出して、オーディオ信号類似度データを生成するオーディオ信号類似度算出手段と、
前記オーディオ信号類似度データに基づいて、前記クエリ動画データのシーンと、前記シーン間の類似度が一定の閾値よりも小さいシーンを検索するオーディオ信号類似度検索手段
として機能させる動画検索プログラム。 - 前記オーディオ信号類似度検索手段によって検索された各シーンについて該類似度に対応する座標を取得して表示するオーディオ信号類似度表示手段
として、更に前記コンピュータを機能させる請求項6に記載の動画検索プログラム。 - 前記シーン分割手段によって分割されたそれぞれのシーンについて、前記ビジュアル信号の特徴量と前記オーディオ信号の特徴量から、シーン間のビデオ信号の類似度を算出して、ビデオ信号類似度データを生成するビデオ信号類似度算出手段と、
前記ビデオ信号類似度データに基づいて、前記クエリ動画データのシーンと、前記シーン間の類似度が一定の閾値よりも小さいシーンを検索するビデオ信号類似度検索手段
として、更に前記コンピュータを機能させる請求項6に記載の動画検索プログラム。 - 前記ビデオ信号類似度検索手段によって検索された各シーンについて該類似度に対応する座標を取得して表示するビデオ信号類似度表示手段
として、更に前記コンピュータを機能させる請求項8に記載の動画検索プログラム。 - 前記オーディオ信号類似度算出手段は、さらに、シーン間のオーディオ信号の類似度として、リズムに基づく類似度を算出して、前記オーディオ信号類似度データを生成し、
ビデオ信号類似度とオーディオ信号類似度に対する嗜好の割合である嗜好データを取得し、前記ビデオ信号類似度データおよび前記オーディオ信号類似度データに基づいて、前記ビジュアル信号の特徴量と前記オーディオ信号の特徴量から算出されたシーン間の類似度と、前記オーディオ信号のベース音に基づく類似度と、前記ベース音を除く音に基づく類似度と、前記リズムに基づく類似度とに対する重み係数を決定して、各シーンの各類似度にこの重み係数を乗算して統合された類似度に基づいて、前記シーン間の統合された類似度が一定の閾値よりも小さいシーンを検索する検索手段と、
前記検索手段によって検索された各シーンについて該統合された類似度に対応する座標を取得して表示する表示手段
として、更に前記コンピュータを機能させる請求項8に記載の動画検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010503907A JP5339303B2 (ja) | 2008-03-19 | 2009-03-18 | 動画検索装置および動画検索プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008072537 | 2008-03-19 | ||
JP2008072537 | 2008-03-19 | ||
JP2010503907A JP5339303B2 (ja) | 2008-03-19 | 2009-03-18 | 動画検索装置および動画検索プログラム |
PCT/JP2009/055315 WO2009116582A1 (ja) | 2008-03-19 | 2009-03-18 | 動画検索装置および動画検索プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009116582A1 JPWO2009116582A1 (ja) | 2011-07-21 |
JP5339303B2 true JP5339303B2 (ja) | 2013-11-13 |
Family
ID=41090981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010503907A Active JP5339303B2 (ja) | 2008-03-19 | 2009-03-18 | 動画検索装置および動画検索プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20110225196A1 (ja) |
EP (1) | EP2257057B1 (ja) |
JP (1) | JP5339303B2 (ja) |
WO (1) | WO2009116582A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011501289A (ja) * | 2007-10-16 | 2011-01-06 | ヒルクレスト・ラボラトリーズ・インコーポレイテッド | シンクライアント上で動作するユーザインターフェイスの高速で円滑なスクロール |
US9316578B2 (en) | 2008-10-30 | 2016-04-19 | New York University | Automated real-time particle characterization and three-dimensional velocimetry with holographic video microscopy |
US8713030B2 (en) * | 2009-06-05 | 2014-04-29 | Kabushiki Kaisha Toshiba | Video editing apparatus |
JP5540651B2 (ja) * | 2009-10-29 | 2014-07-02 | 株式会社Jvcケンウッド | 音響信号分析装置、音響信号分析方法、及び音響信号分析プログラム |
US20120114310A1 (en) * | 2010-11-05 | 2012-05-10 | Research In Motion Limited | Mixed Video Compilation |
CN102682091A (zh) * | 2012-04-25 | 2012-09-19 | 腾讯科技(深圳)有限公司 | 基于云服务的视觉搜索方法和*** |
CN102890700B (zh) * | 2012-07-04 | 2015-05-13 | 北京航空航天大学 | 一种基于体育比赛视频的相似视频片段检索方法 |
US20140173662A1 (en) | 2012-12-14 | 2014-06-19 | International Business Machines Corporation | Multi-dimensional channel directories |
US11085864B2 (en) | 2014-11-12 | 2021-08-10 | New York University | Colloidal fingerprints for soft materials using total holographic characterization |
JP6583285B2 (ja) * | 2014-12-15 | 2019-10-02 | ソニー株式会社 | 情報処理方法、映像処理装置及びプログラム |
JP7130242B2 (ja) | 2016-02-08 | 2022-09-05 | ニュー・ヨーク・ユニヴァーシティー | タンパク質凝集体のホログラフィ特徴付け |
US10482126B2 (en) * | 2016-11-30 | 2019-11-19 | Google Llc | Determination of similarity between videos using shot duration correlation |
JP6839062B2 (ja) * | 2017-10-19 | 2021-03-03 | 株式会社三共 | 遊技機 |
CN110427996B (zh) * | 2019-07-24 | 2022-03-15 | 清华大学 | 基于模糊匹配的时间序列异常模式识别方法及装置 |
KR102618732B1 (ko) * | 2019-08-27 | 2023-12-27 | 엘지전자 주식회사 | 얼굴 인식 활용 단말기 및 얼굴 인식 활용 방법 |
CN110619284B (zh) * | 2019-08-28 | 2023-09-05 | 腾讯科技(深圳)有限公司 | 一种视频场景划分方法、装置、设备及介质 |
US11543338B2 (en) | 2019-10-25 | 2023-01-03 | New York University | Holographic characterization of irregular particles |
CN111883169B (zh) * | 2019-12-12 | 2021-11-23 | 马上消费金融股份有限公司 | 一种音频文件切割位置处理方法及装置 |
US11948302B2 (en) | 2020-03-09 | 2024-04-02 | New York University | Automated holographic video microscopy assay |
CN112770116B (zh) * | 2020-12-31 | 2021-12-07 | 西安邮电大学 | 用视频压缩编码信息提取视频关键帧的方法 |
CN112883233B (zh) * | 2021-01-26 | 2024-02-09 | 济源职业技术学院 | 一种5g音视频记录仪 |
CN113539298B (zh) * | 2021-07-19 | 2023-11-14 | 中通服咨询设计研究院有限公司 | 一种基于云边端的声音大数据分析计算图像化*** |
CN114782866B (zh) * | 2022-04-20 | 2024-03-08 | 山东省计算中心(国家超级计算济南中心) | 地理标记视频的相似度确定方法、装置、电子设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005252859A (ja) * | 2004-03-05 | 2005-09-15 | Kddi Corp | 動画像データのシーン分割装置 |
JP2006014084A (ja) * | 2004-06-28 | 2006-01-12 | Hiroshima Univ | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
JP2008005167A (ja) * | 2006-06-21 | 2008-01-10 | Hokkaido Univ | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7966078B2 (en) * | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US7356830B1 (en) * | 1999-07-09 | 2008-04-08 | Koninklijke Philips Electronics N.V. | Method and apparatus for linking a video segment to another segment or information source |
KR100451649B1 (ko) * | 2001-03-26 | 2004-10-08 | 엘지전자 주식회사 | 이미지 검색방법과 장치 |
WO2003038812A1 (en) * | 2001-11-02 | 2003-05-08 | Matsushita Electric Industrial Co., Ltd. | Audio encoding and decoding device |
US7127120B2 (en) * | 2002-11-01 | 2006-10-24 | Microsoft Corporation | Systems and methods for automatically editing a video |
US7606790B2 (en) * | 2003-03-03 | 2009-10-20 | Digimarc Corporation | Integrating and enhancing searching of media content and biometric databases |
JP4768358B2 (ja) | 2005-08-22 | 2011-09-07 | 株式会社日立ソリューションズ | 画像検索方法 |
US20070133947A1 (en) * | 2005-10-28 | 2007-06-14 | William Armitage | Systems and methods for image search |
JP4256401B2 (ja) | 2006-03-30 | 2009-04-22 | 株式会社東芝 | 映像情報処理装置およびデジタル情報記録媒体、映像情報処理方法、映像情報処理プログラム |
US8022864B2 (en) * | 2007-11-08 | 2011-09-20 | The United States Of America As Represented By The Secretary Of Commerce | Detection of transient signals in doppler spectra |
JP5774985B2 (ja) * | 2008-06-06 | 2015-09-09 | トムソン ライセンシングThomson Licensing | 画像の類似検索システム及び方法 |
-
2009
- 2009-03-18 US US12/673,465 patent/US20110225196A1/en not_active Abandoned
- 2009-03-18 WO PCT/JP2009/055315 patent/WO2009116582A1/ja active Application Filing
- 2009-03-18 EP EP09721452.2A patent/EP2257057B1/en active Active
- 2009-03-18 JP JP2010503907A patent/JP5339303B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005252859A (ja) * | 2004-03-05 | 2005-09-15 | Kddi Corp | 動画像データのシーン分割装置 |
JP2006014084A (ja) * | 2004-06-28 | 2006-01-12 | Hiroshima Univ | 映像編集装置、映像編集プログラム、記録媒体、および映像編集方法 |
JP2008005167A (ja) * | 2006-06-21 | 2008-01-10 | Hokkaido Univ | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20110225196A1 (en) | 2011-09-15 |
EP2257057A1 (en) | 2010-12-01 |
EP2257057B1 (en) | 2019-05-08 |
WO2009116582A1 (ja) | 2009-09-24 |
JPWO2009116582A1 (ja) | 2011-07-21 |
EP2257057A4 (en) | 2012-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5339303B2 (ja) | 動画検索装置および動画検索プログラム | |
Tzanetakis et al. | Marsyas: A framework for audio analysis | |
Salamon et al. | Melody extraction from polyphonic music signals using pitch contour characteristics | |
Fu et al. | A survey of audio-based music classification and annotation | |
Essid et al. | Instrument recognition in polyphonic music based on automatic taxonomies | |
Pampalk et al. | On the evaluation of perceptual similarity measures for music | |
Choi et al. | Explaining deep convolutional neural networks on music classification | |
Peeters et al. | Sound indexing using morphological description | |
Brent | A timbre analysis and classification toolkit for pure data | |
CN112289326B (zh) | 一种利用具有噪音去除的鸟类识别综合管理***的噪音去除方法 | |
Bernardes et al. | Eargram: An application for interactive exploration of concatenative sound synthesis in Pure Data | |
Six et al. | Tarsos: a platform to explore pitch scales in non-western and western music | |
WO2010041744A1 (ja) | 動画検索装置および動画検索プログラム | |
Rajan et al. | Music genre classification by fusion of modified group delay and melodic features | |
Giannakopoulos | Study and application of acoustic information for the detection of harmful content and fusion with visual information | |
Loiseau et al. | A model you can hear: Audio identification with playable prototypes | |
Nuanáin et al. | Rhythmic concatenative synthesis for electronic music: techniques, implementation, and evaluation | |
Korvel et al. | Discovering rule-based learning systems for the purpose of music analysis | |
CN112687280B (zh) | 一种具有频谱-时间空间界面的生物多样性监测*** | |
Pampalk et al. | Computational models of similarity for drum samples | |
Dupont et al. | Audiocycle: Browsing musical loop libraries | |
CN112735443A (zh) | 一种具有自动分类的海洋空间资源管理***及其自动分类方法 | |
Yanchenko et al. | A Methodology for Exploring Deep Convolutional Features in Relation to Hand-Crafted Features with an Application to Music Audio Modeling | |
Monteiro et al. | A framework for real-time instrumental sound segmentation and labeling | |
Shelke et al. | An Effective Feature Calculation For Analysis & Classification of Indian Musical Instruments Using Timbre Measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130730 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5339303 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |