JP2004219804A - 類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体 - Google Patents
類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体 Download PDFInfo
- Publication number
- JP2004219804A JP2004219804A JP2003008083A JP2003008083A JP2004219804A JP 2004219804 A JP2004219804 A JP 2004219804A JP 2003008083 A JP2003008083 A JP 2003008083A JP 2003008083 A JP2003008083 A JP 2003008083A JP 2004219804 A JP2004219804 A JP 2004219804A
- Authority
- JP
- Japan
- Prior art keywords
- music
- voice
- time window
- search
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
【解決手段】短時間窓音声音楽特徴量抽出部11は,検索キーの音声音楽信号から短時間窓を用いて短時間窓音声音楽特徴量を抽出する。短時間窓音声音楽特徴量類似検索部12は,抽出された短時間窓音声音楽特徴量を用いて,あらかじめ蓄積された検索対象の短時間窓音声音楽特徴量から,部分類似度が高い短時間窓音声音楽特徴量を検索する。音声音楽情報比較統合部13は,類似検索の結果により,検索対象の音声音楽信号から正解候補音声音楽区間を切り出し,その正解候補音声音楽区間と検索キーとの全体類似度を計算する。音声音楽表示出力装置21は,全体類似度が高い順に正解候補音声音楽区間のリストを表示し,指定された区間の音声音楽信号を出力する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は,音声音楽信号を検索する技術に関し,特に非定常雑音を含む音声音楽信号でも精度よく,高速に検索可能な類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体に関するものである。
【0002】
【従来の技術】
音声音楽信号を高速に検索する従来技術(従来手法1)としては,例えば,特許文献1「高速信号探索方法,装置及びその記録媒体」および非特許文献1に示されているような,検索対象中から検索キーと一致する音声音楽信号を検索する技術がある。
【0003】
また,雑音を含む音声音楽信号を検索する従来技術(従来手法2)として,検索対象の音声音楽信号を時間周波数領域で多数の小領域に分割し,各領域間で検索キーの音声音楽信号との類似度を計算する手法がある(例えば,特許文献2「情報送受信システム及び方法,情報処理装置及び方法」,非特許文献2参照)。この手法では,各領域の類似度を投票法により積算することで,検索対象と検索キーの音声音楽信号中のナレーションなどの突発的で非定常な雑音部分以外の背景音楽などの部分で一致検索を行う。
【0004】
この他に,類似する音声音楽信号を検索する従来技術(従来手法3)として,一致する音声音楽信号だけでなく類似する音声音楽信号も検索でき,多次元インデックスを用いることで高速な検索ができる手法がある(例えば,非特許文献3参照)。
【0005】
ここで,後述する本発明の実施の形態で利用している技術が記載された文献として,例えば非特許文献4,非特許文献5,非特許文献6,非特許文献7がある。
【0006】
【特許文献1】
特許第3065314号公報
【特許文献2】
特開2002−10237号公報
【非特許文献1】
柏野邦夫,ガビンスミス,村瀬洋:“ヒストグラム特徴を用いた音響信号の高速探索法−時系列アクティブ探索法−”:電子情報通信学会論文誌,D−1 ,Vol.J82−D−II NO.9 ,pp.1365−1373,1999
【非特許文献2】
阿部素嗣,西口正之:“背景音楽同定のための自己最適化スペクトル相関法”:電子情報通信学会技術報告,PRMU2001−209,pp.25−30,2002
【非特許文献3】
須賀啓敏,寺本純司,片岡良治,芳西崇:“類似音声検索による映像検索”:電子情報通信学会,第13回データ工学ワークショップ(DEWS2002 ISSN1347−4413)B1−1,2002
【非特許文献4】
鹿野清宏他,:“IT text 音声認識システム”,オーム社,2001
【非特許文献5】
Lawrence Rabiner,Biing−Hwang Juang 共著,古井貞煕監訳:“音声認識の基礎(上)”,NTTアドバンステクノロジ株式会社,1995
【非特許文献6】
Norio Katayama and Shin’ichi Satoh:“The SR−tree :An Index Structurefor High−Dimensional Nearest Neighbor Queries”,in Proc.ACM SIGMOD International Conference On Management of Data ,pp.368−380,May 1997
【非特許文献7】
Yasushi Sakurai ,Masatoshi Yoshikawa ,Shunsuke Uemura ,and HaruhikoKojima :“A−tree:An Index Structure for High−Dimensional Space Using Relative Approximations ”,In Proc.of the 26th International Conferenceon Very Large Data Bases (VLDB),pp.516−526,Cairo ,September 2000
【0007】
【発明が解決しようとする課題】
〔課題1〕前述した従来手法1では,一致する音声音楽信号を検索するため,信号に雑音が入ると検索できなくなってしまうという問題がある。
〔課題2〕従来手法2では,非定常な雑音が入った音声音楽信号でも検索が可能であるが,類似度計算の計算量が大きく,計算に時間がかかってしまうという問題がある。
〔課題3〕従来手法3では,音声音楽信号に雑音が入っても信号が類似していれば従来手法2よりも高速な検索が可能であるが,雑音がない場合に比べて検索精度は下がってしまうという問題がある。
【0008】
本発明は,上記問題点の解決を図り,非定常な雑音を含む音声音楽信号を精度良く,高速に検索できる手段を確立することを目的とする。
【0009】
【課題を解決するための手段】
本発明の類似音声音楽検索装置は,上記課題を解決するため,検索キー音声音楽信号入力手段と,短時間窓音声音楽特徴量抽出手段と,短時間窓音声音楽特徴量類似検索手段と,音声音楽情報比較統合手段と,音声音楽表示出力手段と,検索対象音声音楽信号入力手段と,特徴量の蓄積手段とを備える。
【0010】
検索キー音声音楽信号入力手段は,検索キーとして数秒間の音声音楽信号を入力する。
【0011】
短時間窓音声音楽特徴量抽出手段は,短時間窓を少しずつずらしながら,短時間窓長の音声音楽信号を切り出し,そこから短時間窓音声音楽特徴量を抽出する。短時間窓音声音楽特徴量は多次元ベクトルの形で表現される。
【0012】
短時間窓音声音楽特徴量類似検索手段は,蓄積された短時間窓音声音楽特徴量の中から,検索キーから抽出されたそれぞれの短時間窓音声音楽特徴量に類似するものを検索する。類似度は,多次元ベクトル間の距離が近いものほど類似度が高いとする。なお,この類似度のことを部分類似度と呼ぶことにする。
【0013】
音声音楽情報比較統合手段は,前記短時間窓音声音楽特徴量類似検索手段による短時間窓音声音楽特徴量ごとの類似検索結果から正解候補音声音楽区間を作成し,その正解候補音声音楽区間全体と検索キー音声音楽信号全体との間の類似度を計算し,その類似度の高い正解候補音声音楽区間のリストを作成する。
【0014】
この類似度は,例えば,検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと,それに対応する正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を,対応する短時間窓音声音楽特徴量ごとに計算し,それらの距離のうち距離の近いものだけの和をとり,その和が小さいものほど類似度が高いものとする。なお,この類似度を全体類似度と呼ぶこととする。そして,正解候補音声音楽区間リストを全体類似度の高い順に並び替える。
【0015】
音声音楽表示出力手段は,ディスプレイ等の表示装置に全体類似度の高い順に正解候補音声音楽区間のリストを表示し,マウス等のポインティングデバイスで選択したリスト中の正解候補音声音楽区間の音声音楽信号をスピーカー等で出力する。
【0016】
検索対象音声音楽信号入力手段は,検索対象となる長時間の音声音楽信号を入力する。
【0017】
蓄積手段は,検索対象音声音楽信号から抽出された個々の短時間窓音声音楽特徴量または平均短時間窓音声音楽特徴量を蓄積する。また抽出した短時間窓音声音楽特徴量または平均短時間窓音声音楽特徴量から多次元空間インデックスを構成する。
【0018】
以上の各手段による処理は,コンピュータとソフトウェアプログラムとによって実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。
【0019】
【発明の実施の形態】
本発明の実施の形態を説明するに先立ち,実施の形態の説明中で用いている言葉の意味について簡単に説明する。
【0020】
「非定常雑音」:ある区間に対して,その全体に渡って入っていない雑音(例えば,雑音としての人の話し声は,息継ぎなどのために音が途切れるので,非定常雑音である)。
【0021】
「短時間窓」:約20ミリ秒から40ミリ秒程度の時間窓。
【0022】
「短時間窓音声音楽特徴量」:短時間窓長の音声音楽信号から抽出される特徴量。多次元ベクトルで表される。
【0023】
「検索キー音声音楽信号」:検索キーとして入力される数秒(例えば4秒など)の音声音楽信号。
【0024】
「検索対象音声音楽信号」:検索対象となる長時間の音声音楽信号(例えば,テレビ番組1週間分,CD音源1000曲分等)。
【0025】
「部分類似度」:多次元ベクトルで表される短時間窓音声音楽特徴量間(または平均短時間窓音声音楽特徴量間)の類似度である。多次元ベクトル間の距離が近いものほど,この類似度は高い。
【0026】
「全体類似度」:検索キーと検索対象中の検索キーと同じ長さの音声音楽信号との間の類似度である。例えば,検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと,それに対応する検索対象中の検索キーの長さの音声音楽信号から抽出された短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を,対応する短時間窓音声音楽特徴量ごとに計算し,それらの距離のうち距離の近いものだけの和をとり,その和の小さいものほどこの類似度が高い。
【0027】
「正解候補音声音楽区間」:検索キーの短時間窓音声音楽特徴量の検索キー音声音楽信号中での位置と,部分類似度の高い検索対象中の短時間窓音声音楽信号の位置が同じになるように切り出した,検索対象中の音声音楽信号区間。これが全体類似度も高い正解の候補とする。
【0028】
「平均短時間窓音声音楽特徴量」:短時間窓音声音楽特徴量を時間順に並ぶ複数ごとに平均をとったもの。これを短時間窓音声音楽特徴量の代わりとして扱うことにより,類似検索処理の際に検索回数を少なくでき,高速化が図れる。
【0029】
以下,図面を用いて本発明の実施の形態を説明する。
【0030】
〔実施の形態1〕
本実施の形態1では,CDなどから切り出された雑音の入っていない音声音楽信号を検索キーとし,検索対象として用意される長時間のテレビ映像音声などからその音声音楽信号がオリジナルのまま使われている部分や背景音楽として使われている部分を検索する。背景音楽として使われる部分には非定常な雑音が入っているが,本発明では,そのような雑音が入っている音声音楽信号でも高速に検索が行える。
【0031】
図1は,本発明の実施の形態における類似音声音楽検索装置の構成例を示す図である。類似音声音楽検索装置10は,短時間窓音声音楽特徴量抽出部(検索フェーズ)11,短時間窓音声音楽特徴量類似検索部12,音声音楽情報比較統合部13,短時間窓音声音楽特徴量抽出部(蓄積フェーズ)14,蓄積部15,記憶部16とから構成されており,検索キー音声音楽信号入力装置20,音声音楽表示出力装置21,検索対象音声音楽信号入力装置22と接続されている。
【0032】
類似音声音楽検索装置10の動作は,検索キーの短時間窓音声音楽特徴量で検索対象の短時間窓音声音楽特徴量を検索することにより類似音声音楽を検索する検索フェーズP1と,検索対象の音声音楽信号と短時間窓音声音楽特徴量とを蓄積する蓄積フェーズP2からなる。
【0033】
図2は,本実施の形態における類似音声音楽検索処理フローチャートである。この例では,検索キー入力処理ステップS10において,CDなどの雑音の入っていない音源を入力する。そこから数秒程度の音声音楽信号を検索キーとして切り出す処理を行い,検索キー音声音楽信号を得る。
【0034】
次に,特徴量抽出処理ステップS20において,短時間窓音声音楽特徴量抽出部(検索フェーズ)11は,約20ミリ秒から40ミリ秒程度の短時間窓を少しずつずらしながら,検索キー入力処理ステップS10で得られた検索キー音声音楽信号から音声音楽信号を切り出し,その切り出した音声音楽信号から短時間窓音声音楽特徴量を抽出する。
【0035】
ここで,短時間窓音声音楽特徴量としては,例えば,非特許文献4に述べられているメル周波数ケプストラム係数や,フィルタバンク分析による各帯域の音声パワーや,非特許文献5に述べられている重み付きケプストラム係数等を用いることができる。なお,短時間窓音声音楽特徴量は,多次元ベクトルとして表される。
【0036】
類似検索処理ステップS30による検索のために,あらかじめ短時間窓音声音楽特徴量抽出部(蓄積フェーズ)14が,長時間の検索対象音声音楽信号から上記特徴量抽出処理ステップS20の特徴量抽出処理と同様にして短時間窓音声音楽特徴量を抽出し,蓄積部15が,抽出された短時間窓音声音楽特徴量を記憶部16に蓄積しておく。また,それらの短時間窓音声音楽特徴量から,非特許文献6に述べられているSR−treeや,非特許文献7に述べられているA−treeなどの多次元空間インデックスを構成しておく。
【0037】
類似検索処理ステップS30において,短時間窓音声音楽特徴量類似検索部12は,検索キーから抽出された個々の短時間窓音声音楽特徴量を入力し,それぞれに類似する検索対象中の短時間窓音声音楽特徴量を,多次元空間インデックスを使って高速に検索する。検索キーの短時間窓音声音楽特徴量ごとに,部分類似度の高い検索対象中の短時間窓音声音楽特徴量のリストを作成する。
【0038】
部分類似度は,短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いほど高いものとする。なお,多次元空間インデックスを使うことで,使わない場合と比較した時に約10倍高速に検索できていることが確認されている。
【0039】
続いて,比較統合処理ステップS40に進む。図3は,本実施の形態における比較統合処理フローチャートである。本実施の形態1における音声音楽情報比較統合部13による比較統合処理ステップS40は,図3のフローチャートを用いて詳細に説明する。
【0040】
ステップS410において,類似検索処理ステップS30で得られた類似検索の結果の部分類似度の高い短時間窓音声音楽特徴量のリストを入力し,検索キーの短時間窓音声音楽特徴量の位置と,対応する部分類似度の高い検索対象中の短時間窓音声音楽特徴量の位置とが同じ位置になるように合わせ,検索対象音声音楽信号から検索キーと同一の長さの音声音楽信号を切り出して正解候補音声音楽区間を作成する。これを入力されたすべての部分類似度の高い短時間窓音声音楽特徴量について行い,正解候補音声音楽区間のリストを作成する。
【0041】
図4は,上記ステップS410の処理における検索対象からの正解候補音声音楽区間の切り出しを説明する図である。検索キー音声音楽信号における0,1,…,9および検索対象音声音楽信号におけるa,b,…は,それぞれ短時間窓音声音楽特徴量を表している。まず,図4(A)のように,検索キー音声音楽信号中の短時間窓音声音楽特徴量の位置と,類似度が高い検索対象音声音楽信号中の短時間窓音声音楽特徴量の位置とを合わせる。図4(A)の例では,検索キー短時間窓音声音楽特徴量「4」と検索対象の短時間窓音声音楽特徴量「h」との類似度が高いので,その位置を合わせる。
【0042】
次に,図4(B)のように,検索対象音声音楽信号から,検索キー音声音楽信号と同じ長さの区間を正解候補音声音楽区間として切り出す。図4(B)の例では,検索対象音声音楽信号(「a」〜…)から,検索キー音声音楽信号(「0」〜「9」)と同じ長さの区間(「d」〜「m」)が正解候補音声音楽区間として切り出される。
【0043】
次に,図3のステップS420において,正解候補音声音楽区間のリストを入力し,そのリスト中の最上位にある正解候補音声音楽区間中の短時間窓音声音楽特徴量を読み込む。また,ステップS430において,ステップS420で読み込まれた正解候補音声音楽区間のリストの最上位の正解候補音声音楽区間をリストから削除する。
【0044】
続いて,ステップS440において,ステップS420で読み込まれた正解候補音声音楽区間の全体の短時間窓音声音楽特徴量を入力し,それと検索キー全体の短時間窓音声音楽特徴量との全体類似度を計算をする。音声音楽情報比較統合部13は,この正解候補音声音楽区間と全体類似度の組を蓄積部15に出力し,蓄積部15はそれらを記憶部16に保持する。
【0045】
全体類似度の計算方法としては,例えば次のような方法を用いることができる。検索キー音声音楽信号中の短時間窓音声音楽特徴量を表す多次元ベクトルと,それに対応する正解候補音声音楽区間中の短時間窓音声音楽特徴量を表す多次元ベクトルとの間の距離を,対応する短時間窓音声音楽特徴量ごとに計算し,それらの距離のうち距離の近いものの上位何個かの和をとり,その和が小さいものほど全体類似度が高いものとする。
【0046】
すなわち,例えば検索キー音声音楽信号から短時間窓で切り出した音声音楽信号が300個である場合に,検索キーと正解候補音声音楽区間との間において,短時間窓音声音楽特徴量を表す多次元ベクトル間の距離を,対応する短時間窓音声音楽特徴量ごとに計算し,それらの距離のうち距離が近い値の上位100個だけの和を検索キーと正解候補音声音楽区間との距離とし,その距離が近いものほど全体類似度が高いものであると定義する。
【0047】
これにより,雑音が入っていない部分や雑音の影響が少ない部分だけを扱って全体類似度の計算ができるため,非定常な雑音の影響を低減した検索をすることができる。なお,距離の近い上位のもののうち,いくつの距離の和とするかは,あらかじめ設定しておくものとする。上位何個の和を全体類似度して用いるかを,ユーザが設定できるようにするためのGUI(Graphical User Interface)を設ける実施も好適である。短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いもののうちの和をとる個数を,雑音が多いときは少なく,雑音が少ないときは多くすることで,検索精度をさらに向上させることが可能である。
【0048】
図5に従って全体類似度の計算方法の具体例を説明する。図5の例では,まず,検索キーと正解候補音声音楽区間との部分類似度を計算し,部分類似度の距離が小さい上位6件(「3」,「4」,「5」,「7」,「9」,「10」)の和を,検索キーと正解候補音声音楽区間との全体類似度の距離としている。これによって,雑音の影響により部分類似度の距離が大きい部分(「1」,「2」,「6」,「8」)を除くことができ,非定常な雑音があっても類似する音声音楽信号を検索することができる。
【0049】
図3のステップS450において,正解候補音声音楽区間リストを入力し,このリストがすでに空であれば,ステップS460に進む。空でなければステップS420に戻り,同様に処理を繰り返す。
【0050】
すべての正解候補音声音楽区間について,ステップS420〜S440の処理が終了し,正解候補音声音楽区間リストが空になったならば,ステップS460では,ステップS440において記憶部16に保持されたすべての正解候補音声音楽区間とその全体類似度の組を蓄積部15から入力し,それらを全体類似度の高い順に並び替えてリストを作成する。
【0051】
これらのステップS410からステップS460までの処理を行うことで,図2のフローチャートの比較統合処理ステップS40は,類似検索処理ステップS30の類似検索の結果の部分類似度の高い短時間窓音声音楽特徴量のリストを入力し,全体類似度の高い順に並び替えられた正解候補音声音楽区間のリストを出力することができる。
【0052】
その後,図2の表示出力処理ステップS50において,全体類似度の高い順の正解候補音声音楽区間のリストを,ディスプレイ等の音声音楽表示出力装置21に出力し,マウス等のポインティングデバイスで選択されたリスト中の正解候補音声音楽区間の音声音楽信号を,スピーカー等の音声音楽表示出力装置21で出力する。
【0053】
〔実施の形態2〕
本実施の形態2では,放送されているテレビ映像音声などから非定常な雑音が含まれるような数秒の楽曲の音声音楽信号を逐次的に切り出して検索キーとし,検索対象として用意されているCD等の雑音が含まれない音声音楽信号を格納した音楽データベースから,その雑音が入った楽曲の音声音楽信号と同じ楽曲の同じ部分を検索する。これにより,放送されている映像音声中の雑音が入っているような楽曲部分の楽曲名とそれが楽曲中のどの部分であるかを検索することができる。
【0054】
本実施の形態2における類似音声音楽検索装置の構成例は,前述した実施の形態1と同様に,図1に示される構成例となる。また,本実施の形態2における類似音声音楽検索処理フローチャートは,前述の実施の形態1と同様に,図2に示されるフローチャートとなる。以下,本実施の形態2について,図2のフローチャートを用いて説明するが,前述した実施の形態1とは,検索キー入力処理ステップS10と表示出力処理ステップS50とが異なる。
【0055】
特徴量抽出処理ステップS20,類似検索処理ステップS30,比較統合処理ステップS40については,前述した実施の形態1における処理と同様の処理であるので,説明を省略する。
【0056】
検索キー入力処理ステップS10において,放送中のTV番組の音声などのリアルタイムに流れている音声音楽を入力し,そこから逐次的に数秒程度の音声音楽信号を検索キーとして切り出す処理を行い,検索キー音声音楽信号を得る。
【0057】
表示出力処理ステップS50では,全体類似度の高い順の正解候補音声音楽区間のリストを,音声音楽表示出力装置21(ディスプレイ等)に出力し,マウス等のポインティングデバイスで選択されたリスト中の正解候補音声音楽区間の音声音楽信号を,音声音楽表示出力装置21(スピーカー等)で出力する。本実施の形態2では,この処理を逐次的に繰り返す。これによって,リアルタイムに流れている音声音楽信号に対して,その背景で使われている楽曲を検索することができる。
【0058】
〔実施の形態3〕
本実施の形態3では,前述した実施の形態1,実施の形態2の検索時間をより高速化するため,類似検索する際に,短時間窓音声音楽特徴量をそのまま使わずに,時間順に並んだ複数個の短時間窓音声音楽特徴量の平均となる平均短時間窓音声音楽特徴量を使って類似検索を行う。平均短時間窓音声音楽特徴量は,それぞれの短時間窓音声音楽特徴量を表す多次元ベクトルの平均ベクトルにより表される。これにより類似検索の回数の削減と検索対象のデータ数が削減されるため,処理の高速化が図れる。
【0059】
本実施の形態3における類似音声音楽検索装置の構成例は,前述した実施の形態1,実施の形態2と同様に,図1に示される構成例となる。また,本実施の形態3における類似音声音楽検索処理フローチャートは,前述した実施の形態1,実施の形態2と同様に,図2に示されるフローチャートとなる。以下,本実施の形態3について,図2のフローチャートを用いて説明するが,前述した実施の形態1,実施の形態2とは,類似検索処理ステップS30と比較統合処理ステップS40とが異なる。
【0060】
検索キー入力処理ステップS10,特徴量抽出処理ステップS20,表示出力処理ステップS50については,前述した実施の形態1,実施の形態2における処理と同様の処理であるので,説明を省略する。
【0061】
図6は,本実施の形態3における類似検索処理フローチャートである。本実施の形態3における類似検索処理ステップS30の処理を,図6のフローチャートを用いて詳細に説明する。
【0062】
類似検索処理のために,あらかじめ以下のステップS310〜S330による蓄積フェーズP2を実行する。ステップS310において,短時間窓音声音楽特徴量抽出部(蓄積フェーズ)14が,検索対象となる長時間の音声音楽信号を入力し,特徴量抽出処理ステップS20と同様にして短時間窓音声音楽特徴量を抽出し,蓄積部15が,抽出された短時間窓音声音楽特徴量を記憶部16に蓄積しておく。
【0063】
ステップS320において,検索対象音声音楽信号から抽出したすべての短時間窓音声音楽特徴量を入力し,それらの短時間窓音声音楽特徴量の時間順に並んだK個分ずつの平均をとって平均短時間窓音声音楽特徴量を作成する。例えば,K=6とした場合,時間順に並ぶ6個ずつの短時間窓音声音楽特徴量の平均をとったものを平均短時間窓音声音楽特徴量とする。
【0064】
ステップS330において,ステップS320で作成した平均短時間窓音声音楽特徴量を入力し,それらの短時間窓音声音楽特徴量から,前述した実施の形態1,実施の形態2と同様に,多次元空間インデックスを構築しておく。
【0065】
検索フェーズP1では,ステップS340において,検索キーの短時間窓音声音楽特徴量の時間順に並んだK個分ずつの平均をとり,平均短時間窓音声音楽特徴量を作成する。例えば,K=6とした場合,時間順に並ぶ6個ずつの短時間窓音声音楽特徴量の平均をとったものを平均短時間窓音声音楽特徴量とする。
【0066】
ステップS350において,短時間窓音声音楽特徴量類似検索部12は,検索キーの平均短時間窓音声音楽特徴量を入力し,それらの検索キーの平均短時間窓音声音楽特徴量と類似するものを,蓄積されている検索対象の平均短時間窓音声音楽特徴量の中から検索し,検索キーの平均短時間窓音声音楽特徴量ごとに,部分類似度の高い平均短時間窓音声音楽特徴量のリストを作成する。
【0067】
ここでの部分類似度は,平均短時間窓音声音楽特徴量を表す多次元ベクトル間の距離が近いほど高いものとする。この際に,ステップS330で構築した多次元空間インデックスを使用することで高速に検索することができる。
【0068】
また,例えば,K=6として短時間窓音声音楽特徴量の6個分の平均を平均短時間窓音声音楽特徴量とすると,前述した実施の形態1,実施の形態2と比較して多次元インデックスを構成するデータ数は6分の1となり,さらに多次元インデックスを用いて行う検索回数も6分の1となることにより,検索の高速化が図られる。
【0069】
本実施の形態3における比較統合処理ステップS40については,図3に示すフローチャートのステップS410の処理(正解候補音声音楽区間のリストを作成する処理)だけが前述した実施の形態1,実施の形態2と異なる。ステップS420からステップS460までについては,前述した実施の形態1,実施の形態2と同様であるので説明を省略する。
【0070】
以下,本実施の形態3における平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間のリストを作成する方法の例を説明するが,平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間のリストを作成する方法は,以下の例に限られるものではない。
【0071】
図7は,本実施の形態3における正解候補音声音楽区間リスト作成処理フローチャートである。本実施の形態3における正解候補音声音楽区間のリストを作成する処理(前述した実施の形態1,実施の形態2において,図3のステップS410に該当する処理)は,図7のフローチャートを用いて詳細に説明する。
【0072】
ステップS411において,本実施の形態3における類似検索処理ステップS30の結果である平均短時間窓音声音楽特徴量のリストを入力し,このリストの最上位の平均短時間窓音声音楽特徴量を読み込む。また,ステップS412において,ステップS411で読み込んだ平均短時間窓音声音楽特徴量のリストの最上位の平均短時間窓音声音楽特徴量をリストから削除する。
【0073】
ステップS413において,ステップS411で読み込んだ平均短時間窓音声音楽特徴量を入力し,この平均短時間窓音声音楽特徴量の平均をとった元であるK個の短時間窓音声音楽特徴量を,記憶部16から蓄積部15を介して読み込む。
【0074】
ステップS414において,平均をとった元のK個の短時間窓音声音楽特徴量ごとに,その平均をとった元の短時間窓音声音楽特徴量の位置が,検索キー中の対応する短時間窓音声音楽特徴量(例えば,平均をとった区間の中央の短時間窓音声音楽特徴量)と同じ位置になるように検索対象音声音楽信号の位置を合わせ,正解候補音声音楽区間を切り出す。切り出された正解候補音声音楽区間は合計でK個となる。
【0075】
ステップS415において,K個の正解候補音声音楽区間を入力し,それらK個の正解候補音声音楽区間を正解候補音声音楽区間のリストに記載する。
【0076】
ステップS416において,平均短時間窓音声音楽特徴量のリストを入力し,そのリストが空でなければS411に戻り,空になったならば正解候補音声音楽区間のリストを出力する。以上のステップS411〜S416の処理を,すべての平均短時間窓音声音楽特徴量のリストについて実行する。
【0077】
図8は,本実施の形態における類似度が高い平均短時間窓音声音楽特徴量から正解候補音声音楽区間を作成する例を説明する図である。図8の例では,短時間窓音声音楽特徴量の3個(K=3)の平均を平均短時間窓音声音楽特徴量としている。また,検索キーの対応する短時間窓音声音楽特徴量を,平均をとった区間の中央の短時間窓音声音楽特徴量としている。
【0078】
図中,「sX」(X=0,1,2,…)は検索キーにおける短時間窓音声音楽特徴量を表し,「Mean−sX」(X=0,1,2,…)は検索キーにおける平均短時間窓音声音楽特徴量を表す。また,「tX」(X=0,1,2,…)は検索対象における短時間窓音声音楽特徴量を表し,「Mean−tX」(X=0,1,2,…)は検索対象における平均短時間窓音声音楽特徴量を表す。
【0079】
図8(A)において,検索キー音声音楽信号の「Mean−s1」と検索対象音声音楽信号の「Mean−t3」との間の類似度が高いものとする。「Mean−s1」の元になっている短時間窓音声音楽特徴量は「s3」,「s4」,「s5」であり,「Mean−t3」の元になっている短時間窓音声音楽特徴量は「t9」,「t10」,「t11」である。検索キーの対応する短時間窓音声音楽特徴量を,平均をとった区間の中央の短時間窓音声音楽特徴量とすると,ここでは「s4」である。
【0080】
これをもとに正解候補音声音楽区間を切り出す場合,図8(B)に示すように,検索対象音声音楽信号の「t9」,「t10」,「t11」位置を,それぞれ検索キー音声音楽信号の「s4」の位置に合わせて,「t9」,「t10」,「t11」ごとに検索キーの長さと同じ長さで音声音楽信号を切り出し,正解候補音声音楽区間を作成する。K=3であるので,「s4」の位置に「t9」を合わせたもの,「t10」を合わせたもの,「t11」を合わせたものの3つの正解候補音声音楽区間が作成される。
【0081】
以上の図7,図8によって,平均短時間窓音声音楽特徴量のリストから正解候補音声音楽区間を作成する方法の一例を示したが,これに限られるものではなく,例えば,検索キーの対応する短時間窓音声音楽特徴量を,平均をとった区間の中央の短時間窓音声音楽特徴量ではなく,他のものにすることも可能である。また,例えば図8の例において,作成する正解候補音声音楽区間の数は,K=3個に限らず,K+2=5個,K−1=1個のように任意の数を設定することも可能である。
【0082】
【発明の効果】
本発明は,検索キーとそれと同じ長さに切り出された検索対象の音声音楽信号との全体類似度を表す距離を,短時間窓音声音楽特徴量間の部分類似度を表す距離のうち距離の近い上位のものだけの和とすることによって,非定常な雑音の影響を低減した音声音楽信号の類似検索が可能になるという効果を有する(課題1,課題3の解決)。
【0083】
また,短時間窓音声音楽特徴量間の部分類似度の高いものを検索する際に多次元空間インデックスを用いることにより,高速な検索ができるという効果を有する(課題2の解決)。
【図面の簡単な説明】
【図1】本発明の実施の形態における類似音声音楽検索装置の構成例を示す図である。
【図2】本実施の形態における類似音声音楽検索処理フローチャートである。
【図3】本実施の形態における比較統合処理フローチャートである。
【図4】本実施の形態における検索対象からの正解候補音声音楽区間の切り出しを説明する図である。
【図5】本実施の形態における全体類似度の計算方法を説明する図である。
【図6】本実施の形態における類似検索処理フローチャートである。
【図7】本実施の形態における正解候補音声音楽区間リスト作成処理フローチャートである。
【図8】本実施の形態における類似度が高い平均短時間窓音声音楽特徴量から正解候補音声音楽区間を作成する例を説明する図である。
【符号の説明】
P1 検索フェーズ
P2 蓄積フェーズ
10 類似音声音楽検索装置
11 短時間窓音声音楽特徴量抽出部(検索フェーズ)
12 短時間窓音声音楽特徴量類似検索部
13 音声音楽情報比較統合部
14 短時間窓音声音楽特徴量抽出部(蓄積フェーズ)
15 蓄積部
16 記憶部
20 検索キー音声音楽信号入力装置
21 音声音楽表示出力装置
22 検索対象音声音楽信号入力装置
Claims (10)
- 検索対象となる音声音楽信号から,検索キーとなる音声音楽信号と類似する音声音楽信号を検索する類似音声音楽検索装置であって,
検索キーとなる音声音楽信号を入力する検索キー入力手段と,
前記検索キーとなる音声音楽信号から短時間窓を用いて短時間窓音声音楽特徴量を抽出する特徴量抽出手段と,
前記抽出された短時間窓音声音楽特徴量を用いて,蓄積された検索対象の音声音楽信号の短時間窓音声音楽特徴量の中から,部分類似度の高い短時間窓音声音楽特徴量を検索する類似検索手段と,
前記類似検索の結果により,前記部分類似度が高い短時間窓音声音楽特徴量を含むように,検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間を作成し,その正解候補音声音楽区間と前記検索キーとの全体類似度を計算する比較統合手段と,
前記全体類似度の高い順に,前記正解候補音声音楽区間を出力する表示出力手段とを備える
ことを特徴とする類似音声音楽検索装置。 - 請求項1に記載の類似音声音楽検索装置において,
前記比較統合手段は,
正解候補音声音楽区間の作成において,前記検索キーの音声音楽信号中での前記検索キーの短時間窓音声音楽特徴量の位置と,前記部分類似度の高い短時間窓音声音楽特徴量の位置とが同じ位置になるように合わせ,前記検索対象の音声音楽信号から前記検索キーの音声音楽信号と同一の長さの音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする類似音声音楽検索装置。 - 請求項1または請求項2に記載の類似音声音楽検索装置において,
前記比較統合手段は,
前記検索キーと前記正解候補音声音楽区間との全体類似度の計算において,個々の短時間窓音声音楽特徴量を表す多次元ベクトル間の距離のうち,距離の近いものだけの和をとり,その和が小さいものほど全体類似度が高いとする
ことを特徴とする類似音声音楽検索装置。 - 請求項1,請求項2または請求項3に記載の類似音声音楽検索装置において,
前記類似検索手段は,
部分類似度の高い短時間窓音声音楽特徴量の検索において,短時間窓音声音楽特徴量の代わりに,時間順に並ぶK個(Kは2以上の任意の整数)ごとの短時間窓音声音楽特徴量の平均の値である平均短時間窓音声音楽特徴量を用いて,部分類似度の高い平均短時間窓音声音楽特徴量を検索し,
前記比較統合手段は,
正解候補音声音楽区間の作成において,前記平均短時間窓音声音楽特徴量を用いた類似検索手段の結果により,検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする類似音声音楽検索装置。 - 検索対象となる音声音楽信号から,検索キーとなる音声音楽信号と類似する音声音楽信号を検索する類似音声音楽検索処理方法であって,
検索キーとなる音声音楽信号を入力する検索キー入力過程と,
前記検索キーとなる音声音楽信号から短時間窓を用いて短時間窓音声音楽特徴量を抽出する特徴量抽出過程と,
前記抽出された短時間窓音声音楽特徴量を用いて,蓄積された検索対象の音声音楽信号の短時間窓音声音楽特徴量の中から,部分類似度の高い短時間窓音声音楽特徴量を検索する類似検索過程と,
前記類似検索の結果により,前記部分類似度が高い短時間窓音声音楽特徴量を含むように,検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間を作成し,その正解候補音声音楽区間と前記検索キーとの全体類似度を計算する比較統合過程と,
前記全体類似度の高い順に,前記正解候補音声音楽区間を出力する表示出力過程とを有する
ことを特徴とする類似音声音楽検索処理方法。 - 請求項5に記載の類似音声音楽検索処理方法において,
前記比較統合過程では,
正解候補音声音楽区間の作成において,前記検索キーの音声音楽信号中での前記検索キーの短時間窓音声音楽特徴量の位置と,前記部分類似度の高い短時間窓音声音楽特徴量の位置とが同じ位置になるように合わせ,前記検索対象の音声音楽信号から前記検索キーの音声音楽信号と同一の長さの音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする類似音声音楽検索処理方法。 - 請求項5または請求項6に記載の類似音声音楽検索処理方法において,
前記比較統合過程では,
前記検索キーと前記正解候補音声音楽区間との全体類似度の計算において,個々の短時間窓音声音楽特徴量を表す多次元ベクトル間の距離のうち,距離の近いものだけの和をとり,その和が小さいものほど全体類似度が高いとする
ことを特徴とする類似音声音楽検索処理方法。 - 請求項5から請求項7までのいずれかに記載の類似音声音楽検索処理方法において,
前記類似検索過程では,
部分類似度の高い短時間窓音声音楽特徴量の検索において,短時間窓音声音楽特徴量の代わりに,時間順に並ぶK個(Kは2以上の任意の整数)ごとの短時間窓音声音楽特徴量の平均の値である平均短時間窓音声音楽特徴量を用いて,部分類似度の高い平均短時間窓音声音楽特徴量を検索し,
前記比較統合過程では,
正解候補音声音楽区間の作成において,前記平均短時間窓音声音楽特徴量を用いた類似検索手段の結果により,検索対象の音声音楽信号から検索キーに対応する音声音楽信号を切り出して正解候補音声音楽区間とする
ことを特徴とする類似音声音楽検索処理方法。 - 請求項5から請求項8までのいずれか1項に記載された類似音声音楽検索処理方法をコンピュータに実行させるための類似音声音楽検索プログラム。
- 請求項5から請求項8までのいずれか1項に記載された類似音声音楽検索処理方法をコンピュータに実行させるためのプログラムを記録した類似音声音楽検索プログラムの記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003008083A JP3999674B2 (ja) | 2003-01-16 | 2003-01-16 | 類似音声音楽検索装置,類似音声音楽検索プログラムおよびそのプログラムの記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003008083A JP3999674B2 (ja) | 2003-01-16 | 2003-01-16 | 類似音声音楽検索装置,類似音声音楽検索プログラムおよびそのプログラムの記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004219804A true JP2004219804A (ja) | 2004-08-05 |
JP3999674B2 JP3999674B2 (ja) | 2007-10-31 |
Family
ID=32897990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003008083A Expired - Fee Related JP3999674B2 (ja) | 2003-01-16 | 2003-01-16 | 類似音声音楽検索装置,類似音声音楽検索プログラムおよびそのプログラムの記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3999674B2 (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100749045B1 (ko) * | 2006-01-26 | 2007-08-13 | 삼성전자주식회사 | 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치 |
JP2008107641A (ja) * | 2006-10-26 | 2008-05-08 | Yamaha Corp | 音声データ検索装置 |
KR100852196B1 (ko) * | 2007-02-12 | 2008-08-13 | 삼성전자주식회사 | 음악 재생 시스템 및 그 방법 |
JP2008250047A (ja) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | 曲編集装置およびプログラム |
JP2009294668A (ja) * | 2009-08-31 | 2009-12-17 | Nippon Telegr & Teleph Corp <Ntt> | 信号検出装置、信号検出方法、信号検出プログラム及び記録媒体 |
JP2010517060A (ja) * | 2007-01-17 | 2010-05-20 | 上海▲イ▼得▲網▼▲絡▼有限公司 | 音楽のセグメントの情報に基づいてサーチする音楽捜索方法 |
US7756704B2 (en) | 2008-07-03 | 2010-07-13 | Kabushiki Kaisha Toshiba | Voice/music determining apparatus and method |
JP2010283542A (ja) * | 2009-06-03 | 2010-12-16 | Nippon Telegr & Teleph Corp <Ntt> | メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム |
JP2011128981A (ja) * | 2009-12-18 | 2011-06-30 | Toshiba Corp | 検索装置及び検索方法 |
JP2012053393A (ja) * | 2010-09-03 | 2012-03-15 | Yamaha Corp | 楽曲再生装置 |
JP2019113661A (ja) * | 2017-12-22 | 2019-07-11 | ヤマハ株式会社 | 表示制御方法およびプログラム |
CN111477198A (zh) * | 2020-03-05 | 2020-07-31 | 支付宝(杭州)信息技术有限公司 | 一种音乐小节的表示方法、装置及电子设备 |
-
2003
- 2003-01-16 JP JP2003008083A patent/JP3999674B2/ja not_active Expired - Fee Related
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100749045B1 (ko) * | 2006-01-26 | 2007-08-13 | 삼성전자주식회사 | 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치 |
JP2008107641A (ja) * | 2006-10-26 | 2008-05-08 | Yamaha Corp | 音声データ検索装置 |
JP2010517060A (ja) * | 2007-01-17 | 2010-05-20 | 上海▲イ▼得▲網▼▲絡▼有限公司 | 音楽のセグメントの情報に基づいてサーチする音楽捜索方法 |
KR100852196B1 (ko) * | 2007-02-12 | 2008-08-13 | 삼성전자주식회사 | 음악 재생 시스템 및 그 방법 |
US7786369B2 (en) | 2007-02-12 | 2010-08-31 | Samsung Electronics Co., Ltd. | System for playing music and method thereof |
JP4613924B2 (ja) * | 2007-03-30 | 2011-01-19 | ヤマハ株式会社 | 曲編集装置およびプログラム |
JP2008250047A (ja) * | 2007-03-30 | 2008-10-16 | Yamaha Corp | 曲編集装置およびプログラム |
US7756704B2 (en) | 2008-07-03 | 2010-07-13 | Kabushiki Kaisha Toshiba | Voice/music determining apparatus and method |
JP2010283542A (ja) * | 2009-06-03 | 2010-12-16 | Nippon Telegr & Teleph Corp <Ntt> | メタデータ検索装置、メタデータ検索方法、メタデータ検索プログラム、及びメタデータ検索システム |
JP2009294668A (ja) * | 2009-08-31 | 2009-12-17 | Nippon Telegr & Teleph Corp <Ntt> | 信号検出装置、信号検出方法、信号検出プログラム及び記録媒体 |
JP2011128981A (ja) * | 2009-12-18 | 2011-06-30 | Toshiba Corp | 検索装置及び検索方法 |
JP2012053393A (ja) * | 2010-09-03 | 2012-03-15 | Yamaha Corp | 楽曲再生装置 |
JP2019113661A (ja) * | 2017-12-22 | 2019-07-11 | ヤマハ株式会社 | 表示制御方法およびプログラム |
JP7035509B2 (ja) | 2017-12-22 | 2022-03-15 | ヤマハ株式会社 | 表示制御方法、プログラムおよび情報処理装置 |
CN111477198A (zh) * | 2020-03-05 | 2020-07-31 | 支付宝(杭州)信息技术有限公司 | 一种音乐小节的表示方法、装置及电子设备 |
CN111477198B (zh) * | 2020-03-05 | 2023-07-14 | 支付宝(杭州)信息技术有限公司 | 一种音乐小节的表示方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP3999674B2 (ja) | 2007-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9053183B2 (en) | System and method for storing and retrieving non-text-based information | |
Levy et al. | Music information retrieval using social tags and audio | |
US7745718B2 (en) | Music-piece classifying apparatus and method, and related computer program | |
KR100446627B1 (ko) | 음성대화 인터페이스를 이용한 정보제공장치 및 그 방법 | |
US6633845B1 (en) | Music summarization system and method | |
EP1244093B1 (en) | Sound features extracting apparatus, sound data registering apparatus, sound data retrieving apparatus and methods and programs for implementing the same | |
JP3467415B2 (ja) | 音楽検索装置,音楽検索方法および音楽検索プログラムを記録した記録媒体 | |
US20090234854A1 (en) | Search system and search method for speech database | |
US8108452B2 (en) | Keyword based audio comparison | |
JP5296598B2 (ja) | 音声情報抽出装置 | |
JP3999674B2 (ja) | 類似音声音楽検索装置,類似音声音楽検索プログラムおよびそのプログラムの記録媒体 | |
WO2014096832A1 (en) | Audio analysis system and method using audio segment characterisation | |
JP2000155759A (ja) | 音楽情報検索装置,音楽情報蓄積装置,音楽情報検索方法,音楽情報蓄積方法およびそれらのプログラムを記録した記録媒体 | |
Wang | Essumm: Extractive speech summarization from untranscribed meeting | |
JP4125990B2 (ja) | 検索結果利用型類似音楽検索装置,検索結果利用型類似音楽検索処理方法,検索結果利用型類似音楽検索プログラムおよびそのプログラムの記録媒体 | |
KR20090083972A (ko) | 음악 검색을 위한 음악 데이터베이스 구축 방법, 허밍 질의를 입력으로 하여 음악을 검색하는 방법 및 장치 | |
JP3798991B2 (ja) | 音声信号検索方法,音声信号検索装置,そのプログラムおよびそのプログラムの記録媒体 | |
JP4125989B2 (ja) | 類似音声音楽検索装置,類似音声音楽検索処理方法,類似音声音楽検索プログラムおよびそのプログラムの記録媒体 | |
Borjian | Query-by-example music information retrieval by score-based genre prediction and similarity measure | |
Ching et al. | Instrument role classification: Auto-tagging for loop based music | |
JP2004145161A (ja) | 音声データベース登録処理方法,音声発生源認識方法,音声発生区間検索方法,音声データベース登録処理装置,音声発生源認識装置,音声発生区間検索装置,並びにそのプログラムおよびそのプログラムの記録媒体 | |
CN116821381B (zh) | 一种基于空间线索的语音-图像跨模态检索方法及装置 | |
Gillet et al. | Indexing and querying drum loops databases | |
Ramya et al. | Knowledge based methods for video data retrieval | |
KR20160037144A (ko) | 라디오의 음원 분석을 통한 사용자 상황 및 선호도 반영 음악 추천 방법과 이를 이용한 음악 추천 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070403 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070517 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070809 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100817 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110817 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120817 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130817 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |