JP3475317B2 - 映像分類方法および装置 - Google Patents
映像分類方法および装置Info
- Publication number
- JP3475317B2 JP3475317B2 JP34029396A JP34029396A JP3475317B2 JP 3475317 B2 JP3475317 B2 JP 3475317B2 JP 34029396 A JP34029396 A JP 34029396A JP 34029396 A JP34029396 A JP 34029396A JP 3475317 B2 JP3475317 B2 JP 3475317B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- sound
- section
- codebook
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Television Signal Processing For Recording (AREA)
Description
は、映像の属性情報を自動的に付与する技術が必要であ
る。属性情報は、映像制作の関連分野において、映像の
編集、加工、分類等に利用される。本発明は、映像に含
まれる特徴量を抽出し、特徴量に応じて映像を分類する
技術に関する。
大別することは、ビデオ・オン・デマンドのようなシス
テムで用いられる大量の映像を効率良く扱う上で不可欠
である。現在、映像は主にニュース、スポーツ、ドラ
マ、映画、音楽、ドキュメンタリー、教育、バラエテ
ィ、アニメ等に分類されているが、これらのうち幾つか
を自動的に識別しようとする方法が提案されている。
「S.Fischer et.al:Automati
c Recognition of Film Gen
res,ACM Multimedia’95,pp.
295−301」では、画像の色情報から場面の変わり
目やカメラの動きを検出し、音情報の振幅の変化と併せ
て、ニュース、スポーツ(テニスおよび自動車レー
ス)、アニメ、コマーシャルの分類を行っている。カメ
ラの動きが少なければニュース、周期的な音の繰り返し
(テニスのボールを打つ音)があればスポーツ、言葉が
途切れた所にノイズが少なければアニメ(アフレコのた
め背景音が少ない)、場面の変わり目に全体が黒になれ
ばコマーシャルといったようにジャンル毎にみられる典
型的な特徴を利用している。
主に画像情報に基づいて映像の分類を行っており、音情
報についての詳しい解析は行われていない。また、画像
情報から検出できる、ジャンル毎に固有の特徴が限られ
ているため、分類できる範囲は狭い。さらに、上記のよ
うに従来から定められているジャンル毎の特徴を見つけ
出すようなトップダウン的な方法では、分類できないジ
ャンルが存在する。
を良く反映しており、内容の種類に固有の特徴を検出し
易い。音情報を解析して映像一般に見られる特徴的な音
を検出し、その発生パターンから映像を分類すること
で、ボトムアップ的な要素を取り入れた分類方法を実現
することが可能である。
報を解析し、映像を既存のジャンルにとらわれないカテ
ゴリーに分類する映像分類方法および装置を提供するこ
とにある。
め、本発明の映像分類方法は、映像情報がアナログの場
合にはA/D変換してディジタルの映像情報を入力する
映像入力段階と、該映像情報に含まれる音情報を周波数
解析し、スペクトルの安定性を検出し、音楽を検出する
音楽検出段階と、該スペクトルのハーモニック構造を検
出し、音声を検出する音声検出段階と、音響の特徴ベク
トルを学習データとしてベクトル量子化し、符号帳を生
成する符号帳生成段階と、生成された符号帳と該映像情
報に含まれる音情報の特徴ベクトルを比較し、距離の近
い音響を検出する音響検出段階と、該検出された音情報
の種類別の区間の位置を記録する属性情報蓄積段階と、
該検出された音情報の種類、各々の区間の長さ、種類毎
の全体の長さ、各々の区間の位置のパターンを一以上抽
出し、該映像情報の種類を判別する映像判別段階と、を
有することで、入力された映像情報に含まれる音情報か
ら音楽、音声、音響のうち少なくとも1つが存在する区
間を検出し、該検出された区間の発生パターンによって
映像の種類を判別して広範囲なカテゴリに分類すること
が可能となる。
がアナログの場合にはA/D変換してディジタルの映像
情報を入力する映像入力部と、該映像情報に含まれる音
情報を周波数解析し、スペクトルの安定性を検出し、音
楽を検出する音楽検出部と、該スペクトルのハーモニッ
ク構造を検出し、音声を検出する音声検出部と、音響の
特徴ベクトルを学習データとしてベクトル量子化し、符
号帳を生成する符号帳生成部と、生成された符号帳と該
映像情報に含まれる音情報の特徴ベクトルを比較し、距
離の近い音響を検出する音響検出部と、該検出された音
情報の種類別の区間の位置を記録する属性情報蓄積部
と、該検出された音情報の種類、各々の区間の長さ、種
類毎の全体の長さ、各々の区間の位置のパターンを一以
上抽出し、該映像情報の種類を判別する映像判別部と、
を具備することで、入力された映像情報に含まれる音情
報から音楽、音声、音響のうち少なくとも1つが存在す
る区間を検出し、該検出された区間の発生パターンによ
って映像の種類を判別して広範囲なカテゴリに分類する
ことが可能となる。
クトログラムの一定周波数における時間方向のエッジの
強さを検出することで、音楽を容易に検出することが可
能となる。
部分を除去した後に、くし形フィルタを用いてハーモニ
ック構造を検出することで、音楽が重なっている場合で
も音声を容易に検出することが可能となる。
に含まれる音情報の特徴ベクトルとの距離を検出の判定
基準として用いることで、音響を容易に検出することが
可能となる。
区間の長さ、種類毎の全体の長さ、各々の区間の位置を
分類ベクトルとして符号帳を作成し、該符号帳の重心
と、該映像情報に含まれる音情報の分類ベクトルとの距
離を判別基準に用いることで、映像を容易に分類するこ
とが可能となる。
て図面を参照して詳細に説明する。
装置の概略構成を示すブロック図である。
がアナログの場合にはA/D変換して入力する映像入力
部101と、音情報を周波数解析して、サウンドスペク
トログラムのエッジを検出し、必要に応じて除去するエ
ッジ検出部102と、音情報から音楽を検出する音楽検
出部103と、音声を検出する音声検出部104と、音
響の学習データから符号帳を生成する符号帳生成部10
5と、学習した音響と同一種類の音を検出する音響検出
部106と、検出された音の区間の位置を記録する属性
情報蓄積部107と、検出された音情報の種類、各々の
区間の長さ、種類毎の全体の長さ、各々の区間の位置に
よって、映像情報の種類を判別する映像判別部108か
ら構成されている。
データは、一方でエッジ検出部102に入力され、エッ
ジ検出部102でFFT(高速フーリエ変換)処理され
て、数秒程度の長さのサウンドスペクトログラムが生成
される。ここで、FFTの代わりにLPC(線形予測分
析)を用いることも可能である。また、映像入力部10
1から入力された映像の音データは、他方で音響検出部
106に入力される。
出部102、音楽検出部103、音声検出部104の処
理を示したフローチャートである。以下、図1及び図2
を参照してそれらの動作例を説明する。
よってスペクトログラムが生成される。その際のフレー
ム長は、数十〜百ミリ秒で、検出区間は、数秒である。
子を簡略化して示す。スペクトログラムは、実際には、
濃淡画像として得られる。301は、音楽成分のスペク
トルの軌跡であり、302は、音声成分のスペクトルの
軌跡である。音楽成分は、周波数方向に安定した軌跡を
描くので、この性質を利用して検出する。まず、周波数
iにおける時間方向のエッジEDiをエッジ検出処理2
02で微分オペレータを用いて検出する。得られたエッ
ジEDiの値をエッジの閾値処理203で閾値TH1と
比較し、エッジEDiの値が閾値TH1よりも大きい場
合には、音声検出の前処理として周波数iのスペクトル
をエッジ消去、補間処理204において0にし、エッジ
を消去する。また、近傍のスペクトルの値を用いて消去
されたスペクトルは、線形補間される。この処理を全て
の帯域について繰り返す。繰り返し判定処理205にお
いて、iがn−1と等しくなれば繰り返しを終える。こ
こでnはFFTのフレーム長のポイント数である。
出処理206で算出し、エッジ強度の閾値処理207に
おいて、算出されたエッジの強さが閾値TH2よりも大
きい場合に音楽が存在すると判断する。
間的に変動する等間隔の縞模様として現れるので、エッ
ジ強度算出処理206と平行してスペクトログラムにく
し形フィルタ処理208を施し、フィルタ出力の閾値処
理209において、フィルタ処理の出力が閾値TH3よ
りも大きければ音声が存在すると判断する。
響検出部106の処理を示したフローチャートである。
音響の種類の例としては、笑声、歓声、拍手、雑踏、機
械の音等が考えられる。ここでは、笑声、歓声、拍手を
例に取って説明する。
構造がスペクトルに現れないため、ベクトル量子化を利
用して検出する。まず、各々の音響データのサンプルを
用意し、符号帳生成部105で符号帳を作成する。使用
するベクトルの特徴量としては、数十〜百ミリ秒のフレ
ーム長で、16次元程度の線形予測係数を用いる。LP
Cケプストラム、FFTケプストラム、フィルタバンク
出力等を用いることも可能である。サンプルデータは、
多いほど良好な結果を得ることができる。笑声、歓声、
拍手の3つのカテゴリーに分類するため、各サンプルデ
ータの係数から3つ以上のクラスタを生成する。以下で
は、クラスタの数が3つの場合を例に取り説明する。ま
ず、クラスタの重心ベクトルをC1,C2,C3とす
る。C1,C2,C3が、笑声、歓声、拍手のどの重心
ベクトルに対応するかは、カテゴリーが既知のサンプル
データが最も近い重心ベクトルを調べることで、容易に
分かる。
は線形予測係数算出処理401で算出され、各々の重心
ベクトルとの距離Liがベクトル距離算出処理402で
算出される。次に、最小距離ベクトルの閾値処理403
において重心ベクトルとの距離Liの大きさを調べ、閾
値TH4よりも大きい場合には、3つのカテゴリーには
属さないと判断し、非音響と判断される。閾値TH4よ
りも小さい場合には、最小距離ベクトル判別処理40
4、最小距離ベクトル判別処理405により重心ベクト
ルとの距離Liの中で最も距離の短いものを選択し、対
応するカテゴリーに属すると判断する。図4では、C
1,C2,C3が各々、笑声、歓声、拍手に対応してい
る場合を示している。
と終点の位置は、属性情報の一部として属性情報蓄積部
107にタイムコードや、先頭からのバイト数等のフォ
ーマットで記録される。
07から情報を読み出し、映像シーケンス全体における
各々の音の含有率を算出し、分類ベクトルV(v1,v
2,v3,v4,v5,v6)を求める。ここで、v
1,v2,v3,v4,v5,v6は、各々、音楽、音
声、笑声、歓声、拍手、音楽と音声が重なっている区
間、の含有率である。
は、音響検出と同様にベクトル量子化が用いられる。様
々な映像サンプルを用いて分類ベクトルを求め、必要な
ジャンルの数だけクラスタリングを行い、重心ベクトル
を求める。入力された映像の分類ベクトルと重心ベクト
ルの距離を算出し、最も近いクラスタに割り当てる。形
成されるクラスタは、一般的に用いられるジャンルと必
ずしも一致しないが、音声が多く、音楽が少なければニ
ュースや教育、逆の場合は音楽、笑声が多い場合はコメ
ディ等といった分類が可能である。
フトウェアで実現した場合の処理を示すフローチャート
である。映像は、まず、符号帳生成段階500で、音響
の学習データから符号帳が生成され、映像入力段階50
1から入力され、エッジ検出段階502で周波数解析、
エッジ検出が行われる。また、必要に応じてエッジの削
除、補間が行われる。音楽検出段階503および音声検
出段階504では、各々、エッジの強さ、くし形フィル
タを用いて音楽および音声が検出される。音響検出段階
505では、ベクトル量子化を用いて、笑声、歓声、拍
手が検出される。検出された音の始点と終点の情報は、
属性情報検出段階506で蓄積され、映像シーケンスの
最後に到達した時点で映像判別段階507において映像
が分類される。
うな効果を奏する。
楽、音声、笑声、歓声、拍手を検出し、検出された音情
報の種類、各々の区間の長さ、種類毎の全体の長さ、各
々の区間の位置のパターンを比較するようにしたので、
映像を広範囲なカテゴリに分類することができる。
ける時間方向のエッジの強さを検出するようにした場合
には、特に音楽を容易に検出することができる。
分を除去した後に、くし形フィルタを用いてハーモニッ
ク構造を検出するようにした場合には、特に言葉などの
音声を容易に検出することができる。
まれる音情報の特徴ベクトルとの距離を検出の判定基準
として用いるようにした場合には、特に音響を容易に検
出することができる。
間の長さ、種類毎の全体の長さ、各々の区間の位置を分
類ベクトルとして符号帳を作成し、判別の判定基準に、
該符号帳の重心と、該映像情報に含まれる音情報の分類
ベクトルとの距離を用いるようにした場合には、特に映
像を容易に広範囲なカテゴリに分類することができる。
成を示すブロック図である。
と音声の検出処理を示すフローチャートである。
たサウンドスペクトログラムの様子を示す概念図であ
る。
声、歓声および拍手の検出処理を示すフローチャートで
ある。
てソフトウェア的に実現した場合の処理の流れを示すフ
ローチャートである。
Claims (8)
- 【請求項1】映像情報を入力し、該入力された映像情報
に含まれる音情報から音楽、音声、音響のうち少なくと
も1つが存在する区間を検出し、該検出された区間の発
生パターンによって映像の種類を判別する映像分類方法
であって、 映像情報がアナログの場合にはA/D変換してディジタ
ルの映像情報を入力する映像入力段階と、 該映像情報に含まれる音情報を周波数解析し、スペクト
ルの安定性を検出するために、該スペクトルを時間方向
に並べたスペクトログラムから、周波数方向の微分オペ
レータによってエッジを検出するエッジ検出段階と、 該スペクトルの安定性から音楽を検出するために該スペ
クトログラムの一定周波数における時間方向のエッジの
強さから音楽を検出する音楽検出段階と、 該スペクトルのハーモニック構造を検出し、音声を検出
する音声検出段階と、 音響の特徴ベクトルを学習データとしてベクトル量子化
し、符号帳を生成する符号帳生成段階と、 該生成された符号帳と該映像情報に含まれる音情報の特
徴ベクトルとを比較し、距離の近い音響を検出する音響
検出段階と、 該検出された音情報の種類別の区間の位置を記録する属
性情報蓄積段階と、 該検出された音情報の種類、各々の区間の長さ、種類毎
の全体の長さ、各々の区間の位置のパターンの一以上を
抽出し、該映像情報の種類を判別する映像判別段階と、 を有することを特徴とする映像分類方法。 - 【請求項2】前記音声検出段階では、前記スペクトログ
ラムのエッジの強い部分を除去した後に、くし形フィル
タを用いてハーモニック構造を検出し、音声を検出す
る、 ことを特徴とする請求項1に記載の映像分類方法。 - 【請求項3】前記音響検出段階では、前記符号帳の重心
と、前記映像情報に含まれる音情報の特徴ベクトルとの
距離を検出の判定基準として用いる、 ことを特徴とする請求項1または2に記載の映像分類方
法。 - 【請求項4】前記映像判別段階は、検出された音情報の
種類、各々の区間の長さ、種類毎の全体の長さ、各々の
区間の位置を分類ベクトルとして符号帳を作成し、該符
号帳の重心と、前記映像情報に含まれる音情報の分類ベ
クトルとの距離を判別基準に用いる、 ことを特徴とする請求項1、2、3のいずれかに記載の
映像分類方法。 - 【請求項5】映像情報を入力し、該入力された映像情報
に含まれる音情報から音楽、音声、音響のうち少なくと
も1つが存在する区間を検出し、該検出された区間の発
生パターンによって映像の種類を判別する映像分類装置
であって、 映像情報がアナログの場合にはA/D変換してディジタ
ルの映像情報を入力する映像入力部と、 該映像情報に含まれる音情報を周波数解析し、スペクト
ルの安定性を検出するために前記スペクトルを時間方向
に並べたスペクトログラムから、周波数方向の微分オペ
レータによってエッジを検出するエッジ検出部と、 該スペクトルの安定性から音楽を検出するために該スペ
クトログラムの一定周波数における時間方向のエッジの
強さから音楽を検出する音楽検出部と、 該スペクトルのハーモニック構造を検出し、音声を検出
する音声検出部と、 音響の特徴ベクトルを学習データとしてベクトル量子化
し、符号帳を生成する符号帳生成部と、 該生成された符号帳と該映像情報に含まれる音情報の特
徴ベクトルとを比較し、距離の近い音響を検出する音響
検出部と、 該検出された音情報別の区間の位置を記録する属性情報
蓄積部と、 該検出された音情報の種類、各々の区間の長さ、種類毎
の全体の長さ、各々の区間の位置のパターンを一以上抽
出し、該映像情報の種類を判別する映像判別部と、 を備えることを特徴とする映像分類装置。 - 【請求項6】前記音声検出部は、前記スペクトログラム
のエッジの強い部分を除去した後に、くし形フィルタを
用いてハーモニック構造を検出し、音声を検出するもの
である、 ことを特徴とする請求項5に記載の映像分類装置。 - 【請求項7】前記音響検出部は、前記符号帳の重心と、
前記映像情報に含まれる音情報の特徴ベクトルとの距離
を検出の判定基準として用いるものである、 ことを特徴とする請求項5または6に記載の映像分類装
置。 - 【請求項8】前記映像判別部は、検出された音情報の種
類、各々の区間の長さ、種類毎の全体の長さ、各々の区
間の位置を分類ベクトルとして符号帳を作成し、該符号
帳の重心と、前記映像情報に含まれる音情報の分類ベク
トルとの距離を判別基準に用いるものである、 ことを特徴とする請求項5、6、7のいずれかに記載の
映像分類装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34029396A JP3475317B2 (ja) | 1996-12-20 | 1996-12-20 | 映像分類方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34029396A JP3475317B2 (ja) | 1996-12-20 | 1996-12-20 | 映像分類方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10187182A JPH10187182A (ja) | 1998-07-14 |
JP3475317B2 true JP3475317B2 (ja) | 2003-12-08 |
Family
ID=18335567
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34029396A Expired - Lifetime JP3475317B2 (ja) | 1996-12-20 | 1996-12-20 | 映像分類方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3475317B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007077965A1 (en) * | 2006-01-06 | 2007-07-12 | Mitsubishi Electric Corporation | Method and system for classifying a video |
WO2007132569A1 (ja) * | 2006-05-11 | 2007-11-22 | Mitsubishi Electric Corporation | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
US8855796B2 (en) | 2005-12-27 | 2014-10-07 | Mitsubishi Electric Corporation | Method and device for detecting music segment, and method and device for recording data |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001078385A1 (fr) | 2000-04-10 | 2001-10-18 | Sony Corporation | Systeme et procede de gestion des actifs |
JP3652961B2 (ja) * | 2000-06-27 | 2005-05-25 | シャープ株式会社 | 音声処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体 |
US20040167767A1 (en) * | 2003-02-25 | 2004-08-26 | Ziyou Xiong | Method and system for extracting sports highlights from audio signals |
JP4348970B2 (ja) * | 2003-03-06 | 2009-10-21 | ソニー株式会社 | 情報検出装置及び方法、並びにプログラム |
JP5050445B2 (ja) * | 2006-08-11 | 2012-10-17 | カシオ計算機株式会社 | 動画再生装置及び動画再生方法 |
JP4364288B1 (ja) | 2008-07-03 | 2009-11-11 | 株式会社東芝 | 音声音楽判定装置、音声音楽判定方法及び音声音楽判定用プログラム |
JP5553152B2 (ja) * | 2010-04-09 | 2014-07-16 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5578453B2 (ja) * | 2010-05-17 | 2014-08-27 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 音声分類装置、方法、プログラム及び集積回路 |
US9898086B2 (en) * | 2013-09-06 | 2018-02-20 | Immersion Corporation | Systems and methods for visual processing of spectrograms to generate haptic effects |
-
1996
- 1996-12-20 JP JP34029396A patent/JP3475317B2/ja not_active Expired - Lifetime
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8855796B2 (en) | 2005-12-27 | 2014-10-07 | Mitsubishi Electric Corporation | Method and device for detecting music segment, and method and device for recording data |
WO2007077965A1 (en) * | 2006-01-06 | 2007-07-12 | Mitsubishi Electric Corporation | Method and system for classifying a video |
WO2007132569A1 (ja) * | 2006-05-11 | 2007-11-22 | Mitsubishi Electric Corporation | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
US8682132B2 (en) | 2006-05-11 | 2014-03-25 | Mitsubishi Electric Corporation | Method and device for detecting music segment, and method and device for recording data |
Also Published As
Publication number | Publication date |
---|---|
JPH10187182A (ja) | 1998-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3485766B2 (ja) | デジタルビデオデータから索引付け情報を抽出するシステムとその方法 | |
US6363380B1 (en) | Multimedia computer system with story segmentation capability and operating program therefor including finite automation video parser | |
Tzanetakis et al. | Marsyas: A framework for audio analysis | |
JP4683253B2 (ja) | Av信号処理装置および方法、プログラム、並びに記録媒体 | |
US7796860B2 (en) | Method and system for playing back videos at speeds adapted to content | |
US6710822B1 (en) | Signal processing method and image-voice processing apparatus for measuring similarities between signals | |
JP4442081B2 (ja) | 音声抄録選択方法 | |
US7336890B2 (en) | Automatic detection and segmentation of music videos in an audio/video stream | |
US6697564B1 (en) | Method and system for video browsing and editing by employing audio | |
US8838452B2 (en) | Effective audio segmentation and classification | |
US20060245724A1 (en) | Apparatus and method of detecting advertisement from moving-picture and computer-readable recording medium storing computer program to perform the method | |
US20040143434A1 (en) | Audio-Assisted segmentation and browsing of news videos | |
JP4348970B2 (ja) | 情報検出装置及び方法、並びにプログラム | |
JP4220449B2 (ja) | インデキシング装置、インデキシング方法およびインデキシングプログラム | |
US20040064209A1 (en) | System and method for generating an audio thumbnail of an audio track | |
JP2009095013A (ja) | ビデオ要約システムおよびビデオ要約のためのコンピュータプログラム | |
JP3475317B2 (ja) | 映像分類方法および装置 | |
US7739114B1 (en) | Methods and apparatus for tracking speakers in an audio stream | |
JP2005532582A (ja) | 音響信号に音響クラスを割り当てる方法及び装置 | |
WO2008050718A1 (fr) | Dispositif d'extraction d'informations de droit, procédé d'extraction d'informations de droit et programme | |
CN112925925A (zh) | 一种多媒体内容自动审核方法、电子设备、存储介质 | |
Patel et al. | Video classification using speaker identification | |
JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
Mihajlovic et al. | Automatic annotation of formula 1 races for content-based video retrieval | |
Chu et al. | Toward semantic indexing and retrieval using hierarchical audio models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080926 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080926 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090926 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090926 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100926 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100926 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120926 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130926 Year of fee payment: 10 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |