JP4434813B2 - 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 - Google Patents
雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 Download PDFInfo
- Publication number
- JP4434813B2 JP4434813B2 JP2004100935A JP2004100935A JP4434813B2 JP 4434813 B2 JP4434813 B2 JP 4434813B2 JP 2004100935 A JP2004100935 A JP 2004100935A JP 2004100935 A JP2004100935 A JP 2004100935A JP 4434813 B2 JP4434813 B2 JP 4434813B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- spectrum
- signal
- observed signal
- amplitude spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001228 spectrum Methods 0.000 title claims description 263
- 238000000034 method Methods 0.000 title claims description 45
- 230000001629 suppression Effects 0.000 title claims description 30
- 230000005236 sound signal Effects 0.000 claims description 15
- 230000003595 spectral effect Effects 0.000 claims description 12
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 9
- 238000011410 subtraction method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/06—Receivers
- H04B1/10—Means associated with receiver for limiting or suppressing noise or interference
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
N(k)=[1−{ρl/(1+ρl)}m]・N0(k)+{ρl/(1+ρl)}m・X(k)
但し、N(k):現在観測されている信号区間の観測信号について推定される
雑音のスペクトル
N0(k):前回観測された信号区間の観測信号について推定された雑音
のスペクトル
X(k):現在観測されている信号区間の観測信号のスペクトル
ρ:現在観測されている信号区間の観測信号のスペクトルの包絡線と前回
観測された信号区間の観測信号について推定された雑音のスペクトル
の包絡線との相関値
l,m:定数(lは1以上の値、mは0以上の値)
として求められる値とすることができる。
この発明の雑音スペクトル推定方法をスペクトルサブトラクション法による雑音抑圧処理に適用した実施の形態を以下説明する。図1は、この発明による雑音抑圧装置の実施の形態を示す。一点鎖線10で囲んだ部分は、従来のスペクトルサブトラクション法による雑音抑圧装置と共通する部分である。一点鎖線11で囲んだ部分は、この発明の方法により雑音の振幅スペクトルの推定を行う雑音振幅スペクトル推定部である。入力信号(観測信号)x0(n)(n=0,1,2,…,N−1。但し、Nは1フレームのサンプル数)はマイク等で入力された雑音を含む音声信号(例えば音声認識のために入力された信号、電話通信で受信された音声信号等)のサンプル列である。入力信号x0(n)には、背景雑音等の定常雑音が混入している。入力信号x0(n)は、入力信号切り出し部12に入力され、所定サンプル数で構成されるフレームごとに切り出される。ここでは、雑音抑圧処理終了後に最終的に出力信号を合成する際に、フレーム間に切れ目を生じさせないように、図2(a),(b)に示すように、半フレームごとに順次ずらしてフレーム切り出しを行う。なお、1フレーム長Nは125〜500msec程度とするのが音質上好ましい。この長さの1フレーム長は、入力信号x0(n)のサンプリング周波数が約8kHzの場合、1フレームを1024〜4096サンプルで構成することに相当する。
|X(k)|={XR(k)2+XI(k)2}1/2 …(1)
但し、XR(k):X(k)の実数部
XI(k):X(k)の虚数部
また、位相スペクトル計算部18は、(2)式により離散フーリエ変換X(k)の位相スペクトルθ(k)を求める。
θ(k)=tan−1{XI(k)/XR(k)} …(2)
|Y(k)|=|X(k)|−|N(k)| …(3)
G(k)=|Y(k)|eθ(k) …(4)
(方法1)起動直後に入力された、音声の混入していない背景雑音のみのデータをフーリエ変換し、該フーリエ変換されたデータから、前記(1)式により求められる振幅スペクトルデータを雑音振幅スペクトル初期値として設定する。
(方法2)予め背景雑音に相当する振幅スペクトルデータをメモリに保持しておき、起動時にそれを読み出して雑音振幅スペクトル初期値として設定する。あるいは、予め背景雑音に相当する振幅スペクトルデータの包絡線データをメモリに保持しておき、起動時にそれを読み出して雑音振幅スペクトル包絡線データの初期値として設定する。
(方法3)ホワイトノイズやピンクノイズの振幅スペクトルデータを雑音振幅スペクトル初期値として設定する。
入力信号振幅スペクトル包絡線を|X’(k)|=(x1,x2,…,xk)
雑音振幅スペクトル包絡線を|N0’(k)|=(y1,y2,…,yk)
とすると、(5)式により求められる。
|N(k)|=[1−{ρl/(1+ρl)}m]・|N0(k)|+{ρl/(1+ρl)}m ・|X(k)| …(6)
但し、|N(k)|:現在観測されているフレームの音声信号について推定
される雑音の振幅スペクトル
|N0(k)|:前回(半フレーム前)観測されたフレームの音声信号
について推定された雑音の振幅スペクトル
|X(k)|:現在観測されているフレームの音声信号のスペクトル
ρ:現在観測されているフレームの音声信号のスペクトルの包絡線と
前回観測されたフレームの音声信号について推定された雑音の
スペクトルの包絡線との相関値
l,m:定数(lは1以上の値、mは0以上の値)
前記実施の形態では、雑音振幅スペクトルの演算に前記(6)式を使用したが、雑音振幅スペクトルの演算はこれに限るものではなく、例えば、下記(7)式により雑音振幅スペクトル|N(k)|を求めることもできる。
|N(k)|=(1−ρl)・|N0(k)|+ρl ・|X(k)| …(7)
また、相関値ρが所定値以下の時は、現在観測されているフレームの入力信号の振幅スペクトル|X(k)|の加算比率を0とする(すなわち、雑音振幅スペクトル推定値|N(k)|を更新しない)こともできる。
Claims (8)
- 雑音が混入した音声信号から、該雑音のスペクトルを推定する方法であって、
現在観測されている信号区間の観測信号のスペクトルの包絡線と、前回観測された信号区間の観測信号について推定された雑音のスペクトルの包絡線との相関値を求め、該求められた相関値に応じた比率で、前記現在観測されている信号区間の観測信号のスペクトルと、前記前回観測された信号区間の観測信号について推定された雑音のスペクトルとを混合し、該混合したスペクトルを前記現在観測されている信号区間の観測信号について雑音のスペクトルとして推定する雑音スペクトル推定方法。 - 前記相関値が高いときは該相関値が低いときに比べて、前記現在観測されている信号区間の観測信号のスペクトルの混合比率を相対的に高くし、前記前回観測された信号区間の観測信号について推定された雑音のスペクトルの混合比率を相対的に低くし、
前記相関値が低いときは該相関値が高いときに比べて、前記現在観測されている信号区間の観測信号のスペクトルの混合比率を相対的に低くし、前記前回観測された信号区間の観測信号について推定された雑音のスペクトルの混合比率を相対的に高くする請求項1記載の雑音スペクトル推定方法。 - 前記相関値が高くなるにつれて、該相関値の変化に対する、前記現在観測されている信号区間の観測信号のスペクトルの混合比率の変化を大きくする請求項2記載の雑音スペクトル推定方法。
- 前記現在観測されている信号区間の観測信号について推定される雑音のスペクトルが、
N(k)=[1−{ρl/(1+ρl)}m]・N0(k)+{ρl/(1+ρl)}m・X(k)
但し、N(k):現在観測されている信号区間の観測信号について推定される
雑音のスペクトル
N0(k):前回観測された信号区間の観測信号について推定された雑音
のスペクトル
X(k):現在観測されている信号区間の観測信号のスペクトル
ρ:現在観測されている信号区間の観測信号のスペクトルの包絡線と前回
観測された信号区間の観測信号について推定された雑音のスペクトル
の包絡線との相関値
l,m:定数(lは1以上の値、mは0以上の値)
として求められる値である請求項2記載の雑音スペクトル推定方法。 - 前記現在観測されている信号区間の観測信号について推定される雑音のスペクトルを、次の信号区間における前回観測された信号区間の観測信号について推定された雑音のスペクトルとする請求項1から4のいずれかに記載の雑音スペクトル推定方法。
- 前記スペクトルの包絡線が振幅スペクトルの包絡線である請求項1から5のいずれかに記載の雑音スペクトル推定方法。
- 雑音が混入した音声信号から、該雑音の振幅スペクトルを推定し、該雑音を抑圧した音声信号を生成する方法であって、
現在観測されている信号区間の観測信号をフーリエ変換して振幅スペクトルと位相スペクトルを求め、
該求められた現在観測されている信号区間の観測信号の振幅スペクトルの包絡線と、前回観測された信号区間の観測信号について推定された雑音の振幅スペクトルの包絡線との相関値を求め、
該求められた相関値に応じた比率で、前記現在観測されている信号区間の観測信号の振幅スペクトルと、前記前回観測された信号区間の観測信号について推定された雑音の振幅スペクトルとを混合し、該混合した振幅スペクトルを前記現在観測されている信号区間の観測信号について雑音の振幅スペクトルとして推定し、前記現在観測されている信号区間の観測信号の振幅スペクトルから該現在観測されている信号区間の観測信号について推定された雑音の振幅スペクトルを減算し、
該減算により得られる振幅スペクトルと前記求められた位相スペクトルとを再合成して逆フーリエ変換し、
該逆フーリエ変換で得られる信号を前記雑音を抑圧した音声信号として出力し、
前記現在観測されている信号区間の観測信号について推定される雑音の振幅スペクトルを、次の信号区間における前回観測された信号区間の観測信号について推定された雑音の振幅スペクトルとする雑音抑圧方法。 - 雑音が混入した音声信号から、該雑音の振幅スペクトルを推定し、該雑音を抑圧した音声信号を生成する装置であって、
現在観測されている信号区間の観測信号をフーリエ変換するフーリエ変換手段と、
該フーリエ変換されたデータから振幅スペクトルを求める振幅スペクトル演算手段と、
該フーリエ変換されたデータから位相スペクトルを求める位相スペクトル演算手段と、
前記求められた現在観測されている信号区間の観測信号の振幅スペクトルの包絡線と、前回観測された信号区間の観測信号について推定された雑音の振幅スペクトルの包絡線との相関値を求める相関値演算手段と、
該求められた相関値に応じた比率で、前記現在観測されている信号区間の観測信号の振幅スペクトルと、前記前回観測された信号区間の観測信号について推定された雑音の振幅スペクトルとを混合し、該混合した振幅スペクトルを前記現在観測されている信号区間の観測信号について雑音の振幅スペクトルとして推定する雑音振幅スペクトル演算手段と、
前記現在観測されている信号区間の観測信号の振幅スペクトルから該現在観測されている信号区間の観測信号について推定された雑音の振幅スペクトルを減算する減算手段と、
該減算により得られる振幅スペクトルと前記位相スペクトルとを再合成する再合成手段と、
該再合成されたデータを逆フーリエ変換する逆フーリエ変換手段とを具備し、
該逆フーリエ変換によって生成された信号を前記雑音を抑圧した音声信号として出力し、前記現在観測されている信号区間の観測信号について推定される雑音の振幅スペクトルを、次の信号区間における前回観測された信号区間の観測信号について推定された雑音の振幅スペクトルとする雑音抑圧装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004100935A JP4434813B2 (ja) | 2004-03-30 | 2004-03-30 | 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 |
US11/093,672 US7596495B2 (en) | 2004-03-30 | 2005-03-29 | Current noise spectrum estimation method and apparatus with correlation between previous noise and current noise signal |
CA2502980A CA2502980C (en) | 2004-03-30 | 2005-03-30 | Noise spectrum estimation method and apparatus |
GB0506434A GB2413469B (en) | 2004-03-30 | 2005-03-30 | Noise spectrum estimation method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004100935A JP4434813B2 (ja) | 2004-03-30 | 2004-03-30 | 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005284163A JP2005284163A (ja) | 2005-10-13 |
JP4434813B2 true JP4434813B2 (ja) | 2010-03-17 |
Family
ID=34567592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004100935A Expired - Fee Related JP4434813B2 (ja) | 2004-03-30 | 2004-03-30 | 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7596495B2 (ja) |
JP (1) | JP4434813B2 (ja) |
CA (1) | CA2502980C (ja) |
GB (1) | GB2413469B (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2422237A (en) * | 2004-12-21 | 2006-07-19 | Fluency Voice Technology Ltd | Dynamic coefficients determined from temporally adjacent speech frames |
JP4454591B2 (ja) * | 2006-02-09 | 2010-04-21 | 学校法人早稲田大学 | 雑音スペクトル推定方法、雑音抑圧方法及び雑音抑圧装置 |
JP4816334B2 (ja) * | 2006-08-29 | 2011-11-16 | カシオ計算機株式会社 | ノイズ低減装置、撮像装置、ノイズ低減方法およびプログラム |
JP4827661B2 (ja) * | 2006-08-30 | 2011-11-30 | 富士通株式会社 | 信号処理方法及び装置 |
US8744798B2 (en) * | 2007-06-12 | 2014-06-03 | Tektronix International Sales Gmbh | Signal generator and user interface for adding amplitude noise to selected portions of a test signal |
US8990073B2 (en) * | 2007-06-22 | 2015-03-24 | Voiceage Corporation | Method and device for sound activity detection and sound signal classification |
JP5566846B2 (ja) * | 2010-10-15 | 2014-08-06 | 本田技研工業株式会社 | ノイズパワー推定装置及びノイズパワー推定方法並びに音声認識装置及び音声認識方法 |
JP6182895B2 (ja) * | 2012-05-01 | 2017-08-23 | 株式会社リコー | 処理装置、処理方法、プログラム及び処理システム |
JP6114518B2 (ja) * | 2012-08-27 | 2017-04-12 | 株式会社ザクティ | 雑音低減装置 |
US9640190B2 (en) | 2012-08-29 | 2017-05-02 | Nippon Telegraph And Telephone Corporation | Decoding method, decoding apparatus, program, and recording medium therefor |
US10032462B2 (en) | 2015-02-26 | 2018-07-24 | Indian Institute Of Technology Bombay | Method and system for suppressing noise in speech signals in hearing aids and speech communication devices |
JP6668995B2 (ja) * | 2016-07-27 | 2020-03-18 | 富士通株式会社 | 雑音抑圧装置、雑音抑圧方法及び雑音抑圧用コンピュータプログラム |
CN117934487B (zh) * | 2024-03-25 | 2024-05-28 | 板石智能科技(深圳)有限公司 | 一种扫描噪点和误差的检测方法、装置、电子设备和介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08506434A (ja) * | 1993-11-30 | 1996-07-09 | エイ・ティ・アンド・ティ・コーポレーション | 通信システムにおける伝送ノイズ低減 |
US5774846A (en) | 1994-12-19 | 1998-06-30 | Matsushita Electric Industrial Co., Ltd. | Speech coding apparatus, linear prediction coefficient analyzing apparatus and noise reducing apparatus |
JP3183104B2 (ja) | 1995-07-14 | 2001-07-03 | 松下電器産業株式会社 | ノイズ削減装置 |
JPH113094A (ja) | 1997-06-12 | 1999-01-06 | Kobe Steel Ltd | ノイズ除去装置 |
WO2001031640A1 (en) * | 1999-10-29 | 2001-05-03 | Koninklijke Philips Electronics N.V. | Elimination of noise from a speech signal |
JP2002014694A (ja) | 2000-06-30 | 2002-01-18 | Toyota Central Res & Dev Lab Inc | 音声認識装置 |
JP3693022B2 (ja) | 2002-01-29 | 2005-09-07 | 株式会社豊田中央研究所 | 音声認識方法及び音声認識装置 |
-
2004
- 2004-03-30 JP JP2004100935A patent/JP4434813B2/ja not_active Expired - Fee Related
-
2005
- 2005-03-29 US US11/093,672 patent/US7596495B2/en not_active Expired - Fee Related
- 2005-03-30 GB GB0506434A patent/GB2413469B/en not_active Expired - Fee Related
- 2005-03-30 CA CA2502980A patent/CA2502980C/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
GB2413469A (en) | 2005-10-26 |
CA2502980C (en) | 2010-05-04 |
GB0506434D0 (en) | 2005-05-04 |
US7596495B2 (en) | 2009-09-29 |
JP2005284163A (ja) | 2005-10-13 |
GB2413469B (en) | 2006-05-03 |
CA2502980A1 (en) | 2005-09-30 |
US20050256705A1 (en) | 2005-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4958303B2 (ja) | 雑音抑圧方法およびその装置 | |
JP5528538B2 (ja) | 雑音抑圧装置 | |
Nakatani et al. | Robust and accurate fundamental frequency estimation based on dominant harmonic components | |
EP2031583B1 (en) | Fast estimation of spectral noise power density for speech signal enhancement | |
US7957964B2 (en) | Apparatus and methods for noise suppression in sound signals | |
JP4434813B2 (ja) | 雑音スペクトル推定方法、雑音抑圧方法および雑音抑圧装置 | |
JP2005195955A (ja) | 雑音抑圧装置及び雑音抑圧方法 | |
JP4454591B2 (ja) | 雑音スペクトル推定方法、雑音抑圧方法及び雑音抑圧装置 | |
JP3960834B2 (ja) | 音声強調装置及び音声強調方法 | |
Tsilfidis et al. | Blind single-channel suppression of late reverberation based on perceptual reverberation modeling | |
JPH11265199A (ja) | 送話器 | |
WO2020110228A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2004020679A (ja) | 雑音抑圧装置および雑音抑圧方法 | |
JP3849679B2 (ja) | 雑音除去方法、雑音除去装置およびプログラム | |
Fang et al. | Speech enhancement based on modified a priori SNR estimation | |
JP3916834B2 (ja) | 雑音が付加された周期波形の基本周期あるいは基本周波数の抽出方法 | |
Miyazaki et al. | Theoretical analysis of parametric blind spatial subtraction array and its application to speech recognition performance prediction | |
EP1635331A1 (en) | Method for estimating a signal to noise ratio | |
Fingscheidt et al. | Towards objective quality assessment of speech enhancement systems in a black box approach | |
JP2006201622A (ja) | 帯域分割型雑音抑圧装置及び帯域分割型雑音抑圧方法 | |
JP2000010593A (ja) | スペクトル雑音除去装置 | |
Krishnamoorthy et al. | Modified spectral subtraction method for enhancement of noisy speech | |
JP2005284016A (ja) | 音声信号の雑音推定方法およびそれを用いた雑音除去装置 | |
Shi et al. | Subband dereverberation algorithm for noisy environments | |
JP4950971B2 (ja) | 残響除去装置、残響除去方法、残響除去プログラム、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091222 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130108 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140108 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |