JP3481084B2 - Voice recognition device - Google Patents

Voice recognition device

Info

Publication number
JP3481084B2
JP3481084B2 JP17729197A JP17729197A JP3481084B2 JP 3481084 B2 JP3481084 B2 JP 3481084B2 JP 17729197 A JP17729197 A JP 17729197A JP 17729197 A JP17729197 A JP 17729197A JP 3481084 B2 JP3481084 B2 JP 3481084B2
Authority
JP
Japan
Prior art keywords
speaker
voice
signal
voice recognition
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17729197A
Other languages
Japanese (ja)
Other versions
JPH1124691A (en
Inventor
栄一 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kenwood KK
Original Assignee
Kenwood KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kenwood KK filed Critical Kenwood KK
Priority to JP17729197A priority Critical patent/JP3481084B2/en
Publication of JPH1124691A publication Critical patent/JPH1124691A/en
Application granted granted Critical
Publication of JP3481084B2 publication Critical patent/JP3481084B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は音声認識装置、より
具体的には話者に適した話者データに基づいて音声認識
を行うことを特徴とする音声認識装置に関する。 【0002】 【従来の技術】例えばマイクロプロセッサ等のコンピュ
ータを内蔵した装置に命令やデータを入力する場合、キ
ー入力装置またはマウスやタブレット等のポインティン
グデバイスが現在一般に用いられている。このようなキ
ー入力装置やポインティングデバイスがコンピュータの
入力装置として用いられているのは、コンピュータ側で
操作者の命令やデータを正確に認識できるからである。
すなわち、これら入力装置は、操作者の操作性を重視し
たものでは無く、むしろ操作者がコンピュータ側に合わ
せた入力手段であった。 【0003】一方、人間が話す言葉や音をコンピュータ
が理解できれば、人間と同じように音声でコンピュータ
に命令できるため、コンピュータの操作が不慣れな者で
も簡単に操作できる優れた操作性を期待できる。このよ
うに、人間が話す言葉や音をコンピュータに理解させる
装置を音声認識装置という。 【0004】音声認識装置は、話者の音声が入力される
と、この音声をスペクトル分析する。そして、音声認識
装置は、この分析結果に基づいて入力された音声をコー
ド情報に変換し、変換した信号をコンピュータに出力す
る。コンピュータは変換されたコード情報を入力するこ
とで、例えばキー入力装置から入力したのと同様にコー
ド情報の内容に応じた制御を行う。 【0005】 【発明が解決しようとする課題】しかしながら音声をス
ペクトル分析した結果は話者の特性、例えば発音等によ
り大きく異なってしまう。このため、音声認識装置を使
用する話者をある範囲で特定し、その特徴に基づいて分
析を行わなければ正確な認識結果を得ることが難しいと
いう問題があった。 【0006】また、複数の話者に対応可能なようにする
には、音声認識装置内に話者の特徴を示す多くの話者デ
ータを予め内蔵し、分析した音声の結果が話者データの
どれに該当するかを照合しなければならない。したがっ
て、この場合には多くの話者データの中から適切な話者
データを選択するために処理速度の速いマイクロプロセ
ッサが必要となる。 【0007】さらに、外来雑音が音声とともに入力され
ると、例え話者が特定されていた場合でもこの雑音によ
り正確な分析を行うことができない。従来技術では、例
えば指向性のマイクを使用して外来雑音が入力されるこ
とを防止していたが、話者がマイクに近づいて話してい
るかどうかは考慮していなかった。このため、外来雑音
により音声が間違ったコード情報に変換されて誤動作等
が発生することがあった。 【0008】本発明はこのような従来技術の課題を解決
し、外来雑音による影響を受けにくくするとともに、話
者が複数の場合でも正確な音声認識を行える音声認識装
置を提供することを目的とする。 【0009】 【課題を解決するための手段】本発明は上述の課題を解
決するために、入力した音声信号を認識する音声認識手
段と、この音声認識手段で前記音声信号を認識する際に
参照される音声信号の特徴を示す話者データを、認識す
る音声信号に対応して複数格納することができる話者デ
ータ格納手段と、前記認識する音声信号が前記話者デー
タ格納手段の中のどの話者データに該当するかを示す識
別コードを、話者が携帯する発振器から出力され所定範
囲内において受信可能となる無線信号によって受信し、
この識別コードに示された前記話者データにより前記音
声信号の認識を前記音声認識手段で行うように制御する
制御手段とを有し、前記識別コードが無線により前記制
御手段で受信可能になったときに前記音声認識手段が音
声認識を行うことを特徴とする音声認識装置とする。 【0010】 【発明の実施の形態】次に添付図面を参照して本発明に
よる音声認識装置の実施の形態を詳細に説明する。図1
を参照すると、本発明による音声認識装置の実施の形態
を示す機能ブロック図が示されている。本実施の形態で
は、音声認識を行う話者は、光、電波または超音波のい
ずれかにより話者を特定する信号を出力する発振器を携
帯する。この発振器は話者を特定する話者コードで変調
した信号を常時発振している。すなわち、図1におい
て、話者Aは話者Aを特定するコードで変調された信号
を発振する発振器Aを、話者Bは話者Bを特定するコー
ドで変調された信号を発振する発振器Bを、...、話
者nは話者nを特定するコードで変調された信号を発振
する発振器nをそれぞれ携帯している。 【0011】なお、これら発振器は数m程度しか届かな
い、例えばマイクで声を正確に拾える範囲内しか届かな
い微弱な信号を出力する。このような微弱な信号を出力
することにより、話者が音声認識装置から離れていて外
来雑音が音声に多く含まれる状態では、音声認識処理を
実行しないようにしている。また、このように発振器の
出力が小さいため、発振器を小型・軽量化することが可
能である。 【0012】音声認識装置は、マイク(MIC)10、
アンテナ12、受信器14、話者識別回路16および音
声認識回路18により構成されている。マイク10は、
話者の音声を音声信号に変換する指向性のマイクであ
り、変換した音声信号を音声認識回路18に出力する。
アンテナ12は、各発振器A,B,...,nが音声認
識装置に近づいてきて所定の範囲内になると、発振器か
らの出力された話者を特定するコードを受信器14に伝
える。 【0013】受信器14は発振器から出力された話者を
特定するコードを受信信号として話者識別回路16に出
力する。話者識別回路16は、この受信信号を入力する
と、音声認識を行う話者がA,B,...nのいずれで
あるかを識別し、該当する話者の話者判別データを音声
認識回路18に出力する。 【0014】音声認識回路18は、マイク10からの音
声信号をスペクトル分析し、コード情報に変換する回路
である。音声認識回路18は、話者の特徴である話者デ
ータがそれぞれ格納された話者Aデータ20−1、話者
Bデータ20−2、...、話者nデータ20−nと、
音声信号のスペクトル分析を行ってこれら話者X(A,
B,...n)データ20に基づいてコード情報を割り
当てる音声認識部24と、話者識別回路16から出力さ
れた話者判別データにより話者Xデータ20と音声認識
部24とをスイッチング制御するスイッチ22−1、2
2−2、...、22−nとにより構成されている。な
お、音声認識回路18は、ハードウェアとしては例えば
マイクロプロセッサやメモリ等により構成される。 【0015】次に図1を用いて本実施の形態の動作を説
明する。なお、ここでは説明の便宜上、話者Bが音声認
識を行う場合を例に説明する。発振器Bを携帯した話者
Bが音声認識装置に近づき、アンテナ12で発振器Bの
信号を受信できる範囲に達すると、受信器14は発振器
Bから送出された信号を復調して話者コードを出力し、
受信信号として話者識別回路16に出力する。 【0016】話者識別回路16は、話者コードが含まれ
ている受信信号を入力すると、この話者コードが話者A
〜nのいずれに該当するかを識別し、その結果を話者判
別データとして音声認識回路18に出力する。したがっ
て、この場合には話者識別回路16は、話者Bを示す話
者判別データを音声認識回路18に出力する。音声認識
回路18は、話者Bを示す話者判別データを入力する
と、スイッチ22−2のみをメーク状態にし、話者Bデ
ータ20−2と音声認識部24とを接続する。 【0017】話者Bがマイク10に向かって話をする
と、話者Bの音声は音声信号となって音声認識回路18
の音声認識部24に入力される。音声認識部24は、こ
の音声信号を入力すると、これのスペクトル分析を行
い、その分析結果と話者Bデータ20−2とを比較する
ことで音声の認識を行って、コード情報に変換する。 【0018】以上、詳細に説明したように本実施の形態
によれば、音声認識装置に無線型(電波、光、超音波
等)の受信器を組み合わせ、登録されている複数の話者
の中から該当する話者を特定して音声認識処理を実行す
る。したがって、音声認識の正解率を非常に高くするこ
とが可能となるとともに、認識処理の負荷が小さくなり
高速処理が可能となる。また、話者が近くにいないとき
には音声認識を行わないので、外来雑音による誤動作を
最小限に抑えることができる。 【0019】なお、上記実施の形態では話者コードと話
者とが1対1に対応する例を示したが、本発明は特にこ
れに限定されるものではなく、話者コードをグループ毎
に対応させても良い。すなわち、例えば、日本語のグル
ープと英語のグループとに分けたり、男のグループと女
のグループに分けたり、または関西弁のグループと標準
語のグループに分けてもよい。このように類似の音声グ
ループに分けることにより、グループ分けを行なわない
場合と比較して音声認識率を上げることが期待できる。 【0020】また、本実施の形態では話者が携帯する発
振器が常時信号を発振するとしたが、音声認識装置側で
例えば複数の周波数の高周波を出力し、これに共振した
ときに発振するようにしてもよい。この場合には、話者
の共振周波数をそれぞれ変えれば、共振周波数により話
者の判別を行うことが可能となる。また、放射電波を電
源とすれば、発振器側に電源が必要無くなる。 【0021】また、本実施の形態で説明したスイッチ2
2は、ソフトウェアでも電気回路によるハードウェアで
もいずれであっても実現可能である。さらに、本実施の
形態では話者データが複数の場合を例に説明したが、話
者データは1つでも良い。 【0022】 【発明の効果】このように本発明の音声認識装置によれ
ば、話者がマイクに近づいたときに音声認識を行うの
で、外来雑音の影響による誤認識の発生を抑えることが
期待できる。また、複数の話者の音声認識を行う場合で
も、音声信号の特徴を示す話者データを選択してから音
声認識を行うので、話者特有のあいまいな表現も含め高
い認識率を維持することができるとともに、高速な認識
処理が可能となる。
Description: BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a speech recognition apparatus, and more particularly to a speech recognition apparatus for performing speech recognition based on speaker data suitable for a speaker. It relates to a recognition device. 2. Description of the Related Art For inputting commands and data to a device having a built-in computer such as a microprocessor, a key input device or a pointing device such as a mouse or a tablet is generally used. Such a key input device or pointing device is used as an input device of a computer because the computer can correctly recognize an operator's command or data.
That is, these input devices do not emphasize the operability of the operator, but rather are input means adapted to the computer side by the operator. On the other hand, if a computer can understand words and sounds spoken by a human, the computer can be instructed by voice in the same manner as a human, and therefore, excellent operability can be expected that can be easily operated even by a person unfamiliar with computer operation. A device that allows a computer to understand words and sounds spoken by humans is called a voice recognition device. [0004] When a voice of a speaker is input, the voice recognition device analyzes the spectrum of the voice. Then, the speech recognition device converts the input speech into code information based on the analysis result, and outputs the converted signal to the computer. By inputting the converted code information, the computer performs control in accordance with the contents of the code information in the same manner as input from, for example, a key input device. [0005] However, the result of spectral analysis of speech greatly differs depending on the characteristics of the speaker, for example, pronunciation. For this reason, there is a problem that it is difficult to obtain an accurate recognition result unless a speaker using the speech recognition device is specified within a certain range and the analysis is not performed based on the feature. In order to be able to cope with a plurality of speakers, a large number of speaker data indicating the characteristics of the speaker are preliminarily incorporated in the speech recognition device, and the result of the analyzed speech is converted to the speaker data. You have to check which one is applicable. Therefore, in this case, a microprocessor with a high processing speed is required to select appropriate speaker data from many speaker data. Further, when external noise is input together with voice, even if a speaker is specified, accurate analysis cannot be performed by the noise. In the related art, for example, a directional microphone is used to prevent external noise from being input, but it is not considered whether a speaker is approaching the microphone and talking. For this reason, the external noise may convert the voice into wrong code information and cause a malfunction or the like. SUMMARY OF THE INVENTION It is an object of the present invention to solve the problems of the prior art and to provide a speech recognition device which is less susceptible to extraneous noise and can perform accurate speech recognition even when there are a plurality of speakers. I do. [0009] In order to solve the above-mentioned problems, the present invention provides a voice recognition means for recognizing an input voice signal and a reference when recognizing the voice signal by the voice recognition means. Speaker data storage means capable of storing a plurality of pieces of speaker data indicating the characteristics of the voice signal to be recognized in correspondence with the voice signal to be recognized; An identification code indicating whether the data corresponds to the speaker data is received by a radio signal output from an oscillator carried by the speaker and capable of being received within a predetermined range,
Control means for controlling the voice recognition means to recognize the voice signal based on the speaker data indicated by the identification code, wherein the identification code is wirelessly controlled by the voice recognition means.
When the voice recognition means becomes available for reception by the control means,
A voice recognition device is characterized by performing voice recognition . Next, an embodiment of a speech recognition apparatus according to the present invention will be described in detail with reference to the accompanying drawings. FIG.
Referring to FIG. 1, there is shown a functional block diagram showing an embodiment of the speech recognition apparatus according to the present invention. In the present embodiment, a speaker performing voice recognition carries an oscillator that outputs a signal specifying the speaker by any of light, radio waves, and ultrasonic waves. This oscillator constantly oscillates a signal modulated by a speaker code specifying a speaker. That is, in FIG. 1, a speaker A is an oscillator A that oscillates a signal modulated by a code specifying the speaker A, and a speaker B is an oscillator B that oscillates a signal modulated by a code specifying the speaker B. To. . . The speaker n carries an oscillator n for oscillating a signal modulated by a code specifying the speaker n. Note that these oscillators output weak signals that can reach only a few meters, for example, only within a range where voices can be accurately picked up by a microphone. By outputting such a weak signal, the speech recognition process is not executed when the speaker is far from the speech recognition device and the speech contains much external noise. Further, since the output of the oscillator is small, the oscillator can be reduced in size and weight. The speech recognition device includes a microphone (MIC) 10,
It comprises an antenna 12, a receiver 14, a speaker identification circuit 16 and a speech recognition circuit 18. The microphone 10
The microphone is a directional microphone that converts a speaker's voice into a voice signal, and outputs the converted voice signal to the voice recognition circuit 18.
The antenna 12 is connected to each of the oscillators A, B,. . . , N approach the voice recognition device and fall within a predetermined range, and a code for identifying the speaker output from the oscillator is transmitted to the receiver 14. The receiver 14 outputs a code for specifying the speaker output from the oscillator to the speaker identification circuit 16 as a reception signal. Upon input of the received signal, the speaker identification circuit 16 determines that the speaker performing speech recognition is A, B,. . . n, and outputs the speaker identification data of the corresponding speaker to the speech recognition circuit 18. The voice recognition circuit 18 is a circuit for analyzing the spectrum of the voice signal from the microphone 10 and converting it into code information. The speech recognition circuit 18 includes a speaker A data 20-1, a speaker B data 20-2,. . . , Speaker n data 20-n,
The speaker X (A,
B,. . . n) A speech recognition unit 24 that assigns code information based on the data 20 and a switch 22-1 that controls switching between the speaker X data 20 and the speech recognition unit 24 based on speaker identification data output from the speaker identification circuit 16. , 2
2-2,. . . , 22-n. Note that the speech recognition circuit 18 is composed of, for example, a microprocessor or a memory as hardware. Next, the operation of this embodiment will be described with reference to FIG. Here, for convenience of explanation, a case where speaker B performs voice recognition will be described as an example. When the speaker B carrying the oscillator B approaches the voice recognition device and reaches a range where the signal of the oscillator B can be received by the antenna 12, the receiver 14 demodulates the signal transmitted from the oscillator B and outputs a speaker code. And
The signal is output to the speaker identification circuit 16 as a reception signal. When a received signal including a speaker code is input to the speaker identification circuit 16, the speaker code is changed to speaker A.
To n, and outputs the result to the speech recognition circuit 18 as speaker identification data. Therefore, in this case, the speaker identification circuit 16 outputs the speaker identification data indicating the speaker B to the speech recognition circuit 18. When the speaker recognition data indicating the speaker B is input, the voice recognition circuit 18 sets only the switch 22-2 to the make state, and connects the speaker B data 20-2 and the voice recognition unit 24. When the speaker B speaks into the microphone 10, the voice of the speaker B becomes a voice signal and becomes a voice signal.
Is input to the voice recognition unit 24. Upon input of the voice signal, the voice recognition unit 24 performs a spectrum analysis of the voice signal, compares the analysis result with the speaker B data 20-2, recognizes the voice, and converts the signal into code information. As described above in detail, according to the present embodiment, a voice (radio wave, light, ultrasonic wave, etc.) receiver is combined with a speech recognition apparatus, and a plurality of registered speakers are used. , The corresponding speaker is identified and the voice recognition process is executed. Therefore, the accuracy rate of the speech recognition can be made extremely high, and the load of the recognition processing can be reduced, thereby enabling high-speed processing. In addition, since no voice recognition is performed when the speaker is not nearby, malfunction due to external noise can be minimized. In the above embodiment, an example is shown in which the speaker codes correspond to the speakers on a one-to-one basis. However, the present invention is not particularly limited to this. You may correspond. That is, for example, it may be divided into a Japanese group and an English group, a male group and a female group, or a Kansai dialect group and a standard language group. By dividing into similar speech groups in this way, it can be expected that the speech recognition rate is increased as compared with the case where grouping is not performed. In this embodiment, the oscillator carried by the speaker always oscillates a signal. However, the voice recognition device outputs a plurality of high frequencies, for example, so that the oscillator oscillates when it resonates. You may. In this case, if the resonance frequency of the speaker is changed, the speaker can be identified based on the resonance frequency. In addition, if radiated radio waves are used as a power source, no power source is required on the oscillator side. The switch 2 described in the present embodiment
2 can be realized by either software or hardware by an electric circuit. Furthermore, in the present embodiment, the case where there are a plurality of speaker data has been described as an example, but the number of speaker data may be one. As described above, according to the speech recognition apparatus of the present invention, speech recognition is performed when the speaker approaches the microphone, so that occurrence of erroneous recognition due to the influence of external noise is expected to be suppressed. it can. In addition, even when performing speech recognition for multiple speakers, since the speech recognition is performed after selecting the speaker data indicating the characteristics of the speech signal, it is necessary to maintain a high recognition rate including ambiguous expressions unique to the speakers. And a high-speed recognition process can be performed.

【図面の簡単な説明】 【図1】本発明による音声認識装置の実施の形態を示す
機能ブロック図。 【符号の説明】 10 マイク 12 アンテナ 14 受信器 16 話者識別回路 18 音声認識回路 20−1〜20−n 話者データ 22−1〜22−n スイッチ 24 音声認識部
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a functional block diagram showing an embodiment of a speech recognition device according to the present invention. [Description of Signs] 10 Microphone 12 Antenna 14 Receiver 16 Speaker identification circuit 18 Voice recognition circuit 20-1 to 20-n Speaker data 22-1 to 22-n Switch 24 Voice recognition unit

Claims (1)

(57)【特許請求の範囲】 【請求項1】 入力した音声信号を認識する音声認識手
段と、 前記音声認識手段で前記音声信号を認識する際に参照さ
れる音声信号の特徴を示す話者データを、認識する音声
信号に対応して複数格納することができる話者データ格
納手段と、 前記認識する音声信号が前記話者データ格納手段の中の
どの話者データに該当するかを示す識別コードを、話者
が携帯する発振器から出力され所定範囲内において受信
可能となる無線信号によって受信し、この識別コードに
示された前記話者データにより前記音声信号の認識を前
記音声認識手段で行うように制御する制御手段とを有
前記識別コードが無線により前記制御手段で受信可能に
なったときに前記音声認識手段が音声認識を行う ことを
特徴とする音声認識装置。
(57) [Claims 1] Speech recognition means for recognizing an input speech signal, and a speaker showing characteristics of a speech signal referred to when the speech signal is recognized by the speech recognition means. Speaker data storage means capable of storing a plurality of data in correspondence with a speech signal to be recognized; identification indicating which speaker data in the speaker data storage means the recognized speech signal corresponds to Code the speaker
Is controlled by a voice signal output from a portable oscillator and received by a radio signal which can be received within a predetermined range, and the voice recognition unit performs recognition of the voice signal based on the speaker data indicated by the identification code. and means, receivable in said identification code by said control means by radio
A voice recognition device for performing voice recognition when the voice recognition device is turned off .
JP17729197A 1997-07-02 1997-07-02 Voice recognition device Expired - Fee Related JP3481084B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17729197A JP3481084B2 (en) 1997-07-02 1997-07-02 Voice recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17729197A JP3481084B2 (en) 1997-07-02 1997-07-02 Voice recognition device

Publications (2)

Publication Number Publication Date
JPH1124691A JPH1124691A (en) 1999-01-29
JP3481084B2 true JP3481084B2 (en) 2003-12-22

Family

ID=16028462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17729197A Expired - Fee Related JP3481084B2 (en) 1997-07-02 1997-07-02 Voice recognition device

Country Status (1)

Country Link
JP (1) JP3481084B2 (en)

Also Published As

Publication number Publication date
JPH1124691A (en) 1999-01-29

Similar Documents

Publication Publication Date Title
US4426733A (en) Voice-controlled operator-interacting radio transceiver
EP3312831B1 (en) Low power detection of an activation phrase
JP3697748B2 (en) Terminal, voice recognition device
US4525793A (en) Voice-responsive mobile status unit
WO2003058606A1 (en) Translation device with planar microphone array
JP2009300537A (en) Speech actuation system, speech actuation method and in-vehicle device
WO2005114652A1 (en) Speech recognition system
CN106385645B (en) Wireless microphone system
CN106896933A (en) Phonetic entry is converted into method, device and the voice-input device of text input
KR101874946B1 (en) home network system
JP3481084B2 (en) Voice recognition device
KR102303699B1 (en) Processing method based on voice recognition for aircraft
KR102283196B1 (en) Processing method based on voice recognition for aircraft
CN109830239B (en) Speech processing device, speech recognition input system, and speech recognition input method
CN207219024U (en) A kind of remote-control radio wheat connects control system
JPH04167695A (en) Remote control system
JPH02171098A (en) Voice recognition remote controller
JP2000311077A (en) Sound information input device
US20230386491A1 (en) Artificial intelligence device
US20240112676A1 (en) Apparatus performing based on voice recognition and artificial intelligence and method for controlling thereof
CN113628617A (en) Intelligent voice equipment control method based on millimeter wave radar
JP5352382B2 (en) Electronics
JP2002196790A (en) Data transmitter for speech recognition, and speech recognition system
JP2005275887A (en) Automatic translation system and automatic translation method
KR20210043107A (en) Method of communication between different electronic device, server and electronic device that support them

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081010

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081010

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091010

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091010

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101010

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees