JP4246703B2 - 自動音声認識の方法 - Google Patents
自動音声認識の方法 Download PDFInfo
- Publication number
- JP4246703B2 JP4246703B2 JP2004526650A JP2004526650A JP4246703B2 JP 4246703 B2 JP4246703 B2 JP 4246703B2 JP 2004526650 A JP2004526650 A JP 2004526650A JP 2004526650 A JP2004526650 A JP 2004526650A JP 4246703 B2 JP4246703 B2 JP 4246703B2
- Authority
- JP
- Japan
- Prior art keywords
- garbage
- keyword
- model
- models
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 60
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000012805 post-processing Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
- Machine Translation (AREA)
- Telephone Function (AREA)
Description
−複数のガーベイジ・モデルを通り、入力音声の一部と最も良く一致する経路が検出され、
−ガーベイジ・シーケンス・モデルがその経路に含まれている場合は、その経路に対して尤度が計算され、
−尤度が閾値より上にある場合は、入力音声の一部を認識されるべきキーワードとして査定するため、複数のガーベイジ・モデルを通るその経路が、ガーベイジ・シーケンス・モデルとして仮定される。
Claims (23)
- 少なくとも1つのキーワード・モデルと複数のガーベイジ・モデルとガーベイジ・シーケンス・モデルとにより入力音声からキーワードを認識する方法において、
認識されるべきキーワードを表すキーワードの音声と、前記複数のガーベイジ・モデルとを比較するとともに、前記複数のガーベイジ・モデルから、認識されるべきキーワードと最も良く一致する一連の連続ガーベイジ・モデルを検出することによって、予め該一連の連続ガーベイジ・モデルを前記ガーベイジ・シーケンス・モデルとして決定し、
入力音声の一部が前記キーワード・モデルまたは前記ガーベイジ・シーケンス・モデルと最も良く一致する場合は、前記入力音声の一部を認識されるべきキーワードとして査定する方法。 - 少なくとも1つのキーワード・モデルと複数のガーベイジ・モデルとガーベイジ・シーケンス・モデルとにより入力音声からキーワードを認識する方法において、
認識されるべきキーワードを表すキーワードの音声と、前記複数のガーベイジ・モデルとを比較するとともに、前記複数のガーベイジ・モデルから、認識されるべきキーワードと最も良く一致する一連の連続ガーベイジ・モデルを検出することによって、予め該一連の連続ガーベイジ・モデルを前記ガーベイジ・シーケンス・モデルとして決定し、
前記入力音声と最も良く一致する複数のガーベイジ・モデルの経路を検出すると、前記ガーベイジ・シーケンス・モデルが前記経路の中に含まれている尤度を計算し、
前記尤度が閾値より上の場合、前記経路がガーベイジ・シーケンス・モデルとして仮定され、前記入力音声の一部を認識されるべきキーワードとして査定する方法。 - 請求項2に記載の方法において、前記尤度は、あるガーベイジ・モデルjが与えられた場合にガーベイジ・モデルiとして認識される確率をP(i|j)とし、i≠jでi、jを整数とするガーベイジ・モデル・コンフュージョン・マトリックスを用いて計算される前記方法。
- 請求項3に記載の方法において、前記尤度は、ダイナミックプログラミングの手法を用いて計算される前記方法。
- 請求項1から請求項4のいずれかに記載の方法において、前記キーワードの音声は、一人の話者から収集された音声である前記方法。
- 請求項1から請求項4のいずれかに記載の方法において、前記キーワードの音声は、複数の話者の抽出標本から収集された音声である前記方法。
- 請求項1から請求項6のいずれかに記載の方法において、
−前記ガーベイジ・シーケンス・モデルは、前記複数のガーベイジ・モデルのいずれの経路に対しても特権が与えられ、
−入力音声の一部が前記一連の連続ガーベイジ・モデルと最も良く一致すると、前記ガーベイジ・シーケンス・モデルが選択され、前記入力音声の一部を、認識されるべきキーワードとして査定する方法。 - 請求項1から請求項7のいずれかに記載の方法であって、更に、
−前記複数のガーベイジ・モデルを用いて、予め一連の連続ガーベイジ・モデルであるいくつかのさらなるガーベイジ・シーケンス・モデルを決定し、
−前記入力音声の一部が前記いくつかのさらなるガーベイジ・シーケンス・モデルのいずれかと最も良く一致する場合は、前記入力音声の一部を、認識されるべきキーワードとして査定する、前記方法。 - 請求項8に記載の方法において、前記ガーベイジ・シーケンス・モデルは、
−ガーベイジ・シーケンス・モデルごとに、キーワードを表す確率値を計算するとともに、
−前記確率値がある閾値以上であるガーベイジ・シーケンス・モデルを選択することによって、
決定される前記方法。 - 請求項1から請求項9のいずれかに記載の方法において、認識されるべき新しいキーワードのためにキーワード・モデルを生成する場合に、少なくとも1つのガーベイジ・シーケンス・モデルを決定しておく前記方法。
- 請求項1から請求項10のいずれか1項に記載の方法を計算装置に実行させるコンピュータプログラム。
- 請求項11に記載のコンピュータプログラムを格納したコンピュータ可読記録媒体。
- 入力音声からキーワードを認識する自動音声認識装置100であって、
−マイクロフォン(210)に向かって発話され、AD変換器の中で変換されるデジタル信号を、パラメトリック記述に変換することができる前処理部分(110)と、
−キーワード・モデル、SILモデル、複数のガーベイジ・モデル、および前記複数のガーベイジ・モデルを用いて決定した一連の連続したガーベイジ・モデルであるガーベイジ・シーケンス・モデルを格納可能なメモリ部分(130)であって、前記ガーベイジ・シーケンス・モデルは、認識されるべきキーワードを表すキーワードの音声と、前記複数のガーベイジ・モデルとを比較するとともに、前記複数のガーベイジ・モデルから、認識されるべきキーワードと最も良く一致する一連の連続ガーベイジ・モデルを検出することによって決定される、メモリ部分(130)と、
−前記入力音声の前記パラメトリック記述と、前記格納されたキーワード・モデル、ガーベイジ・モデルおよびガーベイジ・シーケンス・モデルを比較可能であるパターン整合器(120)と、
−前記パターン整合器(120)による比較結果から、前記入力音声の少なくとも一部に当たるパラメトリック記述が前記メモリ部分(130)に格納されているキーワード・モデル又はガーベイジ・シーケンス・モデルの1つと一致すると、該パラメトリック記述に対応する入力音声の少なくとも一部を認識されるべきキーワードとして査定し、該キーワードを認識結果としてユーザに提示するコントローラ部分(140)と、
を含む自動音声認識装置。 - 請求項13に記載の自動音声認識装置であって、更に、
−前記入力音声と最も良く一致する複数のガーベイジ・モデルの経路を検出すると、前記ガーベイジ・シーケンス・モデルが前記経路の中に含まれている尤度を計算し、
−前記尤度が閾値より上の場合、前記経路がガーベイジ・シーケンス・モデルとして仮定され、前記入力音声の一部を認識されるべきキーワードとして査定する自動音声認識装置。 - 請求項14に記載の自動音声認識装置において、前記尤度は、あるガーベイジ・モデルjが与えられた場合にガーベイジ・モデルiとして認識される確率をP(i|j)とし、i≠jでi、jを整数とするガーベイジ・モデル・コンフュージョン・マトリックスを用いて計算される自動音声認識装置。
- 請求項15に記載の自動音声認識装置において、前記尤度は、ダイナミックプログラミングの手法を用いて計算される自動音声認識装置。
- 請求項13から請求項16のいずれかに記載の自動音声認識装置において、前記キーワードの音声は、一人の話者から収集された音声である自動音声認識装置。
- 請求項13から請求項16のいずれかに記載の自動音声認識装置において、前記キーワードの音声は、複数の話者の抽出標本から収集された音声である自動音声認識装置。
- 請求項13から請求項18のいずれかに記載の自動音声認識装置において、
−前記ガーベイジ・シーケンス・モデルは、前記複数のガーベイジ・モデルのいずれの経路に対しても特権が与えられ、
−入力音声の一部が前記一連の連続ガーベイジ・モデルと最も良く一致すると、前記ガーベイジ・シーケンス・モデルが選択され、前記入力音声の一部を、認識されるべきキーワードとして査定する自動音声認識装置。 - 請求項13から請求項19のいずれかに記載の自動音声認識装置であって、更に、
−前記複数のガーベイジ・モデルを用いて、予め一連の連続ガーベイジ・モデルであるいくつかのさらなるガーベイジ・シーケンス・モデルを決定し、
−前記入力音声の一部が前記いくつかのさらなるガーベイジ・シーケンス・モデルのいずれかと最も良く一致する場合は、前記入力音声の一部を、認識されるべきキーワードとして査定する、自動音声認識装置。 - 請求項20に記載の自動音声認識装置において、前記ガーベイジ・シーケンス・モデルは、
−ガーベイジ・シーケンス・モデルごとに、キーワードを表す確率値を計算するとともに、
−前記確率値がある閾値以上であるガーベイジ・シーケンス・モデルを選択することによって、
決定される自動音声認識装置。 - 請求項13から請求項21のいずれかに記載の自動音声認識装置において、認識されるべき新しいキーワードのためにキーワード・モデルを生成する場合に、少なくとも1つのガーベイジ・シーケンス・モデルを決定しておく自動音声認識装置。
- 請求項13から請求項22のいずれかに記載の自動音声認識装置を備えた移動機器において、該移動機器は、移動電話機である移動機器。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2002/008585 WO2004015686A1 (en) | 2002-08-01 | 2002-08-01 | Method for automatic speech recognition |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005534983A JP2005534983A (ja) | 2005-11-17 |
JP2005534983A5 JP2005534983A5 (ja) | 2008-05-22 |
JP4246703B2 true JP4246703B2 (ja) | 2009-04-02 |
Family
ID=31502672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004526650A Expired - Fee Related JP4246703B2 (ja) | 2002-08-01 | 2002-08-01 | 自動音声認識の方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20050273334A1 (ja) |
EP (1) | EP1525577B1 (ja) |
JP (1) | JP4246703B2 (ja) |
CN (1) | CN1639768B (ja) |
AU (1) | AU2002325930A1 (ja) |
DE (1) | DE60212725T2 (ja) |
WO (1) | WO2004015686A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7617094B2 (en) | 2003-02-28 | 2009-11-10 | Palo Alto Research Center Incorporated | Methods, apparatus, and products for identifying a conversation |
US7698141B2 (en) * | 2003-02-28 | 2010-04-13 | Palo Alto Research Center Incorporated | Methods, apparatus, and products for automatically managing conversational floors in computer-mediated communications |
KR100883652B1 (ko) * | 2006-08-03 | 2009-02-18 | 삼성전자주식회사 | 음성 구간 검출 방법 및 장치, 및 이를 이용한 음성 인식시스템 |
CN101166159B (zh) * | 2006-10-18 | 2010-07-28 | 阿里巴巴集团控股有限公司 | 一种确定垃圾信息的方法及*** |
JP4951422B2 (ja) * | 2007-06-22 | 2012-06-13 | 日産自動車株式会社 | 音声認識装置、および音声認識方法 |
DE102007033472A1 (de) * | 2007-07-18 | 2009-01-29 | Siemens Ag | Verfahren zur Spracherkennung |
US8527263B2 (en) * | 2008-07-01 | 2013-09-03 | International Business Machines Corporation | Method and system for automatically generating reminders in response to detecting key terms within a communication |
JP5243886B2 (ja) * | 2008-08-11 | 2013-07-24 | 旭化成株式会社 | 字幕出力装置、字幕出力方法及びプログラム |
US8180641B2 (en) * | 2008-09-29 | 2012-05-15 | Microsoft Corporation | Sequential speech recognition with two unequal ASR systems |
CN101447185B (zh) * | 2008-12-08 | 2012-08-08 | 深圳市北科瑞声科技有限公司 | 一种基于内容的音频快速分类方法 |
KR101122590B1 (ko) | 2011-06-22 | 2012-03-16 | (주)지앤넷 | 음성 데이터 분할에 의한 음성 인식 장치 및 방법 |
KR101330671B1 (ko) | 2012-09-28 | 2013-11-15 | 삼성전자주식회사 | 전자장치, 서버 및 그 제어방법 |
CN103971685B (zh) * | 2013-01-30 | 2015-06-10 | 腾讯科技(深圳)有限公司 | 语音命令识别方法和*** |
US10360904B2 (en) | 2014-05-09 | 2019-07-23 | Nuance Communications, Inc. | Methods and apparatus for speech recognition using a garbage model |
GB201408302D0 (en) * | 2014-05-12 | 2014-06-25 | Jpy Plc | Unifying text and audio |
CN105096939B (zh) * | 2015-07-08 | 2017-07-25 | 百度在线网络技术(北京)有限公司 | 语音唤醒方法和装置 |
CN105161096B (zh) * | 2015-09-22 | 2017-05-10 | 百度在线网络技术(北京)有限公司 | 基于垃圾模型的语音识别处理方法及装置 |
CN106653022B (zh) * | 2016-12-29 | 2020-06-23 | 百度在线网络技术(北京)有限公司 | 基于人工智能的语音唤醒方法和装置 |
CN108564941B (zh) * | 2018-03-22 | 2020-06-02 | 腾讯科技(深圳)有限公司 | 语音识别方法、装置、设备及存储介质 |
US11043218B1 (en) * | 2019-06-26 | 2021-06-22 | Amazon Technologies, Inc. | Wakeword and acoustic event detection |
US11132990B1 (en) * | 2019-06-26 | 2021-09-28 | Amazon Technologies, Inc. | Wakeword and acoustic event detection |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5613037A (en) * | 1993-12-21 | 1997-03-18 | Lucent Technologies Inc. | Rejection of non-digit strings for connected digit speech recognition |
US6125345A (en) * | 1997-09-19 | 2000-09-26 | At&T Corporation | Method and apparatus for discriminative utterance verification using multiple confidence measures |
US6778959B1 (en) * | 1999-10-21 | 2004-08-17 | Sony Corporation | System and method for speech verification using out-of-vocabulary models |
US6654733B1 (en) * | 2000-01-18 | 2003-11-25 | Microsoft Corporation | Fuzzy keyboard |
WO2001084535A2 (en) * | 2000-05-02 | 2001-11-08 | Dragon Systems, Inc. | Error correction in speech recognition |
US6438519B1 (en) * | 2000-05-31 | 2002-08-20 | Motorola, Inc. | Apparatus and method for rejecting out-of-class inputs for pattern classification |
EP1215654B1 (en) * | 2000-12-13 | 2006-05-24 | Sony Deutschland GmbH | Method for recognizing speech |
DE60008893T2 (de) * | 2000-12-14 | 2004-09-09 | Telefonaktiebolaget L M Ericsson (Publ) | Sprachgesteuertes tragbares Endgerät |
JP2003308091A (ja) * | 2002-04-17 | 2003-10-31 | Pioneer Electronic Corp | 音声認識装置、音声認識方法および音声認識プログラム |
-
2002
- 2002-08-01 US US10/521,970 patent/US20050273334A1/en not_active Abandoned
- 2002-08-01 CN CN02829378.9A patent/CN1639768B/zh not_active Expired - Fee Related
- 2002-08-01 DE DE60212725T patent/DE60212725T2/de not_active Expired - Lifetime
- 2002-08-01 WO PCT/EP2002/008585 patent/WO2004015686A1/en active IP Right Grant
- 2002-08-01 JP JP2004526650A patent/JP4246703B2/ja not_active Expired - Fee Related
- 2002-08-01 AU AU2002325930A patent/AU2002325930A1/en not_active Abandoned
- 2002-08-01 EP EP02760303A patent/EP1525577B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE60212725D1 (de) | 2006-08-03 |
WO2004015686A1 (en) | 2004-02-19 |
EP1525577A1 (en) | 2005-04-27 |
US20050273334A1 (en) | 2005-12-08 |
AU2002325930A1 (en) | 2004-02-25 |
EP1525577B1 (en) | 2006-06-21 |
CN1639768B (zh) | 2010-05-26 |
CN1639768A (zh) | 2005-07-13 |
JP2005534983A (ja) | 2005-11-17 |
DE60212725T2 (de) | 2007-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4246703B2 (ja) | 自動音声認識の方法 | |
US8694316B2 (en) | Methods, apparatus and computer programs for automatic speech recognition | |
US7228275B1 (en) | Speech recognition system having multiple speech recognizers | |
US20220343895A1 (en) | User-defined keyword spotting | |
EP1936606A1 (en) | Multi-stage speech recognition | |
US20100057453A1 (en) | Voice activity detection system and method | |
US8731925B2 (en) | Solution that integrates voice enrollment with other types of recognition operations performed by a speech recognition engine using a layered grammar stack | |
KR20080107376A (ko) | 화자 독립 음성 인식을 구비한 통신 장치 | |
JP2011170087A (ja) | 音声認識装置 | |
US20070129945A1 (en) | Voice quality control for high quality speech reconstruction | |
JPH11184491A (ja) | 音声認識装置 | |
JP2004251998A (ja) | 対話理解装置 | |
KR20210000802A (ko) | 인공지능 음성 인식 처리 방법 및 시스템 | |
JP4408665B2 (ja) | 音声認識用発話データ収集装置、音声認識用発話データ収集方法、及びコンピュータプログラム | |
JP2003058184A (ja) | 機器制御システム、音声認識装置及び方法、並びにプログラム | |
JP3846500B2 (ja) | 音声認識対話装置および音声認識対話処理方法 | |
KR20050021583A (ko) | 자동 음성 인식을 위한 방법 | |
KR100677224B1 (ko) | 안티워드 모델을 이용한 음성인식 방법 | |
JPWO2019030810A1 (ja) | 音声認識装置および音声認識方法 | |
JPH0546196A (ja) | 音声認識装置 | |
JP2008107408A (ja) | 音声認識装置 | |
JP3841342B2 (ja) | 音声認識装置および音声認識プログラム | |
JP2004004182A (ja) | 音声認識装置、音声認識方法及び音声認識プログラム | |
JPH0635495A (ja) | 音声認識装置 | |
KR101195742B1 (ko) | 키워드별 필러 모델을 구비하는 키워드 검출 시스템 및 키워드별 필러 모델 구현 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060331 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060331 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080206 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080214 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080312 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20080313 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080319 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20080313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081212 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090108 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4246703 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |