JP4778008B2 - 混同音の生成および検知の方法およびシステム - Google Patents
混同音の生成および検知の方法およびシステム Download PDFInfo
- Publication number
- JP4778008B2 JP4778008B2 JP2008021153A JP2008021153A JP4778008B2 JP 4778008 B2 JP4778008 B2 JP 4778008B2 JP 2008021153 A JP2008021153 A JP 2008021153A JP 2008021153 A JP2008021153 A JP 2008021153A JP 4778008 B2 JP4778008 B2 JP 4778008B2
- Authority
- JP
- Japan
- Prior art keywords
- chinese
- confusion
- confusion sound
- sound
- syllables
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000011218 segmentation Effects 0.000 claims description 44
- 241001672694 Citrus reticulata Species 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/027—Syllables being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/221—Announcement of recognition results
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- Machine Translation (AREA)
Description
と、リアルタイムで音声の矯正を行う音声矯正モジュールと、を備えることを特徴とする混同音の生成および検知のシステムを提供する。
る標準中国語の音節bよりも高いとき、標準中国語の音節aは混同音である。例えば、1つの音声セグメンテーションを行った後の音節が対応する標準中国語の音節が「re(熱)」であり、「le(樂)」のランクが「re(熱)」よりも高いとき、「re(熱)」と「le(樂)」とを学習者が混同していると判断し、混同音である「le(樂)」を探し出すことができる。そして、このランクを基に混同音が生成されたか否かを判断することができる(ステップ140)。続いて、混同音認識ネットワーク内に混同音を加える(ステップ150)。図2Aの状態220に示すように、この際、混同音「le(樂)」が加えられるため、混同音認識ネットワーク内には他のルートが増やされる。続いて、混同音の生成が無くなるまで、ステップ120、130、140を繰り返し、混同音の生成が無くなった時に停止し、これまでに生成された混同音を混同音設定ファイルへ出力する(ステップ160)。
の音声ファイル310から入力されると、音声分割モジュール350が言語データのセグメント化を行い、ビタビ復号演算のフォースアライメントを利用し、混同音認識ネットワーク320により最適ルートを認識して中国語の言語データをセグメント化し、音声セグメンテーションを行った後に各音節の開始時間および終了時間を知ることができる。混同音認識ネットワーク320には、開始時に中国語の言語データの標準音声内容である標準ルートが含まれる。混同音生成モジュール360中で、計算モジュール362が音声セグメンテーションを行った後の各音節と、中国語の音声モデル330の411個の標準中国語の音節とを比較してログ確率を計算した後に、ランクモジュール364がログ確率の高低を基に、標準中国語の音節をランク付けする。1つの標準中国語の音節aのランクが1つの音声セグメンテーション後の音節が対応する標準中国語の音節bよりも高いとき、標準中国語の音節aは混合音であり、学習者がbをaと混同して混同音が生成されると、この混同音は混同音認識ネットワーク320に加えられる。また、混同音が生成されない時は停止し、これまでに生成された混同音の全てが混同音設定ファイル340に出力される。混同音生成モジュール360に混同音が生成されると、音声分割モジュール350は、混同音認識ネットワーク320を介して1本の新たな最適ルートを認識した後に、中国語の言語データをセグメント化し、新たな音声セグメンテーションの結果を得る。同時に新たな音声セグメンテーションの結果を混同音生成モジュール360へ出力し、混同音が生成されたか否かを判断する。
250:最適ルート
270:第1の音声セグメンテーションの結果
280:第2の音声セグメンテーションの結果
310:中国語の音声ファイル
320:混同音認識ネットワーク
330:中国語の音声モデル
340:混同音設定ファイル
350:音声分割モジュール
360:混同音生成モジュール
362:計算モジュール
364:ランクモジュール
370:混同音認識ネットワーク
380:ルート認識モジュール
385:音声矯正モジュール
Claims (18)
- 生成段階および検知段階を含む、コンピュータによって実行される混同音の生成および検知の方法であって、
前記コンピュータは、中国語の音声ファイル、混同音認識ネットワーク、中国語の音声モデル、混同音設定ファイル、音声分割モジュール、混同音生成モジュール、ルート認識モジュール、音声矯正モジュールを備え、
前記生成段階は、
(a)前記中国語の音声ファイルから中国語の言語データが入力されるステップと、
(b)前記音声分割モジュールによって実行されるステップであって、ビタビ復号演算のフォースアライメントを利用し、前記混同音認識ネットワークにより最適ルートを認識し、前記中国語の言語データをセグメント化し、複数の音節である音声セグメンテーションの結果を得るステップと、を含み、
さらに、前記混同音生成モジュールによって実行される(c)、(d)、(e)、(f)のステップであって、
(c)前記音声セグメンテーションの結果と、複数の標準中国語の音節が含まれる前記中国語の音声モデルとを比較するステップと、
(d)前記混同音が生成されたか否かを判断するステップと、
(e)前記混同音が生成された時に、前記混同音が前記混同音認識ネットワークに入力され、ステップ(b)、(c)および(d)を繰り返すステップと、
(f)前記混同音が生成されない時に停止し、これまでに生成された前記混同音の全てを前記混同音設定ファイルへ出力するステップと、を含み、
前記検知段階は、
(g)前記ルート認識モジュールによって実行されるステップであって、学習者が読み上げた中国語語句が入力された後に、前記混同音認識ネットワークによりアライメントを行い、前記中国語語句の最適ルートを決定するステップと、
(h)前記音声矯正モジュールによって実行されるステップであって、前記最適ルートと、標準ルートとを比較し、リアルタイムで音声の矯正を行うステップと、を含み、
前記混同音認識ネットワークは、前記生成段階に出力される前記混同音設定ファイルを基に構築されることを特徴とする混同音の生成および検知の方法。 - 前記中国語の音声モデルは隠れマルコフモデルであることを特徴とする請求項1に記載
の混同音の生成および検知の方法。 - 前記中国語の音声モデルは、411個の前記標準中国語の音節を含むことを特徴とする請求項1に記載の混同音の生成および検知の方法。
- 前記混同音認識ネットワークは、開始時に前記中国語の言語データの標準音声内容である前記標準ルートを含むことを特徴とする請求項1に記載の混同音の生成および検知の方法。
- 前記ステップ(c)は、
各前記複数の音節と、前記複数の標準中国語の音節の全てとを比較し、複数のログ確率を計算するステップと、
前記複数のログ確率の高低を基に、前記複数の標準中国語の音節をランク付けするステップと、
前記複数の標準中国語の音節が存在し、前記複数の標準中国語の音節のランクが各前記複数の音節が対応する前記複数の標準中国語の音節よりも高い時に、前記複数の標準中国語の音節が混同音であると判断するステップと、含むことを特徴とする請求項1に記載の混同音の生成および検知の方法。 - 前記混同音を反復法により繰り返し探し出し、前記混同音認識ネットワークに入力することを特徴とする請求項1に記載の混同音の生成および検知の方法。
- 生成システムおよび検知システムを備える混同音の生成および検知のシステムであって、
前記生成システムは、
中国語の言語データを認識する混同音認識ネットワークと、
複数の標準中国語の音節を提供する中国語の音声モデルと、
生成された混同音全てを保存する混同音設定ファイルと、
前記中国語の言語データを入力し、ビタビ復号演算のフォースアライメントを利用し、前記混同音認識ネットワークにより最適ルートを認識し、前記中国語の言語データをセグメント化し、複数の音節である音声セグメンテーションの結果を得る音声分割モジュールと、
前記音声セグメンテーションの結果と、前記中国語の音声モデルとを比較し、前記混同音が生成されたか否かを判断し、前記混同音が生成された時に、前記混同音が前記混同音認識ネットワークに入力され、前記混同音が生成されない時に停止し、これまでに生成された前記混同音の全てを前記混同音設定ファイルへ出力する混同音生成モジュールと、を備え、
前記混同音生成モジュールに前記混同音が生成されると、前記音声分割モジュールが前記混同音認識ネットワークにより新しい最適ルートを認識してから前記中国語の言語データをセグメント化し、新しい音声セグメンテーションの結果を得るとともに、前記新しい音声セグメンテーションの結果を前記混同音生成モジュールへ出力し、前記混同音が生成されたか否かを判断し、
前記検知システムは、
学習者が読み上げた中国語語句を認識し、前記生成システムから出力される前記混同音設定ファイルを基に構築された前記混同音認識ネットワークと、
ビタビ復号演算のフォースアライメントを利用し、前記中国語語句の最適ルートを決定するルート認識モジュールと、
リアルタイムで音声の矯正を行う音声矯正モジュールと、を備えることを特徴とする混同音の生成および検知のシステム。 - 前記中国語の音声モデルは隠れマルコフモデルであることを特徴とする請求項7に記載の混同音の生成および検知のシステム。
- 前記中国語の音声モデルは、411個の前記標準中国語の音節を含むことを特徴とする請求項7に記載の混同音の生成および検知のシステム。
- 前記混同音認識ネットワークは、開始時に前記中国語の言語データの標準音声内容である標準ルートを含むことを特徴とする請求項7に記載の混同音の生成および検知のシステム。
- 前記混同音生成モジュールは、
各前記複数の音節と、前記複数の標準中国語の音節の全てとを比較し、複数のログ確率を計算する計算モジュールと、
前記複数のログ確率の高低を基に、前記複数の標準中国語の音節をランク付けし、前記複数の標準中国語の音節が存在し、前記複数の標準中国語の音節のランクが各前記複数の音節の対応する前記複数の標準中国語の音節よりも高い時に、前記複数の標準中国語の音節が混同音であると判断するランクモジュールと、を備えることを特徴とする請求項7に記載の混同音の生成および検知のシステム。 - 前記混同音を反復法により繰り返し探し出し、前記混同音認識ネットワークに入力することを特徴とする請求項7に記載の混同音の生成および検知のシステム。
- 混同音の生成および検知を実行する生成段階および検知段階をコンピュータに実行させるプログラムを記録したコンピュータにより読み取り可能な記録媒体であって、
前記コンピュータは、中国語の音声ファイル、混同音認識ネットワーク、中国語の音声モデル、混同音設定ファイル、音声分割モジュール、混同音生成モジュール、ルート認識モジュール、音声矯正モジュールを備え、
前記生成段階は、
(a)前記中国語の音声ファイルから中国語の言語データが入力されるステップと、
(b)前記音声分割モジュールによって実行されるステップであって、ビタビ復号演算のフォースアライメントを利用し、前記混同音認識ネットワークにより最適ルートを認識し、前記中国語の言語データをセグメント化し、複数の音節である音声セグメンテーションの結果を得るステップと、を含み、
さらに、前記混同音生成モジュールによって実行される(c)、(d)、(e)、(f)のステップであって、
(c)前記音声セグメンテーションの結果と、複数の標準中国語の音節が含まれる前記中国語の音声モデルとを比較するステップと、
(d)前記混同音が生成されたか否かを判断するステップと、
(e)前記混同音が生成された時に、前記混同音が前記混同音認識ネットワークに入力され、ステップ(b)、(c)および(d)を繰り返すステップと、
(f)前記混同音が生成されない時に停止し、これまでに生成された前記混同音の全てを前記混同音設定ファイルへ出力するステップと、を含み、
前記検知段階は、
(g)前記ルート認識モジュールによって実行されるステップであって、学習者が読み上げた中国語語句が入力された後に、前記混同音認識ネットワークによりアライメントを行い、前記中国語語句の最適ルートを決定するステップと、
(h)前記音声矯正モジュールによって実行されるステップであって、前記最適ルートと、標準ルートとを比較し、リアルタイムで音声の矯正を行うステップと、を含み、
前記混同音認識ネットワークは、前記生成段階に出力される前記混同音設定ファイルを基に構築されることを特徴とする記録媒体。 - 前記中国語の音声モデルは隠れマルコフモデルであることを特徴とする請求項13に記載の記録媒体。
- 前記中国語の音声モデルは、411個の前記標準中国語の音節を含むことを特徴とする請求項13に記載の記録媒体。
- 前記混同音認識ネットワークは、開始時に前記中国語の言語データの標準音声内容である前記標準ルートを含むことを特徴とする請求項13に記載の記録媒体。
- 前記ステップ(c)は、
各前記複数の音節と、前記複数の標準中国語の音節の全てとを比較し、複数のログ確率を計算するステップと、
前記複数のログ確率の高低を基に、前記複数の標準中国語の音節をランク付けするステップと、
前記複数の標準中国語の音節が存在する時に、前記複数の標準中国語の音節のランクが各前記複数の音節が対応する前記複数の標準中国語の音節よりも高い時に、前記複数の標準中国語の音節が前記混同音であると判断するステップと、含むことを特徴とする請求項13に記載の記録媒体。 - 前記混同音を反復法により繰り返し探し出し、前記混同音認識ネットワークに入力することを特徴とする請求項13に記載の記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW096147276 | 2007-12-11 | ||
TW096147276A TW200926140A (en) | 2007-12-11 | 2007-12-11 | Method and system of generating and detecting confusion phones of pronunciation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009145853A JP2009145853A (ja) | 2009-07-02 |
JP4778008B2 true JP4778008B2 (ja) | 2011-09-21 |
Family
ID=40722538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008021153A Active JP4778008B2 (ja) | 2007-12-11 | 2008-01-31 | 混同音の生成および検知の方法およびシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7996209B2 (ja) |
JP (1) | JP4778008B2 (ja) |
TW (1) | TW200926140A (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI336880B (en) * | 2007-06-11 | 2011-02-01 | Univ Nat Taiwan | Voice processing methods and systems, and machine readable medium thereof |
US8180641B2 (en) * | 2008-09-29 | 2012-05-15 | Microsoft Corporation | Sequential speech recognition with two unequal ASR systems |
KR101217524B1 (ko) * | 2008-12-22 | 2013-01-18 | 한국전자통신연구원 | 고립어 엔베스트 인식결과를 위한 발화검증 방법 및 장치 |
CN102163428A (zh) * | 2011-01-19 | 2011-08-24 | 无敌科技(西安)有限公司 | 汉语发音判断方法 |
CN103065633B (zh) * | 2012-12-27 | 2015-01-14 | 安徽科大讯飞信息科技股份有限公司 | 一种语音识别解码效率优化方法 |
US9317499B2 (en) * | 2013-04-11 | 2016-04-19 | International Business Machines Corporation | Optimizing generation of a regular expression |
JP6596924B2 (ja) * | 2014-05-29 | 2019-10-30 | 日本電気株式会社 | 音声データ処理装置、音声データ処理方法、及び、音声データ処理プログラム |
GB201706078D0 (en) | 2017-04-18 | 2017-05-31 | Univ Oxford Innovation Ltd | System and method for automatic speech analysis |
JP6840858B2 (ja) * | 2017-09-26 | 2021-03-10 | 日本電信電話株式会社 | 発音誤り検出装置、発音誤り検出方法、プログラム |
CN107895578B (zh) * | 2017-11-15 | 2021-07-20 | 百度在线网络技术(北京)有限公司 | 语音交互方法和装置 |
CN109994106B (zh) * | 2017-12-29 | 2023-06-23 | 阿里巴巴集团控股有限公司 | 一种语音处理方法及设备 |
EP3544001B8 (en) * | 2018-03-23 | 2022-01-12 | Articulate.XYZ Ltd | Processing speech-to-text transcriptions |
US11043213B2 (en) * | 2018-12-07 | 2021-06-22 | Soundhound, Inc. | System and method for detection and correction of incorrectly pronounced words |
CN111951825A (zh) * | 2019-05-16 | 2020-11-17 | 上海流利说信息技术有限公司 | 一种发音测评方法、介质、装置和计算设备 |
CN111128172B (zh) * | 2019-12-31 | 2022-12-16 | 达闼机器人股份有限公司 | 一种语音识别方法、电子设备和存储介质 |
CN111862958B (zh) * | 2020-08-07 | 2024-04-02 | 广州视琨电子科技有限公司 | 发音***错误检测方法、装置、电子设备及存储介质 |
CN111862960B (zh) * | 2020-08-07 | 2024-04-30 | 广州视琨电子科技有限公司 | 发音错误检测方法、装置、电子设备及存储介质 |
CN111862959B (zh) * | 2020-08-07 | 2024-04-19 | 广州视琨电子科技有限公司 | 发音错误检测方法、装置、电子设备及存储介质 |
CN112967711B (zh) * | 2021-02-02 | 2022-04-01 | 早道(大连)教育科技有限公司 | 一种针对小语种口语发音评价方法、***及存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4500872A (en) * | 1982-03-18 | 1985-02-19 | Dai-E Systems, Inc. | Method for encoding Chinese characters |
US5751905A (en) * | 1995-03-15 | 1998-05-12 | International Business Machines Corporation | Statistical acoustic processing method and apparatus for speech recognition using a toned phoneme system |
JP2001166789A (ja) * | 1999-12-10 | 2001-06-22 | Matsushita Electric Ind Co Ltd | 初頭/末尾の音素類似度ベクトルによる中国語の音声認識方法及びその装置 |
US20060074664A1 (en) * | 2000-01-10 | 2006-04-06 | Lam Kwok L | System and method for utterance verification of chinese long and short keywords |
JP2004334164A (ja) * | 2002-10-24 | 2004-11-25 | Toshimasa Ishihara | 英語の音素「l」及び「r」の発音及び識別学習装置 |
TW200506764A (en) | 2003-08-05 | 2005-02-16 | Wen-Fu Peng | Interactive language learning method with speech recognition |
US7590533B2 (en) * | 2004-03-10 | 2009-09-15 | Microsoft Corporation | New-word pronunciation learning using a pronunciation graph |
US20070033042A1 (en) * | 2005-08-03 | 2007-02-08 | International Business Machines Corporation | Speech detection fusing multi-class acoustic-phonetic, and energy features |
JP2007148170A (ja) * | 2005-11-29 | 2007-06-14 | Cai Media Kyodo Kaihatsu:Kk | 外国語学習支援システム |
-
2007
- 2007-12-11 TW TW096147276A patent/TW200926140A/zh unknown
-
2008
- 2008-01-31 JP JP2008021153A patent/JP4778008B2/ja active Active
- 2008-02-12 US US12/068,830 patent/US7996209B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US7996209B2 (en) | 2011-08-09 |
TW200926140A (en) | 2009-06-16 |
US20090150154A1 (en) | 2009-06-11 |
JP2009145853A (ja) | 2009-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4778008B2 (ja) | 混同音の生成および検知の方法およびシステム | |
US8019602B2 (en) | Automatic speech recognition learning using user corrections | |
US8818813B2 (en) | Methods and system for grammar fitness evaluation as speech recognition error predictor | |
Tachbelie et al. | Using different acoustic, lexical and language modeling units for ASR of an under-resourced language–Amharic | |
CN109979484B (zh) | 发音检错方法、装置、电子设备及存储介质 | |
JP2015026057A (ja) | インタラクティブキャラクター基盤の外国語学習装置及び方法 | |
Qian et al. | Capturing L2 segmental mispronunciations with joint-sequence models in computer-aided pronunciation training (CAPT) | |
US20140205974A1 (en) | Statistical machine translation framework for modeling phonological errors in computer assisted pronunciation training system | |
CN110930993A (zh) | 特定领域语言模型生成方法及语音数据标注*** | |
JP2011002656A (ja) | 音声認識結果修正候補検出装置、音声書き起こし支援装置、方法及びプログラム | |
CN112331229B (zh) | 语音检测方法、装置、介质和计算设备 | |
CN112489626A (zh) | 一种信息识别方法、装置及存储介质 | |
US20220199071A1 (en) | Systems and Methods for Speech Validation | |
CN115455946A (zh) | 语音识别纠错方法、装置、电子设备和存储介质 | |
Tanaka et al. | Neural speech-to-text language models for rescoring hypotheses of dnn-hmm hybrid automatic speech recognition systems | |
CN114386399A (zh) | 一种文本纠错方法及装置 | |
CN112530405B (zh) | 一种端到端语音合成纠错方法、***及装置 | |
CN113822052A (zh) | 一种文本错误检测方法、装置、电子设备及存储介质 | |
CN111508522A (zh) | 一种语句分析处理方法及*** | |
CN111128181B (zh) | 背诵题评测方法、装置以及设备 | |
CN114203158A (zh) | 一种儿童中文口语评测和检错纠错方法及装置 | |
Baranwal et al. | Improved Mispronunciation detection system using a hybrid CTC-ATT based approach for L2 English speakers | |
US11341961B2 (en) | Multi-lingual speech recognition and theme-semanteme analysis method and device | |
KR102374405B1 (ko) | Ai 면접 환경에서의 음성 인식 후처리 장치 및 방법 | |
TWI731493B (zh) | 多語語音辨識及主題語意分析方法與裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4778008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |