JP4981076B2 - 発音辞書修正装置、音声認識装置、およびコンピュータプログラム - Google Patents
発音辞書修正装置、音声認識装置、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP4981076B2 JP4981076B2 JP2009021942A JP2009021942A JP4981076B2 JP 4981076 B2 JP4981076 B2 JP 4981076B2 JP 2009021942 A JP2009021942 A JP 2009021942A JP 2009021942 A JP2009021942 A JP 2009021942A JP 4981076 B2 JP4981076 B2 JP 4981076B2
- Authority
- JP
- Japan
- Prior art keywords
- pronunciation
- group
- data
- storage unit
- occurrence probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims description 46
- 238000004590 computer program Methods 0.000 title claims description 5
- 238000009499 grossing Methods 0.000 claims description 83
- 238000012545 processing Methods 0.000 claims description 72
- 238000003860 storage Methods 0.000 claims description 58
- 238000000034 method Methods 0.000 claims description 50
- 230000008859 change Effects 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 37
- 238000012360 testing method Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000013500 data storage Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000013518 transcription Methods 0.000 description 3
- 230000035897 transcription Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Description
また、本発明によれば、適応的に、最適なスムージング係数を決定することができ、更なる認識精度向上につながる。
[第1の実施の形態]
図1は、第1の実施形態による発音辞書修正装置の機能構成を示すブロック図である。図示するように、発音辞書修正装置101は、学習データセット処理部4と、変化パターン定義記憶部5と、発音グルーピング処理部6と、スムージング係数記憶部7と、グループ生起確率算出部8と、辞書修正処理部9とを含んで構成される。変化パターン定義記憶部5やスムージング係数記憶部7は、例えば、書き換え可能な半導体メモリや、磁気ハードディスク装置を用いて実現される。
また、発音辞書修正装置101は、発音辞書データ1と、学習データセット2とを入力データとして使用し、処理の結果として修正済発音辞書データ3を作成し、出力するようになっている。これらの各データは、例えば、磁気ハードディスク装置などに記録されている。
発音辞書データ1は、音声認識や音声合成などといった音声処理に用いるための辞書のデータであり、単語の文字での表記と、その単語の発音(読み)との関係を表わす。発音辞書データ1の詳細については後述する。
学習データセット2は、過去に実際に発話された音声(またはその読みを表わす発音データ)とその音声に対応する書き起こし文を含むデータである。
修正済発音辞書データ3は、発音辞書データ1が保持する単語の表記と読みとの関係に加えて、発音辞書修正装置101によって付加される情報を保持する。修正済発音辞書データ3の詳細については後述する。
学習データセット処理部4は、学習データセット2から、単語の表記と発音とのペアを抽出し、これらのペアについて表記と発音との組み合わせの頻度をカウントすることによって、単語の表記と発音と出現頻度との組のデータを出力する。
グループIDは、表記と発音のペアを複数含むグループを識別する情報である。後述するように、発音グルーピング処理部6が変化パターン定義記憶部5から読み出す変化パターンに基づいてグループ化を行ない、発音辞書データ内の必要なエントリーに対してグループIDを付与する。そして、辞書修正処理部9がそのデータを修正済発音辞書データ3に書き込む。
グループ頻度は、上記のグループの出現頻度を表わす。グループ生起確率算出部8が、表記と発音のペアごとの頻度とグループ化の結果とからこのグループ頻度を算出し、辞書修正処理部9がそのデータを修正済発音辞書データ3に書き込む。
グループ生起確率は、上記のグループに付与された生起確率である。後述するように、グループ生起確率算出部8がグループ頻度に基づいてこのグループ生起確率を算出し、辞書修正処理部9がそのデータを修正済発音辞書データ3に書き込む。
学習データセット処理部4は、学習データセット2に含まれる音声(またはその読みを表わす発音データ)と対応する書き起こし文とのアライメント処理を行なうことによって、単語ごとの表記と発音とのペアを抽出する。そして、学習データセット2内での各ペアの出現頻度をカウントすることによって、単語の表記と発音と出現頻度との組のデータを出力する。なお、学習データセット2は、放送等で過去に実際に発話された音声とその書き起こし文を元に作成されたデータである。
ステップS11で、発音グルーピング処理部6は、表記と発音のペアの中から未選択のものを1つ選択する。
次にステップS14で、発音グルーピング処理部6は、全てのエントリーを選択して処理を終えたか否かを判定する。全てのエントリーを選択済の場合(ステップS14:YES)には次のステップS15に進み、そうでない場合(ステップS14:NO)には次のエントリーを処理するためにステップS11に戻る。
なお、発音グルーピング処理部6は、既に説明したグループIDを適宜割り振る。その結果、同一グループに属するエントリーには同一のグループIDが与えられる。
また他の例を説明する。図2に示した1223番のエントリーの発音は「enueichike:」であり、これに図4に示した無声化の変化パターンを適用すると「enueichke:」となり、この結果、1223番と1224番のエントリーは同一グループにまとめられる。また、1223番のエントリーの発音に図4に示した2行目のデータを適用すると「enue:chike:」となり、この結果、1223番と1225番のエントリーは同一グループにまとめられる。また、1225番のエントリーの発音は「enue:chike:」であり、これに図4に示した無声化の変化パターンを適用すると「enue:chke:」となり、この結果1225番と1226番のエントリーは同一グループにまとめられる。このように、1223番から1226番までの4つのエントリーは互いに発音が近いために同一グループに属するものであり、図3においては共通のグループID「308」が与えられている。
そして、グループ生起確率算出部8は、次の式(1)により、表記Wに対する発音のグループVの生起確率を算出する。
例えば、グループID「308」のグループのグループ生起確率は、前記の式(1)により、P(V|W)=693/(10+(63+693))+10/(10+(63+693))=0.92となる(但し、小数点第2位未満を四捨五入している)。
なお、上記の計算手順から明らかなように、同一のグループに属するエントリー同士は、そのグループ生起確率も同一である。
つまり、グループ生起確率算出部8は、表記の頻度と発音のグループ頻度の比(仮にスムージング係数λの項を除外した場合には、#(V,W)/#(W))によるグループ生起確率を算出するが、その際に、スムージング係数記憶部7から読み出したスムージング係数が、低くなりすぎないように作用する。言い換えれば、スムージング係数λを含んだ式(1)による計算により、相対的にグループ頻度の低い発音グループについてのグループ生起確率の分布が、滑らかになり(言い換えれば、グループ頻度そのものの値の比に対して、算出されるグループ生起確率の比が緩和され)、ある程度一様分布に近づく作用が生じる。
このようなスムージングを行なうことにより、算出されるグループ生起確率が必要以上に低くなることを防ぐことができる。よって、算出されたグループ生起確率を用いて音声認識処理を行なう場合に、正解率が上がる。
次に第2の実施形態について説明する。なお、第1の実施形態と共通の事項については説明を省略する。
図6は、第2の実施形態による発音辞書修正装置の機能構成を示すブロック図である。図示するように、発音辞書修正装置102は、学習データセット処理部4と、変化パターン定義記憶部5と、発音グルーピング処理部6と、グループ生起確率算出部8と、辞書修正処理部9と、テストデータ記憶部20と、発音決定部21と、正解率データ記憶部22と、スムージング係数決定部23と、スムージング係数記憶部27とを含んで構成される。図示する構成のうち、発音辞書データ1と、学習データセット2と、修正済発音辞書データ3は、第1の実施形態と同様のデータである。また、学習データセット処理部4と、変化パターン定義記憶部5と、発音グルーピング処理部6と、グループ生起確率算出部8とは、第1の実施形態と同様の機能・作用を有する。
なお、テストデータ記憶部20は、例えば磁気ハードディスク装置や半導体メモリなどを用いて実現される。
発音決定部21は、辞書修正処理部9によって作成された修正済発音辞書データ3を用いて音声認識処理を行なうことにより、テストデータ記憶部20から読み出したテスト音声データの音声認識結果を決定するとともに、その音声認識結果と上記の正解データとを比較することによって、上記決定された読みの正解率を算出する。
まずステップS21において、スムージング係数決定部23がスムージング係数の初期値λ1を適宜決定し、決定したスムージング係数の値をスムージング係数記憶部27に書き込む。この初期値は、例えばλ1=10とする。
次にステップS22において、学習データセット処理部4が学習データセットに基づいて発音辞書データ1に含まれる各エントリーの頻度を求めるとともに、発音グルーピング処理部6がこれらエントリーをグルーピングする処理を行なう。このステップS22における処理の詳細は、第1の実施形態において述べたとおりであるので、ここでは説明を省略する。このステップS22における処理で、図3に示したデータ項目のうち、エントリー毎の頻度と、グループIDは既に得られている。
ステップS23において、辞書修正処理部9は、修正済発音辞書データ3の中のグループ頻度およびグループ生起確率の項目を初期状態に戻す。
次に、ステップS24において、グループ生起確率算出部8は、スムージング係数記憶部27から読み出したスムージング係数(i回目のループの処理においては、スムージング係数λi(但し、i=1,2,3,・・・))を用い、各グループのグループ生起確率を算出する。このグループ生起確率の算出自体は、第1の実施形態において説明した通りであり、式(1)の係数λを上記の係数λiに置き換えて計算を行なう。そして、辞書修正処理部9は、グループ生起確率算出部8によって求められたグループ頻度とグループ生起確率を、修正済発音辞書データ3に書き込む。
なお、このステップS23からS27までのループ処理が何回目であるかに関わらず、与えられた学習データセットに対してグループ頻度は一定であるので、ループの1回目の処理のステップS24のみにおいてグループ頻度を計算し、ループの2回目の処理のステップS23においてはグループ頻度を初期状態に戻さないようにしても良い。
なおここで、発音決定部21における発音決定の処理自体は以下のように行なうことができる。音響モデルP(X|V)および言語モデルP(W)は予め与えられ、それぞれ音響モデル記憶部(不図示)と言語モデル記憶部(不図示)に記憶されている。なお、音響モデルP(X|V)は、グループ(V)の音響的特徴(X)の統計量である。また、言語モデルP(W)は表記(W)の統計的特徴量である。これらを読み出して用いて、発音決定部21は、次の式(2)により認識結果を得られる。式(2)において、Xはテスト音声データから抽出された音響的特徴であり、P(V|W)は修正済発音辞書データ3から得られるグループ生起確率である。
ステップS27においては、スムージング係数決定部23が、次のスムージング係数λiを決定し、この値をスムージング係数記憶部27に書き込む。このステップの次は、ステップS23に戻る。
第1の方法:スムージング係数の初期値を前記の通りλ1=10とする場合、2回目以降のスムージング係数を、λ2=11、λ3=12、・・・と順次1ずつ増加させていく。そして、スムージング係数の変化につれて認識結果の正解率が増加している限りは、終了条件を「偽」として、ループ処理を続ける。前回の正解率よりも今回の正解率のほうが低くなったときに、前回のスムージング係数とそのときの正解率(正解率の極大値R1)とを一時的メモリに書き込んでおく。そして、次のL回目からはスムージング係数を、λL=9、λL+1=8、・・・と順次1ずつ減少させていく。そして、スムージング係数の変化につれて認識結果の正解率が増加している限りは、終了条件を「偽」として、ループ処理を続ける。前回の正解率よりも今回の正解率のほうが低くなったときに、終了条件を「真」として、前回のスムージング係数とそのときの正解率(正解率の極大値R2)とを一時的メモリに書き込んでおく。正解率が単調に増加したままの状態でスムージング係数が0に達したときにも、終了条件を「真」として、そのスムージング係数(0)とそのときの正解率(正解率の極大値R2)とを一時的メモリに書き込んでおく。そして、上記の正解率R1と正解率R2とを読み出して比較し、それらのうちの高いほうの正解率を示したスムージング係数を最適値として採用する。
次に第3の実施形態について説明する。なお、第1或いは第2の実施形態と共通の事項については説明を省略する。
図8は、本実施形態による音声認識装置の機能構成を示すブロック図である。この音声認識装置201は、前述の発音辞書修正装置を利用して構成している。
図示するように、音声認識装置201は、入力音声データ記憶部51と、音響分析部52と、デコーダ部53と、認識結果データ記憶部54と、音響モデル記憶部58と、言語モデル記憶部59と、発音辞書データ1と、学習データセット2と、発音辞書修正装置101Aと、修正済発音辞書データ3とを含んで構成される。
音響モデル記憶部58は、発音のグループの音響的特徴の統計量(P(X|V))を音響モデルとして記憶する。
言語モデル記憶部59は、表記の統計的特徴量(P(W))を言語モデルとして記憶する。
音響分析部52は、入力音声データ記憶部51から読み出した音声データの音響特徴量(X)を抽出する。デコーダ部53は、修正済発音辞書データ3を用いて、音響分析部52によって抽出された音響特徴量から認識結果を決定して、認識結果データ記憶部54に書き込む。このとき、音響分析部52は、音響モデル記憶部58から読み出した音響モデルP(X|V)と言語モデル記憶部P(W)とを用いて、デコード処理を行なう。修正済発音辞書データ3からはグループ生起確率P(V|W)が得られるため、デコーダ部53は、前述の式(2)を用いた計算により、認識結果を得ることができる。
例えば、上では、日本語を例にとって説明したが、日本語に限らず同一表記に対して発音変形が生じ得るような言語に対して、上記の発音辞書修正装置或いは音声認識装置を適用することができる。
本発明を、放送番組等の字幕制作や、音声対話システムや、会議議事録の音声認識による自動書き起こしなど、音声認識技術を利用したさまざまな分野の技術に適用することが可能である。
2 学習データセット
3,3A 修正済発音辞書データ
4 学習データセット処理部
5 変化パターン定義記憶部
6 発音グルーピング処理部
7,27 スムージング係数記憶部
8 グループ生起確率算出部
9 辞書修正処理部
20 テストデータ記憶部
21 発音決定部
22 正解率データ記憶部
23 スムージング係数決定部
101,101A,102 発音辞書修正装置
201 音声認識装置
Claims (4)
- 変形前発音および変形後発音のパターンデータを記憶する変化パターン定義記憶部と、
発音辞書データから表記と発音のペアとしてなるエントリーを読み出すとともに、当該エントリーと、前記変化パターン定義記憶部から読み出した前記パターンデータを当該エントリーに含まれる発音に適用したときに得られる変化後発音を含み且つ当該エントリーと同一の表記を含む他のエントリーとを、同一のグループとしてグルーピングする発音グルーピング処理部と、
学習データ中における表記の頻度と、前記学習データ中における前記グループごとの出現頻度であるグループ頻度とに基づき、前記表記に対する前記グループの生起確率をグループ生起確率として算出するグループ生起確率算出部と、
発音辞書データから読み出した前記エントリーに、当該エントリーが属する前記グループについて算出された前記グループ生起確率を付加して、修正済発音辞書データとして出力する辞書修正処理部と、
を具備することを特徴とする発音辞書修正装置。 - 請求項1に記載の発音辞書修正装置であって、
生起確率算出のためのスムージング係数を記憶するスムージング係数記憶部と、
テスト音声データと、前記テスト音声データに対応する音声認識の正解データとを記憶するテストデータ記憶部と、
前記修正済発音辞書データを用いて、前記テストデータ記憶部から読み出した前記テスト音声データの音声認識処理を行なうとともに、この音声認識処理の結果と、前記テストデータ記憶部から読み出した前記正解データとから、音声認識処理の結果の正解率を算出する発音決定部と、
前記スムージング係数を決定して前記スムージング係数記憶部に書き込むスムージング係数決定部と、
を更に具備し、
前記グループ生起確率算出部は、前記スムージング係数記憶部から読み出したスムージング係数によって、前記グループ頻度の変化の度合いを緩和するように、前記グループ生起確率を算出する、
ことを特徴とする発音辞書修正装置。 - 請求項1又は請求項2に記載の発音辞書修正装置と、
前記発音辞書修正装置によって出力される修正済発音辞書データを記憶する辞書データ記憶部と、
前記グループの音響的特徴の統計量を音響モデルとして記憶する音響モデル記憶部と、
表記の統計的特徴量を言語モデルとして記憶する言語モデル記憶部と、
入力音声の音響特徴量と、前記辞書データ記憶部から読み出した修正済み発音辞書データに含まれる表記と発音のグループとの統計的相関値と、前記音響モデル記憶部から読み出した前記音響モデルと、前記言語モデル記憶部から読み出した前記言語モデルとを用いてデコード処理を行ない、音声認識結果を出力するデコーダ部と、
を具備することを特徴とする音声認識装置。 - 変形前発音および変形後発音のパターンデータを記憶する変化パターン定義記憶部を具備するコンピュータに、
発音辞書データから表記と発音のペアとしてなるエントリーを読み出すとともに、当該エントリーと、前記変化パターン定義記憶部から読み出した前記パターンデータを当該エントリーに含まれる発音に適用したときに得られる変化後発音を含み且つ当該エントリーと同一の表記を含む他のエントリーとを、同一のグループとしてグルーピングする発音グルーピング処理過程と、
学習データ中における表記の頻度と、前記学習データ中における前記グループごとの出現頻度であるグループ頻度とに基づき、前記表記に対する前記グループの生起確率をグループ生起確率として算出するグループ生起確率算出過程と、
発音辞書データから読み出した前記エントリーに、当該エントリーが属する前記グループについて算出された前記グループ生起確率を付加して、修正済発音辞書データとして出力する辞書修正処理過程と、
の処理を実行させるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009021942A JP4981076B2 (ja) | 2009-02-02 | 2009-02-02 | 発音辞書修正装置、音声認識装置、およびコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009021942A JP4981076B2 (ja) | 2009-02-02 | 2009-02-02 | 発音辞書修正装置、音声認識装置、およびコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010176103A JP2010176103A (ja) | 2010-08-12 |
JP4981076B2 true JP4981076B2 (ja) | 2012-07-18 |
Family
ID=42707099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009021942A Active JP4981076B2 (ja) | 2009-02-02 | 2009-02-02 | 発音辞書修正装置、音声認識装置、およびコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4981076B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5888723B2 (ja) * | 2011-09-12 | 2016-03-22 | 国立研究開発法人情報通信研究機構 | 発音辞書作成装置、発音辞書の生産方法、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3798530B2 (ja) * | 1997-09-05 | 2006-07-19 | 松下電器産業株式会社 | 音声認識装置及び音声認識方法 |
JP2008026721A (ja) * | 2006-07-24 | 2008-02-07 | Nec Corp | 音声認識装置、音声認識方法、および音声認識用プログラム |
JP5240457B2 (ja) * | 2007-01-16 | 2013-07-17 | 日本電気株式会社 | 拡張認識辞書学習装置と音声認識システム |
JP5207642B2 (ja) * | 2007-03-06 | 2013-06-12 | ニュアンス コミュニケーションズ,インコーポレイテッド | 語句として新たに認識するべき文字列を取得するためのシステム、方法及びコンピュータプログラム |
-
2009
- 2009-02-02 JP JP2009021942A patent/JP4981076B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010176103A (ja) | 2010-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7280382B2 (ja) | 数字列のエンドツーエンド自動音声認識 | |
US6985863B2 (en) | Speech recognition apparatus and method utilizing a language model prepared for expressions unique to spontaneous speech | |
US6535849B1 (en) | Method and system for generating semi-literal transcripts for speech recognition systems | |
US8346553B2 (en) | Speech recognition system and method for speech recognition | |
JP7092953B2 (ja) | エンドツーエンドモデルによる多言語音声認識のための音素に基づく文脈解析 | |
Wester | Pronunciation modeling for ASR–knowledge-based and data-derived methods | |
KR20050076697A (ko) | 컴퓨터 구현 음성 인식 시스템 및 이 시스템으로 학습하는방법 | |
JP2023545988A (ja) | トランスフォーマトランスデューサ:ストリーミング音声認識と非ストリーミング音声認識を統合する1つのモデル | |
JP2007041319A (ja) | 音声認識装置および音声認識方法 | |
JP6047364B2 (ja) | 音声認識装置、誤り修正モデル学習方法、及びプログラム | |
JP6051004B2 (ja) | 音声認識装置、誤り修正モデル学習方法、及びプログラム | |
CN111326144B (zh) | 语音数据处理方法、装置、介质和计算设备 | |
JP6552999B2 (ja) | テキスト補正装置、テキスト補正方法、およびプログラム | |
CN112331229A (zh) | 语音检测方法、装置、介质和计算设备 | |
JP7190283B2 (ja) | 音声認識結果整形モデル学習装置およびそのプログラム | |
JP6366166B2 (ja) | 音声認識装置、及びプログラム | |
JP6300394B2 (ja) | 誤り修正モデル学習装置、及びプログラム | |
JP6027754B2 (ja) | 適応化装置、音声認識装置、およびそのプログラム | |
JP4981076B2 (ja) | 発音辞書修正装置、音声認識装置、およびコンピュータプログラム | |
JP4990822B2 (ja) | 辞書修正装置、システム、およびコンピュータプログラム | |
JP4808764B2 (ja) | 音声認識システムおよび方法 | |
JP2003345388A (ja) | 音声認識装置、音声認識方法、および、音声認識プログラム | |
JP6086714B2 (ja) | 音声認識装置、誤り修正モデル学習方法、及びプログラム | |
JP2004021207A (ja) | 音素認識方法、音素認識装置および音素認識プログラム | |
Kessens et al. | On automatic phonetic transcription quality: lower word error rates do not guarantee better transcriptions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120321 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120419 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150427 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4981076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |