JP2010210816A - 音声認識装置とその方法と、プログラム - Google Patents
音声認識装置とその方法と、プログラム Download PDFInfo
- Publication number
- JP2010210816A JP2010210816A JP2009055519A JP2009055519A JP2010210816A JP 2010210816 A JP2010210816 A JP 2010210816A JP 2009055519 A JP2009055519 A JP 2009055519A JP 2009055519 A JP2009055519 A JP 2009055519A JP 2010210816 A JP2010210816 A JP 2010210816A
- Authority
- JP
- Japan
- Prior art keywords
- correct
- error
- error cause
- conditional probability
- incorrect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【解決手段】この発明の音声認識装置は、音声認識部と正誤・誤り原因推定部を備える。音声認識部は、入力音声を音声認識した単語列と、その単語列を構成する各単語の特徴量を複数のパラメータで表した各単語の発話特徴量ベクトルとを出力する。正誤・誤り原因推定部は、音声認識結果である単語列中の各単語に対して、各単語の発話特徴量ベクトルを入力として各単語の正解不正解と誤り原因の推定値及びその確からしさを、上記発話特徴量ベクトルと音声認識結果単語の正解不正解及び誤り原因との関係を表す識別モデルに基づく条件付確率を用いて推定する。
【選択図】図1
Description
実施例1では、一つの最大エントロピーモデルMEを用いて正誤・誤り原因ラベルベクトルy→の取り得る値毎に正誤・誤り原因条件付確率PME(y→|x→)を求めたが、正誤・誤り原因ラベルyi,i=0,1,2,3に独立性があると仮定して、正誤・誤り原因ラベルyi毎に専用の最大エントロピーモデルMEi,i=0,1,2,3を準備して、各正誤・誤り原因ラベルyiの取り得る値(yi=0または1)毎に条件付確率PMEi(yi=j|x→),j=0,1を求め、それらから、正誤・誤り原因ラベルベクトルの推定値y→^を求めても良い。図6にその方法の正誤・誤り原因推定部40′の機能構成例を示す。
また、最大エントロピーモデルMEzを用いて誤り原因条件付確率計算部73′と誤り原因選択部74′とで、誤り原因の推定値z→^とその確からしさPMEz(z→^|x→)を求めても良い。最大エントロピーモデルMEzは、誤り原因ラベルベクトルz→と、発話特徴量ベクトルx→との関係について、例えば準ニュートン法によって学習して推定したものである。
(Random Access Memory)、CD-ROM(Compact Disc Read Only Memory)、CD-R
(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto Optical disc)等を、半導体メモリとしてフラッシュメモリー等を用いることができる。
Claims (17)
- 入力音声を音声認識した単語列と、その単語列を構成する各単語の特徴量を複数のパラメータで表した各単語の発話特徴量ベクトルと、を出力する音声認識部と、
上記各単語の発話特徴量ベクトルを入力として、その各単語の正解不正解と誤り原因の推定値及びその確からしさを、上記発話特徴量ベクトルと音声認識結果単語の正解不正解及び誤り原因との関係を表す識別モデルに基づく条件付確率を用いて推定する正誤・誤り原因推定部と、
を備える音声認識装置。 - 請求項1に記載した音声認識装置において、
上記正誤・誤り原因推定部は、
上記発話特徴量ベクトルと正誤・誤り原因ラベルベクトルとの関係を表す識別モデルに基づく条件付確率を、計算するのに必要なモデルパラメータを記録したモデルパラメータ記録部と、
上記各単語の発話特徴量ベクトルを入力として、予め設定された上記正誤・誤り原因ラベルベクトルの取り得る値毎に、上記識別モデルに基づく条件付確率を上記モデルパラメータを用いて計算する正誤・誤り原因条件付確率計算部と、
上記条件付確率が最大になる正解不正解と誤り原因の推定値を、上記正誤・誤り原因ラベルベクトルの取り得る値から選択し、選択結果である正解不正解と誤り原因の推定値を、その確からしさを表す条件付確率とともに出力する、正誤・誤り原因選択部と、
を具備することを特徴とする音声認識装置。 - 請求項1に記載した音声認識装置において、
上記正誤・誤り原因推定部は、
上記発話特徴量ベクトルと、上記の各正誤・誤り原因ラベルベクトルの要素である正誤・誤り原因ラベルとの関係を表す識別モデルに基づく条件付確率を、計算するのに必要なモデルパラメータを記録したモデルパラメータ記録部と、
上記各単語の発話特徴量ベクトルを入力として、正誤・誤り原因ラベル毎に上記識別モデルに基づく条件付確率を、上記モデルパラメータを用いて計算する正誤・誤り原因条件付確率計算部と、
上記正誤・誤り原因ラベル毎に条件付確率が最大になるように正誤・誤り原因ラベルの取り得る二値のうちのいずれかを選択して正解不正解と誤り原因の推定値とし、それとともに正誤・誤り原因ラベル毎の大きな方の条件付確率値の積を、正解不正解と誤り原因の推定値の確からしさとして出力する正誤・誤り原因選択部と、
を具備することを特徴とする音声認識装置。 - 請求項1に記載した音声認識装置において、
上記正誤・誤り原因推定部は、
上記各単語の発話特徴量ベクトルからその各単語が正解か否かについての正誤条件付確率を計算する正誤条件付確率計算部と、
上記正誤条件付確率から上記単語の正誤を、正解である条件付確率と不正解である条件付確率との比較、及び、正解である条件付確率と所定の閾値との比較で判定し、その判定結果である正解または不正解とその確からしさを出力する正誤判定部と、
上記発話特徴量ベクトルと、上記の各正誤・誤り原因ラベルベクトルの要素である正誤・誤り原因ラベルとの関係を表す識別モデルに基づく条件付確率を、計算するのに必要なモデルパラメータを記録したモデルパラメータ記録部と、
上記各単語の発話特徴量ベクトルを入力として、上記正誤・誤り原因ラベルベクトルから正解不正解に関する正誤ラベルを除いたベクトルである誤り原因ラベルベクトルの各要素の誤り原因ラベル毎の上記識別モデルに基づく条件付確率を、上記モデルパラメータを用いて計算する誤り原因条件付確率計算部と、
上記誤り原因ラベル毎の条件付確率値が大きい方の誤り原因ラベルの取り得る値を選択して誤り原因の推定値とし、上記値の大きな条件付確率値の積を、誤り原因の推定値の確からしさとして出力する誤り原因選択部と、
を備え、
上記正誤判定部が音声認識した単語を誤りと判定した時に、上記誤り原因条件付確率計算部と、誤り原因選択部とが動作することを特徴とする音声認識装置。 - 請求項1に記載した音声認識装置において、
上記正誤・誤り原因推定部は、
上記各単語の発話特徴量ベクトルからその各単語が正解か否かについての正誤条件付確率を計算する正誤条件付確率計算部と、
上記正誤条件付確率から上記単語の正誤を、正解である条件付確率と不正解である条件付確率との比較、及び、正解である条件付確率と所定の閾値との比較で判定し、その判定結果である正解または不正解とその確からしさを出力する正誤判定部と、
上記発話特徴量ベクトルと、正誤・誤り原因ラベルベクトルから、その正誤・誤り原因ラベルベクトルの要素である正解不正解に関する正誤ラベルを除いた誤り原因ラベルベクトルとの関係を表す識別モデルに基づく条件付確率を計算するのに必要な、モデルパラメータを記録したモデルパラメータ記録部と、
上記各単語の発話特徴量ベクトルを入力として、誤り原因ラベルベクトル毎の上記識別モデルに基づく誤り条件付確率を、上記モデルパラメータを用いて計算する誤り原因条件付確率計算部と、
上記誤り条件付確率が最大の誤り原因ラベルベクトルの推定値を選択して、誤り条件付確率と共に出力する誤り原因選択部と、
を備え、
上記正誤判定部が音声認識した単語を誤りと判定した時に、上記誤り原因条件付確率計算部と、誤り原因選択部とが動作することを特徴とする音声認識装置。 - 請求項1に記載した音声認識装置において、
上記正誤・誤り原因推定部は、
上記発話特徴量ベクトルと、上記の各正誤・誤り原因ラベルベクトルの要素である正誤・誤り原因ラベルとの関係を表す識別モデルに基づく条件付確率を、計算するのに必要なモデルパラメータを記録したモデルパラメータ記録部と、
上記各単語の発話特徴量ベクトルを入力として、正誤・誤り原因ラベル毎に上記識別モデルに基づく条件付確率を、上記モデルパラメータを用いて計算する正誤・誤り原因条件付確率計算部と、
上記正誤・誤り原因ラベルベクトルから正解不正解に関する正誤ラベルを除いたベクトルである誤り原因ラベルベクトルの各要素の誤り原因ラベル毎の条件付確率値が大きい方の誤り原因ラベルの取り得る値を選択して誤り原因の推定値とし、上記値の大きな条件付確率値の積を、誤り原因の推定値の確からしさとして出力する誤り原因選択部と、
上記正誤・誤り原因ラベルの取り得る値と、正解不正解との関係を表す誤り原因−正誤関係情報確率を記録した誤り原因‐正誤関係情報記録部と、
上記正誤・誤り原因条件付確率計算部が出力する正誤・誤り原因ラベル毎の条件付確率に、正誤・誤り原因ラベルの取り得る値で対応する上記誤り原因‐正誤関係情報確率を乗算して、正解と不正解それぞれの場合について条件付確率を補正する正誤条件付確率再計算部と、
上記補正された条件付確率を入力として、正解か不正解を選択し、その選択結果である正誤判定結果とともにその補正された条件付確率値を出力する正誤再選択部と、
を具備することを特徴とする音声認識装置。 - 請求項2乃至6の何れかに記載した音声認識装置において、
上記正誤・誤り原因ラベルベクトル若しくは誤り原因ラベルベクトルを入力として、それらラベルベクトルに対応した正誤・誤り原因メッセージを生成する正誤・誤り原因メッセージ生成部を、更に備えることを特徴とする音声認識装置。 - 請求項1乃至7の何れかに記載した音声認識装置において、
上記識別モデルは、最大エントロピーモデルであることを特徴とする音声認識装置。 - 音声認識部が、入力音声を音声認識した単語列と、その単語列を構成する各単語の特徴量を複数のパラメータで表した各単語の発話特徴量ベクトルと、を出力する音声認識過程と、
正誤・誤り原因推定部が、上記各単語の発話特徴量ベクトルを入力として、その各単語の正解不正解と誤り原因の推定値及びその確からしさを、上記発話特徴量ベクトルと音声認識結果単語の正解不正解及び誤り原因との関係を表す識別モデルに基づく条件付確率を用いて推定する正誤・誤り原因推定過程と、
を含む音声認識方法。 - 請求項9に記載した音声認識方法において、
上記正誤・誤り原因推定過程は、
正誤・誤り原因条件付確率計算部が、上記各単語の発話特徴量ベクトルを入力として、予め設定された上記正誤・誤り原因ラベルベクトルの取り得る値毎に、上記識別モデルに基づく条件付確率をモデルパラメータ記録部に記録されたモデルパラメータを用いて計算する正誤・誤り原因条件付確率計算ステップと、
正誤・誤り原因選択部が、上記条件付確率が最大になる正解不正解と誤り原因の推定値を、上記正誤・誤り原因ラベルベクトルの取り得る値から選択し、選択結果である正解不正解と誤り原因の推定値を、その確からしさを表す条件付確率とともに出力する正誤・誤り原因選択ステップと、
を含むことを特徴とする音声認識方法。 - 請求項9に記載した音声認識方法において、
上記正誤・誤り原因推定過程は、
正誤・誤り原因条件付確率計算部が、上記各単語の発話特徴量ベクトルを入力として、正誤・誤り原因ラベル毎に上記識別モデルに基づく条件付確率を、上記モデルパラメータを用いて計算する正誤・誤り原因条件付確率計算ステップと、
正誤・誤り原因選択部が、上記正誤・誤り原因ラベル毎に条件付確率が最大になるように正誤・誤り原因ラベルの取り得る二値のうちのいずれかを選択して正解不正解と誤り原因の推定値とし、それとともに正誤・誤り原因ラベル毎の大きな方の条件付確率値の積を、正解不正解と誤り原因の推定値の確からしさとして出力する正誤・誤り原因選択ステップと、
を含むことを特徴とする音声認識方法。 - 請求項9に記載した音声認識方法において、
上記正誤・誤り原因推定過程は、
正誤条件付確率計算部が、上記各単語の発話特徴量ベクトルからその各単語が正解か否かについての正誤条件付確率を計算する正誤条件付確率計算ステップと、
正誤判定部が、上記正誤条件付確率から上記単語の正誤を、正解である条件付確率と不正解である条件付確率との比較、及び、正解である条件付確率と所定の閾値との比較で判定し、その判定結果である正解または不正解とその確からしさを出力する正誤判定ステップと、
誤り原因条件付確率計算部が、上記各単語の発話特徴量ベクトルを入力として、上記正誤・誤り原因ラベルベクトルから正解不正解に関する正誤ラベルを除いたベクトルである誤り原因ラベルベクトルの各要素の誤り原因ラベル毎の上記識別モデルに基づく条件付確率を、モデルパラメータ記録部に記録されたモデルパラメータを用いて計算する誤り原因条件付確率計算ステップと、
誤り原因選択部が、上記誤り原因ラベル毎の条件付確率値が大きい方の誤り原因ラベルの取り得る値を選択して誤り原因の推定値とし、上記値の大きな条件付確率値の積を、誤り原因の推定値の確からしさとして出力する誤り原因選択ステップと、
を含み、
上記正誤判定ステップが音声認識した単語を誤りと判定した時に、上記誤り原因条件付確率計算ステップと、誤り原因選択ステップとが動作することを特徴とする音声認識方法。 - 請求項9に記載した音声認識方法において、
上記正誤・誤り原因推定過程は、
正誤条件付確率計算部が、上記各単語の発話特徴量ベクトルからその各単語が正解か否かについての正誤条件付確率を計算する正誤条件付確率計算ステップと、
正誤判定部が、上記正誤条件付確率から上記単語の正誤を、正解である条件付確率と不正解である条件付確率との比較、及び、正解である条件付確率と所定の閾値との比較で判定し、その判定結果である正解または不正解とその確からしさを出力する正誤判定ステップと、
誤り原因条件付確率計算部が、上記各単語の発話特徴量ベクトルを入力として、誤り原因ラベルベクトル毎の上記識別モデルに基づく誤り条件付確率を、モデルパラメータ記録部に記録されたモデルパラメータを用いて計算する誤り原因条件付確率計算ステップと、
誤り原因選択部が、上記誤り条件付確率が最大の誤り原因の推定値を選択して、誤り条件付確率と共に出力する誤り原因選択ステップと、
を含み、
上記正誤判定ステップが音声認識した単語を誤りと判定した時に、上記誤り原因条件付確率計算ステップと、誤り原因選択ステップとが動作することを特徴とする音声認識方法。 - 請求項9に記載した音声認識方法において、
上記正誤・誤り原因推定過程は、
正誤・誤り原因条件付確率計算部が、上記各単語の発話特徴量ベクトルを入力として、正誤・誤り原因ラベル毎に上記識別モデルに基づく条件付確率を、上記モデルパラメータを用いて計算する正誤・誤り原因条件付確率計算ステップと、
誤り原因選択部が、上記正誤・誤り原因ラベルベクトルから正解不正解に関する正誤ラベルを除いたベクトルである誤り原因ラベルベクトルの各要素の誤り原因ラベル毎の条件付確率値が大きい方の誤り原因ラベルの取り得る値を選択して誤り原因の推定値とし、上記値の大きな条件付確率値の積を、誤り原因の推定値の確からしさとして出力する誤り原因選択ステップと、
正誤条件付確率再計算部が、上記正誤・誤り原因条件付確率計算部が出力する正誤・誤り原因ラベル毎の条件付確率に、正誤・誤り原因ラベルの取り得る値で対応する誤り原因‐正誤関係情報記録部に記録された誤り原因‐正誤関係情報確率を乗算して、正解と不正解それぞれの場合について条件付確率を補正する正誤条件付確率再計算ステップと、
正誤再選択部が、上記補正された条件付確率を入力として、正解か不正解を選択し、その選択結果である正誤判定結果とともにその補正された条件付確率値を出力する正誤再選択ステップと、
を含むことを特徴とする音声認識方法。 - 請求項10乃至14の何れかに記載した音声認識方法において、
上記正誤・誤り原因推定過程は、
上記正誤・誤り原因ラベルベクトル若しくは誤り原因ラベルベクトルを入力として、それらラベルベクトルに対応した正誤・誤り原因メッセージを生成する正誤。誤り原因メッセージ生成ステップを、更に含むことを特徴とする音声認識方法。 - 請求項9乃至15の何れかに記載した音声認識方法において、
上記識別モデルは、最大エントロピーモデルであることを特徴とする音声認識方法。 - 請求項1乃至8の何れかに記載した音声認識装置としてコンピュータを機能させる装置プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009055519A JP4939560B2 (ja) | 2009-03-09 | 2009-03-09 | 音声認識装置とその方法と、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009055519A JP4939560B2 (ja) | 2009-03-09 | 2009-03-09 | 音声認識装置とその方法と、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010210816A true JP2010210816A (ja) | 2010-09-24 |
JP4939560B2 JP4939560B2 (ja) | 2012-05-30 |
Family
ID=42971071
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009055519A Active JP4939560B2 (ja) | 2009-03-09 | 2009-03-09 | 音声認識装置とその方法と、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4939560B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750373A (zh) * | 2012-06-20 | 2012-10-24 | 段起阳 | 一种基于概率分布的数据关联方法 |
WO2019156101A1 (ja) * | 2018-02-08 | 2019-08-15 | 日本電信電話株式会社 | 音声認識精度劣化要因推定装置、音声認識精度劣化要因推定方法、プログラム |
WO2022155842A1 (en) * | 2021-01-21 | 2022-07-28 | Alibaba Group Holding Limited | Quality estimation for automatic speech recognition |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5400727B2 (ja) * | 2010-08-24 | 2014-01-29 | 日本電信電話株式会社 | 音声認識装置とその方法とプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004325635A (ja) * | 2003-04-23 | 2004-11-18 | Sharp Corp | 音声処理装置、音声処理方法、音声処理プログラム、および、プログラム記録媒体 |
JP2006251061A (ja) * | 2005-03-08 | 2006-09-21 | Nissan Motor Co Ltd | 音声対話装置および音声対話方法 |
JP2007017911A (ja) * | 2005-07-11 | 2007-01-25 | Nippon Hoso Kyokai <Nhk> | 音声認識装置及び音声認識プログラム |
JP2007322984A (ja) * | 2006-06-05 | 2007-12-13 | Nippon Telegr & Teleph Corp <Ntt> | モデル学習方法、情報抽出方法、モデル学習装置、情報抽出装置、モデル学習プログラム、情報抽出プログラム、およびそれらプログラムを記録した記録媒体 |
-
2009
- 2009-03-09 JP JP2009055519A patent/JP4939560B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004325635A (ja) * | 2003-04-23 | 2004-11-18 | Sharp Corp | 音声処理装置、音声処理方法、音声処理プログラム、および、プログラム記録媒体 |
JP2006251061A (ja) * | 2005-03-08 | 2006-09-21 | Nissan Motor Co Ltd | 音声対話装置および音声対話方法 |
JP2007017911A (ja) * | 2005-07-11 | 2007-01-25 | Nippon Hoso Kyokai <Nhk> | 音声認識装置及び音声認識プログラム |
JP2007322984A (ja) * | 2006-06-05 | 2007-12-13 | Nippon Telegr & Teleph Corp <Ntt> | モデル学習方法、情報抽出方法、モデル学習装置、情報抽出装置、モデル学習プログラム、情報抽出プログラム、およびそれらプログラムを記録した記録媒体 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102750373A (zh) * | 2012-06-20 | 2012-10-24 | 段起阳 | 一种基于概率分布的数据关联方法 |
WO2019156101A1 (ja) * | 2018-02-08 | 2019-08-15 | 日本電信電話株式会社 | 音声認識精度劣化要因推定装置、音声認識精度劣化要因推定方法、プログラム |
JP2019139010A (ja) * | 2018-02-08 | 2019-08-22 | 日本電信電話株式会社 | 音声認識精度劣化要因推定装置、音声認識精度劣化要因推定方法、プログラム |
WO2022155842A1 (en) * | 2021-01-21 | 2022-07-28 | Alibaba Group Holding Limited | Quality estimation for automatic speech recognition |
Also Published As
Publication number | Publication date |
---|---|
JP4939560B2 (ja) | 2012-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10283111B1 (en) | Disambiguation in speech recognition | |
US10210862B1 (en) | Lattice decoding and result confirmation using recurrent neural networks | |
JP6686154B2 (ja) | 発話認識方法及び装置 | |
US9484021B1 (en) | Disambiguation in speech recognition | |
US10147418B2 (en) | System and method of automated evaluation of transcription quality | |
US10332508B1 (en) | Confidence checking for speech processing and query answering | |
US9911420B1 (en) | Behavior adjustment using speech recognition system | |
JP6509694B2 (ja) | 学習装置、音声検出装置、学習方法およびプログラム | |
US10713289B1 (en) | Question answering system | |
Mairesse et al. | Can prosody inform sentiment analysis? experiments on short spoken reviews | |
US8494847B2 (en) | Weighting factor learning system and audio recognition system | |
US11763816B1 (en) | Natural language processing policies | |
JP2016075740A (ja) | 音声処理装置、音声処理方法、およびプログラム | |
KR102199246B1 (ko) | 신뢰도 측점 점수를 고려한 음향 모델 학습 방법 및 장치 | |
JP6553015B2 (ja) | 話者属性推定システム、学習装置、推定装置、話者属性推定方法、およびプログラム | |
US10366442B1 (en) | Systems and methods to update shopping cart | |
JP4939560B2 (ja) | 音声認識装置とその方法と、プログラム | |
US20040006469A1 (en) | Apparatus and method for updating lexicon | |
JP5184467B2 (ja) | 適応化音響モデル生成装置及びプログラム | |
JP5400727B2 (ja) | 音声認識装置とその方法とプログラム | |
JP6546070B2 (ja) | 音響モデル学習装置、音声認識装置、音響モデル学習方法、音声認識方法、およびプログラム | |
JP5170449B2 (ja) | 検出装置、音声認識装置、検出方法、及びプログラム | |
JP2008083367A (ja) | 音声認識装置、音声認識方法及びプログラム | |
JP5369079B2 (ja) | 音響モデル作成方法とその装置とプログラム | |
US20240203412A1 (en) | Enterprise type models for voice interfaces |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101214 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120224 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4939560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |