JP5755603B2 - 言語モデル作成装置、言語モデル作成方法、プログラム - Google Patents
言語モデル作成装置、言語モデル作成方法、プログラム Download PDFInfo
- Publication number
- JP5755603B2 JP5755603B2 JP2012133632A JP2012133632A JP5755603B2 JP 5755603 B2 JP5755603 B2 JP 5755603B2 JP 2012133632 A JP2012133632 A JP 2012133632A JP 2012133632 A JP2012133632 A JP 2012133632A JP 5755603 B2 JP5755603 B2 JP 5755603B2
- Authority
- JP
- Japan
- Prior art keywords
- task
- text
- unknown
- language model
- language
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Machine Translation (AREA)
Description
[タスク]
ある認識対象のスタイルや話題の傾向のこと。例えば、「コールセンター音声タスク」や「ニュース音声タスク」、「会議音声タスク」のように使う。
タスクに関する音声の書き起こしによって得られたテキスト、またはテキスト群を意味する。
予め用意した書き起こしテキストをタスクの典型的なテキストとした場合に、当該タスクにおいて起こり得る言語現象で構成されたテキスト、またはテキスト群を意味する。
予め用意した書き起こしテキストをタスクの典型的なテキストとした場合に、当該タスクにおいて起こり得る言語現象であってかつ予め用意した書き起こしテキストで観測された言語現象のみで構成されるテキスト、またはテキスト群を意味する。
予め用意した書き起こしテキストをタスクの典型的なテキストとした場合に、当該タスクにおいて起こり得る言語現象であってかつ予め用意した書き起こしテキストでは未観測の言語現象を含むテキスト、またはテキスト群を意味する。
タスクに対して関係ない言語現象で構成されたテキスト、またはテキスト群を意味する。
タスクの書き起こしテキストとは別の利用可能なテキスト群(Webや新聞などのテキスト情報)を意味する。本明細書では予め用意した別の言語リソースを単に別の言語リソースとも表記する。
ある文脈における単語や単語連鎖が生成する確率が定義したものである。代表的な言語モデルとしては、Nグラムモデル、隠れマルコフモデル、最大エントロピーモデルなどがある。音声認識においては3−gramモデルが最も頻繁に用いられる。本発明では言語モデルを音声認識において言語的に認識結果を予測するために用いる。言語モデルは大量のテキストから学習できる。
言語モデルの性能を高めるために、別の言語リソースから得られたテキストを用いて、学習テキストを増やすことでタスクに対する言語モデルを作成することを意味する。
対象タスクにおけるタスク内未知らしさを表したモデルである。任意のテキストに対して、タスク内未知らしさのスコアを与える確率分布を意味する。
本発明では、別の言語リソースからタスク内未知テキストを優先的に選択するために、書き起こしテキストを用いて、タスク内未知らしさのスコアを任意のテキストに対して与えることができる言語モデル作成装置、言語モデル作成方法、プログラムを実現した。本発明では、書き起こしテキストを用いてタスク内未知のモデル化を行う。このモデルをタスク内未知モデルと呼ぶことにする。そして、別の言語リソースの各テキストに対して、タスク内未知らしいかどうかのスコアを計算し、各テキストに順位づけを行う。その順位付けに従って、よりタスク内未知らしいテキストを用いて言語モデルを拡張する。本発明は、従来のパープレキシティを利用する方法と同様に、タスクの書き起こしテキストと別の言語リソースがあれば、実行することができる。
入力:書き起こしテキスト2
出力:タスク内未知モデル
タスク内未知モデル生成部11は、予め用意した書き起こしテキスト2を学習テキストとして用いて、タスク内未知モデルを生成する(S11)。タスク内未知モデル生成部11は生成したタスク内未知モデルをタスク内未知モデル記憶部12に記憶する。タスク内未知モデルとは前述したように対象タスクにおけるタスク内未知らしさを表したものである。具体的には、タスク内未知モデルとは書き起こしテキスト2をタスクの典型的なテキストとした場合に、任意のテキストに対して当該タスクにおけるタスク内未知らしさのスコアを与える確率分布を意味する。タスク内未知モデル生成部11の構成、および動作については詳細を後述する。
入力:タスク内未知モデル、別の言語リソース3、書き起こしテキスト2
出力:タスク内未知テキスト4
タスク内未知テキスト選択部13は、タスク内未知モデルと、書き起こしテキスト2とを用いて、書き起こしテキスト2とは別の予め用意した言語リソース3(以下、単に別の言語リソース3という)からタスク内未知テキストを選択する(S13)。つまり、タスク内未知テキスト4は、別の言語リソース3の部分集合である。書き起こしテキスト2は、別の言語リソース3の各テキストに対してタスク内未知らしさに関する特徴量(以下、タスク内未知らしさ特徴量という)を生成する際に利用される。タスク内未知テキスト選択部13の構成、および動作については詳細を後述する。
入力:書き起こしテキスト2、タスク内未知テキスト4
出力:拡張された言語モデル
言語モデル拡張部14は、書き起こしテキスト2とタスク内未知テキスト4から拡張された言語モデルを作成する(S14)。つまり、言語モデル拡張部14は音声認識のための確率モデルを作成する。言語モデル拡張部14は、書き起こしテキスト2とタスク内未知テキスト4に対して、両テキストを単純に結合し、一般的な言語モデルの生成方法を適用することで、拡張された言語モデルを生成する。言語モデル拡張部14は、生成した言語モデルを言語モデル記憶部15に記憶する。
入力:書き起こしテキスト2
出力:書き起こしテキスト2のサブセット(M個:M≧2、例えばMは1000程度とすることができる)
第1サブセット分割手段111は、タスクの書き起こしテキスト2を、M個のサブセットに分割する(SS111)。サブセットとは、書き起こしテキスト2の構成単位のことである。サブセットを例えば文書単位(1サブセット=1文書)とすることができる。サブセットを文書単位とした場合、例えば合計M個の文書からなる書き起こしテキスト2は合計M個のサブセットに分割される。本明細書では、M分割した書き起こしテキスト2のサブセットをD1、...、Dm、…、DM(mは1≦m≦Mを充たす整数)と記載する。
入力:書き起こしテキスト2のサブセット(M個)
出力:書き起こしテキスト2の各サブセットのタスク内未知らしさ特徴量(M個)
第1タスク内未知らしさ特徴量生成手段112は、M個の書き起こしテキスト2のサブセットそれぞれに対して、タスク内未知らしさ特徴量を生成する(SS112)。従って、第1タスク内未知らしさ特徴量生成手段112は、合計M個のタスク内未知らしさ特徴量s1、…、sm、…、sMを生成する。第1タスク内未知らしさ特徴量生成手段112の構成、および動作については詳細を後述する。
入力:書き起こしテキスト2の各サブセットのタスク内未知らしさ特徴量s1、…、sm、…、sM
出力:タスク内未知モデル
タスク内未知モデル学習手段113は、書き起こしテキスト2の各サブセットのタスク内未知らしさ特徴量からタスク内未知モデルを学習する(SS113)。具体的には、タスク内未知モデル学習手段113は、各サブセットのタスク内未知らしさ特徴量の分布を確率分布p(s)として近似することでタスク内未知モデルを学習する。各タスク内未知らしさ特徴量がある正規分布に従うと仮定した場合は、次のようなパラメトリックなモデルとして、タスク内未知モデルを求めることができる。まず、タスク内未知らしさ特徴量s1、…、sm、…、sMに対する平均μSと、分散σS 2は次の式に従う。
入力:書き起こしテキスト2全体
出力:第1全体言語モデル
第1全体言語モデル学習部1121は、書き起こしテキスト2全体を学習テキストとしてN−gram言語モデルLallを学習する(SS1121)。言語モデルLallを、第1全体言語モデルと呼ぶことにする。第1全体言語モデル学習部1121は、学習した第1全体言語モデルを第1全体言語モデル記憶部1122に記憶する。
入力:m番目のサブセットを除いたその他のサブセット(M−1個)
出力:m番目の第1部分言語モデル
第1部分言語モデル学習部1123は、m番目のサブセットを除いたその他のサブセットを用いて、N−gram言語モデルLmを学習する(SS1123)。言語モデルLmをm番目の第1部分言語モデルと呼ぶことにする。なお第1部分言語モデル学習部1123は、m=1、2、3、…、MのそれぞれについてサブステップSS1123を繰り返し実行して(サブステップSS112A、SS112B、SS112C)、合計M個の第1部分言語モデルL1、…、Lm、…、LMを作成する。第1部分言語モデル学習部1123は、学習したM個の第1部分言語モデルを第1部分言語モデル記憶部1124に記憶する。
入力:第1全体言語モデル、m番目の第1部分言語モデル、書き起こしテキスト2のm番目のサブセット
出力:m番目タスク内未知らしさ特徴量sm
第1特徴量計算部1125は、第1全体言語モデル、m番目の第1部分言語モデル、および書き起こしテキスト2のm番目のサブセットを用いて、m番目のタスク内未知らしさ特徴量を計算する(SS1125)。処理としては、Lall(第1全体言語モデル)を用いて、書き起こしテキスト2のm番目のサブセットDmに対する対数生起確率logP(Dm|Lall)を得る。さらに、Lm(m番目の第1部分言語モデル)を用いて、サブセットDmに対する対数生起確率logP(Dm|Lm)を得る。この値は、Dmをw1、…、wi、…、w|Dm|と単語単位に分割することで得ることができる。|Dm|はDmに含まれる総単語数(延べ語数)であり、wiはi番目の単語である。Lall、LmをLと表記して一般化すれば、これらの対数生起確率は以下の式に従う。
入力:別の言語リソース3
出力:別の言語リソース3のサブセット(K個:K≧2、例えばKは1000程度とすることができる)
第2サブセット分割手段131は、別の言語リソース3をK個のサブセットR1、…、Rk、…、RK(kは1≦k≦Kを充たす整数)に分割する(SS131)。
入力:別の言語リソース3のサブセット(K個)、書き起こしテキスト2
出力:別の言語リソース3の各サブセットのタスク内未知らしさ特徴量(K個)
第2タスク内未知らしさ特徴量生成手段132は、別の言語リソース3のサブセット(K個)と、書き起こしテキスト2とを用いて、別の言語リソース3の各サブセットのタスク内未知らしさ特徴量so 1、…、so k、…、so Kを計算する(SS132)。従って、第2タスク内未知らしさ特徴量生成手段132は、合計K個のタスク内未知らしさ特徴量を生成する。第2タスク内未知らしさ特徴量生成手段132の構成、および動作については詳細を後述する。
入力:別の言語リソース3の各サブセットのタスク内未知らしさ特徴量(K個)、タスク内未知モデル
出力:各サブセットのタスク内未知らしさ(K個)
タスク内未知らしさ計算手段133は、別の言語リソース3の各サブセットのタスク内未知らしさ特徴量(K個)と、タスク内未知モデルとを用いて、別の言語リソース3の各サブセットのタスク内未知らしさを計算する(SS133)。具体的には、タスク内未知らしさ計算手段133は、サブステップSS113において予め正規分布としてモデル化したp(s)から生成確率を求める。つまり、タスク内未知らしさ計算手段133は、別の言語リソース3のk番目のサブセットの生成確率p(so k)を次式により求める。
入力:各サブセットのタスク内未知らしさ(K個)
出力:タスク内未知テキスト4
タスク内未知テキスト決定手段134は、別の言語リソース3の各サブセットのタスク内未知らしさを用いて別の言語リソース3の各サブセットの順位付けを行い、タスク内未知テキスト4を決定する(SS134)。例えば、タスク内未知テキスト決定手段134は、決定された順位の上位から順にタスク内未知テキスト4を決定する。この決定の際、例えばタスク内未知らしさに対して閾値θを設けてもよい。この場合、タスク内未知テキスト決定手段134はタスク内未知らしさが閾値θを超えるサブセットをタスク内未知テキスト4として決定する。閾値θは例えば50程度とすることができる。
入力:書き起こしテキスト2
出力:第2部分言語モデル
第2部分言語モデル学習部1323は、書き起こしテキスト2全体を学習テキストとして、第2部分言語モデルを学習する(SS1323)。第2部分言語モデル学習部1323は、学習した第2部分言語モデルを第2部分言語モデル記憶部1324に記憶する。第2部分言語モデルは、前述の書き起こしテキスト2を用いて学習した第1全体言語モデルであるLallと同じである。従って、第1全体言語モデル記憶部1122と、第2部分言語モデル記憶部1324を共通のメモリとしておけば、第2言語モデル学習部1323およびサブステップSS1323は省略可能である。
入力:書き起こしテキスト2、別の言語リソース3のk番目のサブセット
出力:k番目の第2全体言語モデル
第2全体言語モデル学習部1321は、書き起こしテキスト2と、k番目の別の言語リソース3のサブセットとを用いて、k番目の言語モデルLall+kを学習する(SS1321)。言語モデルLall+kをk番目の第2全体言語モデルと呼ぶことにする。なお第2全体言語モデル学習部1321は、k=1、2、3、…、KのそれぞれについてサブステップSS1321を繰り返し実行し(サブステップSS132A、SS132B、SS132C)、合計K個の第2全体言語モデルLall+1、…、Lall+k、…、Lall+Kを作成する。第2全体言語モデル学習部1321は、学習したK個の第2全体言語モデルを第2全体言語モデル記憶部1322に記憶する。
入力:第2部分言語モデル、k番目の第2全体言語モデル、k番目の別の言語リソース3のサブセットRk
出力:k番目のタスク内未知らしさ特徴量so k
第2特徴量計算部1325は、第2部分言語モデルLallと、k番目の第2全体言語モデルLall+k、およびk番目の別の言語リソース3のサブセットRkから、k番目のタスク内未知らしさ特徴量を計算する(SS1325)。処理としては、Lall+kの言語モデル(k番目の第2全体言語モデル)を用いて、k番目の別の言語リソース3のサブセットRkに対する対数生起確率logP(Rk|Lall+k)を得る。さらに、Lallの言語モデル(第2部分言語モデル)を用いて、サブセットRkに対する対数生起確率logP(Rk|Lall)を得る。そして、2つの対数生起確率の差分を求め、サブセットの大きさで平均化する。この値をso kと置くと、
Claims (7)
- 予め用意した書き起こしテキストをタスクの典型的なテキストとした場合に当該タスクにおいて起こり得る言語現象であってかつ前記書き起こしテキスト内で未観測の言語現象を含むテキストをタスク内未知テキストというものとし、
前記書き起こしテキストを学習テキストとして用いて、任意のテキストに対してタスク内未知らしさのスコアを与える確率分布(以下、タスク内未知モデルという)を生成するタスク内未知モデル生成部と、
前記タスク内未知モデルと、前記書き起こしテキストとを用いて、前記書き起こしテキストとは別の予め用意した言語リソース(以下、別の言語リソースという)からタスク内未知テキストを選択するタスク内未知テキスト選択部と、
前記書き起こしテキストと前記タスク内未知テキストから言語モデルを作成する言語モデル拡張部と、
を備えることを特徴とする言語モデル作成装置。 - 請求項1に記載の言語モデル作成装置であって、
前記タスク内未知モデル生成部は、
前記書き起こしテキストを、M個(Mは2以上の整数)のサブセットに分割する第1サブセット分割手段と、
前記書き起こしテキストの各サブセットに対して、タスク内未知らしさに関する特徴量(以下、タスク内未知らしさ特徴量という)を生成する第1タスク内未知らしさ特徴量生成手段と、
前記書き起こしテキストの各サブセットのタスク内未知らしさ特徴量から前記タスク内未知モデルを学習するタスク内未知モデル学習手段とを備え、
前記タスク内未知テキスト選択部は、
前記別の言語リソースをK個(Kは2以上の整数)のサブセットに分割する第2サブセット分割手段と、
前記別の言語リソースの各サブセットと、前記書き起こしテキストとを用いて、前記別の言語リソースの各サブセットのタスク内未知らしさ特徴量を計算する第2タスク内未知らしさ特徴量生成手段と、
前記別の言語リソースの各サブセットのタスク内未知らしさ特徴量と、前記タスク内未知モデルとを用いて、前記別の言語リソースの各サブセットのタスク内未知らしさを計算するタスク内未知らしさ計算手段と、
前記別の言語リソースの各サブセットのタスク内未知らしさを用いて前記別の言語リソースの各サブセットの順位付けを行い、前記タスク内未知テキストを決定するタスク内未知テキスト決定手段とを備えること
を特徴とする言語モデル作成装置。 - 請求項2に記載の言語モデル作成装置であって、
前記第1タスク内未知らしさ特徴量生成手段は、
前記書き起こしテキスト全体を学習テキストとして第1全体言語モデルを学習する第1全体言語モデル学習部と、
前記書き起こしテキストのサブセットのうちm番目(mは1≦m≦Mを充たす整数)のサブセットを除いたその他のサブセット用いて、m番目の第1部分言語モデルを学習する処理をm=1、2、3、…、Mのそれぞれについて実行する第1部分言語モデル学習部と、
前記第1全体言語モデル、前記m番目の第1部分言語モデル、および前記書き起こしテキストのm番目のサブセットを用いて、m番目のタスク内未知らしさ特徴量を計算する処理をm=1、2、3、…、Mのそれぞれについて実行する第1特徴量計算部とを備え、
前記第2タスク内未知らしさ特徴量生成手段は、
前記書き起こしテキスト全体を学習テキストとして第2部分言語モデルを学習する第2部分言語モデル学習部と、
前記書き起こしテキストと、k番目(kは1≦k≦Mを充たす整数)の別の言語リソースのサブセットとを用いて、k番目の第2全体言語モデルを学習する処理をk=1、2、3、…、Kのそれぞれについて実行する第2全体言語モデル学習部と、
前記第2部分言語モデル、前記k番目の第2全体言語モデル、および前記k番目の別の言語リソースのサブセットから、k番目のタスク内未知らしさ特徴量を計算する処理をk=1、2、3、…、Kのそれぞれについて実行する第2特徴量計算部とを備えること
を特徴とする言語モデル作成装置。 - 請求項3に記載の言語モデル作成装置であって、
前記第1特徴量計算部は、
前記第1全体言語モデルを用いて計算した前記書き起こしテキストのm番目のサブセットに対する対数生起確率と、前記m番目の第1部分言語モデルを用いて計算した前記書き起こしテキストのm番目のサブセットに対する対数生起確率との差分を前記m番目のタスク内未知らしさ特徴量として計算し、
前記第2特徴量計算部は、
前記k番目の第2全体言語モデルを用いて計算した前記別の言語リソースのk番目のサブセットに対する対数生起確率と、前記第2部分言語モデルを用いて計算した前記別の言語リソースのk番目のサブセットに対する対数生起確率との差分を前記k番目のタスク内未知らしさ特徴量として計算すること
を特徴とする言語モデル作成装置。 - 請求項2から4の何れかに記載の言語モデル作成装置であって、
前記タスク内未知モデル学習手段は、
前記第1タスク内未知らしさ特徴量生成手段が生成したタスク内未知らしさ特徴量の分布を正規分布として近似した確率分布を前記タスク内未知モデルとして生成すること
を特徴とする言語モデル作成装置。 - 予め用意した書き起こしテキストをタスクの典型的なテキストとした場合に当該タスクにおいて起こり得る言語現象であってかつ前記書き起こしテキスト内で未観測の言語現象を含むテキストをタスク内未知テキストというものとし、
前記書き起こしテキストを学習テキストとして用いて、任意のテキストに対してタスク内未知らしさのスコアを与える確率分布(以下、タスク内未知モデルという)を生成するタスク内未知モデル生成ステップと、
前記タスク内未知モデルと、前記書き起こしテキストとを用いて、前記書き起こしテキストとは別の予め用意した言語リソース(以下、別の言語リソースという)からタスク内未知テキストを選択するタスク内未知テキスト選択ステップと、
前記書き起こしテキストと前記タスク内未知テキストから言語モデルを作成する言語モデル拡張ステップと、
を有することを特徴とする言語モデル作成方法。 - コンピュータを、請求項1から5の何れかに記載の言語モデル作成装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012133632A JP5755603B2 (ja) | 2012-06-13 | 2012-06-13 | 言語モデル作成装置、言語モデル作成方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012133632A JP5755603B2 (ja) | 2012-06-13 | 2012-06-13 | 言語モデル作成装置、言語モデル作成方法、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013257451A JP2013257451A (ja) | 2013-12-26 |
JP5755603B2 true JP5755603B2 (ja) | 2015-07-29 |
Family
ID=49953933
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012133632A Expired - Fee Related JP5755603B2 (ja) | 2012-06-13 | 2012-06-13 | 言語モデル作成装置、言語モデル作成方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5755603B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107305575B (zh) * | 2016-04-25 | 2021-01-26 | 北京京东尚科信息技术有限公司 | 人机智能问答***的断句识别方法和装置 |
-
2012
- 2012-06-13 JP JP2012133632A patent/JP5755603B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013257451A (ja) | 2013-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8504367B2 (en) | Speech retrieval apparatus and speech retrieval method | |
JP6222821B2 (ja) | 誤り修正モデル学習装置、及びプログラム | |
US11210470B2 (en) | Automatic text segmentation based on relevant context | |
JP4215418B2 (ja) | 単語予測方法、音声認識方法、その方法を用いた音声認識装置及びプログラム | |
JP5752060B2 (ja) | 情報処理装置、大語彙連続音声認識方法及びプログラム | |
JP2019082931A (ja) | 検索装置、類似度算出方法、およびプログラム | |
CN104750677A (zh) | 语音传译装置、语音传译方法及语音传译程序 | |
JPWO2014073206A1 (ja) | 情報処理装置、及び、情報処理方法 | |
JP6230987B2 (ja) | 言語モデル作成装置、言語モデル作成方法、プログラム、および記録媒体 | |
US9053087B2 (en) | Automatic semantic evaluation of speech recognition results | |
JP5755603B2 (ja) | 言語モデル作成装置、言語モデル作成方法、プログラム | |
JP6158105B2 (ja) | 言語モデル作成装置、音声認識装置、その方法及びプログラム | |
JP4537970B2 (ja) | 言語モデル作成装置、言語モデル作成方法、そのプログラムおよびその記録媒体 | |
JP5670293B2 (ja) | 単語追加装置、単語追加方法、およびプログラム | |
Chung et al. | Unsupervised discovery of structured acoustic tokens with applications to spoken term detection | |
Chen et al. | Learning semantic hierarchy with distributed representations for unsupervised spoken language understanding. | |
JP4405542B2 (ja) | 音素モデルをクラスタリングする装置、方法およびプログラム | |
JP2006107353A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP6389776B2 (ja) | 言語識別モデル学習装置、言語識別装置、言語識別方法、およびプログラム | |
JP2002082690A (ja) | 言語モデル生成方法、音声認識方法及びそのプログラム記録媒体 | |
JP4674609B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
JP2017167378A (ja) | 単語スコア計算装置、単語スコア計算方法及びプログラム | |
JP6907703B2 (ja) | 解析装置、解析方法、および解析プログラム | |
JP5342574B2 (ja) | トピックモデリング装置、トピックモデリング方法、及びプログラム | |
JP6002598B2 (ja) | 強調位置予測装置、その方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5755603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |