JP2008176132A - 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム - Google Patents
音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム Download PDFInfo
- Publication number
- JP2008176132A JP2008176132A JP2007010440A JP2007010440A JP2008176132A JP 2008176132 A JP2008176132 A JP 2008176132A JP 2007010440 A JP2007010440 A JP 2007010440A JP 2007010440 A JP2007010440 A JP 2007010440A JP 2008176132 A JP2008176132 A JP 2008176132A
- Authority
- JP
- Japan
- Prior art keywords
- data
- mel cepstrum
- cepstrum coefficient
- series data
- label
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
【解決手段】音声合成辞書構築装置は、音声データベースを用いて既知の処理である音素HMM学習を行うことにより、いったん、仮の音声合成辞書を作る。続いて、該装置は、該仮の音声合成辞書を経由して生成された合成音声と、前記音声データベースに収録されている音声と、を分析し比較した結果に基づいて、該音声のホルマントを強調するためのメルケプストラム係数系列データの編集方法を決定する。最終的に、該装置は、かかる編集方法が採用された編集過程をあらかじめ織り込んだ上で、音素HMM学習をやり直すことにより、音声合成辞書を構築する。
【選択図】図5
Description
音声データベースから音素ラベル列と該音素ラベル列に対応する録音音声データとを取得し、取得した録音音声データにメルケプストラム分析を施し録音音声メルケプストラム係数系列データを生成するとともに、生成された録音音声メルケプストラム係数系列データと取得した音素ラベル列とに基づいてHMM(Hidden Markov Model)学習により仮音声合成辞書を構築する仮構築部と、
前記仮音声合成辞書に依拠して合成音声データを生成し、生成された合成音声データにメルケプストラム分析を施し合成音声メルケプストラム係数系列データを生成する合成データ生成部と、
前記音素ラベル列に対応する前記録音音声データから前記仮構築部により生成された前記録音音声メルケプストラム係数系列データと、前記合成データ生成部により該音素ラベル列に対応づけられた前記合成音声データから前記合成データ生成部により生成された前記合成音声メルケプストラム係数系列データと、を比較した結果に基づき、前記録音音声メルケプストラム係数系列データを編集して編集済メルケプストラム係数系列データを生成する編集部と、
前記音素ラベル列と前記編集部により生成された編集済メルケプストラム係数系列データとに基づいてHMM学習により音声合成辞書を構築する再構築部と、
を備える。
複数の音声データと前記音声データ毎に生成されたモノフォンラベルと該モノフォンラベルの始点及び終点に相当する時刻を指す始点ポインタ及び終点ポインタと前記音声データ毎に生成されたトライフォンラベルとを受け取り、該音声データからピッチ系列データを生成し、該音声データから所定の次数までのメルケプストラム係数系列データを生成し、該モノフォンラベルと該始点ポインタと該終点ポインタと該トライフォンラベルと該ピッチ系列データと該メルケプストラム係数系列データとからHMM(Hidden Markov Model)学習により仮音声合成辞書を構築する第1学習部と、
前記仮音声合成辞書と前記トライフォンラベルとに基づいて複数の合成音声データを生成する合成部と、
前記合成音声データ毎に合成モノフォンラベルと該合成モノフォンラベルの始点及び終点に相当する時刻を指す合成始点ポインタ及び合成終点ポインタとを生成し、該合成音声データと前記所定の次数までの合成メルケプストラム係数系列データと該合成モノフォンラベルと該合成始点ポインタと該合成終点ポインタとから構成される合成音声関連データと、前記モノフォンラベルと前記始点ポインタと前記終点ポインタと前記メルケプストラム係数系列データとから構成される音声関連データと、を比較した結果に基づいて決定される編集方針に従い前記メルケプストラム係数系列データを編集して編集済メルケプストラム係数系列データを生成する編集部と、
前記モノフォンラベルと前記始点ポインタと前記終点ポインタと前記トライフォンラベルと前記ピッチ系列データと前記編集済メルケプストラム係数系列データとからHMM(Hidden Markov Model)学習により音声合成辞書を構築する第2学習部と、
を備えてもよい。
音声データベースから音素ラベル列と該音素ラベル列に対応する録音音声データとを取得し、取得した録音音声データにメルケプストラム分析を施し録音音声メルケプストラム係数系列データを生成するとともに、生成された録音音声メルケプストラム係数系列データと取得した音素ラベル列とに基づいてHMM(Hidden Markov Model)学習により仮音声合成辞書を構築する仮構築ステップと、
前記仮音声合成辞書に依拠して合成音声データを生成し生成された合成音声データを前記仮音声合成辞書に依拠して前記音素ラベル列に対応づけるとともに、生成された合成音声データにメルケプストラム分析を施し合成音声メルケプストラム係数系列データを生成する合成データ生成ステップと、
前記音素ラベル列に対応する前記録音音声データから前記仮構築ステップにより生成された前記録音音声メルケプストラム係数系列データと、前記合成データ生成ステップにより該音素ラベル列に対応づけられた前記合成音声データから前記合成データ生成ステップにより生成された前記合成音声メルケプストラム係数系列データと、を比較した結果に基づき、前記録音音声メルケプストラム係数系列データを編集して編集済メルケプストラム係数系列データを生成する編集ステップと、
前記音素ラベル列と前記編集ステップにより生成された編集済メルケプストラム係数系列データとに基づいてHMM学習により音声合成辞書を構築する再構築ステップと、
から構成される。
コンピュータに、
音声データベースから音素ラベル列と該音素ラベル列に対応する録音音声データとを取得し、取得した録音音声データにメルケプストラム分析を施し録音音声メルケプストラム係数系列データを生成するとともに、生成された録音音声メルケプストラム係数系列データと取得した音素ラベル列とに基づいてHMM(Hidden Markov Model)学習により仮音声合成辞書を構築する仮構築ステップと、
前記仮音声合成辞書に依拠して合成音声データを生成し、生成された合成音声データにメルケプストラム分析を施し合成音声メルケプストラム係数系列データを生成する合成データ生成ステップと、
前記音素ラベル列に対応する前記録音音声データから前記仮構築ステップにより生成された前記録音メルケプストラム係数系列データと、前記合成データ生成ステップにより該音素ラベル列に対応づけられた前記合成音声データから前記合成データ生成ステップにより生成された前記合成音声メルケプストラム係数系列データと、を比較した結果に基づき、前記録音音声メルケプストラム係数系列データを編集して編集済メルケプストラム係数系列データを生成する編集ステップと、
前記音素ラベル列と前記編集ステップにより生成された編集済メルケプストラム係数系列データとに基づいてHMM学習により音声合成辞書を構築する再構築ステップと、
を実行させる。
以下に、かかる編集処理の典型的な手順について説明する。
図7、図8、及び、図13、に示すフローチャートを参照しつつ、編集の具体例1について説明する。
AveLabMCm d[ml]
= (MCm d[MFrameSm[ml]]+MCm d[MFrameSm[ml]+1]+・・・
+MCm d[MFrameEm[ml]-1]+MCm d[MFrameEm[ml]])
÷(MFrameEm[ml]-MFrameSm[ml]+1)、
AveLabSynMCm d[ml]
= (SynMCm d[mFrameSm[ml]]+SynMCm d[mFrameSm[ml]+1]+・・・
+SynMCm d[mFrameEm[ml]-1]+SynMCm d[mFrameEm[ml]])
÷(mFrameEm[ml]-mFrameSm[ml]+1)
TmpMaxAmpMCd=AveLabMCm d[ml]÷AveLabSynMCm d[ml]
を算出する。
図9及び図10に示すフローチャートを参照しつつ、編集の具体例2について説明する。もっとも、編集の具体例1における手順と重複する手順については説明を概ね省略し、主に相違点について述べることにする。
図11及び図12に示すフローチャートを参照しつつ、編集の具体例3について説明する。
以下では、編集メルケプストラム係数系列データを求めるにあたっての変形例を2例挙げる。いずれも、上述の具体例1〜具体例3に示した手順の前半のいずれかが完了して編集用係数が既に求まっていることを前提とする。上述の具体例1〜具体例3においては、求まった編集用係数を一律にメルケプストラム係数系列データMCm d[fm]に乗じて編集メルケプストラム係数系列データEdMCm d[fm]を算出する(図8のステップS661、図10のステップS761、図12のステップS861)こととしていたが、以下の変形例においては、所定の条件を満たしたときだけかかる乗算を行う点が特徴である。
具体例1におけるステップS661(図8)、具体例2におけるステップS761(図10)、及び、具体例3におけるステップS861(図12)、は、本変形例においては、図14に示すフローチャートに示す手順に置換される。
具体例1におけるステップS661(図8)、具体例2におけるステップS761(図10)、及び、具体例3におけるステップS861(図12)、は、本変形例においては、図15に示すフローチャートに示す手順に置換される。
Claims (10)
- 音声データベースから音素ラベル列と該音素ラベル列に対応する録音音声データとを取得し、取得した録音音声データにメルケプストラム分析を施し録音音声メルケプストラム係数系列データを生成するとともに、生成された録音音声メルケプストラム係数系列データと取得した音素ラベル列とに基づいてHMM(Hidden Markov Model)学習により仮音声合成辞書を構築する仮構築部と、
前記仮音声合成辞書に依拠して合成音声データを生成し、生成された合成音声データにメルケプストラム分析を施し合成音声メルケプストラム係数系列データを生成する合成データ生成部と、
前記音素ラベル列に対応する前記録音音声データから前記仮構築部により生成された前記録音音声メルケプストラム係数系列データと、前記合成データ生成部により該音素ラベル列に対応づけられた前記合成音声データから前記合成データ生成部により生成された前記合成音声メルケプストラム係数系列データと、を比較した結果に基づき、前記録音音声メルケプストラム係数系列データを編集して編集済メルケプストラム係数系列データを生成する編集部と、
前記音素ラベル列と前記編集部により生成された編集済メルケプストラム係数系列データとに基づいてHMM学習により音声合成辞書を構築する再構築部と、
を備える音声合成辞書構築装置。 - 複数の音声データと前記音声データ毎に生成されたモノフォンラベルと該モノフォンラベルの始点及び終点に相当する時刻を指す始点ポインタ及び終点ポインタと前記音声データ毎に生成されたトライフォンラベルとを受け取り、該音声データからピッチ系列データを生成し、該音声データから所定の次数までのメルケプストラム係数系列データを生成し、該モノフォンラベルと該始点ポインタと該終点ポインタと該トライフォンラベルと該ピッチ系列データと該メルケプストラム係数系列データとからHMM(Hidden Markov Model)学習により仮音声合成辞書を構築する第1学習部と、
前記仮音声合成辞書と前記トライフォンラベルとに基づいて複数の合成音声データを生成する合成部と、
前記合成音声データ毎に合成モノフォンラベルと該合成モノフォンラベルの始点及び終点に相当する時刻を指す合成始点ポインタ及び合成終点ポインタとを生成し、該合成音声データと前記所定の次数までの合成メルケプストラム係数系列データと該合成モノフォンラベルと該合成始点ポインタと該合成終点ポインタとから構成される合成音声関連データと、前記モノフォンラベルと前記始点ポインタと前記終点ポインタと前記メルケプストラム係数系列データとから構成される音声関連データと、を比較した結果に基づいて決定される編集方針に従い前記メルケプストラム係数系列データを編集して編集済メルケプストラム係数系列データを生成する編集部と、
前記モノフォンラベルと前記始点ポインタと前記終点ポインタと前記トライフォンラベルと前記ピッチ系列データと前記編集済メルケプストラム係数系列データとからHMM(Hidden Markov Model)学習により音声合成辞書を構築する第2学習部と、
を備える音声合成辞書構築装置。 - 前記編集部は、
編集対象である前記メルケプストラム係数系列データの次数毎に、全ての前記音声データから生成された全ての前記モノフォンラベルについて、該次数と該音声データと該モノフォンラベルとにより特定される前記メルケプストラム係数系列データについて該モノフォンラベルの開始時点から終了時点まで平均した結果を前記合成メルケプストラム係数系列データについて該モノフォンラベルに等しい前記合成モノフォンラベルの開始時点から終了時点まで平均した結果により除した値を求め、該値の最大値を該次数毎の強調係数とし、前記メルケプストラム係数系列データとその次数毎の前記強調係数とに基づいて前記編集済メルケプストラム係数系列データを生成する、
ことを特徴とする請求項2に記載の音声合成辞書構築装置。 - 前記編集部は、
編集対象である前記メルケプストラム係数系列データの次数毎かつ該メルケプストラム係数系列データの生成元の音声データ毎に、該音声データから生成された全ての前記モノフォンラベルについて、該次数と該音声データと該モノフォンラベルとにより特定される前記メルケプストラム係数系列データについて該モノフォンラベルの開始時点から終了時点まで平均した結果を前記合成メルケプストラム係数系列データについて該モノフォンラベルに等しい前記合成モノフォンラベルの開始時点から終了時点まで平均した結果により除した値を求め、該値の最大値を該次数毎かつ該音声データ毎の強調係数とし、前記メルケプストラム係数系列データとその次数毎かつその生成元の前記音声データ毎の前記強調係数とに基づいて前記編集済メルケプストラム係数系列データを生成する、
ことを特徴とする請求項2に記載の音声合成辞書構築装置。 - 前記編集部は、
編集対象である前記メルケプストラム係数系列データの次数毎かつ該メルケプストラム係数系列データの生成元の音声データ毎かつ前記モノフォンラベル毎に、該次数と該音声データと該モノフォンラベルとにより特定される前記メルケプストラム係数系列データについて該モノフォンラベルの開始時点から終了時点まで平均した結果を前記合成メルケプストラム係数系列データについて該モノフォンラベルに等しい前記合成モノフォンラベルの開始時点から終了時点まで平均した結果により除した値を求め、該値を該次数毎かつ該音声データ毎かつ該モノフォンラベル毎の強調係数とし、前記メルケプストラム係数系列データとその次数毎かつその生成元の前記音声データ毎かつその前記モノフォンラベル毎の前記強調係数とに基づいて前記編集済メルケプストラム係数系列データを生成する、
ことを特徴とする請求項2に記載の音声合成辞書構築装置。 - 前記編集部は、
前記メルケプストラム係数系列データに前記強調係数を乗じたものを前記編集済メルケプストラム係数系列データとする、
ことを特徴とする請求項3乃至5の何れか1項に記載の音声合成辞書構築装置。 - 前記編集部は、
前記強調係数が所定の閾値以上である場合には、前記メルケプストラム係数系列データに前記強調係数を乗じたものを前記編集済メルケプストラム係数系列データとし、前記強調係数が該所定の閾値よりも小さい場合には、前記メルケプストラム係数系列データをそのまま前記編集済メルケプストラム係数系列データとする、
ことを特徴とする請求項3乃至5の何れか1項に記載の音声合成辞書構築装置。 - 前記編集部は、
前記メルケプストラム係数系列データの次数が所定の次数以上である場合には、前記メルケプストラム係数系列データに前記強調係数を乗じたものを前記編集済メルケプストラム係数系列データとし、前記メルケプストラム係数系列データの次数が該所定の次数よりも小さい場合には、前記メルケプストラム係数系列データをそのまま前記編集済メルケプストラム係数系列データとする、
ことを特徴とする請求項3乃至5の何れか1項に記載の音声合成辞書構築装置。 - 音声データベースから音素ラベル列と該音素ラベル列に対応する録音音声データとを取得し、取得した録音音声データにメルケプストラム分析を施し録音音声メルケプストラム係数系列データを生成するとともに、生成された録音音声メルケプストラム係数系列データと取得した音素ラベル列とに基づいてHMM(Hidden Markov Model)学習により仮音声合成辞書を構築する仮構築ステップと、
前記仮音声合成辞書に依拠して合成音声データを生成し生成された合成音声データを前記仮音声合成辞書に依拠して前記音素ラベル列に対応づけるとともに、生成された合成音声データにメルケプストラム分析を施し合成音声メルケプストラム係数系列データを生成する合成データ生成ステップと、
前記音素ラベル列に対応する前記録音音声データから前記仮構築ステップにより生成された前記録音音声メルケプストラム係数系列データと、前記合成データ生成ステップにより該音素ラベル列に対応づけられた前記合成音声データから前記合成データ生成ステップにより生成された前記合成音声メルケプストラム係数系列データと、を比較した結果に基づき、前記録音音声メルケプストラム係数系列データを編集して編集済メルケプストラム係数系列データを生成する編集ステップと、
前記音素ラベル列と前記編集ステップにより生成された編集済メルケプストラム係数系列データとに基づいてHMM学習により音声合成辞書を構築する再構築ステップと、
から構成される音声合成辞書構築方法。 - コンピュータに、
音声データベースから音素ラベル列と該音素ラベル列に対応する録音音声データとを取得し、取得した録音音声データにメルケプストラム分析を施し録音音声メルケプストラム係数系列データを生成するとともに、生成された録音音声メルケプストラム係数系列データと取得した音素ラベル列とに基づいてHMM(Hidden Markov Model)学習により仮音声合成辞書を構築する仮構築ステップと、
前記仮音声合成辞書に依拠して合成音声データを生成し、生成された合成音声データにメルケプストラム分析を施し合成音声メルケプストラム係数系列データを生成する合成データ生成ステップと、
前記音素ラベル列に対応する前記録音音声データから前記仮構築ステップにより生成された前記録音メルケプストラム係数系列データと、前記合成データ生成ステップにより該音素ラベル列に対応づけられた前記合成音声データから前記合成データ生成ステップにより生成された前記合成音声メルケプストラム係数系列データと、を比較した結果に基づき、前記録音音声メルケプストラム係数系列データを編集して編集済メルケプストラム係数系列データを生成する編集ステップと、
前記音素ラベル列と前記編集ステップにより生成された編集済メルケプストラム係数系列データとに基づいてHMM学習により音声合成辞書を構築する再構築ステップと、
を実行させるコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007010440A JP4826482B2 (ja) | 2007-01-19 | 2007-01-19 | 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007010440A JP4826482B2 (ja) | 2007-01-19 | 2007-01-19 | 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008176132A true JP2008176132A (ja) | 2008-07-31 |
JP4826482B2 JP4826482B2 (ja) | 2011-11-30 |
Family
ID=39703193
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007010440A Active JP4826482B2 (ja) | 2007-01-19 | 2007-01-19 | 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4826482B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102033927A (zh) * | 2010-12-15 | 2011-04-27 | 哈尔滨工业大学 | 一种基于gpu实现的快速音频检索方法 |
WO2012164835A1 (ja) * | 2011-05-30 | 2012-12-06 | 日本電気株式会社 | 韻律生成装置、音声合成装置、韻律生成方法および韻律生成プログラム |
JP2014228580A (ja) * | 2013-05-20 | 2014-12-08 | 日本電信電話株式会社 | 音声モデル生成装置、方法、プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61286900A (ja) * | 1985-06-14 | 1986-12-17 | ソニー株式会社 | 信号処理装置 |
JP2002268660A (ja) * | 2001-03-13 | 2002-09-20 | Japan Science & Technology Corp | テキスト音声合成方法および装置 |
JP2002539483A (ja) * | 1999-03-08 | 2002-11-19 | シーメンス アクチエンゲゼルシヤフト | 音声信号の特徴記述子を求める方法 |
-
2007
- 2007-01-19 JP JP2007010440A patent/JP4826482B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61286900A (ja) * | 1985-06-14 | 1986-12-17 | ソニー株式会社 | 信号処理装置 |
JP2002539483A (ja) * | 1999-03-08 | 2002-11-19 | シーメンス アクチエンゲゼルシヤフト | 音声信号の特徴記述子を求める方法 |
JP2002268660A (ja) * | 2001-03-13 | 2002-09-20 | Japan Science & Technology Corp | テキスト音声合成方法および装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102033927A (zh) * | 2010-12-15 | 2011-04-27 | 哈尔滨工业大学 | 一种基于gpu实现的快速音频检索方法 |
WO2012164835A1 (ja) * | 2011-05-30 | 2012-12-06 | 日本電気株式会社 | 韻律生成装置、音声合成装置、韻律生成方法および韻律生成プログラム |
JPWO2012164835A1 (ja) * | 2011-05-30 | 2015-02-23 | 日本電気株式会社 | 韻律生成装置、音声合成装置、韻律生成方法および韻律生成プログラム |
US9324316B2 (en) | 2011-05-30 | 2016-04-26 | Nec Corporation | Prosody generator, speech synthesizer, prosody generating method and prosody generating program |
JP2014228580A (ja) * | 2013-05-20 | 2014-12-08 | 日本電信電話株式会社 | 音声モデル生成装置、方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4826482B2 (ja) | 2011-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111566656B (zh) | 利用多种语言文本语音合成模型的语音翻译方法及*** | |
JP6004358B1 (ja) | 音声合成装置および音声合成方法 | |
JP2003295882A (ja) | 音声合成用テキスト構造、音声合成方法、音声合成装置及びそのコンピュータ・プログラム | |
JP2007249212A (ja) | テキスト音声合成のための方法、コンピュータプログラム及びプロセッサ | |
JP2018146803A (ja) | 音声合成装置及びプログラム | |
CN1813285B (zh) | 语音合成设备和方法 | |
JP5753769B2 (ja) | 音声データ検索システムおよびそのためのプログラム | |
JP4826482B2 (ja) | 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム | |
Shi et al. | Muskits: an end-to-end music processing toolkit for singing voice synthesis | |
JP4620518B2 (ja) | 音声データベース製造装置、音片復元装置、音声データベース製造方法、音片復元方法及びプログラム | |
EP2507792B1 (en) | Vocabulary dictionary recompile for in-vehicle audio system | |
JP4287785B2 (ja) | 音声合成装置、音声合成方法及びプログラム | |
JP2017097332A (ja) | 音声合成装置および音声合成方法 | |
CN1816846B (zh) | 用于选择话音数据的设备和方法 | |
WO2008056604A1 (fr) | Système de collecte de son, procédé de collecte de son et programme de traitement de collecte | |
KR102277205B1 (ko) | 오디오 변환 장치 및 방법 | |
JP4826493B2 (ja) | 音声合成辞書構築装置、音声合成辞書構築方法、及び、プログラム | |
CN113345454A (zh) | 语音转换模型的训练、应用方法、装置、设备及存储介质 | |
JP2005018036A (ja) | 音声合成装置、音声合成方法及びプログラム | |
EP1589524B1 (en) | Method and device for speech synthesis | |
JP5155836B2 (ja) | 収録テキスト生成装置、その方法、そのプログラム | |
EP1640968A1 (en) | Method and device for speech synthesis | |
JP2001042883A (ja) | テキスト音声合成装置 | |
JP4620517B2 (ja) | 音声データベース製造装置、音片復元装置、音声データベース製造方法、音片復元方法及びプログラム | |
JP2007178692A (ja) | 文字入力装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110802 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110829 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4826482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |