JP6420781B2 - 声道スペクトル推定装置、声道スペクトル推定方法、及びプログラム - Google Patents

声道スペクトル推定装置、声道スペクトル推定方法、及びプログラム Download PDF

Info

Publication number
JP6420781B2
JP6420781B2 JP2016031809A JP2016031809A JP6420781B2 JP 6420781 B2 JP6420781 B2 JP 6420781B2 JP 2016031809 A JP2016031809 A JP 2016031809A JP 2016031809 A JP2016031809 A JP 2016031809A JP 6420781 B2 JP6420781 B2 JP 6420781B2
Authority
JP
Japan
Prior art keywords
vocal tract
spectrum
estimation
time
spectrogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016031809A
Other languages
English (en)
Other versions
JP2017151188A (ja
Inventor
弘和 亀岡
弘和 亀岡
中村 友彦
友彦 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
University of Tokyo NUC
Original Assignee
Nippon Telegraph and Telephone Corp
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, University of Tokyo NUC filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016031809A priority Critical patent/JP6420781B2/ja
Publication of JP2017151188A publication Critical patent/JP2017151188A/ja
Application granted granted Critical
Publication of JP6420781B2 publication Critical patent/JP6420781B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、声道スペクトル推定装置、声道スペクトル推定方法、及びプログラムに係り、特に、音声信号から声道スペクトルを推定するための声道スペクトル推定装置、声道スペクトル推定方法、及びプログラムに関する。
音声合成、或いは音声変換をはじめ音声処理全般において、音声信号から声道スペクトルを推定する技術は多くの場面で用いられている。短区間ごとの音声信号を、周期デルタ関数(パルス列)を入力とした線形時不変系の出力としてモデル化できると仮定すれば、この線形系の入力とインパルス応答がそれぞれ声帯音源信号と声道特性に対応する。この仮定は、周波数領域では周期デルタ関数で表される声帯音源スペクトルと声道スペクトルの積で音声スペクトルが表されることに相当する。従って、音声スペクトルは、声道スペクトルを基本周波数間隔で周期的にサンプリングしたものであると見なすことができる。
この観点に基づいて、音声スペクトルから声道スペクトルを推定する方法がこれまで提案されている。代表的な方法の一つとして広く知られる“STRAIGHT ” は、音声信号を基本周期の幅で切り出し、切り出した各々の信号である切り出し信号のスペクトルを声道スペクトルの推定値とする方法である(非特許文献1)。これは周波数領域では、各調波成分のピークをsinc 補間したものを声道スペクトルと見なしていることに相当する。
しかし、STRAIGHTによって得られる声道スペクトル推定値は、定常な音声が対象であっても、音声信号を基本周期の幅で切り出す切り出しフレームのオフセットに依存して周期的に時間変化することが知られている。これは各調波成分が互いに干渉し合うからである。こうした周期的に時間変化するスペクトルの変動成分は、周期信号に対する有限窓を用いた周波数分析により不可避的に生じるものであり、声道スペクトル推定値に本来含めるべきものではない。したがって、STRAIGHTを用いた声道スペクトルの推定において、声道スペクトル推定値から変動成分を除くように改良された手法が提案されている(非特許文献2)。
前述したように、音声スペクトルは声道スペクトルを基本周波数(F0)間隔でサンプリングしたものと見なせるため、音声のF0が高いときほど声道スペクトル推定の手がかりは少なくなる。このことは、1フレームごとに独立な処理に本質的な限界があることを示唆している。
一方で、音声信号には同一の音素が繰り返し出現するため、類似した声道スペクトルが複数の異なる時刻で現れることも、声道スペクトル推定の手がかりとなる。複数のフレームが共通の声道スペクトルを持つと仮定でき、当該複数のフレームでF0 が異なれば、実際に観測可能な声道スペクトルのサンプル点が単一のフレームの場合よりも増加するため、声道スペクトルの推定精度が向上すると考えられる。
こうした考えに基づき、同時に収録された調音運動データを用いて、複数フレームから声道スペクトルを推定する手法 が提案されている(非特許文献3)。また、同様の手法として、因子分析トラジェクトリ隠れマルコフモデルによる声道スペクトル推定法が提案されている(非特許文献4)。因子分析トラジェクトリ隠れマルコフモデルによる声道スペクトル推定法では、音声信号の各フレームに付与されているコンテキストラベルを用い、同一のコンテキストが付与された複数のフレームにおける調波成分の情報に加え動的特徴量を手がかりにすることで、声道スペクトルを推定する。
しかしながら、因子分析トラジェクトリ隠れマルコフモデルによる声道スペクトル推定法では、複数のフレームにおける調波成分の情報を手がかりにすることで、声道スペクトルを精度良く推定することは可能であるが,音声信号に対するコンテキストラベルの付与には膨大な労力を要するという問題がある。
本発明は、上記の事情を鑑みて成されたものであり、音声信号から声道スペクトルを精度良く推定することができる声道スペクトル推定装置、声道スペクトル推定方法、及びプログラムを提供することを目的とする。
上記の目的を達成するために本発明に係る声道スペクトル推定装置は、音声信号の時系列データを、基本周期の幅で切り出し、各々切り出した音声信号のスペクトルから、各時刻及び各正規化角周波数の観測時間周波数成分を表す観測スペクトログラムを出力する観測スペクトログラム推定部と、前記観測スペクトログラム推定部により出力された前記観測スペクトログラムと、各スペクトルパターンにおける各正規化角周波数のパワースペクトルを表す声道スペクトル、及び各スペクトルパターンの各時刻における重みから求められる各時刻及び各正規化角周波数の時間周波数成分を表す声道スペクトログラムとの距離を用いて表される目的関数を小さくするように、各スペクトルパターンにおける各正規化角周波数の前記声道スペクトル、及び各スペクトルパターンの各時刻における重みを推定する推定部と、を含んで構成されている。
本発明に係る声道スペクトル推定方法は、観測スペクトログラム推定部と推定部とを含む声道スペクトル推定装置における声道スペクトル推定方法であって、前記観測スペクトログラム推定部が、音声信号の時系列データを、基本周期の幅で切り出し、各々切り出した音声信号のスペクトルから、各時刻及び各正規化角周波数の観測時間周波数成分を表す観測スペクトログラムを出力し、前記推定部が、前記観測スペクトログラム推定部により出力された前記観測スペクトログラムと、各スペクトルパターンにおける各正規化角周波数のパワースペクトルを表す声道スペクトル、及び各スペクトルパターンの各時刻における重みから求められる各時刻及び各正規化角周波数の時間周波数成分を表す声道スペクトログラムとの距離を用いて表される目的関数を小さくするように、各スペクトルパターンにおける各正規化角周波数の前記声道スペクトル、及び各スペクトルパターンの各時刻における重みを推定する。
本発明に係るプログラムは、上記の声道スペクトル推定装置の各部としてコンピュータを機能させるためのプログラムである。
以上説明したように、本発明の声道スペクトル推定装置、声道スペクトル推定方法、及びプログラムによれば、観測スペクトログラムと、声道スペクトログラムとの距離を用いて表される目的関数を小さくするように、各スペクトルパターンにおける各正規化角周波数の声道スペクトル、及び各スペクトルパターンの各時刻における重みを推定することにより、音声信号から声道スペクトルを精度良く推定することができる、という効果が得られる。
本発明の実施の形態に係る声道スペクトル推定装置の構成を示す概略図である。 GMM-NMFに対する声道スペクトルの推定アルゴリズムを利用する声道スペクトル推定処理ルーチンの処理の一例を示すフローチャートである。 AR-NMFに対する声道スペクトルの推定アルゴリズムを利用する声道スペクトル推定処理ルーチンの処理の一例を示すフローチャートである。 声道スペクトル推定装置によって推定した声道スペクトルの評価結果を示す図である。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
<本発明の実施の形態の概要>
声道スペクトログラムが低ランクな非負値行列で近似できるという仮定に基づいて、音声信号に付与されたコンテキストラベルを用いることなく、音声信号の複数のフレームにおける調波成分の情報を手がかりにして、声道スペクトルを精度良く推定する。
<欠損データ補間による声道スペクトル推定>
<低ランク非負値行列による声道スペクトログラムのモデル化>
まず、低ランク非負値行列による声道スペクトログラムのモデル化について説明する。時間インデックスをt(t=0,・・,T-1)とし、周波数インデックスk(k=0,・・,K-1)と対応する正規化角周波数をそれぞれωkと表す。
音声における音素の種類は限られていることから、音声の一発話において、同じ声道スペクトルが複数の異なる時刻に現れる。この状況は、声道スペクトログラムを低ランクな非負値行列で表現可能であるということと同等であると解釈することができる。したがって、例えばR個の滑らかなスペクトルパターンを列方向に並べた非負値行列H=(Hk,r)k,rと、各スペクトルパターンの非負値の重みU=(Ur,t)r,tによって、声道スペクトログラムXk,tは(1)式で表すことができる。
なお、rはスペクトルパターンのインデックスである。
周波数方向に滑らか、且つ、非負となるHk,rは様々に設計可能であるが、本実施の形態では2種類のHk,rを提案する。
1つ目の提案は、(2)式及び(3)式に示すように、Hk,rを混合正規分布型の関数で規定する。
ここで、ωは正規化角周波数、Nは混合数、n(n=0,・・,N-1)は混合数Nのインデックスである。h(ω)は周波数ワーピング関数であり、h(ω)=ωとすれば、Gn(ω)は線形周波数領域で平均ρn、分散ν2 nの正規分布と同形の関数となる。本実施の形態では、メル周波数領域で滑らかな声道スペクトルとなるように、周波数ワーピング関数h(ω)を例えば(4)式のように設定する。
ここで、fsはサンプリング周波数であり、(4)式によって[0,π]の正規化周波数は[0,1]にマッピングされる。また、W=(Wr,n)r,n≧0は各正規分布の重みであり、非負値行列H及び重みUに関するスケールの任意性を解消するため、各rに関してΣnr,n=1とする。
2つ目の提案は、ソースフィルタモデルでよく用いられる全極フィルタを利用する方法である。具体的には、P次の全極フィルタの係数ar:=[ar,0,ar,1,・・,ar,P]Tを用いれば、全極フィルタの振幅スペクトルHk,r (AR)、すなわち、声道スペクトルHk,r (AR)は(5)式で表される。
ここで、Q(ω)は、(p,q)成分がcos(ω(p−q))で表される(P+1)×(P+1)のToeplitz行列である。
<欠損データに対する非負値行列因子分解アプローチ>
STRAIGHTによって推定された声道スペクトログラムY=(Yk,t)k,tが与えられた場合、声道スペクトログラムの推定問題は、与えられた声道スペクトログラムYk,tと推定した声道スペクトログラムXk,tとの距離D*(Yk,t;Xk,t)を用いて、(6)式のように定式化ができる。
ここで、Θはパラメータ集合であり、声道スペクトルHk,rとして(2)式のHk,r (GMM)を用いた場合は、Θ={W,U}であり、声道スペクトルHk,rとして(5)式のHk,r (AR)を用いた場合は、Θ={{ar}r,U}である。以降、説明の便宜上、Hk,r (GMM)を用いた場合の非負値行列因子分解(Nonnegative Matrix Factorization:NMF)を“GMM-NMF”、Hk,r (AR)を用いた場合のNMFを“AR-NMF”と称す。また、Zk,t∈[0,1]は、各時間周波数成分の信頼度を表すパラメータである。
なお、(6)式においてZk,t=0であれば、STRAIGHTによって推定された声道スペクトログラムYk,tに対するコストは考慮されず、Zk,tが大きい時間周波数成分ほど重視される。
この信頼度Zk,tの単純な設計方法として、各時刻での基本周波数F0とその高調波周波数に対応する時間周波数成分にはZk,t=1、それ以外の時間周波数成分にはZk,t=ξ(ただし、ξは0以上1以下の定数)とする方法が考えられる。ξの値は実験的、経験的に決定することもできるが,本実施の形態ではSTRAIGHTで得られる非周期性指標Ak,t∈[0,1]を利用して設計する方法について述べる。非周期性指標Ak,tは、各時間周波数成分に含まれる非周期成分の割合であるため、各k,rに関してZk,t=1−Ak,tとすれば、周期性成分を重視した声道スペクトログラムXk,tの推定が可能になる。
NMFで広く知られている距離D*(Yk,t;Xk,t)として、例えば一般化Kullback-Leibler(KL)ダイバージェンスDGKL、または2乗距離DEUが挙げられる。一般化KLダイバージェンスDGKLを用いた場合の目的関数LGKL(Θ)を(7)式に示し、2乗距離DEUを用いた場合の目的関数LEU(Θ)を(8)式に示す。
<補助関数法によるパラメータ推定アルゴリズム>
次に、GMM-NMFに対するパラメータ推定アルゴリズム、及びAR-NMFに対するパラメータ推定アルゴリズムについて説明する。
<GMM-NMFに対する反復アルゴリズムの導出>
上記(7)式の一般化KLダイバージェンスDGKLを用いた場合の目的関数LGKL(Θ)における右辺括弧内の第2項は、対数関数の中に加算演算を含んでいるため、(7)式の目的関数を最小化する最適化問題を直接解くことは困難である。
しかし、多くのNMFを用いた研究で行われているように、最適化問題を直接解くことが困難である目的関数に、補助関数法と呼ばれる最適化原理を適用することによって、反復的に局所最適解を得ることができることが知られている。
補助関数法では、パラメータΘの目的関数L(Θ)に対して補助変数λを導入し、L(Θ)=minλ+(Θ,λ)を満たす上界を規定する補助関数L+(Θ,λ)を導出する。補助関数L+(Θ,λ)をパラメータΘ、補助変数λに関して交互に最小化することによって、目的関数L(Θ)を広義単調減少させることができる。
対数関数は凹関数であるため、上記(7)式の右辺括弧内の第2項の上界は、Jensenの不等式を用いて(9)式で表される。
ここで、λk,t,r,n≧0は補助変数であり、各k,tに関してΣr,nλk,t,r,n=1を満たす。なお、(9)式の等式成立条件は(10)式を満たす場合となる。
したがって、目的関数LGKL(Θ)に対する補助関数は(11)式で表される。
ここで、λ:={λk,t,r,n}と定義した。(11)式の補助関数のWr,n、Ur,tに関する偏微分が0となる値を求めて(10)式を代入することにより、(12)式及び(13)式に示す閉形式の更新式が得られる。
(12)式及び(13)式の更新式は全て非負値の項同士の積として計算されるため、初期値を非負値にすればWr,n、Ur,tの非負値性は自然と保たれる。
次に、距離D*(Yk,t;Xk,t)として2乗距離DEUを用いた場合の目的関数LEU(Θ)の更新式について検討する。(8)式も右辺括弧内の第2項に加算演算を含んでいるため、(8)式の目的関数を最小化する最適化問題を直接解くことは困難である。
しかし、2次関数は凸関数であるため、上記(8)式に対してJensenの不等式を用いることで、目的関数LGKL(Θ)の場合と同様に補助関数を設計することができる。補助関数の設計は、目的関数LGKL(Θ)における補助関数の設計方法と同様であるため省略するが、(8)式を最小化する更新式は、(14)式及び(15)式で表される。
<AR-NMFに対する反復アルゴリズムの導出>
AR-NMFに関しても、GMM-NMFに対する反復アルゴリズムの導出方法と同様にして、閉形式の更新式を導出することができる。
まず、一般化KLダイバージェンスの目的関数LGKL(Θ)に対する補助関数L+ GKL,AR(Θ,ξ)について検討する。補助関数L+ GKL,AR(Θ,ξ)は、各k,tに関してΣrξk,t,r=1を満たす非負の補助変数ξ={ξk,t,r}k,t,rを導入することで、(16)式によって定義される。
また、(16)式の等式成立条件はξk,t,r=H(AR) k,r(Ur,t/Xk,t)となる。Ur,tの更新式は、(13)式のHk,r (GMM)をHk,r (AR)に置換したものと同じになり、(17)式で表される。
一方、AR-NMFに対する反復アルゴリズムを導出する場合、arの更新には、乗法更新型アルゴリズムを利用できる。
(7)式に示した一般化KLダイバージェンスの目的関数LGKL(Θ)のarに関する偏微分は、(18)式〜(20)式で表すことができる。
(18)式の右辺括弧内の第1項及び第2項はどちらも正定値行列であり、(21)式の乗法更新測を用いることで目的関数LGKL(Θ,ξ)を広義単調減少させることができる。
詳細は省略するが、2乗距離DEUを用いた場合の更新式についても、一般化KLダイバージェンスの場合と同様にして導出することができる。具体的には、Ur,tの更新式は、(15)式のHk,r (GMM)をHk,r (AR)に置換した(22)式で表され、arの更新式は(21)式と同様に(23)式となる。
<第1の実施の形態>
<システム構成>
次に、音声信号の複数のフレームにおける調波成分の情報を手がかりにして、声道スペクトルを推定する声道スペクトル推定装置に本発明を適用した場合を例にして、本発明の第1の実施の形態を説明する。なお、第1の実施の形態では距離D*(Yk,t;Xk,t)として、一般化KLダイバージェンスDGKLを用いた場合のGMM-NMFに対する声道スペクトルの推定アルゴリズムを利用する声道スペクトル推定装置の例について説明する。
図1に示すように、本発明の第1の実施の形態に係る声道スペクトル推定装置は、CPUと、RAMと、後述する声道スペクトル推定処理ルーチンを実行するためのプログラムを記憶したROMとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
声道スペクトル推定装置100は、入力部10と、演算部20と、記憶部30と、出力部40とを備えている。
入力部10により、声道スペクトルの推定対象である音声信号の時系列データが入力される。記憶部30は、入力部10により入力された音声信号の時系列データを記憶する。また、記憶部30は、後述する各処理での結果を記憶すると共に、本処理ルーチンで用いる各パラメータの初期値を記憶している。
演算部20は、観測スペクトログラム推定部21と、初期設定部22と、推定部23と、終了判定部24と、出力部25とを備えている。
観測スペクトログラム推定部21は、入力部10で収集した音声信号の時系列データを入力として、公知の声道スペクトルの推定手法であるSTRAIGHTを用いて推定した声道スペクトログラムYk,tを計算する。また、計算した声道スペクトログラムYk,tを、記憶部30に記憶しておく。より詳細には、観測スペクトログラム推定部21は、入力部10で収集した音声信号の時系列データを基本周期の幅で切り出し、各々切り出した音声信号から、各時刻t及び各正規化角周波数ωkの観測時間周波数成分を表す声道スペクトログラムYk,tを計算する。なお、声道スペクトログラムYk,tは、本実施の形態に係る観測スペクトログラムの一例である。
また、観測スペクトログラム推定部21は、声道スペクトログラムYk,tを計算する際、観測時間周波数成分毎に非周期性指標Ak,tを計算し、Zk,t=1−Ak,tにより各時間周波数成分の信頼度Zk,tを算出する。算出した各時間周波数成分の信頼度Zk,tは、記憶部30に記憶される。
初期設定部22は、後述する処理で用いるパラメータWr,n、Ur,t、及びGnk)の各初期値を設定する。なお、Wr,nは非負値であり、Σnr,n=1を満たすように初期値を設定する。Ur,tも非負値であり、例えば乱数を用いて適当な値に初期値を設定する。なお、r(r=0,・・,R-1)は、R個のスペクトルパターンを指し示すスペクトルインデックスである。Gnk)に対しては、上記(3)式を満たすように初期値を設定する。この際、平均ρn、分散ν2 nには適当な値を用いればよい。設定したパラメータWr,n、Ur,t、及びGnk)の各初期値は、記憶部30に記憶される。
推定部23は、(k、r)の全ての組み合わせの各々について、記憶部30に記憶されているWr,n及びGnk)に基づいて、上記(2)式に従って、声道スペクトルHk,r (GMM)(以降、単に「Hk,r」と記載する)を計算し、記憶部30に格納する。
推定部23は、(k、t)の全ての組み合わせの各々について、記憶部30に記憶されているHk,r及びUr,tに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを計算し、記憶部30に格納する。
推定部23は、(r、n)の全ての組み合わせの各々について、記憶部30に記憶されているWr,n、Zk,t、Xk,t、Yk,t、Gnk)、Ur,tに基づいて、上記(12)式に従って、正規分布の重みWr,nを更新し、記憶部30に格納する。
推定部23は、正規分布の重みWr,nの更新に伴い、(k、r)の全ての組み合わせの各々について、Wr,n及びGnk)に基づいて、上記(2)式に従って、声道スペクトルHk,rを計算し、記憶部30に格納する。
推定部23は、声道スペクトルHk,rの更新に伴い、(k、t)の全ての組み合わせの各々について、記憶部30に記憶されているHk,r及びUr,tに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを計算し、記憶部30に格納する。
推定部23は、(r、t)の全ての組み合わせの各々について、記憶部30に記憶されているUr,t、Zk,t、Xk,t、Yk,t、H(GMM) k,r、すなわちHk,rに基づいて、上記(13)式に従って、声道スペクトログラムXk,tのスペクトルパターンの重みUr,tを更新し、記憶部30に格納する。
更に、推定部23は、声道スペクトログラムXk,tのスペクトルパターンの重みUr,tの更新に伴い、(k、t)の全ての組み合わせの各々について、記憶部30に記憶されているHk,r及びUr,tに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを計算し、記憶部30に格納する。
終了判定部24は、予め定められた終了条件を満足するか否かを判定し、終了条件を満足していない場合には、推定部23の各処理を繰り返す。終了判定部24は、終了条件を満足したと判定した場合には、出力部25による処理に移行する。
出力部25は、記憶部30に記憶されている声道スペクトログラムXk,tを、入力部10に入力された音声信号から推定される声道スペクトログラムとして出力する。
なお、終了条件としては、繰り返し回数がL-1回目の目的関数(7)式の値と、繰り返し回数がL回目の目的関数(7)式の値との差が、予め定めた閾値よりも小さくなったことを用いればよい。あるいは、終了条件として、繰り返し回数が、予め定められた上限回数に到達したことを用いてもよい。
<声道スペクトル推定装置の作用>
次に、GMM-NMFに対する声道スペクトルの推定アルゴリズムを利用する第1の実施の形態に係る声道スペクトル推定装置100の作用について説明する。
マイクロホンで取得された音声信号の時系列データが声道スペクトル推定装置100に入力され、記憶部30に格納される。そして、声道スペクトル推定装置100において、図2に示す声道スペクトル推定処理ルーチンが実行される。
まず、ステップS100において、記憶部30から、音声信号の時系列データを読み込み、当該音声信号の時系列データに対して、STRAIGHTによる声道スペクトルの推定を行い、各時間t及び各正規化角周波数ωk(k=0,・・,K-1)のの観測時間周波数成分を表す声道スペクトログラムYk,tを計算し、得られた声道スペクトログラムYk,tを、記憶部30に格納する。
ステップS102において、ステップS100で得られた声道スペクトログラムYk,tに対応する非周期性指標Ak,tを計算し、Zk,t=1−Ak,tにより各時間周波数成分の信頼度Zk,tを計算し、得られた信頼度Zk,tを記憶部30に格納する。
ステップS104において、乱数を用いてWr,n及びUr,tの初期値を設定する。なお、Wr,n及びUr,tの初期値は非負値とし、Wr,nに対しては、Σnr,n=1を満たすように初期値を設定する。また、Gnk)については、上記(3)式を満たすように初期値を設定する。この際、平均ρn、分散ν2 nには適当な値を用いればよい。
こうして設定されたWr,n、Ur,t、及びGnk)の各初期値は、記憶部30に記憶される。
次に、ステップS106では、ステップS104で設定されたWr,n及びGnk)に基づいて、上記(2)式に従って、声道スペクトルHk,rを各(k、r)の組み合わせについて算出して、記憶部30に格納する。また、ステップS106では、ステップS104で設定されたUr,t、及び本ステップで算出されたHk,rに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを各(k、t)の組み合わせについて算出して、記憶部30に格納する。
ステップS108では、ステップS104で設定されたWr,n、Gnk) 及びUr,t、ステップS102で算出されたZk,t、ステップS106で算出されたXk,t、並びにステップS100で算出されたYk,t、すなわち、記憶部30に記憶されている最新の各パラメータWr,n、Zk,t、Xk,t、Yk,t、Gnk)、Ur,tに基づいて、上記(12)式に従って、正規分布の重みWr,nを各(r、n)の組み合わせについて算出して、記憶部30に格納する。
ステップS110では、ステップS106と同様に、記憶部30に記憶されている最新の各パラメータWr,n及びGnk)、すなわち、ステップS108で算出されたWr,n及びステップS104で設定されたGnk)に基づいて、上記(2)式に従って、声道スペクトルHk,rを各(k、r)の組み合わせについて算出して、記憶部30に格納する。また、ステップS110では、記憶部30に記憶されている最新の各パラメータUr,t及びHk,r、すなわち、ステップS104で設定されたUr,t、及び本ステップで算出されたHk,rに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを各(k、t)の組み合わせについて算出して、記憶部30に格納する。
ステップS112では、記憶部30に記憶されている最新の各パラメータZk,t、Xk,t、Yk,t、Hk,r、Ur,t、すなわち、ステップS104で設定されたUr,t、ステップS102で算出されたZk,t、ステップS110で算出したXk,t及びHk,r、ステップS100で算出したYk,tに基づいて、上記(13)式に従って、声道スペクトログラムXk,tのスペクトルパターンの重みUr,tを各(r、t)の組み合わせについて算出して、記憶部30に格納する。
ステップS114では、記憶部30に記憶されている最新の各パラメータUr,t及びHk,r、すなわち、ステップS112で算出されたUr,t、及びステップS110で算出されたHk,rに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを各(k、t)の組み合わせについて算出して、記憶部30に格納する。
次のステップS116では、ステップS100で算出したYk,tと、ステップS102で算出したZk,tと、ステップS114で算出したXk,tに基づいて、(7)式に従って目的関数LGKL(Θ)の値を算出して、記憶部30に記憶する。そして、前回のステップS116で算出した目的関数LGKL(Θ)の値を記憶部30から読み込み、今回のステップS116で算出した目的関数LGKL(Θ)の値と、前回のステップS116で算出した目的関数LGKL(Θ)の値との差分が、予め記憶部30に記憶されている予め定められた閾値よりも小さいか否かを判定し、差分が予め定められた閾値以上の場合には、終了条件を満足していないと判断して、上記ステップS108へ戻り、上記ステップS108〜ステップS116の処理を繰り返す。
一方、差分が予め定められた閾値未満の場合には、終了条件を満足したと判断して、ステップS118で、ステップS114で算出した最新の声道スペクトログラムXk,tを出力して、声道スペクトル推定処理ルーチンを終了する。
なお、上記では、距離D*(Yk,t;Xk,t)として、一般化KLダイバージェンスDGKLを用いた場合のGMM-NMFに対する声道スペクトルの推定アルゴリズムを利用する声道スペクトル推定装置の例について説明したが、距離D*(Yk,t;Xk,t)として、2乗距離DEUを用いてもよいことは言うまでもない。
この場合、例えばステップS108が(14)式に示したWr,nの更新式の計算に置き換わり、ステップS112が(15)式に示したUr,tの更新式の計算に置き換わる。
<第2の実施の形態>
<システム構成>
次に、第2の実施の形態に係る声道スペクトル推定装置について説明する。第2の実施の形態では、距離D*(Yk,t;Xk,t)として、一般化KLダイバージェンスDGKLを用いた場合のAR-NMFに対する声道スペクトルの推定アルゴリズムを利用する声道スペクトル推定装置の例について説明する。本発明の第2の実施の形態に係る声道スペクトル推定装置は、図1に示した第1の実施の形態に係る声道スペクトル推定装置のシステム構成と同様に、入力部10と、演算部20と、記憶部30と、出力部40とを備えている。また、演算部20は、観測スペクトログラム推定部21と、初期設定部22と、推定部23と、終了判定部24と、出力部25とを備えている。
入力部10及び観測スペクトログラム推定部21については、第1の実施の形態と同様であるため、説明を省略する。
初期設定部22は、後述する処理で用いるパラメータar、及びUr,tの各初期値を設定する。ここで、P次の全極フィルタ係数arは、例えば乱数を用いて適当な値に初期値を設定する。Ur,tの各初期値の設定は、(システム構成その1)での説明と同様である。設定したパラメータar及びUr,tの各初期値は、記憶部30に記憶される。
推定部23は、(k、r)の全ての組み合わせの各々について、記憶部30に記憶されているarに基づいて、上記(5)式に従って、声道スペクトルHk,r (AR)(以降、単に「Hk,r」と記載する)を計算し、記憶部30に格納する。
推定部23は、(k、t)の全ての組み合わせの各々について、記憶部30に記憶されているHk,r及びUr,tに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを計算し、記憶部30に格納する。
推定部23は、記憶部30に記憶されているar、Zk,t、Hk,r、Xk,t、Yk,t、Ur,tに基づいて、上記(20)式に従って、全極フィルタ係数arを更新し、記憶部30に格納する。
推定部23は、全極フィルタ係数arの更新に伴い、(k、r)の全ての組み合わせの各々について、arに基づいて、上記(5)式に従って、声道スペクトルHk,rを計算し、記憶部30に格納する。
推定部23は、声道スペクトルHk,rの更新に伴い、(k、t)の全ての組み合わせの各々について、記憶部30に記憶されているHk,r及びUr,tに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを計算し、記憶部30に格納する。
推定部23は、(r、t)の全ての組み合わせの各々について、記憶部30に記憶されているUr,t、Zk,t、Xk,t、Yk,t、H(AR) k,r、すなわちHk,rに基づいて、上記(17)式に従って、声道スペクトログラムXk,tのスペクトルパターンの重みUr,tを更新し、記憶部30に格納する。
更に、推定部23は、声道スペクトログラムXk,tのスペクトルパターンの重みUr,tの更新に伴い、(k、t)の全ての組み合わせの各々について、記憶部30に記憶されているHk,r及びUr,tに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを計算し、記憶部30に格納する。
終了判定部24は、予め定められた終了条件を満足するか否かを判定し、終了条件を満足していない場合には、推定部23の各処理を繰り返す。終了判定部24は、終了条件を満足したと判定した場合には、出力部25による処理に移行する。
出力部25は、記憶部30に記憶されている声道スペクトログラムXk,tを、入力部10に入力された音声信号から推定される声道スペクトログラムとして出力する。
<声道スペクトル推定装置の作用>
次に、AR-NMFに対する声道スペクトルの推定アルゴリズムを利用する第2の実施の形態に係る声道スペクトル推定装置100の作用について説明する。
マイクロホンで取得された音声信号の時系列データが声道スペクトル推定装置100に入力され、記憶部30に格納される。そして、声道スペクトル推定装置100において、図3に示す声道スペクトル推定処理ルーチンが実行される。
図3に示す声道スペクトル推定処理ルーチンのステップS100、S102、及びS118は、既に説明した図2の声道スペクトル推定処理ルーチンの対応するステップと同様であるため、説明を省略する。
ステップS105において、乱数を用いてar及びUr,tの初期値を設定する。この際、ar及びUr,tの初期値は非負値を設定する。
こうして設定されたar及びUr,tの各初期値は、記憶部30に記憶される。
次に、ステップS107では、ステップS105で設定されたarに基づいて、上記(5)式に従って、声道スペクトルHk,rを各(k、r)の組み合わせについて算出して、記憶部30に格納する。また、ステップS107では、ステップS105で設定されたUr,t、及び本ステップで算出されたHk,rに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを各(k、t)の組み合わせについて算出して、記憶部30に格納する。
ステップS109では、ステップS100で算出されたYk,t、ステップS102で算出されたZk,t、ステップS105で設定されたar及びUr,t、ステップS107で算出されたHk,r及びXk,t、すなわち、記憶部30に記憶されている最新の各パラメータar、Zk,t、Xk,t、Yk,t、Hk,r、Ur,tに基づいて、上記(21)式に従って、全極フィルタ係数arを算出して、記憶部30に格納する。
ステップS111では、記憶部30に記憶されている最新のar、すなわち、ステップS109で算出されたarに基づいて、上記(5)式に従って、声道スペクトルHk,rを各(k、r)の組み合わせについて算出して、記憶部30に格納する。また、ステップS111では、記憶部30に記憶されている最新の各パラメータUr,t及びHk,r、すなわち、ステップS105で設定されたUr,t、及び本ステップで算出されたHk,rに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを各(k、t)の組み合わせについて算出して、記憶部30に格納する。
ステップS113では、記憶部30に記憶されている最新の各パラメータZk,t、Xk,t、Yk,t、Hk,r、Ur,t、すなわち、ステップS105で設定されたUr,t、ステップS102で算出されたZk,t、ステップS111で算出したXk,t及びHk,r、ステップS100で算出したYk,tに基づいて、上記(17)式に従って、声道スペクトログラムXk,tのスペクトルパターンの重みUr,tを各(r、t)の組み合わせについて算出して、記憶部30に格納する。
ステップS115では、記憶部30に記憶されている最新の各パラメータUr,t及びHk,r、すなわち、ステップS113で算出されたUr,t、及びステップS111で算出されたHk,rに基づいて、上記(1)式に従って、声道スペクトログラムXk,tを各(k、t)の組み合わせについて算出して、記憶部30に格納する。
次のステップS117では、ステップS100で算出したYk,tと、ステップS102で算出したZk,tと、ステップS115で算出したXk,tに基づいて、(7)式に従って目的関数LGKL(Θ)の値を算出して、記憶部30に記憶する。そして、前回のステップS117で算出した目的関数LGKL(Θ)の値を記憶部30から読み込み、今回のステップS117で算出した目的関数LGKL(Θ)の値と、前回のステップS117で算出した目的関数LGKL(Θ)の値との差分が、予め記憶部30に記憶されている予め定められた閾値よりも小さいか否かを判定し、差分が予め定められた閾値以上の場合には、終了条件を満足していないと判断して、上記ステップS109へ戻り、上記ステップS109〜ステップS117の処理を繰り返す。
一方、差分が予め定められた閾値未満の場合には、終了条件を満足したと判断して、ステップS118で、ステップS115で算出した最新の声道スペクトログラムXk,tを出力して、声道スペクトル推定処理ルーチンを終了する。
なお、上記では、距離D*(Yk,t;Xk,t)として、一般化KLダイバージェンスDGKLを用いた場合のAR-NMFに対する声道スペクトルの推定アルゴリズムを利用する声道スペクトル推定装置の例について説明したが、距離D*(Yk,t;Xk,t)として、2乗距離DEUを用いてもよいことは言うまでもない。
この場合、例えばステップS109が、(23)式に示したarの更新式の計算に置き換わり、ステップS113が、(22)式に示したUr,tの更新式の計算に置き換わる。
<声道スペクトル推定精度評価実験>
<評価実験の条件>
次に、第1の実施の形態に係る声道スペクトルの推定方法(以降、「提案法」という)の有効性を示す目的で、提案法で推定した声道スペクトルと、STRAIGHTで推定した声道スペクトルの推定精度を比較する評価実験を行った。
ATRデジタル音声データベースのAセットから、日本人女性話者1名による20文の音声信号(サンプリング周波数は16kHz)をSTRAIGHTの手法で分析し、基本周波数F0、声道スペクトル、非周期性指標Ak,tを抽出した。なお、ここで得られたスペクトルを正解の声道スペクトルとみなす。
そして、正解の声道スペクトルと2-1.0、2-0.5、20.0、20.5、21.0、21.5倍したF0を用いて、音声信号をそれぞれSTRAIGHTで再合成した。
そして、再合成音声信号からSTRAIGHT及び提案法で声道スペクトルを推定し、声道スペクトル推定値と正解の声道スペクトルとのメルケプストラム歪みを用いて、各々の手法の声道スペクトル推定性能を比較した。なお、メルケプストラム歪みは、1次から24次のメルケプストラム係数を用いて計算し、STRAIGHTによる声道スペクトルの推定では、フレームシフトを5ms(T=81761)、声道スペクトルの次元をK=513とした。
また、提案法として、GMM-NMFに対するパラメータ推定アルゴリズムにおいて、一般化KLダイバージェンスDGKLと2乗距離DEUを用いた場合の評価を行った。具体的には、STRAIGHTで推定された再合成音声信号の声道スペクトルを用い、F0の各定数倍毎に20発話の声道スペクトログラムYk,tを同時に用いて、Wr,n及びUr,tを推定した。また、スペクトルパターンR=90、混合数N=100とし、n=0,・・,N−1に対して平均ρn=n/(N−1)、標準偏差νn=1/(N−1)とした。Wr,n及びUr,tは非負の乱数で初期化し、提案法における声道スペクトルの推定アルゴリズムの反復回数は100回とした。
<評価実験結果>
図4に、提案法とSTRAIGHTによる声道スペクトルの推定結果のメルケプストラム歪みを示す。なお、“GKL”の列は、F0の倍率xに対する一般化KLダイバージェンスを用いた場合の評価結果、“EU”の列は、F0の倍率xに対する2乗距離を用いた場合の評価結果、及び“STRAIGHT”の列は、STRAIGHTによる評価結果を表している。各々の評価結果は、[平均値±標準偏差][dB]の形式で記載されており、括弧内の値は、非周期性指標Ak,tを用いなかった場合の評価結果を示している。
0の倍率xが高くなるにしたがって、観測できる調波成分も少なくなるため、当該フレーム以外の調波成分を利用することによる効果が現れると考えられるが、図4に示すように、F0の倍率xが高くなるほど、STRAIGHTを用いた評価結果に比べて、GKLの評価結果の方がメルケプストラム歪みが小さくなり、当該フレーム以外の調波成分が声道スペクトルの推定に有効であることが確認できる。
EUの評価結果も、F0の倍率xが高くなるほど、STRAIGHTを用いた評価結果に比べてメルケプストラム歪みが小さくなる。しかし、GKLの評価結果に比べると、平均的にメルケプストラム歪みが大きくなる傾向が見られ、一般化KLダイバージェンスを用いたGMM-NMFに対するパラメータ推定アルゴリズムの方が、声道スペクトルの推定に適しているということができる。
また、非周期性指標Ak,tを全ての時間周波数成分で一様、すなわち、全ての(k、t)の組み合わせに対してZk,t=1とした場合、それぞれの音声スペクトルの推定手法において、括弧内の値が取得される。
GKLの評価結果において、何れのF0の倍率xについても、非周期性指標Ak,tを用いた方が、非周期性指標Ak,tを一様にした場合のメルケプストラム歪みより小さくなっていることから、非周期性指標Ak,tが声道スペクトルの推定に関する性能向上に寄与することが確認できる。
また、GKLにおける括弧内の評価結果と、STRAIGHTを用いた評価結果を比べると、何れのF0の倍率xについても、GKLにおけるメルケプストラム歪みが小さいことがわかる。したがって、声道スペクトログラムXk,tが低ランクな非負値行列で近似できるという仮定が、声道スペクトル推定に有用であることが示唆される。
このように、本発明に係る提案手法では、音声信号に付与されたコンテキストラベルを用いることなく、音声信号の複数のフレームにおける調波成分の情報を手がかりにして、音声信号から声道スペクトルを精度良く推定することができる。
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
例えば、上述の声道スペクトル推定装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
10 入力部
20 演算部
21 観測スペクトログラム推定部
22 初期設定部
23 推定部
24 終了判定部
25 出力部
30 記憶部
100 声道スペクトル推定装置

Claims (7)

  1. 音声信号の時系列データを、基本周期の幅で切り出し、各々切り出した音声信号のスペクトルから、各時刻及び各正規化角周波数の観測時間周波数成分を表す観測スペクトログラムを出力する観測スペクトログラム推定部と、
    前記観測スペクトログラム推定部により出力された前記観測スペクトログラムと、各スペクトルパターンにおける各正規化角周波数のパワースペクトルを表す声道スペクトル、及び各スペクトルパターンの各時刻における重みから求められる各時刻及び各正規化角周波数の時間周波数成分を表す声道スペクトログラムとの距離を用いて表される目的関数を小さくするように、各スペクトルパターンにおける各正規化角周波数の前記声道スペクトル、及び各スペクトルパターンの各時刻における重みを推定する推定部と、
    を含む声道スペクトル推定装置。
  2. r番目のスペクトルパターンにおけるk番目の正規化角周波数ωkの前記声道スペクトルを、以下の式で表わされるHk,r (GMM)とし、
    前記推定部は、r番目のスペクトルパターンにおけるk番目の正規化角周波数ωkの前記声道スペクトルとして、n番目の正規分布の各々に対する重みWr,nを推定する請求項1記載の声道スペクトル推定装置。

    ただし、Gn(ω)は、平均ρn、分散νn 2の正規分布を表し、h(ω)は、周波数ワーピング関数を表す。
  3. r番目のスペクトルパターンにおけるk番目の正規化角周波数ωkの前記声道スペクトルを、以下の式で表わされるHk,r (AR)とし、
    前記推定部は、r番目のスペクトルパターンにおけるk番目の正規化角周波数ωkの前記声道スペクトルとして、P次の全極フィルタの係数arを推定する請求項1記載の声道スペクトル推定装置。

    ただし、Q(ω)は、(p,q)成分が、cos(ω(p−q))で表わされる(P+1)×(P+1)のToeplitz行列である。
  4. 観測スペクトログラム推定部と推定部とを含む声道スペクトル推定装置における声道スペクトル推定方法であって、
    前記観測スペクトログラム推定部が、音声信号の時系列データを、基本周期の幅で切り出し、各々切り出した音声信号のスペクトルから、各時刻及び各正規化角周波数の観測時間周波数成分を表す観測スペクトログラムを出力し、
    前記推定部が、前記観測スペクトログラム推定部により出力された前記観測スペクトログラムと、各スペクトルパターンにおける各正規化角周波数のパワースペクトルを表す声道スペクトル、及び各スペクトルパターンの各時刻における重みから求められる各時刻及び各正規化角周波数の時間周波数成分を表す声道スペクトログラムとの距離を用いて表される目的関数を小さくするように、各スペクトルパターンにおける各正規化角周波数の前記声道スペクトル、及び各スペクトルパターンの各時刻における重みを推定する
    声道スペクトル推定方法。
  5. r番目のスペクトルパターンにおけるk番目の正規化角周波数ωkの前記声道スペクトルを、以下の式で表わされるHk,r (GMM)とし、
    前記推定部が推定することでは、r番目のスペクトルパターンにおけるk番目の正規化角周波数ωkの前記声道スペクトルとして、n番目の正規分布の各々に対する重みWr,nを推定する請求項4記載の声道スペクトル推定方法。

    ただし、Gn(ω)は、平均ρn、分散νn 2の正規分布を表し、h(ω)は、周波数ワーピング関数を表す。
    声道スペクトル推定方法。
  6. r番目のスペクトルパターンにおけるk番目の正規化角周波数ωkの前記声道スペクトルを、以下の式で表わされるHk,r (AR)とし、
    前記推定部が推定することでは、r番目のスペクトルパターンにおけるk番目の正規化角周波数ωkの前記声道スペクトルとして、P次の全極フィルタの係数arを推定する請求項4記載の声道スペクトル推定方法。

    ただし、Q(ω)は、(p,q)成分が、cos(ω(p−q))で表わされる(P+1)×(P+1)のToeplitz行列である。
    声道スペクトル推定方法。
  7. 請求項1〜請求項3の何れか1項に記載の声道スペクトル推定装置の各部としてコンピュータを機能させるためのプログラム。
JP2016031809A 2016-02-23 2016-02-23 声道スペクトル推定装置、声道スペクトル推定方法、及びプログラム Active JP6420781B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016031809A JP6420781B2 (ja) 2016-02-23 2016-02-23 声道スペクトル推定装置、声道スペクトル推定方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016031809A JP6420781B2 (ja) 2016-02-23 2016-02-23 声道スペクトル推定装置、声道スペクトル推定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017151188A JP2017151188A (ja) 2017-08-31
JP6420781B2 true JP6420781B2 (ja) 2018-11-07

Family

ID=59741757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016031809A Active JP6420781B2 (ja) 2016-02-23 2016-02-23 声道スペクトル推定装置、声道スペクトル推定方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6420781B2 (ja)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3266819B2 (ja) * 1996-07-30 2002-03-18 株式会社エイ・ティ・アール人間情報通信研究所 周期信号変換方法、音変換方法および信号分析方法
JP5159279B2 (ja) * 2007-12-03 2013-03-06 株式会社東芝 音声処理装置及びそれを用いた音声合成装置。

Also Published As

Publication number Publication date
JP2017151188A (ja) 2017-08-31

Similar Documents

Publication Publication Date Title
US20200357381A1 (en) Speech synthesis device, speech synthesis method, speech synthesis model training device, speech synthesis model training method, and computer program product
Chen et al. MVA processing of speech features
CN107924686B (zh) 语音处理装置、语音处理方法以及存储介质
EP2109096B1 (en) Speech synthesis with dynamic constraints
EP2337006A1 (en) Speech processing and learning
US5907826A (en) Speaker-independent speech recognition using vowel/consonant segmentation based on pitch intensity values
US20080167862A1 (en) Pitch Dependent Speech Recognition Engine
WO2007094463A1 (ja) 信号歪み除去装置、方法、プログラム及びそのプログラムを記録した記録媒体
Nower et al. Restoration scheme of instantaneous amplitude and phase using Kalman filter with efficient linear prediction for speech enhancement
JP6420781B2 (ja) 声道スペクトル推定装置、声道スペクトル推定方法、及びプログラム
JP5325130B2 (ja) Lpc分析装置、lpc分析方法、音声分析合成装置、音声分析合成方法及びプログラム
McAulay Maximum likelihood spectral estimation and its application to narrow-band speech coding
JP4571871B2 (ja) 音声信号分析方法およびこの分析方法を実施する装置、この音声信号分析装置を用いた音声認識装置、この分析方法を実行するプログラムおよびその記憶媒体
JP2012027196A (ja) 信号分析装置、方法、及びプログラム
JP6553584B2 (ja) 基本周波数モデルパラメータ推定装置、方法、及びプログラム
JP6689769B2 (ja) 声道スペクトル推定装置、方法、及びプログラム
Kato et al. HMM-based speech enhancement using sub-word models and noise adaptation
JP6564744B2 (ja) 信号解析装置、方法、及びプログラム
JP6665079B2 (ja) 基本周波数モデルパラメータ推定装置、方法、及びプログラム
JP2019070775A (ja) 信号解析装置、方法、及びプログラム
JP4362072B2 (ja) 音声信号分析方法およびこの分析方法を実施する装置、この音声信号分析装置を用いた音声認識装置、この分析方法を実行するプログラムおよびその記憶媒体
Eyben et al. A frequency-weighted post-filtering transform for compensation of the over-smoothing effect in HMM-based speech synthesis
JP4762176B2 (ja) 音声認識装置および音声認識プログラム
JP6553561B2 (ja) 信号解析装置、方法、及びプログラム
Arima et al. Noise‐robust speech analysis using system identification methods

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181012

R150 Certificate of patent or registration of utility model

Ref document number: 6420781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250