JP4313724B2 - 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体 - Google Patents

音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体 Download PDF

Info

Publication number
JP4313724B2
JP4313724B2 JP2004147803A JP2004147803A JP4313724B2 JP 4313724 B2 JP4313724 B2 JP 4313724B2 JP 2004147803 A JP2004147803 A JP 2004147803A JP 2004147803 A JP2004147803 A JP 2004147803A JP 4313724 B2 JP4313724 B2 JP 4313724B2
Authority
JP
Japan
Prior art keywords
spectral
change
spectrum
spectral feature
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004147803A
Other languages
English (en)
Other versions
JP2005331588A (ja
Inventor
敏 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2004147803A priority Critical patent/JP4313724B2/ja
Publication of JP2005331588A publication Critical patent/JP2005331588A/ja
Application granted granted Critical
Publication of JP4313724B2 publication Critical patent/JP4313724B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

この発明は、音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体に関し、特に、記録された音声を再生するに際して、信号処理して音声の自然性を保ちながら再生速度を調節する音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体に関する。
従来の音声再生速度調節方法、即ち、再生音声の速聞きおよび遅聞きの方法には、以下の様なものがある。
第1の方法として、収録音声信号の再生時の信号のサンプリングレートを収録時のレートとは異なる値に設定する方法がある(特許文献1 参照)。一例として、収録時に1秒間当たり8000個のサンプルを観測した音声データを、再生時に1秒間当たり16000個のサンプルで再生すれば2倍の再生速度が得られる。アナログテープによる収録の場合、収録時のテープ速度よりも再生時のテープ速度を速めれば、より速い再生速度が得られることになる。しかし、この方法は、再生音声の声の高さに関連するピッチ周波数が変化するという問題を生起する。再生時の信号のサンプリングレートを収録時のレートと比較して大きく増減すると、話者が誰であるかを識別するのも困難なくらいに音声の自然性が失なわれるに到る。
第2の方法として、発声の合間に存在する無音区間を検出し、この無音区問をスキップして再生せずに音声再生する方法がある(特許文献2 参照)。この第2の方法は、音声の自然性は失なわれないが、音声部分を高速に再生することはできないという問題がある。
第3の方法として、音声のパワーの小さい部分をスキップし、パワーの大きな部分だけを再生する方法もある。しかし、この第3の方法には、パワーの小さい子音が欠落し、再生音声が聞き取り難くなるという問題がある。
特開平05−316597号 公報 特開平05−080796号 公報
この発明は、入力音声の各時刻で音声スペクトルがどの程度変化しているかを示すスペクトル変化量を計算し、このスペクトル変化量に基づいて音声を再生する区間、スキップする区間、音声を引き延ばす区間を決定するという構成を採用して、原音声の自然性、発声者の個人性を失うことなく記録された音声の再生速度を調節する音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体を提供するものである。
請求項1:音声信号を入力する音声入力ステップと、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップと、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップと、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップとを有し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出し、また、スペクトル変化量が閾値を超えない区間に対応する入力音声波形を削除して再生し、その閾値を変更することにより音声再生速度を調節する音声再生速度調節方法を構成した。
請求項2:音声信号を入力する音声入力ステップと、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップと、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップと、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップとを有し、スペクトル変化量が閾値よりも小さな区間において、対応する入力音声波形の一部を繰り返し、スペクトル変化量が閾値よりも小さくない区間において、そのまま保存して再生し、その閾値を変更することにより音声再生速度を調節する音声再生速度調節方法を構成した。
請求項3:請求項1および請求項2の内の何れかに記載される音声再生速度調節方法において、スペクトル変化量は動的尺度である音声再生速度調節方法を構成した。
請求項4:音声信号を入力し、音声信号をスペクトル特徴ベクトル系列に変換し、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算し、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出し、また、スペクトル変化量が閾値を超えない区間に対応する入力音声波形を削除して再生し、その閾値を変更することにより音声再生速度を調節する指令をコンピュータに対してする音声再生速度調節プログラムを構成した。
請求項5:音声信号を入力し、音声信号をスペクトル特徴ベクトル系列に変換し、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算し、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算し、スペクトル変化量が閾値よりも小さな区間において、対応する入力音声波形の一部を繰り返し、スペクトル変化量が閾値よりも小さくない区間において、そのまま保存して再生し、その閾値を変更することにより音声再生速度を調節する指令をコンピュータに対してする音声再生速度調節プログラムを構成した。
請求項6:請求項4および請求項5の内の何れかに記載される音声再生速度調節プログラムを格納した記録媒体を構成した。
この発明によれば、スペクトル変化量が人間の音声知覚に関係していることに着目して音声を削除する区間、音声を挿入する区間を決定しているので、速聞き、遅聞きにより各音素を別の音素に聞き違えたり、自然性を損なったりすることはない。そして、音声波形の時間軸を圧縮、伸長するのとは異なって、音声のピッチ周波数を保ったまま再生するものであるので、発声者の個人性を損なうこともない。更に、音声に定常的な雑音が重畳していても、1定常雑音のスペクトル変化は音声と比較して非常に小さいので、音声のスペクトル変化を観測することができ、スペクトル変化区間の検出に影響がない。図6はこれを示す図であり、定常雑音が存在する状態において「baNgumiaNnai」と発声したときの観測結果である。時間軸近傍に低レベルの定常雑音が存在しても、雑音自身のスペクトル変化量は小さいので、音素の境界でのみ、スペクトル変化量が大きくなっていることがわかる。
母音、子音の各音素は典型的なスペクトル特徴を有している。人間は、基本的に、このスペクトルの違いを知覚して音声を聴取している。しかし、詳細な音声の知覚実験によれば、人間は、スペクトルが急激に変化する音素境界付近の知覚に非常に敏感で、このスペクトル変化に基づいて音素を知覚しているという実験報告がある(参考文献:古井、“音声知覚におけるスペクトル変化情報の役割”、日本音響学会聴覚研究会資料、H85−6、昭和60年)。この発明は、この人間の知覚特性を利用する。即ち、原音声のスペクトル特徴ベクトルおよびこの特徴ベクトルからスペクトル変化量を計算し、音声再生速度を原音声の速度よりも速めたい場合、スペクトル変化量の大きい部分に対応する音声波形を残して、スペクトル変化の小さい部分に対応する音声波形を削除して再生する。スペクトル変化量の大きい部分とは、主として、音素境界および破裂音区間である。スペクトル変化量が小さい部分とは、母音および摩擦音の如き子音の定常部分、および無音区間である。無音区間もスペクトル変化がないので、この方法によればスキップされる。再生速度をどの程度速めるかは、スペクトル変化量に対して閾値を設け、閾値以上の区間の音声波形を再生する。この閾値を大きくすれば、よりスペクトル変化が激しい部分のみが再生され、再生速度が速くなる。一方、閾値を小さくすれば、スペクトル変化の比較的小さな区間も再生されるので、再生速度は原音声に近くなる。
一方、再生速度を原音声よりも遅くする場合は、スペクトル変化量の小さな区間の時間長を長くする。区間の時間長を長くするに際して、その区間の代表的な波形を挿入して区間長を長くする。波形を単純に時間軸に沿って引き延ばすと、等価的にテープを引き延ばして再生するのと同様に、音声のピッチ周波数が変化するので音声の自然性が失なわれるに到る。また、スペクトル変化量の大きな区間は、音素の知覚にとって非常に重要な区間であるので、そのまま保存して再生し、波形の加工は行わない。
上述した通り、この発明は、人間の音声知覚特性に基づいて音声波形の削除、付加を行って再生速度を調整しているので、音声の自然性および話者性を損なうことなしに音声再生速度を調節することができる。
ここで、図1を参照して、発明を実施するための最良の形態を具体的に説明する。
図1において、最下側領域から音声波形、スペクトル、スペクトル変化量が表示されている。表示される発声は、成人男性が発声した「ばんぐみあんない(baNgumiaNnai)」である。縦に走る実線は人が目視により付与した音素境界を示す線である。スペクトルを見ると明らかな如く、各音素で固有のスペクトルパターンを有していることが判る。即ち、音素境界においてスペクトル変化量が大きくなっている。図4および図5を参照するに、これらは同じ単語「baNgumiaNnai」をゆっくり発声した場合の波形、スペクトル、スペクトル変化量を示している。図4および図5を図1と比較すると、ゆっくり発声した場合、スペクトル定常部の継続時間が長くなっていることがわかる。この発明は、スペクトル変化量の時間パターンから、スペクトル変化の少ない定常部を見つけ、対応する波形を削除することにより、速聞きを実現する。逆に、図1の通常の発声の定常部を引き延ばすことにより、遅聞きを実現する。何れの場合も、縦に走る実線近傍のスペクトル変化の大きな音素境界は保存される。
図2を参照して第1の実施例を説明する。第1の実施例は、原音声よりも再生速度を速くする速聞きを実施する例である。
音声入力ステップ22において、マイクロホンの如き音響−電気変換器を介して音声信号を入力する。入力された音声信号は、スペクトル特徴ベクトル系列計算ステップ23において30msの時間窓で切り出され、スペクトル分析される。スペクトル分析は全極モデルに基づいた線形予測法(LPC)でも、FFT法でもよい。時間窓は更に10msのシフト幅で移動され、時間軸に沿って音声信号のスペクトル分析が行われる。結局、10ms毎にスペクトルの形状を表現するスペクトル特徴ベクトルが計算される。例えば、LPCケプストラム、FFTケプストラム、LPCスペクトル、FFTスペクトル、或いは、これらスペクトルの周波数軸を対数化して表現したメルスペクトル、メルケプストラムをスペクトル特徴ベクトルとして計算する。次に、スペクトル特徴変化ベクトル系列計算ステップ24において、スペクトル特徴ベクトル系列に対して新たな90msの時間窓を設け、その時間窓内のスペクトル特徴ベクトルの変化ベクトルが計算される。例えば、90ms内のスペクトル特徴ベクトル系列の線形1次回帰係数を用いる。これにより、90ms時間窓内の特徴ベクトルの変化パターンの傾きが計算される。スペクトル変化が大きいときは、回帰係数の絶対値も大きくなる。スペクトル特徴ベクトルの回帰係数は各次元で独立に計算される。回帰係数を用いずに、より簡単な計算で済む以下の通りの差分値を用いることができる。
Δxi(t)=xi(t+Δt)−xi(t−Δt)
ここで、xi(t)は時刻tにおけるスペクトル特徴ベクトルのi次元目を示す。△tは変化量を計算する時間窓幅の半分の値である。この差分値もスペクトル変化の傾きを表す。回帰係数ベクトル、または差分ベクトルからスペクトル変化量を計算する。スペクトル変化量は、例えば、以下の式で計算される動的尺度を用いる(参考文献:嵯峨山、板倉“音声の動的尺度に含まれる個人性情報”、日本音響学会 昭和54年度春季研究発表会講演論文集、3−2−7、pp589−590)。
D(t)=ΣP i=1(Δxi(t)2
ここで、Pはベクトルの次元数を示す。この値は時刻tを中心としたスペクトル変化を示すスカラー量とみなすことができる。これをスペクトル変化量計算ステップ25において、具体例として動的尺度計算ステップで計算する。音素境界においてはスペクトル変化が激しいので、動的尺度は音素境界付近でピークを示す。上述した通り、動的尺度の値が大きな区間、即ち、スペクトル変化が激しい区間は人間の音声知覚上、重要な箇所であるので、この区間をスペクトル変化区間検出ステップ26で探し出す。この時、スペクトル変化区間検出ステップ26に動的尺度に対する閾値を与えておき、閾値以上の区間を検出する構成を採用する。閾値を高く設定すると、検出される区間はよりスペクトル変化が激しい区間となるので、再生される区問の全体に対する割合が減少し、速聞き速度が速くなる。閾値を低く設定すると、より原音声の速度に近くなる。入力音声は入力音声バッファ27に蓄えられている。ここから音声波形を読み出し、スペクトル変化区間検出ステップ26において検出された区間に対応する音声波形を音声切りだしステップ28で切り出し、音声再生ステップ29へ送り込み、音声を再生して終了する。
以上の説明において、時間窓幅の数値を特定したが、これは説明をわかり易くするためであり、時間窓幅をこれに限定するものではない。
図3を参照して第2の実施例を説明する。第2の実施例は、原音声よりも再生速度を遅くする遅聞きを実施する例である。
第2の実施例のポイントは、スペクトル変化の小さな区間の波形を繰り返す点にある。音声入力からスペクトル変化量(動的尺度)を計算するスペクトル変化量計算ステップ35までは、実施例1と同じである。第2の実施例は、スペクトル変化区間検出ステップ36において、動的尺度が小さな区間、即ち、スペクトル変化が小さな区間を見つけだす。入力音声は入力音声バッファ37に蓄えられている。ここから入力音声波形を読み出し、スペクトル変化区間検出ステップ36において検出された各区間において、区間中心付近に位置する代表的な波形を切り出し、区間中心において繰り返す。この繰り返し数は、例えば、検出された区間長に比例する様に決定される。この操作を音声波形繰り返しステップ38において行う。加工された音声波形は音声再生ステップ39において再生されて終了する。スペクトル変化の大きな区間の音声について、例えば、音声を引き延ばし或いは音声を挿入する加工を施すと、音声知覚に影響を与えるところから別の音に聞こえ、或いは自然性を損なう問題を生起するが、この第2の実施例は、スペクトル変化が小さな区間のみを加工する対象としているので、再生音声の自然性を損なうことはない。以上の説明において、時間窓幅の数値を特定したが、これは説明をわかり易くするためであり、時間窓幅をこれに限定するものではない。
この発明の原理を説明する図。 第1の実施例を説明する図。 第2の実施例を説明する図 この発明の原理を説明する図。 この発明の原理を説明する図。 定常雑音が存在する状態において「baNgumiaNnai」と発声したときの観測結果を示す図。
符号の説明
22、32 音声入力ステップ
23、33 スペクトル特徴ベクトル系列計算ステップ
24、34 スペクトル変化量計算ステップ
25、35 スペクトル変化量計算ステップ
26、36 スペクトル変化区間検出ステップ
27、37 入力音声バッファ
28 音声切りだしステップ
38 音声波形繰り返しステップ
29、39 音声再生ステップ

Claims (6)

  1. 音声信号を入力する音声入力ステップと、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップと、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップと、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップとを有し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出し、また、スペクトル変化量が閾値を超えない区間に対応する入力音声波形を削除して再生し、その閾値を変更することにより音声再生速度を調節することを特徴とする音声再生速度調節方法。
  2. 音声信号を入力する音声入力ステップと、音声信号をスペクトル特徴ベクトル系列に変換するスペクトル特徴ベクトル系列計算ステップと、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算するスペクトル特徴変化ベクトル系列計算ステップと、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算するスペクトル変化量計算ステップとを有し、スペクトル変化量が閾値よりも小さな区間において、対応する入力音声波形の一部を繰り返し、スペクトル変化量が閾値よりも小さくない区間において、そのまま保存して再生し、その閾値を変更することにより音声再生速度を調節することを特徴とする音声再生速度調節方法。
  3. 請求項1および請求項2の内の何れかに記載される音声再生速度調節方法において、
    前記スペクトル変化量は動的尺度であることを特徴とする音声再生速度調節方法。
  4. 音声信号を入力し、音声信号をスペクトル特徴ベクトル系列に変換し、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算し、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算し、スペクトル変化量が閾値を超える区間に対応する入力音声波形を切り出し、また、スペクトル変化量が閾値を超えない区間に対応する入力音声波形を削除して再生し、その閾値を変更することにより音声再生速度を調節する指令をコンピュータに対してする音声再生速度調節プログラム。
  5. 音声信号を入力し、音声信号をスペクトル特徴ベクトル系列に変換し、スペクトル特徴ベクトルからスペクトル特徴変化ベクトルを計算し、或る一定時間窓内のスペクトル特徴変化ベクトルからスペクトル変化量を計算し、かつ、その時間窓を発声の始端から終端に向かって時間軸に沿って移動しながら計算し、スペクトル変化量が閾値よりも小さな区間において、対応する入力音声波形の一部を繰り返し、スペクトル変化量が閾値よりも小さくない区間において、そのまま保存して再生し、その閾値を変更することにより音声再生速度を調節する指令をコンピュータに対してする音声再生速度調節プログラム。
  6. 請求項4および請求項5の内の何れかに記載される音声再生速度調節プログラムを格納した記録媒体。
JP2004147803A 2004-05-18 2004-05-18 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体 Expired - Fee Related JP4313724B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004147803A JP4313724B2 (ja) 2004-05-18 2004-05-18 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004147803A JP4313724B2 (ja) 2004-05-18 2004-05-18 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体

Publications (2)

Publication Number Publication Date
JP2005331588A JP2005331588A (ja) 2005-12-02
JP4313724B2 true JP4313724B2 (ja) 2009-08-12

Family

ID=35486312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004147803A Expired - Fee Related JP4313724B2 (ja) 2004-05-18 2004-05-18 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体

Country Status (1)

Country Link
JP (1) JP4313724B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011024572A1 (ja) * 2009-08-28 2011-03-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声特徴量抽出装置、音声特徴量抽出方法、及び音声特徴量抽出プログラム
CN103258552B (zh) * 2012-02-20 2015-12-16 扬智科技股份有限公司 调整播放速度的方法
CN111710327B (zh) * 2020-06-12 2023-06-20 百度在线网络技术(北京)有限公司 用于模型训练和声音数据处理的方法、装置、设备和介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2956936B2 (ja) * 1988-04-13 1999-10-04 株式会社エイ・ティ・アール視聴覚機構研究所 音声合成装置の発声速度制御回路
JP3264998B2 (ja) * 1992-09-30 2002-03-11 日本電気株式会社 音声合成器
JP3017715B2 (ja) * 1997-10-31 2000-03-13 松下電器産業株式会社 音声再生装置
JPH11250553A (ja) * 1998-02-27 1999-09-17 Matsushita Electric Ind Co Ltd 再生装置
JP2001197425A (ja) * 2000-01-05 2001-07-19 Matsushita Electric Ind Co Ltd 映像信号処理装置
JP3843199B2 (ja) * 2000-02-25 2006-11-08 ヤマハ株式会社 音の時間伸長装置、方法、および音の時間伸長プログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2005331588A (ja) 2005-12-02

Similar Documents

Publication Publication Date Title
US5828994A (en) Non-uniform time scale modification of recorded audio
US20190130894A1 (en) Text-based insertion and replacement in audio narration
JP5593244B2 (ja) 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体
EP3065130B1 (en) Voice synthesis
US9147392B2 (en) Speech synthesis device and speech synthesis method
JP2006171750A (ja) 音声認識のための特徴ベクトル抽出方法
WO2011151956A1 (ja) 声質変換装置及びその方法、母音情報作成装置並びに声質変換システム
Potamianos et al. A review of the acoustic and linguistic properties of children's speech
JP4313724B2 (ja) 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体
JP2008116643A (ja) 音声生成装置
JP4778402B2 (ja) 休止時間長算出装置及びそのプログラム、並びに音声合成装置
JP2013033103A (ja) 声質変換装置および声質変換方法
Tunalı A speaker dependent, large vocabulary, isolated word speech recognition system for turkish
WO2004077381A1 (en) A voice playback system
JP2001255887A (ja) 音声認識装置、音声認識方法及び音声認識方法を記録した媒体
JPS60129796A (ja) 音声入力装置
JP2006154531A (ja) 音声速度変換装置、音声速度変換方法、および音声速度変換プログラム
JPH07295588A (ja) 発話速度推定方法
Wiggers et al. Medium vocabulary continuous audio-visual speech recognition
Lee et al. A simple strategy for natural Mandarin spoken word stretching via the vocoder
John et al. Phonetic analysis vs. dirty signals: Fixing the paradox
KR20080065775A (ko) 구화 교육용 발성 시각화 시스템
JP6790851B2 (ja) 音声処理プログラム、音声処理方法、及び音声処理装置
JPH08328575A (ja) 音声合成装置
JP2012073280A (ja) 音響モデル生成装置、音声翻訳装置、音響モデル生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060725

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090515

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140522

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees