JPH08254992A - 話速変換装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は入力音声の話速を変換して出力する
話速変換装置に関し、話速を遅くする場合でも自然で聞
き取りやすい音声を出力する話速変換装置の実現を目的
とする。 【構成】 入力音声信号を音声区間と無音区間とに分割
する区間分割部と、指定された伸縮倍率と予め設定され
た閾値とを比較して、該指定伸縮倍率が該閾値未満であ
る場合は入力伸縮倍率を音声区間の伸縮倍率として決定
し、該指定伸縮倍率が該閾値以上である場合は該閾値を
音声区間の伸縮倍率として決定すると共に、前記入力伸
縮倍率に基づいて無音区間の伸縮倍率を決定する伸縮倍
率決定部と、前記伸縮倍率決定部が決定した音声区間の
伸縮倍率により音声区間を伸縮して出力する音声区間伸
縮部と、前記伸縮倍率決定部が決定した前記無音区間の
伸縮倍率により無音区間を伸縮して出力する無音区間伸
縮部と、前記伸縮された音声区間と前記伸縮された無音
区間とを接続して出力する区間接続部とを備えて構成す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は入力音声の話速を変換し
て出力する話速変換装置に関するものである。

【０００２】

【従来の技術】近年、入力音声の話速を変換して出力す
る話速変換装置が実現しつつある。この話速変換装置に
は様々な用途がある。例えば留守番電話等で実際の話速
よりも高速再生することにより利便性を高めることがで
き、また語学学習等で外国語を聞き取りやすくするため
に話速を遅くしたりすることができる。特に聴覚障害者
や高齢者にとっては早口で話された音声は大変聞き取り
づらいので、話速を遅くして出力する話速変換装置は大
変有用なものとなる。

【０００３】音声波形は図５に示すように略同一の波形
を複数回繰り返して形成される。この繰り返し周期のこ
とをピッチ周期という。話速変換装置はこの音声波形を
ピッチ単位で切りだして、切り出した１周期波形を所定
のアルゴリズムで原波形に挿入していくことにより話速
を遅くし、また原波形から所定のアルゴリズムで１周期
波形を間引いていくことにより話速を速くする。

【０００４】

【発明が解決しようとする課題】しかし全ての音声波形
について上述の伸縮処理を行った場合は、話速を遅くし
すぎると人間の聴覚では話している内容が聞き取りにく
くなってしまう。この理由を図６を用いて、ワ(wa)とい
う音を発音することを例にして説明図する。この図６で
は説明のため、実際の音声波形に代えて記号を用いて表
現している。記号ｗは各時間軸上で子音ｗの１周期波形
が存在する部分であり、記号ａは各時間軸上で母音ａの
１周期波形が存在する部分のことを示すものである。

【０００５】時間軸(ａ)は人間が一般的な速さでwaの音
を発音した場合の例であり、子音ｗの１周期波形と母音
ａの１周期波形とがそれぞれ複数回繰り返してwaの音声
波形が形成される。そして人間が時間軸(ａ）よりもゆ
っくり話をする場合には、時間軸(b)に示すように子音
ｗはほとんで長さが変わらず、母音ａだけを長く伸ばす
ように発音がなされる。

【０００６】ところがこれを話速変換装置を用いて音を
伸ばそうとすると、時間軸(ｃ)に示すように子音ｗと母
音ａとが同じ割合で伸長されてしまうことになる。この
ような音声波形は人間の通常な会話では発音されない極
めて不自然な音声であり、人間の耳には非常に聞き取り
にくいものである。子音と母音とを区別して抽出し、母
音だけを伸長するようにできれば望ましいのであるが、
現在の音声認識技術では単語等の抽出を行うのが限界で
あり、一つ一つの音を認識して切り出す技術は実現して
いないので、子音と母音とを切りわけて処理をすること
は大変に困難である。

【０００７】そこで、入力信号から無音区間を抽出し
て、この無音区間だけを伸長して話速を遅くすることが
考案されている。入力信号から音声区間と無音区間とを
区別することは、例えばパワーを計算して閾値よりもパ
ワーが大きい区間を音声区間として抽出する、等の方法
により容易になし得る。しかし無音区間のみを引き延ば
す方法では話速を遅くしても肝心の音声区間が遅くなら
ないので、ゆっくり話しているという感じが得られなか
った。

【０００８】本発明はこのような課題に鑑みなされたも
のであり、話速を遅くした場合も自然で聞き取りやすい
音声を出力し得る話速変換装置の実現を目的とする。

【０００９】

【課題を解決するための手段】本発明の話速変換装置
は、上記の目的を解決するために、音声区間の伸縮率に
規制（閾値）を設け、一定値以上の伸縮は行わず、指定
された伸縮率に変えて規定の伸縮率（閾値）で伸縮する
ことによって、伸縮された音声の自然さを維持しようと
したことに特徴がある。

【００１０】具体的には、第一の発明（請求項１）の話
速変換装置は、図１に示すように、入力音声信号を音声
区間と無音区間とを分割する区間分割部と、指定された
伸縮倍率と予め設定された閾値とを比較して、該指定伸
縮倍率が該閾値未満である場合は該指定伸縮倍率を音声
区間の伸縮倍率として決定し、該指定伸縮倍率が該閾値
以上である場合は該閾値を音声区間の伸縮倍率として決
定すると共に、前記指定伸縮倍率に基づいて無音区間の
伸縮倍率を決定する伸縮倍率決定部と、前記伸縮倍率決
定部が決定した音声区間の伸縮倍率により音声区間を伸
縮して出力する音声区間伸縮部と、前記伸縮倍率決定部
が決定した前記無音区間の伸縮倍率により無音区間を伸
縮して出力する無音区間伸縮部と、前記伸縮された音声
区間と前記伸縮された無音区間とを接続して出力する区
間接続部とを備えて構成したことを特徴とする。

【００１１】また第二の発明（請求項３）の話速変換装
置は、図２に示すように、入力音声信号を声帯の振動に
より発せられる音が存在する有声区間と、声帯を振動さ
せずに発せられる音が存在する無声区間と、いずれの音
も存在しない無音区間とに分割する区間分割部と、指定
された伸縮倍率と予め設定された閾値とを比較して、該
指定伸縮倍率が該閾値未満である場合は指定伸縮倍率を
有声区間の伸縮倍率として決定し、該指定伸縮倍率が該
閾値以上である場合は該閾値を有声区間の伸縮倍率とし
て決定すると共に、前記指定伸縮倍率に基づいて無音区
間の伸縮倍率を決定する伸縮倍率決定部と、前記伸縮倍
率決定部が決定した有声区間の伸縮倍率により有声区間
を伸縮して出力する有声区間伸縮部と、前記伸縮倍率決
定部が決定した前記無音区間の伸縮倍率により無音区間
を伸縮して出力する無音区間伸縮部と、前記伸縮された
有声区間と前記伸縮された無音区間と前記無声区間とを
接続して出力する区間接続部とを備えて構成したことを
特徴とする。

【００１２】なお、請求項１と請求項３の構成におい
て、区間検出部は無音区間を検出した場合は該無音区間
の長さが一定長を超える場合にのみ無音区間として認識
し、無音区間伸縮部に送出するように構成することがよ
り望ましい（請求項２，請求項４）。

【００１３】

【作用】請求項１の発明は、図１の原理図に示すよう
に、ユーザが指定した指定伸縮倍率と予め設定された閾
値とを比較して、指定伸縮倍率が閾値より小さい場合は
この入力伸縮倍率のとおりに音声区間を伸縮させ、指定
伸縮倍率が閾値より大きい場合は閾値を伸縮倍率として
音声区間を伸長するように構成したことに特徴がある。
これによりユーザが話速を遅くすることを指定した場合
には音声区間も遅くなるので実際にゆっくり話している
という感じが得られる。またユーザが一定倍率（閾値）
以上話速を遅くすることを指定した場合は、音声区間に
ついては該一定倍率までしか伸長させないが、無音区間
については指定伸縮倍率に基づいて伸長を行った後で、
伸長された音声区間と伸長された無音区間とを接続す
る。これにより、指定伸縮倍率が大きい場合でも、音声
区間が遅くなりすぎて不自然な発音になることを防ぐこ
とができる。なお、無音区間の伸縮倍率については指定
伸縮倍率をそのまま適用して良いが、前記閾値にも基づ
いて伸縮倍率を決定するようにして、音声区間が一定値
（閾値）以上には伸長されない分、その分無音区間の伸
長倍率を高くすれば、生成される出力信号の入力信号に
対する伸縮倍率は、指定された伸縮倍率に近いものが得
られる。

【００１４】また請求項３の発明では、音声区間を更に
有声区間と無声区間とに分割し、有声区間のみを閾値ま
で伸長させて、無声区間は伸長させないようにした。こ
こで定義する「有声」とは声帯を振動させて発音する音
のことであり、全ての母音と、一部の子音(b,w,y,z等)
がこれに該当する。一方「無声」とは声帯を振動させず
に発音される音のことであり、子音の一部(k,s,h等) が
これに該当する。

【００１５】このように構成したのは、「発明が解決し
ようとする課題」の項で説明したように、音声の伸長を
人間の自然な発音に近くするためには、子音は伸長させ
ずに母音のみを伸長することが望ましいのであるが、実
際には子音区間と母音区間とをリアルタイムに解析して
分割するのが困難であるので、有声区間と無声区間とに
分割することにより代替したものである。有声区間と無
声区間とは、例えば低域パワーを調べ、低域パワーが閾
値以上であれば有声区間とみなし、低域パワーが閾値以
下であれば無声区間とみなすようにすることにより、容
易に分割できる（声帯を振動させる「有声」は低域周波
数成分が多く、声帯を振動させないで発生させる「無
声」は高域周波数成分が多いため）。

【００１６】無声区間は必ず子音であるので、これを伸
長させなければ、子音が伸長され過ぎて不自然な感じと
なることを防ぐことができる。このため請求項３の発明
は、請求項１の発明よりも更に人間の発音に近い伸長音
声が得られる。但し、上記のように有声区間にも子音が
含まれるので、これを伸長させすぎるとやはり不自然と
なってしまうので、閾値以上には伸長させないようにし
た。

【００１７】また、無音区間の中には言葉そのものが発
音されていない合間だけではなく、破裂音(p) を発音し
た時などにも短い無音区間が生じる場合がある。このよ
うな無音区間も伸長させてしまうとかえって聞き取りに
くくなるので、請求項２または請求項４に記載したよう
に、無音区間を検出した場合はどれくらい連続している
かを調べ、一定長以上のときのみ伸縮処理をするように
し、一定長以下の場合は伸縮処理をしないように構成す
るのが望ましい。

【００１８】

【実施例】以下、本発明の実施例を図面を参照して説明
する。図３は本発明の一実施例の構成を示すブロック図
である。なお、本実施例は本発明の請求項３に記載の発
明に関するものである。請求項１に記載の発明について
はこれを簡略化することにより実現できるので、後で図
３の実施例との相違点のみを説明することにする。

【００１９】図３中で、請求項３の発明の原理図である
図２と同一の構成要件については、同一の参照符号を付
与している。また図３のパワー検出部211,無音区間検出
部212,低域パワー計算部213,有声区間検出部214 は図２
の区分分割部21を構成するものであり、図３のピッチ算
出部231,ローパスフィルタ部232,ピークピッキング部23
3,有声区間伸縮処理部234 は図２の有声区間伸縮部23を
構成するものである。また伸縮倍率決定部22には閾値記
憶部221 が接続されている。更に本実施例では音声波形
をデジタル信号として取り扱うものであるので、入力音
声波形をデジタル信号化するＡ／Ｄコンバータ26と、伸
縮処理がなされたデジタル信号をアナログ音声信号に変
換して出力するＤ／Ａコンバータ27を設けている。

【００２０】以下、本実施例の動作について説明する。
入力音声信号はＡ／Ｄコンバータ26によってデジタル信
号化された後、一定時間毎 (数〜数十ms程度) に分割さ
れる。この分割された処理単位をフレームと称する。パ
ワー計算部211 で入力音声のフレーム毎にパワーを計算
し、無音区間検出部212 は算出されたパワーと閾値とを
比較して、パワーが小さいフレームを無音区間とみな
す。無音区間検出部212 で無音区間であるとみなされた
フレームについては、後続するフレームをも調べてい
き、無音区間のフレームがどれくらいの長さ（期間）で
連続するかを調べる。もしも無音区間が一定長より短い
場合（フレーム数が所定数より少ない場合）は、これは
無音区間とみなさず、そのフレームは無声区間とみなし
て後述する処理を行う。

【００２１】これは上述したように、破裂音(p) を発音
した時などに生じる短い無音区間も伸長させてしまうと
かえって聞き取りにくくなるので、これを防ぐためであ
る。そして一定長以上続く無音区間の各フレームは後述
するように無音区間伸縮部で伸縮処理がなされる。一方
無音区間以外のフレームについては、まず低域パワー計
算部213 にて低域パワーが計算される。そして有声区間
検出部214 では算出された低域パワーと閾値とを比較し
て、低域パワーが閾値より大きいフレームを有声区間と
みなし、低域パワーが閾値より小さいフレームについて
は無声区間とみなす。

【００２２】有声区間と判定されたフレームについて
は、伸縮倍率決定部22が指定した伸縮倍率に基づいて音
声波形の伸縮がなされる。この伸縮処理を図４を用いて
説明する。まずフレーム内の原波形(a)について、その
平均ピッチ周期をピッチ算出部231にて算出する。この
平均ピッチ周期は、例えば自己相関分析（原波形と、原
波形をシフトさせた参照波形とを乗算していくことによ
り相関値を求め、最も相関値が高い参照波形のシフト量
を平均ピッチ周期とする）により算出できる。ローパス
フィルタ232 ではピッチ算出部231 にて算出した平均ピ
ッチ周波数よりやや高めのカットオフ周波数で音声波形
を低域濾波し、正弦波状の連続波形(ｂ) を生成する。
ピークピッキング部233 はこの連続波形(ｂ) からピー
クピッキング（波の頂点を抽出する）を行って、このピ
ークを基に音声波形をピッチ単位で１周期波形毎に分割
して、有声区間伸縮処理部234 に通知する。

【００２３】有声区間伸縮処理部234 は、ピークピッキ
ング部233 が求めた１周期波形の区切りを基に対応する
原波形(ａ)を１周期波形毎に分割し、伸縮倍率決定部22
より通知された伸縮倍率にて音声波形の伸縮を行い、区
間接続部25に出力する。この伸縮方法としては、例えば
前記日本音響学会誌50巻7 号の509 〜520 頁に開示され
ている方法がある。これを音声の伸長処理のみについて
簡単に説明する（短縮方法については省略する）。

【００２４】ピークピッキング部233 によりピッチ周期
で分割された１周期波形を、説明上、図４(ｃ)に示すよ
うにａ，ｂ，ｃ，…と記号を付与する。一方この原波形
の時間軸(ｃ)を時間軸上で一様に引き延ばしたものを図
４(ｄ)とする。そして原波形の１周期波形を、この時間
軸(d)（ａ’，ｂ’，…）に順次当てはめていくことに
より、伸長波形を生成する。時間軸(d)上のａ’の区間
は、原波形ａに対応する部分であるので、最初の周期に
ついては波形ａをそのままあてはめば良い。しかし次の
周期については波形ａをそのままあてはめた場合、時間
軸(d)上のｂ’の区間にまでまたがってしまう。このた
めこの部分には波形ｂを当てはめた方が原波形により近
似した波形となる可能性がある。このためこの部分に波
形ａをあてはめた場合に波形ａと区間ａ’との重複部分
ａ”が区間ａ’にどれくらい重複しているかを示す重複
率ａ”／ａ’と、波形ｂを当てはめた場合に波形ｂと区
間ｂ’との重複部分ｂ”が区間ｂ’にどれくらい重複し
ているかを示す重複率ｂ”／ｂ’とを比較して、重複率
の大きい方の波形を採用して当てはめる。このように、
伸長した時間軸(d)との重複率が最も大きくなるよう
に、原波形の１周期波形を当てはめていくことにより、
伸長処理を行う。

【００２５】無音区間伸縮部24では無音区間とされたフ
レームについて、伸縮倍率決定部22より通知された伸縮
倍率にて延長または短縮を行い区間接続部25に出力す
る。伸縮された有声区間のフレームと、伸縮された無音
区間のフレームと、無声区間のフレーム（有声区間検出
部214 よりそのまま送出される) は、入力音声でのフレ
ームの順番に合わせて区間接続部25で接続される。区間
接続部25の出力はＤ／Ａコンバータ27にてアナログ音声
信号に変換されて出力される。

【００２６】次に、伸縮倍率決定部25による有声区間，
無音区間それぞれの伸縮倍率の決定方法について説明す
る。前述したように伸縮倍率決定部22には閾値記憶部22
1 が接続されている。この閾値記憶部221 が記憶する閾
値は、ユーザの入力により設定しても良く、また予め固
定値をＲＯＭに記憶させるようにしても良い。

【００２７】入力された伸縮倍率が閾値記憶部221 に設
定された閾値倍率未満である場合は、この入力伸縮倍率
を有声区間、無音区間それぞれの伸縮倍率として採用
し、有声区間伸縮処理部234,無音区間伸長部24を制御す
る。一方先述したように、有声区間は伸長倍率が大きす
ぎると有声である子音区間が長くなり過ぎる場合が生じ
るので、指定された伸縮倍率が閾値以上である場合は閾
値を有声区間の閾値として採用し、これ以上の伸長は行
わない。

【００２８】一方無音区間については指定伸縮倍率をそ
のまま用いて伸縮処理を行っても良いが、入力音声信号
に対して指定伸縮倍率にまで伸長された出力音声信号を
得るためには、有声区間の伸長倍率が一定値に規制され
る分、無音区間の伸長倍率をより大きくした方が良い。
この無音区間の伸縮倍率の求めかたは様々なものが考え
られるが、例えば下記の式を適用することが考えられ
る。 無音区間伸縮倍率＝２×入力伸縮倍率−閾値（有声区間
伸縮倍率） 上式での係数の２は一例であり、使用実績をみて適宜変
更しても良い。また上式によれば伸縮倍率が入力伸縮倍
率のみに基づいて算出している。厳密に言えば入力音声
の有声区間と無音区間との比率により、得られる出力音
声の長さと入力音声×入力伸縮倍率との値が異なること
になるが、実際の会話では有声区間と無音区間との比率
が極端に異なる場合はまず無いので、実用上では十分で
ある。

【００２９】勿論精度をより高めたい場合には無音区間
と有声区間との長さをフレームの数をカウントして求
め、両者の実際の長さに基づいて伸縮倍率決定部22が動
的に無音区間の伸縮倍率を変えても良い。但し本発明の
話速変換装置は人間が聞き取りやすい音声を得られれば
目的は達成されるので、実用上は無音区間の倍率は固定
でも問題はなく、あえて処理を重くする必要性は小さい
と考えられる。

【００３０】また無声区間については伸縮処理をしてい
ないが、これも無声区間は音声区間に占める割合が小さ
いので、特に実用上の問題は無い。以上、本発明の請求
項３に係わる実施例について説明したが、請求項１に記
載の発明は、音声区間を有声区間と無声区間に分割せず
に処理を行うものであるので、上記実施例の構成を簡略
化することにより実現できる。

【００３１】即ち、低域パワー213 と有声区間検出部21
4 を省略し、無音区間検出部の出力を直接ピッチ算出部
231 に入力するようにして、上記実施例に記載した有声
区間の伸縮処理と同様の処理を、音声区間について実行
するように構成すれば良い。

【００３２】

【発明の効果】以上説明したように、本発明の話速変換
装置によれば、話速を遅くするように指定した場合には
無音区間または有声区間の伸長がなされるので実際にゆ
っくり話しているという感じが得られるものであり、か
つ、一定閾値以上には伸長させないので、音声が遅くな
り過ぎて（特に子音の区間が延び過ぎて）聞き取れなく
なることが無いという理想的な話速変換音声を得ること
ができる。

【図面の簡単な説明】

【図１】本発明の請求項１の原理図である。

【図２】本発明の請求項３の原理図である。

【図３】本発明の一実施例の構成を示すブロック図であ
る。

【図４】本発明の一実施例における有声区間の伸長処理
を説明する図である。

【図５】音声波形の一例を示す図である。

【図６】従来技術による音声伸長処理とその問題点を説
明する図である。

【符号の説明】

11,21 区間分類部 12,22 伸縮倍率決定部 13 音声区間伸縮部 23 有声区間伸縮部 14,25 無音区間伸縮部 15,25 区間接続部

Claims (4)

【特許請求の範囲】
1. 【請求項１】入力音声信号を音声区間と無音区間とに分
   割する区間分割部と、 指定された伸縮倍率と予め設定された閾値とを比較し
   て、該指定伸縮倍率が該閾値未満である場合は該指定伸
   縮倍率を音声区間の伸縮倍率として決定し、該指定伸縮
   倍率が該閾値以上である場合は該閾値を音声区間の伸縮
   倍率として決定すると共に、前記指定伸縮倍率に基づい
   て無音区間の伸縮倍率を決定する伸縮倍率決定部と、 前記伸縮倍率決定部が決定した音声区間の伸縮倍率によ
   り音声区間を伸縮して出力する音声区間伸縮部と、 前記伸縮倍率決定部が決定した前記無音区間の伸縮倍率
   により無音区間を伸縮して出力する無音区間伸縮部と、 前記伸縮された音声区間と前記伸縮された無音区間とを
   接続して出力する区間接続部とを備えて構成したことを
   特徴とする話速変換装置。
2. 【請求項２】前記区間分割部は、無音区間を検出した際
   には該無音区間の長さが一定長を超える場合にのみ無音
   区間として認識し、無音区間伸縮部に送出することを特
   徴とする請求項１に記載の話速変換装置。
3. 【請求項３】入力音声信号を声帯の振動により発せられ
   る音が存在する有声区間と、声帯を振動させずに発せら
   れる音が存在する無声区間と、いずれの音も存在しない
   無音区間とに分割する区間分割部と、 指定された伸縮倍率と予め設定された閾値とを比較し
   て、該指定伸縮倍率が該閾値未満である場合は指定伸縮
   倍率を有声区間の伸縮倍率として決定し、該指定伸縮倍
   率が該閾値以上である場合は該閾値を有声区間の伸縮倍
   率として決定すると共に、前記指定伸縮倍率に基づいて
   無音区間の伸縮倍率を決定する伸縮倍率決定部と、 前記伸縮倍率決定部が決定した有声区間の伸縮倍率によ
   り有声区間を伸縮して出力する有声区間伸縮部と、 前記伸縮倍率決定部が決定した前記無音区間の伸縮倍率
   により無音区間を伸縮して出力する無音区間伸縮部と、 前記伸縮された有声区間と前記伸縮された無音区間と前
   記無声区間とを接続して出力する区間接続部とを備えて
   構成したことを特徴とする話速変換装置。
4. 【請求項４】前記区間分割部は、無音区間を検出した際
   には該無音区間の長さが一定長を超える場合にのみ無音
   区間として認識し、無音区間伸縮部に送出することを特
   徴とする請求項２に記載の話速変換装置。