JP3249567B2 - 話速変換方法および装置 - Google Patents
話速変換方法および装置Info
- Publication number
- JP3249567B2 JP3249567B2 JP05178792A JP5178792A JP3249567B2 JP 3249567 B2 JP3249567 B2 JP 3249567B2 JP 05178792 A JP05178792 A JP 05178792A JP 5178792 A JP5178792 A JP 5178792A JP 3249567 B2 JP3249567 B2 JP 3249567B2
- Authority
- JP
- Japan
- Prior art keywords
- section
- speech
- voice
- voiced
- speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【産業上の利用分野】本発明は、聴覚障害者や高齢者等
の音声聴取に好適な話速変換方法および装置に関する。
の音声聴取に好適な話速変換方法および装置に関する。
【０００２】
【発明の概要】本発明は、聴覚障害者や高齢者等の音声
聴取に好適な話速変換方法および装置に関するものであ
って、受聴音声の発声する速さ（話速）を遅くする際
に、文章間の無音区間を聴感上違和感のない範囲で最短
に短縮し、かつ話速を一定の規則に基づいて変化させる
ことにより、発話時間を原音声の発話時間に保ったまま
全体としてゆっくりとした聴きやすい良好な音声に変換
することを図るものである。
聴取に好適な話速変換方法および装置に関するものであ
って、受聴音声の発声する速さ（話速）を遅くする際
に、文章間の無音区間を聴感上違和感のない範囲で最短
に短縮し、かつ話速を一定の規則に基づいて変化させる
ことにより、発話時間を原音声の発話時間に保ったまま
全体としてゆっくりとした聴きやすい良好な音声に変換
することを図るものである。
【０００３】
【従来の技術】品質を保ったまま、話速を変換する技術
自体が発展途上である上、実時間（枠）との「ずれ」を
考慮した技術は未開発である。
自体が発展途上である上、実時間（枠）との「ずれ」を
考慮した技術は未開発である。
【０００４】
【発明が解決しようとする課題】音声の話速のみを一様
に遅くすることにより、特に高齢者や聴覚障害者等にと
っては、はるかに聴きやすくすることが可能であるが、
この操作によって音声の発話時間も必然的に伸張する。
しかし、放送や朗読カセット等では、伸張前の音声の発
話時間は、決められた時間内に収まるように発話されて
いるから、このような音声を伸張すると上記制限時間内
に収まらなくなる可能性が生じる。また、テレビジョン
等のように音声と映像を同期して提供するような場合
に、音声のみを伸張すると、映像との間に時間的な「ず
れ」が生じ、これが聞き取りに悪影響を及ぼすことが考
えられる。
に遅くすることにより、特に高齢者や聴覚障害者等にと
っては、はるかに聴きやすくすることが可能であるが、
この操作によって音声の発話時間も必然的に伸張する。
しかし、放送や朗読カセット等では、伸張前の音声の発
話時間は、決められた時間内に収まるように発話されて
いるから、このような音声を伸張すると上記制限時間内
に収まらなくなる可能性が生じる。また、テレビジョン
等のように音声と映像を同期して提供するような場合
に、音声のみを伸張すると、映像との間に時間的な「ず
れ」が生じ、これが聞き取りに悪影響を及ぼすことが考
えられる。
【０００５】本発明の目的は、上述した時間的な「ず
れ」に伴う問題点を解決するため、発話音声中の意味上
重要な部分の話速は適度に遅くし、それ以外の部分は逆
に速めることによって、発話時間を実質的に伸張させる
ことなく、全体としてゆっくりとした聞きやすい音声に
変換する話速変換方法および装置を提供することにあ
る。
れ」に伴う問題点を解決するため、発話音声中の意味上
重要な部分の話速は適度に遅くし、それ以外の部分は逆
に速めることによって、発話時間を実質的に伸張させる
ことなく、全体としてゆっくりとした聞きやすい音声に
変換する話速変換方法および装置を提供することにあ
る。
【０００６】
【課題を解決するための手段】上記目的を達成するた
め、請求項１の話速変換方法の発明は、受聴音声の発生
する速さ（以下、話速という）を遅くする際に、音声の
ピッチ（基本周波数）の変化に応じて、ピッチの高いと
ころでは話速を緩め、低いところでは話速を早めること
を特徴とする。
め、請求項１の話速変換方法の発明は、受聴音声の発生
する速さ（以下、話速という）を遅くする際に、音声の
ピッチ（基本周波数）の変化に応じて、ピッチの高いと
ころでは話速を緩め、低いところでは話速を早めること
を特徴とする。
【０００７】上記目的を達成するため、請求項２の話速
変換方法の発明は、話速を遅くする際に、声立てと次の
声立ての区間を単位にしてこの区間の開始点ではゆっく
りとした話速を設定し、その終了点に向かって音声の基
本周波数の大まかな変化に追従して徐々に話速を早める
ことを特徴とする。
変換方法の発明は、話速を遅くする際に、声立てと次の
声立ての区間を単位にしてこの区間の開始点ではゆっく
りとした話速を設定し、その終了点に向かって音声の基
本周波数の大まかな変化に追従して徐々に話速を早める
ことを特徴とする。
【０００８】ここで、話速を遅くする際にさらに、文章
間の無音区間を予め実験で求めた聴感上違和感のない範
囲でできるだけ短い時間に短縮することを特徴とするこ
とができる。また、前記予め実験で求めた聴感上違和感
のない範囲でできるだけ短い時間が、８６２ｍｓ〜ほぼ
１０００ｍｓの範囲であることを特徴とすることができ
る。
間の無音区間を予め実験で求めた聴感上違和感のない範
囲でできるだけ短い時間に短縮することを特徴とするこ
とができる。また、前記予め実験で求めた聴感上違和感
のない範囲でできるだけ短い時間が、８６２ｍｓ〜ほぼ
１０００ｍｓの範囲であることを特徴とすることができ
る。
【０００９】上記目的を達成するため、請求項５の話速
変換装置の発明は、音声信号を有声、無声、無音の別に
識別する音声識別手段と、該音声識別手段により識別さ
れた無音区間が文章間の無音区間か否かを判定する無音
区間判定手段と、該無音区間判定手段により文章間の無
音区間と判定された場合は当該無音区間を予め実験で求
めた聴感上違和感のない範囲でできるだけ短い時間に短
縮する無音区間短縮手段と、前記音声識別手段により識
別された有声区間が声立て開始のものか否かを判定する
有声区間判定手段と、該有声区間判定手段により声立て
開始と判定された場合は声立てと次の声立ての区間を単
位にしてこの区間の開始点ではゆっくりとした話速を設
定し、その終了点に向かって音声の基本周波数の大まか
な変化に追従して徐々に話速を速める話速変換処理を行
う有声区間伸張手段とを具備したことを特徴とする。
変換装置の発明は、音声信号を有声、無声、無音の別に
識別する音声識別手段と、該音声識別手段により識別さ
れた無音区間が文章間の無音区間か否かを判定する無音
区間判定手段と、該無音区間判定手段により文章間の無
音区間と判定された場合は当該無音区間を予め実験で求
めた聴感上違和感のない範囲でできるだけ短い時間に短
縮する無音区間短縮手段と、前記音声識別手段により識
別された有声区間が声立て開始のものか否かを判定する
有声区間判定手段と、該有声区間判定手段により声立て
開始と判定された場合は声立てと次の声立ての区間を単
位にしてこの区間の開始点ではゆっくりとした話速を設
定し、その終了点に向かって音声の基本周波数の大まか
な変化に追従して徐々に話速を速める話速変換処理を行
う有声区間伸張手段とを具備したことを特徴とする。
【００１０】
【作用】本発明は、受聴音声の発生する速さ（話速）を
遅くする際に、音声のピッチ（基本周波数）の変化に応
じて、ピッチの高いところでは話速を緩め、低いところ
では話速を早めることに特徴がある。また、本発明は、
話速を遅くする際に、声立てと次の声立ての区間を単位
にしてこの区間の開始点ではゆっくりとした話速を設定
し、その終了点に向かって音声の基本周波数の大まかな
変化に追従して徐々に話速を早めることに特徴がある。
遅くする際に、音声のピッチ（基本周波数）の変化に応
じて、ピッチの高いところでは話速を緩め、低いところ
では話速を早めることに特徴がある。また、本発明は、
話速を遅くする際に、声立てと次の声立ての区間を単位
にしてこの区間の開始点ではゆっくりとした話速を設定
し、その終了点に向かって音声の基本周波数の大まかな
変化に追従して徐々に話速を早めることに特徴がある。
【００１１】さらに、本発明では、文章間の無音区間に
着目し、文章間の無音区間を予め実験で求めた聴感上違
和感のない範囲でできるだけ短い時間に短縮するように
している。その一例として、その聴感上違和感のない範
囲でできるだけ短い時間が、８６２ｍｓ〜ほぼ１０００
ｍｓの範囲であるとしている。
着目し、文章間の無音区間を予め実験で求めた聴感上違
和感のない範囲でできるだけ短い時間に短縮するように
している。その一例として、その聴感上違和感のない範
囲でできるだけ短い時間が、８６２ｍｓ〜ほぼ１０００
ｍｓの範囲であるとしている。
【００１２】従って、本発明によれば、受聴者の希望に
あったゆっくりとした聴きやすい音声を発話時間が伸張
することなく、実時間の枠内で聴取することが可能にな
る。
あったゆっくりとした聴きやすい音声を発話時間が伸張
することなく、実時間の枠内で聴取することが可能にな
る。
【００１３】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
に説明する。
【００１４】（１）装置構成 図１に本発明の一実施例の装置構成を示す。音声入力回
路１は音声信号を入力するための一般的な構成の回路で
あり、必要に応じて例えばマイクロホン、音調回路、ア
ナログディジタル変換器、音声記憶再生（録音）回路、
音声記憶媒体（例えば、ＩＣメモリ、ハードディスク、
フロッピーディスクまたはＶＴＲ）、およびインタフェ
ース回路等を包含している。ＣＰＵ（中央演算処理装
置）２は装置全体の制御および演算等を司り、例えば公
知のワンチップマイクロコンピュータやパーソナルコン
ピュータ等が適用できる。プログラムメモリ（ＰＲＯ
Ｍ）３はＣＰＵ２が実行する本発明に係わる図２に示す
ような制御手順（プログラム）、およびテーブル、定数
等をあらかじめ格納している。
路１は音声信号を入力するための一般的な構成の回路で
あり、必要に応じて例えばマイクロホン、音調回路、ア
ナログディジタル変換器、音声記憶再生（録音）回路、
音声記憶媒体（例えば、ＩＣメモリ、ハードディスク、
フロッピーディスクまたはＶＴＲ）、およびインタフェ
ース回路等を包含している。ＣＰＵ（中央演算処理装
置）２は装置全体の制御および演算等を司り、例えば公
知のワンチップマイクロコンピュータやパーソナルコン
ピュータ等が適用できる。プログラムメモリ（ＰＲＯ
Ｍ）３はＣＰＵ２が実行する本発明に係わる図２に示す
ような制御手順（プログラム）、およびテーブル、定数
等をあらかじめ格納している。
【００１５】入力バッファ４および処理バッファ５はＣ
ＰＵ２が作業域として使用する不図示のＲＡＭ（ランダ
ムアクセスメモリ）内に確保されており、音声入力回路
１から入力されたディジタル音声信号は後述のフレーム
単位で順次入力バッファ４に一時格納され、次に入力バ
ッファ４に格納された音声信号は後述のセグメント毎に
処理バッファ５に一時格納される。ファイル６は本発明
に係わる有声区間の伸張と無音区間の短縮の処理を施さ
れた音声信号を格納するメモリであり、例えば上記のＲ
ＡＭの他に、ＩＣメモリやフロッピーディスク等の音声
記憶媒体が適用できる。
ＰＵ２が作業域として使用する不図示のＲＡＭ（ランダ
ムアクセスメモリ）内に確保されており、音声入力回路
１から入力されたディジタル音声信号は後述のフレーム
単位で順次入力バッファ４に一時格納され、次に入力バ
ッファ４に格納された音声信号は後述のセグメント毎に
処理バッファ５に一時格納される。ファイル６は本発明
に係わる有声区間の伸張と無音区間の短縮の処理を施さ
れた音声信号を格納するメモリであり、例えば上記のＲ
ＡＭの他に、ＩＣメモリやフロッピーディスク等の音声
記憶媒体が適用できる。
【００１６】音声出力回路７はファイル６内の音声信号
を外部に出力するための一般的な構成の回路であり、必
要に応じて例えばインタフェース回路、ディジタルアナ
ログ変換器、スピーカー、録音装置（あるいは放送機
器）等を包含している。なお、後述の図２に示す手順を
公知技術により全てハード化して専用機として構成する
ことも勿論可能である。
を外部に出力するための一般的な構成の回路であり、必
要に応じて例えばインタフェース回路、ディジタルアナ
ログ変換器、スピーカー、録音装置（あるいは放送機
器）等を包含している。なお、後述の図２に示す手順を
公知技術により全てハード化して専用機として構成する
ことも勿論可能である。
【００１７】（２）動作例 図２は本発明の一実施例の動作手順を示す。本実施例で
は、受聴音声の発声する速さ（話速）を遅くする際に、
無音区間を聴感上の違和感なく最短に短縮し、かつ発話
音声中の意味上重要な部分は通例音声のピッチ（基本周
波数）が高いところであり、そのピッチの高いところは
通例声立て開始時であるということに着目して、声立て
と次の声立ての区間を単位にしてこの区間の開始点では
ゆっくりとした話速を設定し、終了点に向って音声の基
本周波数の大まかな変化に追随して徐々に話速を速める
ように処理している。
は、受聴音声の発声する速さ（話速）を遅くする際に、
無音区間を聴感上の違和感なく最短に短縮し、かつ発話
音声中の意味上重要な部分は通例音声のピッチ（基本周
波数）が高いところであり、そのピッチの高いところは
通例声立て開始時であるということに着目して、声立て
と次の声立ての区間を単位にしてこの区間の開始点では
ゆっくりとした話速を設定し、終了点に向って音声の基
本周波数の大まかな変化に追随して徐々に話速を速める
ように処理している。
【００１８】ステップＳ１：まず最初に音声入力回路１
からの入力音声信号をフレームと呼ばれる一定長の部分
に切り出し、入力バッファ４に格納する。本実施例で
は、フレーム長は例えば３．３ｍｓである。
からの入力音声信号をフレームと呼ばれる一定長の部分
に切り出し、入力バッファ４に格納する。本実施例で
は、フレーム長は例えば３．３ｍｓである。
【００１９】ステップＳ２：フレーム毎に有声、無声、
無音の判定を行う。この判定方法として、一例として公
知の自己相関法と零クロス法を適用できる。勿論その他
の判定方法でもよい。人が発声する有声および無声以外
の入力音（例えば、低レベルの雑音や背景音等）は原則
として無音として処理する。
無音の判定を行う。この判定方法として、一例として公
知の自己相関法と零クロス法を適用できる。勿論その他
の判定方法でもよい。人が発声する有声および無声以外
の入力音（例えば、低レベルの雑音や背景音等）は原則
として無音として処理する。
【００２０】ステップＳ３：今回と前回のフレームの上
記種類が同じであればステップＳ１に戻り、異なった場
合、例えば有声から無声に変化すれば後段の処理に進
む。これにより同一種類（区間）の音声が入力バッファ
４に格納されることになる。
記種類が同じであればステップＳ１に戻り、異なった場
合、例えば有声から無声に変化すれば後段の処理に進
む。これにより同一種類（区間）の音声が入力バッファ
４に格納されることになる。
【００２１】ステップＳ４：１秒間に発声されるモーラ
数の平均から、後述のスレッショールド値Ｔｈ１，Ｔｈ
２，Ｔｈ３を設定する。モーラは、短母音を含む１音節
の長さに相当する。日本語ではほぼ仮名１文字（拗音で
は２字）に相当する。なお、このステップＳ４の処理は
最初の段階のときだけ、あるいは所定時間毎に行っても
よい。
数の平均から、後述のスレッショールド値Ｔｈ１，Ｔｈ
２，Ｔｈ３を設定する。モーラは、短母音を含む１音節
の長さに相当する。日本語ではほぼ仮名１文字（拗音で
は２字）に相当する。なお、このステップＳ４の処理は
最初の段階のときだけ、あるいは所定時間毎に行っても
よい。
【００２２】ステップＳ５：無声または無音から始まっ
て有声で終わる区間を１ブロック（Ｂn ：ｎ＝１，２，
…）とする。このブロック内ではステップＳ２の判定に
応じて無音区間（ａn ）、無声区間（ｂn ）、有声区間
（Ｃn ）の３つに大別され、その区間毎に下記の各処理
系に送られる。ｂ1 とｃ1 の境界の時刻をｔ1,s と表現
し、初回の声立てをα１とする（図３参照）。
て有声で終わる区間を１ブロック（Ｂn ：ｎ＝１，２，
…）とする。このブロック内ではステップＳ２の判定に
応じて無音区間（ａn ）、無声区間（ｂn ）、有声区間
（Ｃn ）の３つに大別され、その区間毎に下記の各処理
系に送られる。ｂ1 とｃ1 の境界の時刻をｔ1,s と表現
し、初回の声立てをα１とする（図３参照）。
【００２３】ステップＳ６：図３に示すように、ｎ番目
の有声区間の開始点（ｔn,s ）と１つの前の有声区間の
終了点（ｔn-1,e ）との間の時間間隔Ｔn （Ｔn ＝ｔ
n,s −ｔn-1,e ）を算出する。
の有声区間の開始点（ｔn,s ）と１つの前の有声区間の
終了点（ｔn-1,e ）との間の時間間隔Ｔn （Ｔn ＝ｔ
n,s −ｔn-1,e ）を算出する。
【００２４】ステップＳ７：Ｔn と声立てを判別するた
めのスレッショールド値Ｔｈ１とを比較する。Ｔn があ
るスレッショールド値Ｔｈ１を越えた場合には、ｔn,s
の時点を声立てαm と判断し（図３参照）、ステップＳ
８に進む。なお、本処理の開始時点で前の有声区間がな
いときは後述のステップＳ１１に飛ぶ。
めのスレッショールド値Ｔｈ１とを比較する。Ｔn があ
るスレッショールド値Ｔｈ１を越えた場合には、ｔn,s
の時点を声立てαm と判断し（図３参照）、ステップＳ
８に進む。なお、本処理の開始時点で前の有声区間がな
いときは後述のステップＳ１１に飛ぶ。
【００２５】ステップＳ８：１つ前の声立てαm-1 と１
つ前の有声区間の終了点ｔn-1,e の範囲を１セグメント
とする。図３の例では、Ｔ5 ＝ｔ6,s −ｔ5,e ＞Ｔｈ１
とすると、ｔ6,s の時点が声立てα2 、区間（ｔ5,e −
ｔ1,s ）が１セグメントとなる。そして、ステップＳ１
１，Ｓ１２，Ｓ１５の処理によりこれまでに処理バッフ
ァ５に格納されている１セグメントの開始点の有声区間
長の伸張倍率ｒs を１≦ｒs ≦２の範囲内であらかじめ
決めた値に設定して伸張する。この伸張倍率をこのセグ
メントの終了点に向って徐々に小さくし、終了点の有声
区間長の伸張倍率ｒe が０．７≦ｒe ≦１となるように
する。図４に図３のセグメント１に属する有声区間の伸
張倍率の求め方の一例を示す。セグメント開始点の有声
区間ｃ1は伸張されてｃ1 ′＝ｒs ・ｃ1 、ｃ2 はｃ
2 ′＝ｒ2 ・ｃ2 となる。セグメント終了点の有声区間
ｃ5 はｃ5 ′＝ｒe ・ｃ5 となるが、ｒe はｒe ≦１で
あるから、実際的には短縮される。有声区間以外の無音
区間ａn 、無声区間ｂn については処理を施さず、不変
である。
つ前の有声区間の終了点ｔn-1,e の範囲を１セグメント
とする。図３の例では、Ｔ5 ＝ｔ6,s −ｔ5,e ＞Ｔｈ１
とすると、ｔ6,s の時点が声立てα2 、区間（ｔ5,e −
ｔ1,s ）が１セグメントとなる。そして、ステップＳ１
１，Ｓ１２，Ｓ１５の処理によりこれまでに処理バッフ
ァ５に格納されている１セグメントの開始点の有声区間
長の伸張倍率ｒs を１≦ｒs ≦２の範囲内であらかじめ
決めた値に設定して伸張する。この伸張倍率をこのセグ
メントの終了点に向って徐々に小さくし、終了点の有声
区間長の伸張倍率ｒe が０．７≦ｒe ≦１となるように
する。図４に図３のセグメント１に属する有声区間の伸
張倍率の求め方の一例を示す。セグメント開始点の有声
区間ｃ1は伸張されてｃ1 ′＝ｒs ・ｃ1 、ｃ2 はｃ
2 ′＝ｒ2 ・ｃ2 となる。セグメント終了点の有声区間
ｃ5 はｃ5 ′＝ｒe ・ｃ5 となるが、ｒe はｒe ≦１で
あるから、実際的には短縮される。有声区間以外の無音
区間ａn 、無声区間ｂn については処理を施さず、不変
である。
【００２６】すなわち、一般に声立て部分（一単位の中
の前半部分）の音声は意味上、重要であることが多いの
で、上記のように話速を適度に遅くすることによって聴
きやすさが向上する。話速の変化は、適当な関数ｆ
（ｔ）を用いて変化させる。本実施例では、一例として
図４に示すような余弦関数を用いた。この場合、ｆ
（ｔ）は次式（１）で表現される。
の前半部分）の音声は意味上、重要であることが多いの
で、上記のように話速を適度に遅くすることによって聴
きやすさが向上する。話速の変化は、適当な関数ｆ
（ｔ）を用いて変化させる。本実施例では、一例として
図４に示すような余弦関数を用いた。この場合、ｆ
（ｔ）は次式（１）で表現される。
【００２７】
【数１】
【００２８】ステップＳ９：ステップＳ８で話速変換さ
れた音声データをファイル６に落とす。
れた音声データをファイル６に落とす。
【００２９】ステップＳ１０：処理バッファ５をクリア
する。
する。
【００３０】ステップＳ１１：ステップＳ７でＴn ≦Ｔ
ｈ１の場合、またはステップＳ１０を処理した場合はこ
のステップＳ１１に進む。ステップＳ７が否定判定の場
合は有声区間が一単位に収まっていると判断し、この有
声区間を処理バッファ５に蓄える。ステップＳ１０を通
った場合は声立て開始時点の有声区間が処理バッファ５
に蓄えられることになる。入力バッファ４を次の音声デ
ータの処理のためにクリアし、本処理作業の終了指示が
発生されてなければ（ステップＳ１６）ステップＳ１に
戻る。
ｈ１の場合、またはステップＳ１０を処理した場合はこ
のステップＳ１１に進む。ステップＳ７が否定判定の場
合は有声区間が一単位に収まっていると判断し、この有
声区間を処理バッファ５に蓄える。ステップＳ１０を通
った場合は声立て開始時点の有声区間が処理バッファ５
に蓄えられることになる。入力バッファ４を次の音声デ
ータの処理のためにクリアし、本処理作業の終了指示が
発生されてなければ（ステップＳ１６）ステップＳ１に
戻る。
【００３１】ステップＳ１２：無声区間については、入
力バッファ４から常に処理バッファ５に転送して蓄え
る。その後、入力バッファ４をクリアし、ステップＳ１
６を経てステップＳ１に戻る。
力バッファ４から常に処理バッファ５に転送して蓄え
る。その後、入力バッファ４をクリアし、ステップＳ１
６を経てステップＳ１に戻る。
【００３２】ステップＳ１３：音声の種類別区間が無音
区間の場合は、無音区間の長さと、文章間の区切り（句
点）を判別するためのスレッショールド値Ｔｈ２とを比
較する。無音区間がＴｈ２を越えた場合、この無音区間
を文章と文章の区切り（句点）と判断し、次のステップ
Ｓ１４に進み、それ以外はステップＳ１５に飛ぶ。
区間の場合は、無音区間の長さと、文章間の区切り（句
点）を判別するためのスレッショールド値Ｔｈ２とを比
較する。無音区間がＴｈ２を越えた場合、この無音区間
を文章と文章の区切り（句点）と判断し、次のステップ
Ｓ１４に進み、それ以外はステップＳ１５に飛ぶ。
【００３３】ステップＳ１４：句点と判定した無音区間
を以下の手順で短縮する。
を以下の手順で短縮する。
【００３４】聴感上の違和感なく最短に短縮するため、
短縮無音区間の時間長はスレッショールド値Ｔｈ３とな
る。無音区間の時間長をａn 、削除する区間の時間長を
ｄn、削除後の無音区間の時間長をｅn とした場合、ｅn
は図５の（Ｂ）に示すように、 ｅn ＝ａn −ｄn ・・・（２） となる。この際、分析時の無音範囲の指定誤りから、無
声部分までも長い無音の一部と識別してしまう可能性が
あるため、ａn の先頭から、ｄn を削除するのではな
く、図５の（Ａ）に示すように、ａn の中心点からｄn
部分を削除する。また、ｄn の両端には、数ｍｓのテー
パーをかけて平滑化し、これによりクリック音の発生を
防止する。ここでの無音とは前述のように人から発生さ
れた音声以外の音を含むので、この平滑化処理が有用と
なる。
短縮無音区間の時間長はスレッショールド値Ｔｈ３とな
る。無音区間の時間長をａn 、削除する区間の時間長を
ｄn、削除後の無音区間の時間長をｅn とした場合、ｅn
は図５の（Ｂ）に示すように、 ｅn ＝ａn −ｄn ・・・（２） となる。この際、分析時の無音範囲の指定誤りから、無
声部分までも長い無音の一部と識別してしまう可能性が
あるため、ａn の先頭から、ｄn を削除するのではな
く、図５の（Ａ）に示すように、ａn の中心点からｄn
部分を削除する。また、ｄn の両端には、数ｍｓのテー
パーをかけて平滑化し、これによりクリック音の発生を
防止する。ここでの無音とは前述のように人から発生さ
れた音声以外の音を含むので、この平滑化処理が有用と
なる。
【００３５】上式（２）においてｅn の値はｅn ≧Ｔｈ
３での範囲で可変値として設定してもよいが、処理を簡
単にするためｅn をＴｈ３に近い一定値（例えば８６２
ｍｓ）に設定した場合は、上式（２）からｄn はａn に
より変わる可変値となる。次に、ステップＳ１５に進
む。
３での範囲で可変値として設定してもよいが、処理を簡
単にするためｅn をＴｈ３に近い一定値（例えば８６２
ｍｓ）に設定した場合は、上式（２）からｄn はａn に
より変わる可変値となる。次に、ステップＳ１５に進
む。
【００３６】ステップＳ１５：無音区間を処理バッファ
５に蓄える。入力バッファ４をクリアし、ステップＳ１
６を経てステップＳ１に戻る。
５に蓄える。入力バッファ４をクリアし、ステップＳ１
６を経てステップＳ１に戻る。
【００３７】ステップＳ１６：音声入力回路１に音声信
号のデータがなくなった場合、あるいは作業中止命令が
あった場合は本処理ルーチンは終了し、メインの待機ル
ーチン等に復帰する。
号のデータがなくなった場合、あるいは作業中止命令が
あった場合は本処理ルーチンは終了し、メインの待機ル
ーチン等に復帰する。
【００３８】（３）実験例 本実施例の実験例では、１３６秒のニュース文に適応し
たが、この場合、話速の平均が９．６モーラ／秒であ
り、これを基に、Ｔｈ１，Ｔｈ２，Ｔｈ３をＴｈ１＝３
５０ｍｓ、Ｔｈ２＝Ｔｈ３＝１０００ｍｓに設定した。
この時、心理実験により、話速制御については、一単位
内の開始点の話速（有声区間長の伸張倍率）が原音声の
１．０〜１．３倍、終了点の話速が０．９〜１．０倍の
範囲では自然性、わかりやすさにおいて高い評価が得ら
れ、また、無音区間の短縮については、短縮した無音区
間（ｅn ）が最低でも８６２ｍｓ存在すれば、聴感上違
和感がないという知見が得られた。
たが、この場合、話速の平均が９．６モーラ／秒であ
り、これを基に、Ｔｈ１，Ｔｈ２，Ｔｈ３をＴｈ１＝３
５０ｍｓ、Ｔｈ２＝Ｔｈ３＝１０００ｍｓに設定した。
この時、心理実験により、話速制御については、一単位
内の開始点の話速（有声区間長の伸張倍率）が原音声の
１．０〜１．３倍、終了点の話速が０．９〜１．０倍の
範囲では自然性、わかりやすさにおいて高い評価が得ら
れ、また、無音区間の短縮については、短縮した無音区
間（ｅn ）が最低でも８６２ｍｓ存在すれば、聴感上違
和感がないという知見が得られた。
【００３９】その結果から、話速を１．２倍というゆっ
くりした話速から０．９２倍という速い話速に変化さ
せ、長い無音区間（文章間の「ま」）を１２００ｍｓに
短縮することによって、原音声、変換音声とも発話時間
が合致し、良好な話速変換音声が得られることが確認で
きた。
くりした話速から０．９２倍という速い話速に変化さ
せ、長い無音区間（文章間の「ま」）を１２００ｍｓに
短縮することによって、原音声、変換音声とも発話時間
が合致し、良好な話速変換音声が得られることが確認で
きた。
【００４０】（４）その他の実施例 上記実施例のステップＳ８（図２参照）の処理中におい
て、話速が変わってもそのピッチが変わらないように処
理することにより、高品質の音質が保てる。この処理方
法としては、例えば特願平３−２４５９６０号「話速制
御型補聴方法および装置」に開示された音声信号の処理
方法が好適である。
て、話速が変わってもそのピッチが変わらないように処
理することにより、高品質の音質が保てる。この処理方
法としては、例えば特願平３−２４５９６０号「話速制
御型補聴方法および装置」に開示された音声信号の処理
方法が好適である。
【００４１】また、上記実施例において有声区間長の伸
張倍率ｒs ，ｒe 無音区間の削除後の時間長ｅn 等をあ
らかじめ決めた一定値としたが、ダイヤルやキーボード
等から使用者が希望の値にセット可能な可変値としても
よい。これにより、例えば視聴者の希望に合せたり、あ
るいは放送時間内にぴったりと合わせる編集作業等がよ
り容易となる。
張倍率ｒs ，ｒe 無音区間の削除後の時間長ｅn 等をあ
らかじめ決めた一定値としたが、ダイヤルやキーボード
等から使用者が希望の値にセット可能な可変値としても
よい。これにより、例えば視聴者の希望に合せたり、あ
るいは放送時間内にぴったりと合わせる編集作業等がよ
り容易となる。
【００４２】また、上記実施例の有声区間の伸張処理の
代りに、音声のピッチ（基本周波数）を公知のピッチ抽
出方法により直接検出し、ピッチの変化に応じて、ピッ
チの高いところでは話速を緩め、低いところでは話速を
速めるように処理してもよい。
代りに、音声のピッチ（基本周波数）を公知のピッチ抽
出方法により直接検出し、ピッチの変化に応じて、ピッ
チの高いところでは話速を緩め、低いところでは話速を
速めるように処理してもよい。
【００４３】
【発明の効果】以上説明したように、本発明によれば、
受聴音声の発生する速さ（話速）を遅くする際に、音声
のピッチ（基本周波数）の変化に応じて、ピッチの高い
ところでは話速を緩め、低いところでは話速を早めるよ
うにし、また、声立てと次の声立ての区間を単位にして
この区間の開始点ではゆっくりとした話速を設定し、そ
の終了点に向かって音声の基本周波数の大まかな変化に
追従して徐々に話速を早めるようにし、さらには文章間
の無音区間を予め実験で求めた聴感上違和感のない範囲
でできるだけ短い時間に短縮するようにしているので、
発話時間を原音声の発話時間に保ったまま全体としてゆ
っくりとした聴きやすい良好な音声に変換できる効果が
得られる。
受聴音声の発生する速さ（話速）を遅くする際に、音声
のピッチ（基本周波数）の変化に応じて、ピッチの高い
ところでは話速を緩め、低いところでは話速を早めるよ
うにし、また、声立てと次の声立ての区間を単位にして
この区間の開始点ではゆっくりとした話速を設定し、そ
の終了点に向かって音声の基本周波数の大まかな変化に
追従して徐々に話速を早めるようにし、さらには文章間
の無音区間を予め実験で求めた聴感上違和感のない範囲
でできるだけ短い時間に短縮するようにしているので、
発話時間を原音声の発話時間に保ったまま全体としてゆ
っくりとした聴きやすい良好な音声に変換できる効果が
得られる。
【図１】本発明の一実施例の装置構成を示すブロック図
である。
である。
【図２】本発明の一実施例の処理内容を示すフローチャ
ートである。
ートである。
【図３】本発明の一実施例の処理に基づく音声データの
セグメンテーションを示す線図である。
セグメンテーションを示す線図である。
【図４】本発明の一実施例の話速変化を示すタイミング
チャートである。
チャートである。
【図５】本発明の一実施例の処理に基づく原波形（Ａ）
と文章間の長い無音区間を短縮した波形（Ｂ）とを示す
波形図である。
と文章間の長い無音区間を短縮した波形（Ｂ）とを示す
波形図である。
１ 音声入力回路 ２ ＣＰＵ ３ ＰＲＯＭ ４ 入力バッファ ５ 処理バッファ ６ ファイル ７ 音声出力回路 ａn 無音区間 ｂn 無声区間 ｃn 有声区間 ｃn ′ 伸張した有声区間 Ｂn 無声または無音から始まって有声で終わる区間 Ｔｈ１ 声立てを判別するためのスレッショールド値 Ｔｈ２ 文章間の区切り（句点）を判別するためのスレ
ッショールド値 ｒs 開始点における有声区間長の伸張倍率 ｒe 終了点における有声区間長の伸張倍率
ッショールド値 ｒs 開始点における有声区間長の伸張倍率 ｒe 終了点における有声区間長の伸張倍率
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平１−93795（ＪＰ，Ａ) 電子情報通信学会技術研究報告 ＳＰ 92−56 話速変換に伴う時間伸長を吸収 するための一方法 (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 21/04
Claims (5)
- 【請求項１】 受聴音声の発生する速さ（以下、話速と
いう）を遅くする際に、音声のピッチ（基本周波数）の
変化に応じて、ピッチの高いところでは話速を緩め、低
いところでは話速を早めることを特徴とする話速変換方
法。 - 【請求項２】 話速を遅くする際に、声立てと次の声立
ての区間を単位にしてこの区間の開始点ではゆっくりと
した話速を設定し、その終了点に向かって音声の基本周
波数の大まかな変化に追従して徐々に話速を早めること
を特徴とする話速変換方法。 - 【請求項３】 話速を遅くする際にさらに、文章間の無
音区間を予め実験で求めた聴感上違和感のない範囲でで
きるだけ短い時間に短縮することを特徴とする請求項１
または２に記載の話速変換方法。 - 【請求項４】 前記予め実験で求めた聴感上違和感のな
い範囲でできるだけ短い時間が、８６２ｍｓ〜ほぼ１０
００ｍｓの範囲であることを特徴とする請求項３に記載
の話速変換方法。 - 【請求項５】 音声信号を有声、無声、無音の別に識別
する音声識別手段と、 該音声識別手段により識別された無音区間が文章間の無
音区間か否かを判定する無音区間判定手段と、 該無音区間判定手段により文章間の無音区間と判定され
た場合は当該無音区間を予め実験で求めた聴感上違和感
のない範囲でできるだけ短い時間に短縮する無音区間短
縮手段と、 前記音声識別手段により識別された有声区間が声立て開
始のものか否かを判定する有声区間判定手段と、 該有声区間判定手段により声立て開始と判定された場合
は声立てと次の声立ての区間を単位にしてこの区間の開
始点ではゆっくりとした話速を設定し、その終了点に向
かって音声の基本周波数の大まかな変化に追従して徐々
に話速を速める話速変換処理を行う有声区間伸張手段と
を具備したことを特徴とする話速変換装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05178792A JP3249567B2 (ja) | 1992-03-10 | 1992-03-10 | 話速変換方法および装置 |
| US07/950,411 US5305420A (en) | 1991-09-25 | 1992-09-22 | Method and apparatus for hearing assistance with speech speed control function |
| EP96119237A EP0766229B1 (en) | 1991-09-25 | 1992-09-23 | Method and apparatus for hearing assistance with speech speed control function |
| DK92116292T DK0534410T3 (da) | 1991-09-25 | 1992-09-23 | Fremgangsmåde og apparat til hørehjælp med talehastighedsstyrefunktion |
| DK96119237T DK0766229T3 (da) | 1991-09-25 | 1992-09-23 | Fremgangsmåde og apparat til hørehjælp med talehastighedsstyrefunktion |
| EP92116292A EP0534410B1 (en) | 1991-09-25 | 1992-09-23 | Method and apparatus for hearing assistance with speech speed control function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05178792A JP3249567B2 (ja) | 1992-03-10 | 1992-03-10 | 話速変換方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05257490A JPH05257490A (ja) | 1993-10-08 |
| JP3249567B2 true JP3249567B2 (ja) | 2002-01-21 |
Family
ID=12896658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05178792A Expired - Lifetime JP3249567B2 (ja) | 1991-09-25 | 1992-03-10 | 話速変換方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3249567B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5611018A (en) * | 1993-09-18 | 1997-03-11 | Sanyo Electric Co., Ltd. | System for controlling voice speed of an input signal |
| ATE218002T1 (de) * | 1994-12-08 | 2002-06-15 | Univ California | Verfahren und vorrichtung zur verbesserung des sprachverständnisses bei sprachbehinderten personen |
| WO1996037880A1 (fr) * | 1995-05-25 | 1996-11-28 | Sanyo Electric Co., Ltd. | Dispositif d'enregistrement et de reproduction |
| JPH09198089A (ja) * | 1996-01-19 | 1997-07-31 | Matsushita Electric Ind Co Ltd | 再生速度変換装置 |
| JP3432443B2 (ja) * | 1999-02-22 | 2003-08-04 | 日本電信電話株式会社 | 音声速度変換装置、音声速度変換方法および音声速度変換方法を実行するプログラムを記録した記録媒体 |
| JP2001312298A (ja) * | 2000-04-27 | 2001-11-09 | Nippon Hoso Kyokai <Nhk> | 話速変換処理装置、話速変換処理方法、記録媒体および話速変換処理装置の使用法 |
| JP5054477B2 (ja) * | 2007-09-26 | 2012-10-24 | 日本放送協会 | 補聴装置 |
| JP5412204B2 (ja) * | 2009-07-31 | 2014-02-12 | 日本放送協会 | 適応的な話速変換装置及びプログラム |
| JP5593244B2 (ja) | 2011-01-28 | 2014-09-17 | 日本放送協会 | 話速変換倍率決定装置、話速変換装置、プログラム、及び記録媒体 |
| JP2014228691A (ja) * | 2013-05-22 | 2014-12-08 | 日本電気株式会社 | 航空管制用音声通信装置および音声処理方法 |
-
1992
- 1992-03-10 JP JP05178792A patent/JP3249567B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会技術研究報告 ＳＰ９２−５６ 話速変換に伴う時間伸長を吸収するための一方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05257490A (ja) | 1993-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5828994A (en) | Non-uniform time scale modification of recorded audio | |
| JP4523257B2 (ja) | 音声データ処理方法、プログラム及び音声信号処理システム | |
| US6205420B1 (en) | Method and device for instantly changing the speed of a speech | |
| JP3249567B2 (ja) | 話速変換方法および装置 | |
| JPH11175082A (ja) | 音声対話装置及び音声対話用音声合成方法 | |
| JP2000152394A (ja) | 軽度難聴者用補聴装置、軽度難聴者対応伝送システム、軽度難聴者対応記録再生装置、及び軽度難聴者対応再生装置 | |
| JP4953767B2 (ja) | 音声生成装置 | |
| Cooke et al. | Combining spectral and temporal modification techniques for speech intelligibility enhancement | |
| JP3219892B2 (ja) | リアルタイム話速変換装置 | |
| JP6314879B2 (ja) | 音読評価装置、音読評価方法、及びプログラム | |
| Nakamura et al. | A new approach to compensate degeneration of speech intelligibility for elderly listeners-development of a portable real time speech rate conversion system | |
| JP2001184100A (ja) | 話速変換装置 | |
| JP3187242B2 (ja) | 話速変換装置 | |
| Junqua et al. | Influence of the speaking style and the noise spectral tilt on the Lombard reflex and automatic speech recognition | |
| JP3373933B2 (ja) | 話速変換装置 | |
| JPH09152889A (ja) | 話速変換装置 | |
| JPH07230293A (ja) | 音声認識装置 | |
| JP4313724B2 (ja) | 音声再生速度調節方法、音声再生速度調節プログラム、およびこれを格納した記録媒体 | |
| JP3187241B2 (ja) | 話速変換装置 | |
| JP2867744B2 (ja) | 音声再生装置 | |
| JPH08110796A (ja) | 音声強調方法および装置 | |
| JP2002304186A (ja) | 音声合成装置、音声合成方法および音声合成プログラム | |
| JPH1078798A (ja) | 音声信号処理装置 | |
| KR100384898B1 (ko) | 발화속도 조절기능을 이용한 음성/영상의 동기화 방법 | |
| Holland et al. | The effect of slowing speech rate at natural boundaries on older adults' memory for auditorially presented stories |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081109 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091109 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101109 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111109 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121109 Year of fee payment: 11 |