JP3596580B2

JP3596580B2 - 音声信号の処理回路

Info

Publication number: JP3596580B2
Application number: JP18614197A
Authority: JP
Inventors: 雅美三浦
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-11
Filing date: 1997-07-11
Publication date: 2004-12-02
Anticipated expiration: 2017-07-11
Also published as: JPH1132395A

Description

【０００１】
【発明の属する技術分野】
この発明は、補聴器、電話、拡声器、音声通信などの分野で用いられる、音声信号の処理装置に関する。
【０００２】
【従来の技術】
音声を伝送あるいは再生する場合、その伝送系あるいは再生系に残響やエコーが多いと、音声の明瞭度が低下してしまう。そこで、そのようなときには、発話速度を遅くする、連続して発声される語音を細かく分解し、時間をあけて再生するなどの処理が行われている。
【０００３】
また、子音のような高域周波数の語音が聞き取りにくいときには、周波数イコライザ処理により高域周波数の強調を行うこともある。さらに、いわゆる継時マスキング（子音がエネルギーの大きい母音に続くとき、その母音により子音がマスクされる現象）を考慮した重み関数をかける処理も試みられている。
【０００４】
さらに、以上の処理は難聴者や老人を対象に行われることもある。
【０００５】
【発明が解決しようとする課題】
ところが、前述したように、発話速度を遅くしたり、連続して発声される語音を分解したりすると、次のような問題点を生じてしまう。
【０００６】
１．原音声との間に時間のずれを生じ、即時性がなくなってしまう。したがって、会話などを行うときには使えない。また、放送などを聞く場合であっても、聞き終わるまでの時間が長くなってしまう。
２．語音の知覚判断には音声成分の変化速度も重要な手がかりになっているので、発話速度を遅くすると、この手がかりが変化して別な語音に知覚されてしまうことがある。
３．語音を分解してゆっくり再生すると、語音のまとまりとしての情報や過渡的な変化部分の情報が失われ、明瞭度の悪くなることがある。
４．周波数イコライザ処理により常に高域周波数を増幅した音声は、音色のバランスがくずれて不快であったり、聞き取りにくいことがある。
５．継時マスキングを考慮した重み関数をかける処理は、少なくとも重み関数の時間長の遅延が生じてしまい、即時性が失われてしまう。この結果、口の動きと処理音との間に時間ずれを生じて明瞭度に悪い影響を与えることがある。また、イヤホンからマイクロフォンへの音響的フィードバックがあるときには、その時間遅れによって残響音のような現象が引き起こされてしまう。
【０００７】
そこで、上述のような問題点に対処するため、本出願人は、「特願平９−９９１４４号」において、音声の低域成分による高域成分へのマスキングを補償する方式として、低域成分が存在する時間帯のみ高域の増幅率を大きくするようにした「音声信号の処理回路」を提案している。
【０００８】
しかしながら、この「音声信号の処理回路」においては、高域の増幅率を大きくするので、アンプの利得および最大出力に余裕が必要になるとともに、ハウリングを起こさないようにハウリングマージンの余裕が必要になり、難聴が重い場合に適さない。
【０００９】
この発明は、以上のような問題点を一掃しようとするものである。
【００１０】
【課題を解決するための手段】
このため、この発明においては、
入力された音声信号の低域成分に対してレベルの低減を行うレベル低減回路と、
上記音声信号について高域成分の開始点を検出する第１の検出回路と、
上記音声信号について高域成分の終了点を検出する第２の検出回路と、
上記第１の検出回路および第２の検出回路の検出出力にしたがって上記レベル低減回路のレベル低減度を制御するレベル制御回路と
を有し、
このレベル制御回路は、上記第１の検出回路が上記高域成分の開始点を検出したとき、上記低域レベル低減回路に対して上記レベル低減度を大きくするように制御信号を供給するとともに、
上記第２の検出回路が上記高域成分の終了点を検出したとき、上記低域レベル低減回路に対して上記レベル低減度を戻すように制御信号を供給する
ようにした音声信号の処理回路
とするものである。
したがって、音声の低域成分による高域成分へのマスキングや継時マスキングに見合う大きさだけ、低域成分のレベルが低減されて、処理後の音声の明瞭度が改善される。
【００１１】
【発明の実施の形態】
ところで、通常の会話の音声は、無声音と有声音との組み合わせ、すなわち、低い周波数の成分と高い周波数の成分との組み合わせで構成されている。また、一般の生活環境に存在する音も、低い周波数の成分と高い周波数の成分との組み合わせになっていることが多い。
【００１２】
そして、聴覚では、低域成分が高域成分をマスクすることが知られており、音声を知覚するときにも、このマスキングが働いている。健聴者では、このマスキングによる妨害は小さく、マスキングがあっても正しく音声を知覚できるが、難聴者では、マスキングによる妨害が大きく、時間的にも長く続くことがあり、言葉の聞き取りを悪くする原因の一つになっている。
【００１３】
また、健聴者でも低域成分の大きい雑音があると、言葉の聞き取りが低下することがある。さらに、いわゆる継時マスキングによっても、言葉の明瞭度が低下する。
【００１４】
そこで、この発明は、このようなマスキングあるいは継時マスキングに起因する明瞭度の低下を抑えようとするものである。
【００１５】
そして、このため、この発明の一形態においては、音声の高域成分の開始点から数ミリ秒〜十数ミリ秒の期間を開始期間とし、音声の高域成分の終了点から十数ミリ秒〜数十ミリ秒の期間を終了期間とするとき、この開始期間から終了期間までの処理期間には、音声信号の低域成分に対してレベルの低減を行うものである。
【００１６】
図１は、この発明の一形態の構成を示すもので、処理前の音声信号Ｓ１１が、入力端子１１を通じて２つのバンドパスフィルタ１２、１３に共通に供給され、これらのバンドパスフィルタ１２、１３の出力信号Ｓ１２、Ｓ１３が、固定利得および可変利得のアンプ１４、１５を通じて加算回路１６に供給される。
【００１７】
この場合、ここでは、音声の第１フォルマント成分を音声の低域成分とし、第２フォルマント成分および子音成分を音声の高域成分として扱うものである。このため、バンドパスフィルタ１２の通過帯域は、音声の第２フォルマント成分および子音成分の帯域、例えば１．２ｋＨｚ〜８ｋＨｚとされ、バンドパスフィルタ１３の通過帯域は、音声のピッチ成分および第１フォルマント成分の帯域、例えば２００Ｈｚ〜１．２ｋＨｚとされる。
【００１８】
したがって、固定利得アンプ１４の利得と、可変利得アンプ１５の基準利得とが等しい場合、加算回路１６からは、入力された音声信号Ｓ１１に含まれる高域信号成分Ｓ１２および低域信号成分Ｓ１３を、等しい割り合いで有する音声信号Ｓ１６が得られることになる。そして、この信号Ｓ１６が出力端子１７に取り出される。
【００１９】
さらに、入力端子１１からの音声信号Ｓ１１が、前処理のため、バンドパスフィルタ２１およびレベル算出回路２２に順に供給される。この場合、バンドパスフィルタ２１は、高域信号成分の開始点および終了点を検出しやすくし、かつ、雑音による影響が小さくなるように、入力された音声信号Ｓ１１の第２フォルマント成分と子音成分とを、信号Ｓ２１として抽出するものである。したがって、バンドパスフィルタ２１の通過帯域は、バンドパスフィルタ１２の通過帯域と例えば等しく設定される。
【００２０】
また、レベル算出回路２２は、例えば、信号Ｓ２１を両波整流するとともに、その低域成分（例えば６０Ｈｚ以下の成分）を取り出すことにより、バンドパスフィルタ１２から出力される高域信号成分Ｓ１２のレベルを示す信号Ｓ２２を形成するものである。
【００２１】
そして、このレベル算出回路２２の算出信号Ｓ２２が検出回路２３に供給されて、高域信号成分Ｓ１２の開始点および終了点が検出され、その検出信号Ｓ２３がレベル制御回路２４に供給されてレベル制御信号Ｓ２４が形成され、この信号Ｓ２４が可変利得アンプ１５に利得Ｇ１５の制御信号として供給される。
【００２２】
この場合、高域信号成分Ｓ１２の開始点および終了点の検出と、可変利得アンプ１５の利得Ｇ１５の大きさとは、例えば、図２に示すような関係とされる。すなわち、算出信号Ｓ２２の示す高域信号成分Ｓ１２のレベルが開始点判定のしきい値より小さいときには、アンプ１５の利得Ｇ１５は、アンプ１４の利得と等しい基準値とされているが、時点ｔ１に高域信号成分Ｓ１２のレベルがその開始点判定のしきい値よりも大きくなると、利得Ｇ１５は、時点ｔ１から数ミリ秒ないし十数ミリ秒後の時点ｔ２までの期間Ｔｓをもって所定値まで次第に小さくされる。
【００２３】
また、算出信号Ｓ２２の示す高域信号成分Ｓ１２のレベルが終了点判定のしきい値よりも大きいときには、利得Ｇ１５は小さいままに保持されるが、時点ｔ３に高域信号成分Ｓ１２のレベルがその終了点判定のしきい値よりも小さくなると、利得Ｇ１５は、時点ｔ３から数十ミリ秒ないし２００ミリ秒後の時点ｔ４までの期間Ｔｅをもって基準値まで次第に大きくされる。
【００２４】
このような構成によれば、処理前の音声信号Ｓ１１に高域信号成分Ｓ１２が含まれているとき、その開始点から終了点までの期間ｔ１〜ｔ４には、レベル制御信号Ｓ２４によりアンプ１５の利得Ｇ１５が小さくなるので、このアンプ１５を通じる低域信号成分Ｓ１３のレベルが低減される。
【００２５】
したがって、高域信号成分Ｓ１２の開始点から終了点までの期間、端子１７に出力される音声信号Ｓ１６の高域信号成分Ｓ１２のレベルが相対的に高くなるので、信号Ｓ１６の再生音にマスキングを生じても、そのマスキングに見合うだけ、再生音の高域成分が相対的に大きくなり、したがって、言葉の聞き取りが改善される。また、継時マスキングの場合、高域成分の開始点の近傍でマスキングの程度が大きいが、図２に示すように、高域信号成分Ｓ１２の開始点の近傍で、低域信号成分のレベルが比較的速やかに低減されて高域信号成分Ｓ１２のレベルが相対的に高くなるので、継時マスキングに対しても明瞭度を有効に高めることができる。
【００２６】
図３は、検出回路２３およびレベル制御回路２４が、算出信号Ｓ２２からレベル制御信号Ｓ２４を形成する方法の一形態を示す。すなわち、この場合には、図１に示した回路の全部がデジタル化されるとともに、例えばＤＳＰにより構成される。また、音声信号Ｓ１１はもとの処理前のアナログ音声信号をＡ／Ｄ変換したデジタル音声信号とされる。
【００２７】
そして、検出回路２３およびレベル制御回路２４においては、デジタル音声信号Ｓ１１の１サンプルごとに、図３のレベル制御ルーチン１００が実行され、可変利得アンプ１５の利得Ｇ１５が、例えば図２に示すように制御される。なお、ルーチン１００および以下の説明において、各変数の意味は以下のとおりである。
【００２８】
ｅ（ｉ）：音声信号Ｓ１１の第ｉ番目のサンプルの示すレベル。
ｔｈｒｅｓｈｏｌｄ１：高域成分の終了点判定のしきい値。
信号Ｓ１１がこの値よりも小さくなったとき、高域成分の終了点と判定する。
ｔｈｒｅｓｈｏｌｄ２：高域成分の開始点判定のしきい値。
信号Ｓ１１がこの値よりも大きくなったとき、高域成分の開始点と判定する。
ｔｈｒｅｓｈｏｌｄ１≦ｔｈｒｅｓｈｏｌｄ２に設定される。
ｗ：利得Ｇ１５を制御するための重み係数。０≦ｗ ≦１
ｗ＝０のとき、Ｇ１５＝基準利得
ｗ＝１のとき、Ｇ１５＝最小利得
ｄ１：係数ｗを減少させるときのステップ幅。
ｄ２：係数ｗを増加させるときのステップ幅。
【００２９】
すなわち、レベル制御ルーチン１００においては、まず、ステップ１０１において、第ｉ番目のサンプルの信号レベルｅ（ｉ）が開始点判定のしきい値ｔｈｒｅｓｈｏｌｄ２よりも小さいかどうかが判別され、小さいときには、処理はステップ１０１からステップ１０２に進む。
【００３０】
そして、このステップ１０２において、第ｉ番目のサンプルの信号レベルｅ（ｉ）が終了点判定のしきい値ｔｈｒｅｓｈｏｌｄ１よりも小さいかどうかが判別され、小さいときには、処理はステップ１０２からステップ１０３に進み、このステップ１０３において、係数ｗがステップ幅ｄ１だけ小さくされ、ルーチン１００を終了する。したがって、図２に示すように、高域成分の終了点が検出されたときには、以後、利得Ｇ１５は次第に大きくなっていき、低域成分のレベルが次第に高くなっていく。
【００３１】
また、ステップ１０２において、第ｉ番目のサンプルの信号レベルｅ（ｉ）が終了点判定のしきい値ｔｈｒｅｓｈｏｌｄ１以上のときには、処理はステップ１０２からこのルーチン１００を終了する。したがって、図２に示すように、高域成分の終了点が検出されるまでの期間（利得Ｇ１５の小さい期間）は、その利得Ｇ１５が保持されて、低域成分のレベルが低く保持される。
【００３２】
さらに、ステップ１０１において、第ｉ番目のサンプルの信号レベルｅ（ｉ）が開始点判定のしきい値ｔｈｒｅｓｈｏｌｄ２以上のときには、処理はステップ１０１からステップ１０４に進み、このステップ１０４において、係数ｗがステップ幅ｄ２だけ大きくされ、ルーチン１００を終了する。したがって、図２に示すように、高域成分の開始点が検出されたときには、以後、利得Ｇ１５は次第に小さくなっていき、低域成分のレベルが次第に低くなっていく。
【００３３】
こうして、レベル制御ルーチン１００によれば、低域成分用のアンプ１５の利得Ｇ１５を低減方向に制御することにより、高域成分のレベルを相対的に上昇させているので、マスキングや継時マスキングによる高域成分の聴感上の減衰を補うことができ、会話の子音部分など音声の明瞭度を向上させることができる。
【００３４】
図４は、音声波形の観測結果を示すもので、図４Ａは上述のルーチン１００による処理を行っていない入力音声信号Ｓ１１の波形、図４Ｂはルーチン１００による処理を行った出力音声信号Ｓ１６の波形の観測例である。なお、このときの発声内容は、「１行目に書いてください」である。
【００３５】
そして、高域成分の開始点から終了点までの期間（矢印Ａ、Ｂ、Ｃ、Ｄ、Ｅの部分）は、低域成分のレベルが低くなって、高域成分のレベルが相対的に上昇している。特に、矢印Ａ、Ｂ、Ｃの部分では、音節が区切れて強調されたようになり、あたかも、はっきり発音したかのように聞こえる。
【００３６】
したがって、上述の処理回路によれば、音声を残響やエコーなどのある系で伝送あるいは再生するとき、あるいは難聴者や老人が音声を聞くとき、以下のような効果を得ることができる。
１．発声された音声のうち、高域成分へのマスキングが軽減されるように低域成分のレベルが低減され、聴感的に子音が強調されるとともに、音節が強調されるので、音声がはっきりし、明瞭度を改善できる。
２．マスキングを軽減するために高域成分を増強する必要がないので、高域成分用のアンプの利得や最大出力、あるいはハウリングマージンに余裕がなくてもよい。したがって、高域成分用のアンプは、常時最大利得状態で動作させることができる。
３．マスキングが起きているときだけ、聴感的に高域成分が強調されるので、高域成分が常に強調されるときのように、音色のバランスが崩れたような不快感がない。
４．原理的に即時処理ができるので、発声者の口の動きと処理音との間に時間差の生じることがない。また、イヤホンからマイクロフォンへの音響的フィードバックがあっても、残響音のような音にはならないので、聞きやすい。
５．語音の知覚判断にとって重要な音声成分の変化速度や、語音のまとまりとしての情報および過渡的な変化部分の情報が失われない。
【００３７】
６．ルーチン１００は、その処理のステップ数が少ないので、処理が多少遅いＤＳＰであっても、十分に対応することができる。
【００３８】
図５に示すレベル制御ルーチン２００は、
ｔｈｒｅｓｈｏｌｄ＝ｔｈｒｅｓｈｏｌｄ１＝ｔｈｒｅｓｈｏｌｄ２
とすることにより、レベル制御ルーチン１００を簡略化した場合である。すなわち、ルーチン２００においては、
ｔｈｒｅｓｈｏｌｄ：高域成分の開始点判定および終了点判定のしきい値。
信号Ｓ１１がこの値よりも小さいと終了点と判定し、この値よりも大きいと開始点と判定する。
とされ、他はルーチン１００と同様とされる。
【００３９】
そして、ステップ２０１において、第ｉ番目のサンプルの信号レベルｅ（ｉ）がしきい値ｔｈｒｅｓｈｏｌｄと比較され、レベルｅ（ｉ）がしきい値ｔｈｒｅｓｈｏｌｄよりも小さければ、ステップ２０２において、係数ｗがステップ幅ｄ１だけ小さくされ、そうでなければ、ステップ２０３において、係数ｗがステップ幅ｄ２だけ大きくされる。
【００４０】
したがって、このレベル制御処理ルーチン２００によれば、処理がさらに簡単であり、ＤＳＰの負担がより軽くなる。
【００４１】
なお、上述においては、入力音声信号Ｓ１１の低域成分のレベルを低減するために、可変利得アンプ１５を用いたが、これに代えて、固定利得アンプと可変アッテネータ回路（いわゆる電子ボリューム）との組み合わせとすることもできる。また、上述においては、いわゆる本線用と前処理用とに、同じ特性の２つのバンドパスフィルタ１２、２１を用いているが、前処理用のバンドパスフィルタ２１を省くとともに、バンドパスフィルタ１２からの高域成分Ｓ１２をレベル算出回路２２に分配することにより、より簡単な構成とすることができる。
【００４２】
さらに、レベル算出回路２２の算出信号Ｓ２２を、レベル制御回路２４に供給することにより、可変利得アンプ１５における低域成分のレベル低減度を、入力音声信号Ｓ１１の高域成分Ｓ１２のレベルに応じて制御することもできる。
【００４３】
【発明の効果】
この発明によれば、音声がはっきりし、明瞭度を改善することができる。また、高域成分用のアンプに対する要求を軽減できる。さらに、常に音声の高域を強調するときのような不快感がない。また、発声者の口の動きと処理音との間に時間差の生じることがない。
【００４４】
さらに、イヤホンからマイクロフォンへの音響的フィードバックがあっても、残響音のようにならず、聞きやすい。また、語音の知覚判断などに有効な情報が損なわれない。しかも、デジタル処理する場合の負担を少なくすることができる。
【図面の簡単な説明】
【図１】この発明の一形態を示す系統図である。
【図２】この発明を説明するための図である。
【図３】この発明の一形態を示すフローチャートである。
【図４】この発明を説明するための波形図である。
【図５】この発明の一形態を示すフローチャートである。
【符号の説明】
１１＝入力端子、１２＝バンドパスフィルタ、１３＝バンドパスフィルタ、１４＝固定利得アンプ、１５＝可変利得アンプ、１６＝加算回路、１７＝出力端子、２１＝バンドパスフィルタ、２２＝レベル算出回路、２３＝検出回路、２４＝レベル制御回路、１００および２００＝レベル制御ルーチン

Claims

入力された音声信号を低域成分と高域成分とに分割する帯域分割回路と、
この帯域分割回路によって分割された上記低域成分のレベルを可変するレベル可変回路と、
上記帯域分割回路によって抽出した高域成分の開始点を検出する第１の検出回路と、
上記帯域分割回路によって抽出した高域成分の終了点を検出する第２の検出回路と、
上記第１の検出回路および上記第２の検出回路の検出出力にしたがって上記レベル可変回路を制御するレベル制御回路と
を有し、
上記第１の検出回路が上記高域成分の開始点を検出したとき、上記レベル可変回路に対してレベルを低減させるように上記レベル制御回路から制御信号を供給するとともに、
上記第２の検出回路が上記高域成分の終了点を検出したとき、上記レベル可変回路に対してレベルの低減を解除するように上記レベル制御回路から制御信号を供給する
ことを特徴とする音声信号の処理回路。
請求項１に記載の音声信号の処理回路において、
上記第１の検出回路は、上記高域成分の信号レベルが所定のしきい値を越えたとき、これを検出して上記開始点の検出信号を出力する
ようにした音声信号の処理回路。
請求項１に記載の音声信号の処理回路において、
上記第２の検出回路は、上記高域成分の信号レベルが所定のしきい値を下回ったとき、これを検出して上記終了点の検出信号を出力する
ようにした音声信号の処理回路。
請求項１に記載の音声信号の処理回路において、
上記第１の検出回路が上記高域成分の開始点を検出した時点からの経過時間に応じてレベルを大きくするように上記レベル制御回路から制御信号を上記レベル可変回路に供給する
ようにした音声信号の処理回路。
請求項１に記載の音声信号の処理回路において、
上記第２の検出回路が上記高域成分の終了点を検出した時点からの経過時間に応じてレベルを小さくするように上記レベル制御回路から制御信号を上記レベル可変回路に供給する
ようにした音声信号の処理回路。