JP2008102551A - 音声信号の処理装置およびその処理方法 - Google Patents

Abstract

【課題】 有声音によるマスキングや継時マスキングに対する言葉の聞き取りを改善する。
【解決手段】 入力音声信号Ｓ17の子音の帯域の振幅の変更を行なう振幅変更手段１５と、信号Ｓ17のピッチ成分およびフォルマント成分とを抽出する抽出手段２１とを設ける。抽出手段２１の抽出出力から有声音のレベルを示す信号を算出するレベル算出手段２２と、レベル算出手段２２の出力から入力音声信号Ｓ17における有声音の開始点および終了点を検出する有声音開始点検出手段２３とを設ける。検出手段２３により検出された有声音の開始点から終了判定点からの立下がりまでの区間のみ、振幅変更手段１５の利得を基準値に対し大きくし、有声音終了点検出手段２３により検出された有声音の終了点からの立下がり区間において振幅変更手段１５の利得を基準値まで下げるように振幅変更手段１５に対して制御を行なう制御手段２４を設ける。
【選択図】 図１

Description

この発明は、音声信号の処理装置およびその処理方法に関する。

音声を伝送あるいは再生する場合、その伝送系あるいは再生系に残響やエコーが多いと、音声の明瞭度が低下してしまう。そこで、そのようなときには、発話速度を遅くする、連続して発声される語音を細かく分解し、時間をあけて再生するなどの処理が行なわれている。

また、子音のような高域周波数が聞き取りにくいときには、周波数イコライザ処理により高域周波数の強調を行うこともある。さらに、いわゆる継時マスキング（エネルギーの大きい母音と子音とが続くとき、その母音により子音がマスクされる現象）を考慮した重み関数をかける処理も試みられている。

さらに、以上の処理は難聴者や老人を対象に行われることもある。

なお、先行技術文献として例えば以下のものがある。
特開平８−１７９７９２号公報 特開平９− １６１９３号公報

ところが、上述したように、発話速度を遅くしたり、連続して発声される語音を分解したりすると、次のような問題点を生じてしまう。

１．原音声との間に時間のずれを生じ、即時性がなくなってしまう。したがって、会話などを行なうときには使えない。また、放送などを聞く楊合であっても、聞き終わるまでの時間が長くなってしまう。
２．語音の知覚判断には音声成分の変化速度も重要な手がかりになっているので、発話速度を遅くすると、この手がかりが変化して別な語音に知覚されてしまうことがある。
３．語音を分解してゆっくり再生すると、語音のまとまりとしての情報や過渡的な変化部分の情報が失われ、明瞭度の悪くなることがある。
４．周波数イコライザ処理により常に高域周波数を増幅した音声は、音色のバランスがくずれて不快であったり、聞き取りにくいことがある。
５．継時マスキングを考慮した重み関数をかける処理は、少なくとも重み関数の時間長の遅延が生じてしまい、即時性が失われてしまう。この結果、口の動きと処理音との間に時間ずれを生じて明瞭度に悪い影響を与えることがある。また、イヤホンからマイクロフォンへの音響的フィードバックがあるときには、その時間遅れによって残響音のような現象が引き起こされてしまう。

この発明は、以上のような問題点を解決しようとするものである。

この発明においては、
入力音声信号の子音の帯域の振幅の変更を行なう振幅変更手段と、
上記入力音声信号のピッチ成分およびフォルマント成分とを抽出する抽出手段と、
この抽出手段で抽出した信号から有声音のレベルを示す信号を算出するレベル算出手段と、
上記レベル算出手段の出力から上記入力音声信号における上記有声音の開始点を検出する有声音開始点検出手段と、
上記レベル算出手段の出力から上記入力音声信号における上記有声音の終了点を検出する有声音終了点検出手段と、
上記有声音開始点検出手段および上記有声音終了点検出手段により検出された上記有声音の開始点から終了判定点からの立下がりまでの区間のみ、上記振幅変更手段の利得を基準値に対し大きくし、上記有声音終了点検出手段により検出された上記有声音の終了点からの立下がり区間において上記振幅変更手段の利得を上記基準値まで下げるように上記振幅変更手段に対して制御を行なう制御手段と
を有する音声信号の処理装置
とするものである。

この発明によれば、音声がはっきりし、明瞭度を改善できる。また、常に音声の高域を強調するときのような不快感がない。さらに、発声者の口の動きと処理音との間に時間差の生じることがない。

ところで、通常の会話の音声は、低い周波数の成分と高い周波数の成分との組み合わせで構成されている。また、一般の生活環境に存在する音も、低い周波数の成分と高い周波数の成分との組み合わせになっていることが多い。

そして、聴覚では、低域成分が高域成分をマスクすることが知られており、音声を知覚するときにも、このマスキングが働いている。健聴者では、このマスキングによる妨害は小さく、マスキングがあっても正しく音声を知覚できるが、難聴者では、マスキングによる妨害が大きく、時間的にも長く続くことがあり、言葉の聞き取りを悪くする原因の一つになっている。

また、健聴者でも低域成分の大きい雑音があると、言葉の聞き取りが低下することがある。さらに、いわゆる継時マスキングによっても、言葉の明瞭度が低下する。

そこで、この発明は、このようなマスキングあるいは継時マスキングに起因する明瞭度の低下を抑えようとするものである。

そして、このため、この発明の一形態においては、有声音の開始点から数ミリ秒〜十数ミリ秒の期間を立ち上がり期間とし、有声音の終了点から十数ミリ秒〜数十ミリ秒の期間を立ち下がり期間とするとき、これら立ち上がり期間および立ち下がり期間に、高域成分を増強するものである。

図１は、この発明の一形態を示すもので、処理前の音声信号Ｓ11が、入力端子１１を通じて有声音の帯域を通過帯域とするフィルタ１２に供給されてその有声音の信号成分Ｓ12が取り出され、この信号成分Ｓ12が加算回路１３に供給される。また、端子１１からの信号Ｓ11が、子音の帯域を通過帯域とするフィルタ１４に供給されて子音の信号成分Ｓ14が取り出され、この信号成分Ｓ14が可変利得アンプ１５を通じて加算回路１３に供給される。

したがって、加算回路１３においては、信号成分Ｓ12と信号成分Ｓ14とが加算されるので、可変利得アンプ１５の利得Ｇ15が基準利得（例えば１倍）であるとすれば、加算回路１３からは、音声信号Ｓ11に含まれる有声音の信号成分Ｓ12および子音の信号成分Ｓ14を、等しい割り合いで有する音声信号Ｓ13が得られることになる。そして、この信号Ｓ13が出力端子１６に取り出される。

さらに、端子１１の信号Ｓ11が、前処理のため、バンドパスフィルタ２１およびレベル算出回路２２に順に供給される。この場合、バンドパスフィルタ２１は、有声音の開始点および終了点を検出しやすくし、かつ、雑音による影響が小さくなるように、信号Ｓ11からピッチ成分とフォルマント成分とを、信号Ｓ21として抽出するものである。したがって、バンドパスフィルタ２１の通過帯域は、例えば150Hz〜1000Hzとされている。

また、レベル算出回路２２は、例えば、信号Ｓ21を両波整流するとともに、その低域成分（例えば60Hz以下の成分）を取り出すことにより、信号Ｓ21のレベルを示す信号Ｓ22を形成するものである。

そして、このレベル算出回路２２の算出信号Ｓ22が検出回路２３に供給されて有声音の開始点および終了点が検出され、その検出信号Ｓ23が制御回路２４に供給されて制御信号Ｓ24が形成され、この信号Ｓ24が可変利得アンプ１５に利得Ｇ15の制御信号として供給される。

この場合、有声音の開始点および終了点の検出と、アンプ１５の利得Ｇ15の大きさとは、例えば図２に示すような関係とされる。すなわち、算出信号Ｓ22の示す有声音のレベルが開始判定のしきい値より小さいときには、アンプ１５の利得Ｇ15は基準値とされているが、有声音のレベルがその開始判定のしきい値よりも大きくなると、利得Ｇ15は、数ミリ秒から十数ミリ秒の立ち上がり期間をもって最大値まで次第に大きくされる。

また、算出信号Ｓ22の示す有声音のレベルが終了判定のしきい値よりも大きいときには、利得Ｇ15は大きいままとされるが、有声音のレベルがその終了判定のしきい値よりも小さくなると、利得Ｇ15は、数十ミリ秒から200ミリ秒程度の立ち下がり期間をもって基準値まで次第に小さくされる。

このような構成によれば、処理前の音声信号Ｓ11に有声音の信号成分が含まれているとき、その開始点から終了点までの期間、信号Ｓ24によりアンプ１５の利得Ｇ15が大きくなるので、その開始点から終了点までの期間、アンプ１５を通じる子音の信号成分Ｓ14が大きくなる。

したがって、有声音の開始点から終了点までの期間、端子１６に出力される音声信号Ｓ13の子音の信号成分Ｓ14のレベルが大きくなるので、信号Ｓ13の再生音にマスキングを生じても、そのマスキングに見合う大きさだけ子音が大きくなり、したがって、言葉の聞き取りが改善される。

また、有声音の終了点からの時間間隔が短い期間には、継時マスキングが大きいが、子音の信号成分Ｓ14は大きく増幅されるので、継時マスキングに対しても明瞭度を有効に高めることができる。さらに、次の子音の開始点までの時間間隔の長い期間には、継時マスキングが小さいが、この期間には、子音の信号成分Ｓ14はあまり増幅されないので、音色のバランスのくずれことがない。

図３は、検出回路２３および制御回路２４が、検出信号Ｓ22から制御信号Ｓ24を形成する方法の一形態を示す。すなわち、この場合には、図１に示した回路の全部がデジタル化されるとともに、例えばＤＳＰにより構成される。また、音声信号Ｓ11はもとの処理前のアナログ音声信号をＡ／Ｄ変換したデジタル音声信号とされる。

そして、検出回路２３および制御回路２４においては、デジタル音声信号Ｓ11の１サンプルごとに、図３の処理ルーチン１００が実行され、アンプ１５の利得Ｇ15が例えば図２に示すように制御させる。なお、ルーチン１００および以下の説明において、各変数の意味は以下のとおりである。

e(i) ：音声信号Ｓ11の第ｉ番目のサンプルの示すレベル。
threshold1：有声音の終了判定のしきい値。信号Ｓ11がこの値よりも小さ
くなったとき、有声音が終了と判定する。
threshold2：有声音の開始判定のしきい値。信号Ｓ11がこの値よりも大き
くなったとき、有声音が開始と判定する。
threshold1≦threshold2に設定される。
w ：利得Ｇ15を制御するための重み係数。０≦w≦１
w＝０ときＧ15＝基準利得、w＝１のときＧ15＝最大利得。
d1 ：係数wを減少させるときのステップ幅。
d2 ：係数wを増加させるときのステップ幅。

すなわち、ルーチン１００においては、まず、ステップ１０１において、第ｉ番目のサンプルの信号レベルe(i)が開始判定のしきい値threshold2よりも小さいかどうかが判別され、小さいときには、処理はステップ１０１からステップ１０２に進む。

そして、このステップ１０２において、第ｉ番目のサンプルの信号レベルe(i)が終了判定のしきい値threshold1よりも小さいかどうかが判別され、小さいときには、処理はステップ１０２からステップ１０３に進み、このステップ１０３において、係数wがステップ幅d1だけ小さくされ、ルーチン１００を終了する。したがって、図２に示すように、有声音の終了点が検出されたときには、以後、利得Ｇ15は次第に小さくなっていく。

また、ステップ１０２において、第ｉ番目のサンプルの信号レベルe(i)が終了判定のしきい値threshold1以上のときには、処理はステップ１０２からこのルーチン１００を終了する。したがって、図２に示すように、有声音の終了が検出されるまでの期間（利得Ｇ15の大きい期間）は、その利得Ｇ15が保持される。

さらに、ステップ１０１において、第ｉ番目のサンプルの信号レベルe(i)が開始判定のしきい値threshold2以上のときには、処理はステップ１０１からステップ１０４に進み、このステップ１０４において、係数wがステップ幅d2だけ大きくされ、ルーチン１００を終了する。したがって、図２に示すように、有声音の開始点が検出されたときには、以後、利得Ｇ15は次第に大きくなっていく。

こうして、ルーチン１００によれば、有声音のレベルにしたがってアンプ１５の利得Ｇ15を制御することにより、子音のレベルを補正しているので、マスキングや継時マスキングによる子音成分の聴感上の減衰を補うことができ、会話の子音部分など音声の明瞭度を向上させることができる。

図４は、音声波形の観測結果を示すもので、図４Ａはルーチン１００による処理を行っていない音声信号Ｓ11の波形、図４Ｂはルーチン１００による処理を行った音声信号Ｓ13の波形の観測例である。なお、このときの発声内容は、「１行目に書いてください」である。

そして、有声音の開始点から終了点までの区間Ｂは、子音の部分が大きく増幅され、有声音の終了点からの短い期間（矢印Ａ、Ｆの部分）は、継時マスキングが大きいので、子音は大きく増幅され、次の子音の始まりまでの長い期間（矢印Ｃ、Ｄ、Ｅの部分）は、継時マスキングが小さいので、子音はあまり増幅されていない。

したがって、上述の処理回路によれば、音声を残響やエコーなどのある系で伝送あるいは再生するとき、あるいは難聴者や老人が音声を聞くとき、以下のような効果を得ることができる。
１．次に発声される音への継時マスキングだけが軽減されるように、子音が強調されるので、音声がはっきりし、明瞭度を改善できる。
２．マスキングが起きているときだけ子音が強調されるので、常に高域が強調されるときのように、音色のバランスが崩れたような不快感がない。
３．原理的に即時処理ができるので、発声者の口の動きと処理音との間に時間差の生じることがない。また、イヤホンからマイクロフォンへの音響的フィードバックがあっても、残響音のような音にはならないので、聞きやすい。
４．語音の知覚判断にとって重要な音声成分の変化速度や、語音のまとまりとしての情報および過渡的な変化部分の情報が失われない。
５．図４の処理ルーチン１００によれば、その処理のステップ数が少ないので、処理が多少遅いＤＳＰであっても、十分に対応することができる。

図５に示すルーチン２００は、
threshold=threshold1=threshold2
とすることにより、ルーチン１００を簡略化した場合である。すなわち、ルーチン２００においては、
threshold ：有声音の開始判定および終了判定のしきい値。信号Ｓ11がこ
の値よりも小さいと終了と判定し、この値よりも大きいと開
始と判定する。
とされ、他はルーチン１００と同様とされる。

そして、ステップ２０１において、第ｉ番目のサンプルの信号レベルe(i)がしきい値thresholdと比較され、レベルe(i)がしきい値thresholdよりも小さければ、ステップ２０２において、係数wがステップ幅d1だけ小さくされ、そうでなければ、ステップ２０３において、係数wがステップ幅d2だけ大きくされる。

したがって、このルーチン２００によれば、処理がさらに簡単であり、ＤＳＰの負担がより軽くなる。

この発明の一形態を示す系統図である。 この発明を説明するための図である。 この発明の一形態の一部を示すフローチャートである。 この発明を説明するための波形図である。 この発明の一形態の一部を示すフローチャートである。

符号の説明

１２…有声音帯域フィルタ、１３…加算回路、１４…子音帯域フィルタ、１５…可変利得アンプ、２１…バンドパスフィルタ、２２…レベル算出回路、２３…検出回路、２４…制御回路、１００…処理ルーチン

Claims (8)

1. 入力音声信号の子音の帯域の振幅の変更を行なう振幅変更手段と、
   上記入力音声信号のピッチ成分およびフォルマント成分とを抽出する抽出手段と、
   この抽出手段で抽出した信号から有声音のレベルを示す信号を算出するレベル算出手段と、
   上記レベル算出手段の出力から上記入力音声信号における上記有声音の開始点を検出する有声音開始点検出手段と、
   上記レベル算出手段の出力から上記入力音声信号における上記有声音の終了点を検出する有声音終了点検出手段と、
   上記有声音開始点検出手段および上記有声音終了点検出手段により検出された上記有声音の開始点から終了判定点からの立下がりまでの区間のみ、上記振幅変更手段の利得を基準値に対し大きくし、上記有声音終了点検出手段により検出された上記有声音の終了点からの立下がり区間において上記振幅変更手段の利得を上記基準値まで下げるように上記振幅変更手段に対して制御を行なう制御手段と
   を有する音声信号の処理装置。
2. 請求項１に記載の音声信号の処理装置において、
   上記有声音開始点検出手段は、上記有声音の信号レベルが所定のしきい値を越えたとき、これを検出して上記開始点の検出信号とする
   ようにした音声信号の処理装置。
3. 請求項１に記載の音声信号の処理装置において、
   上記有声音終了点検出手段は、上記有声音の信号レベルが所定のしきい値を下回ったとき、これを検出して上記終了点の検出信号とする
   ようにした音声信号の処理装置。
4. 請求項１に記載の音声信号の処理装置において、
   上記振幅変更手段が可変利得アンプである
   ようにした音声信号の処理装置。
5. 請求項１〜請求項４に記載の音声信号の処理装置において、
   上記有声音の開始点から数ミリ秒〜十数ミリ秒の期間を立ち上がり期間とし、上記有声音の終了点から十数ミリ秒〜数十ミリ秒の期間を立ち下がり期間とするとき、上記立ち上がり期間および上記立ち下がり期間に、上記振幅変更手段の利得を変更する
   ようにした音声信号の処理装置。
6. 入力音声信号の子音の帯域の振幅の変更を行なう振幅変更手段と、
   上記入力音声信号のピッチ成分およびフォルマント成分とを抽出する抽出手段と、
   この抽出手段で抽出した信号から有声音のレベルを示す信号を算出するレベル算出手段と、
   上記レベル算出手段の出力から上記入力音声信号における上記有声音の開始点を検出する有声音開始点検出手段と、
   上記レベル算出手段の出力から上記入力音声信号における上記有声音の終了点を検出する有声音終了点検出手段と、
   上記有声音開始点検出手段および上記有声音終了点検出手段により検出された上記有声音の開始点から終了判定点からの立下がりまでの区間のみ、上記振幅変更手段の利得を基準値に対し大きくし、上記有声音のレベルにしたがって上記振幅変更手段の利得を変更するように上記振幅変更手段に対して制御を行なう制御手段と
   を有する音声信号の処理装置。
7. 入力音声信号の子音の帯域の振幅の変更を行なう振幅変更ステップと、
   上記入力音声信号のピッチ成分およびフォルマント成分とを抽出する抽出ステップと、
   上記抽出ステップで抽出した信号から有声音のレベルを示す信号を算出するレベル算出ステップと、
   このレベル算出ステップの出力から上記入力音声信号における上記有声音の開始点を検出する有声音開始点検出ステップと、
   上記レベル算出ステップの出力から上記入力音声信号における上記有声音の終了点を検出する有声音終了点検出ステップと、
   上記有声音開始点検出ステップおよび上記有声音終了点検出ステップの出力に基づいて上記振幅変更ステップの利得を制御する制御ステップと
   を有し、
   この制御ステップは、上記有声音開始点検出ステップが上記開始点を検出したとき、上記振幅変更ステップに対して上記利得を基準値よりも大きくするように制御信号を供給するとともに、
   上記有声音終了点検出ステップが上記終了点を検出したとき、上記振幅変更ステップに対して上記利得を上記基準値に戻すように上記制御信号を供給する
   ことを特徴とした音声信号の処理方法。
8. 入力音声信号の子音の帯域の振幅の変更を行なう振幅変更ステップと、
   上記入力音声信号のピッチ成分およびフォルマント成分とを抽出する抽出ステップと、
   上記抽出ステップで抽出した信号からレベルを示す信号を算出するレベル算出ステップと、
   このレベル算出ステップの出力から上記入力音声信号における上記有声音の開始点を検出する有声音開始点検出ステップと、
   上記レベル算出ステップの出力から上記入力音声信号における上記有声音の終了点を検出する有声音終了点検出ステップと、
   上記有声音開始点検出ステップおよび上記有声音終了点検出ステップの出力に基づいて上記振幅変更ステップの利得を制御する制御ステップと
   を有し、
   この制御ステップは、上記有声音開始点検出ステップが上記開始点を検出したとき、上記振幅変更ステップに対して上記利得を基準値よりも大きくするように制御信号を供給するとともに、
   有声音のレベルにしたがって上記振幅変更ステップに対して上記利得を変更するように上記制御信号を供給する
   ことを特徴とした音声信号の処理方法。

Images