JP6098149B2 - 音声処理装置、音声処理方法および音声処理プログラム - Google Patents

Description

本発明は、例えば、入力信号を制御する音声処理装置、音声処理方法および音声処理プログラムに関する。

従来から、入力信号の一例となる音声信号を聞き易く制御する方法が開示されている。例えば、高齢者は、加齢に伴う聴力低下を始めとした音声認知能力が低下する為、携帯端末等の双方向音声通話において、相手の受話音の話速が速くなると、音声が聞き取り難くなる傾向にある。この問題を解決する為には、発話者が「ゆっくり」かつ「はっきり」と話すことが、最も簡単な対策であることが知られている。換言すると、発話者が、一語一語をゆっくりと、かつ、明確に文節を区切りながら話すことが有効な対策となる。しかしながら、双方向音声通話の場合においては、早口で話す発話者に対して、意識的に「ゆっくり」かつ「はっきり」と話してもらうことが困難である。この為、受話音の音声区間を検出し、当該音声区間を伸長して可聴性を向上させると共に、非音声区間を短縮することにより、音声区間の伸長による遅延量を削減する技術が開示されている。具体的には、入力信号に対して、音声区間となる有音区間と、非音声区間となる無音区間の判定を行い、有音区間に含まれる音声サンプルを周期的に繰り返すことにより、受話音の声の高さを変えずに話速を遅く（ゆっくり）制御することで音声の聞きやすさを向上させている。また、複数の有音区間の間にある無音区間を短縮することにより、音声区間の伸長により発生する遅延を防止することにより、話速制御による会話の間延びを抑制して自然な双方向音声通話を実現している。

特許４４６０５８０号公報

三木朋乃ら、「話速変換技術を搭載したラジオ・テレビの開発」、一橋大学イノベーション研究センター、ＣＡＳＥ＃１０−０３、２０１０年４月

上述の話速を制御する方法は、音声を「ゆっくり」させることを考慮するのみであり、音声を明確に区切ることによって、音声を「はっきり」させることが考慮されておらず、音声の聞きやすさの補償の観点からは、必ずしも十分なものとは言えない。更に、従来の話速を制御する方法においては、受話者となる近端側の周囲雑音の有無に関わらず無音区間を単調に短縮しているが、受話者の周囲が騒がしい環境（周囲雑音が存在する環境）で双方向通話を行う場合、音声が聞き取り難くなる。図１（ａ）は、送話側から発信される遠端信号の振幅と時間の関係図である。図１（ｂ）は、送話側から発信される遠端信号と、受話側の周囲雑音を重畳させた合成信号の振幅と時間の関係図である。図１（ａ）、（ｂ）においては、例えば、遠端信号の振幅がある任意の閾値未満の場合を無音区間とし、当該閾値以上の場合を有音区間として判定している。図１（ｂ）においては、図１（ａ）の無音区間に周囲雑音が重畳している。なお、図１（ｂ）の有音区間においても背景雑音が重畳しているが、周囲雑音の振幅は、遠端信号の振幅と比較して十分小さいことを考慮して、有音区間における周囲雑音の振幅の図示は省略している。

ここで、本発明者らは、近端信号を発する受話側の周囲が騒がしい環境で双方向通話を行う場合に音声が聞き取り難くなる要因として、以下の事項を推察した。図１（ｂ）に示される通り、有音区間の終端と無音区間における周囲雑音の始端は重畳しており、遠端信号の終点と無音区間における周囲雑音の始点の区別が付き難くなっている。ここで、受話者は、周囲雑音の区間がある程度の時間に渡って継続した時に、自分が認識している信号は、遠端信号ではなく周囲雑音であることに気付くものと推察される。この場合、受話者が認識することになる実効的な無音区間が、図１（ａ）に示す本来の無音区間に比較して短縮することになり、音声が明確に区切られなくなる為、音声の聞きやすさ（可聴性）が低下する。なお、周囲雑音が大きいほど、遠端信号の振幅と周囲雑音の振幅が近接する為、実効的な無音区間が短くなることによる音声の聞きやすさの低下の影響度は大きくなる。

本発明においては、受話者の音声の聞きやすさを向上させることが可能となる音声処理装置を提供することを目的とする。

本発明が開示する音声処理装置は、送話側から発信される複数の有音区間および複数の有音区間の間に少なくとも一つの無音区間が含まれる第１遠端信号と、周囲雑音が含まれる受話側から発信される近端信号とを受信する受信部と、第１遠端信号の無音区間長を判定する判定部と、近端信号に含まれる前記周囲雑音の雑音特性値を算出する算出部と、無音区間長と雑音特性値に基づいて、無音区間長を所定の第１閾値以上となる様に補正する制御部と、複数の有音区間と制御した無音区間を含む第２遠端信号を出力する出力部を備える。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される音声処理装置では、受話者の音声の聞きやすさを向上させることが可能となる。

（ａ）は、送話側から発信される遠端信号の振幅と時間の関係図である。（ｂ）は、送話側から発信される遠端信号と、受話側の周囲雑音を重畳させた合成信号の振幅と時間の関係図である。 一つの実施形態による音声処理装置の機能ブロック図である。 一つの実施形態による制御部の機能ブロック図である。 雑音特性値と無音区間長の制御量の関係図である。 第１遠端信号のフレーム構成の一例である。 処理部による無音区間長の伸長処理の概念図である。 処理部による無音区間長の短縮処理の概念図である。 音声処理装置による音声処理方法のフローチャートである。 第１遠端信号の雑音特性値と補正量の関係図である。 第１遠端信号の信号対雑音比（ＳＮＲ）と補正量の関係図である。 雑音特性値と有音区間長の伸長率の関係図である。 一つの実施形態による画像処理装置として機能するコンピュータのハードウェア構成図である。 一つの実施形態による携帯端末装置として機能するハードウェア構成図である。

以下に、一つの実施形態による音声処理装置、音声処理方法及び音声処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

（実施例１）
図２は、一つの実施形態による音声処理装置１の機能ブロック図である。音声処理装置１は、受信部２、判定部３、算出部４、制御部５、出力部６を有する。

受信部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、受信部２は、音声処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。受信部２は、受話側（音声処理装置１のユーザ）から発信される近端信号と、送話側（音声処理装置１のユーザとの通話者）から発信される発話音を含む第１遠端信号を外部から取得する。なお、受信部２は、近端信号を、例えば、音声処理装置１に接続または配置される、図示しないマイクロフォンから受信することが可能である。また、受信部２は、第１遠端信号を、例えば、有線または無線回路を介して受信し、音声処理装置１に接続または配置される、図示しないデコード部で復号することが可能である。受信部２は、受信した第１遠端信号を、判定部３と制御部５へ出力する。また、受信部２は、受信した近端信号を算出部４へ出力する。ここで、第１遠端信号と近端信号は、例えば、所定数の音声サンプル（または周囲雑音サンプル）を含む１０〜２０ｍｓｅｃ程度の複数のフレーム単位で受信部２に入力されるものとする。また、近端信号は、受話側の周囲雑音を含んでいても良い。

判定部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、判定部３は、音声処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。判定部３は、第１遠端信号を受信部２から受け取る。判定部３は、第１遠端信号に含まれる無音区間長と、有音区間長を判定する。判定部３は、例えば、
第１遠端信号の任意のフレームが有音区間であるか、または無音区間であるかを判定することで、無音区間長と有音区間長を判定することが出来る。なお、任意のフレームにおける有音区間と無音区間判定の方法としては、例えば、現フレームの音声サンプルの電力から、過去フレームの平均入力音声サンプル電力を減算して差分電力を求め、当該差分電力が、任意の閾値以上であれば有音区間と判別し、閾値未満であれば無音区間と判別すれば良い。判定部３は、判定した第１遠端信号の有音区間長と無音区間長の付帯情報として、有音区間長を構成するフレーム番号ｆ（ｉ）と、当該フレームが、有音区間であることを示すフラグｖａｄ（ｖｏｉｃｅ ａｃｔｉｖｉｔｙ ｄｅｔｅｃｔｉｏｎ）＝１を有音区間長に付与しても良い。また、判定部３は、判定した第１遠端信号の無音区間長の付帯情報として、無音区間長を構成するフレーム番号ｆ（ｉ）と、当該フレームが、無音区間であることを示すフラグｖａｄ＝０を無音区間長に付与しても良い。なお、任意のフレームにおける有音区間と無音区間の判定の方法は、様々な公知の手法を用いることが可能であり、例えば、特許４４６０５８０号公報に開示される方法を用いることもできる。判定部３は判定した第１遠端信号の有音区間長と無音区間長を、制御部５へ出力する。

算出部４は、例えば、ワイヤードロジックによるハードウェア回路である。また、算出部４は、音声処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。算出部４は、近端信号を受信部２から受け取る。算出部４は、近端信号に含まれる周囲雑音の雑音特性値を算出する。算出部４は、算出した周囲雑音の雑音特性値を制御部５へ出力する。

ここで、算出部４による周囲雑音の雑音特性値を算出方法について説明する。まず、算出部４は、近端信号（Ｓｉｎ）から近端信号電力（Ｓ（ｉ））を算出する。例えば、近端信号（Ｓｉｎ）の１フレームを１６０サンプル（８ｋＨｚサンプリング）とすると、算出部４は、近端信号電力（Ｓ（ｉ））を次式の通り算出することが出来る。
（数１）

次に、算出部４は、現フレーム（第ｉフレーム）の近端信号電力（Ｓ（ｉ））から、平均近端信号電力（Ｓ＿ａｖｅ（ｉ））を算出する。算出部４は、例えば、過去２０フレーム分の平均近端信号電力（Ｓ＿ａｖｅ（ｉ））を次式の通り算出することが出来る。
（数２）

算出部４は、近端信号電力（Ｓ（ｉ））と平均近端信号電力（Ｓ＿ａｖｅ（ｉ））の差分で規定される差分近端信号電力（Ｓ＿ｄｉｆ（ｉ））と、周囲雑音レベル閾値（ＴＨ＿ｎｏｉｓｅ）を比較する。算出部４は、差分近端信号電力（Ｓ＿ｄｉｆ（ｉ））が、周囲雑音レベル（ＴＨ＿ｎｏｉｓｅ）以上の場合に、当該近端信号電力（Ｓ（ｉ））を周囲雑音値（Ｎ）として規定することが出来る。ここで、周囲雑音値（Ｎ）を周囲雑音の雑音特性値と称しても良い。なお、周囲雑音レベル閾値（ＴＨ＿ｎｏｉｓｅ）は、予め定めた任意の閾値であり、例えば、ＴＨ＿ｎｏｉｓｅ＝３ｄＢと規定することが出来る。

算出部４は、差分近端信号電力（Ｓ＿ｄｉｆ（ｉ））が、周囲雑音レベル閾値（ＴＨ＿ｎｏｉｓｅ）以上の場合、次式を用いて周囲雑音値（Ｎ）を更新しても良い。
（数３）
Ｎ（ｉ）＝Ｎ（ｉ−１）
また、算出部４は、差分近端信号電力（Ｓ＿ｄｉｆ（ｉ））が、周囲雑音レベル閾値（ＴＨ＿ｎｏｉｓｅ）未満の場合、次式を用いて周囲雑音値（Ｎ）を更新しても良い。
（数４）
Ｎ（ｉ）＝α×Ｓ（ｉ）＋（１−α）×Ｎ（ｉ−１）
ここで、αは、０〜１の任意の定数であり、例えば、α＝０．１と規定することが出来る。また、周囲雑音値（Ｎ）の初期値Ｎ（０）も任意であり、例えばＮ（０）＝０と規定することができる。

図２の制御部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、制御部５は、音声処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。制御部５は、第１遠端信号を受信部２から受け取り、当該第１遠端信号の有音区間長と無音区間長を判定部３から受け取り、更に、雑音特性値を算出部４から受け取る。制御部５は、有音区間長、無音区間長、ならびに雑音特性値に基づいて第１遠端信号を制御した第２遠端信号を出力部６へ出力する。

ここで、制御部５による第１遠端信号の制御処理について説明する。図３は、一つの実施形態による制御部５の機能ブロック図である。制御部５は、規定部７、生成部８、処理部９を有する。なお、制御部５は、規定部７、生成部８、処理部９を必ずしも有する必要はなく、各部が有する機能を、一つのまたは複数のワイヤードロジックによるハードウェア回路で実現させても良い。また、制御部５に含まれる各部が有する機能を、ワイヤードロジックによるハードウェア回路に代えて、音声処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールで実現させても良い。

図３において、雑音特性値が制御部５を介して規定部７に入力される。規定部７は、雑音特性値に基づいて、無音区間長の制御量（ｎｏｎ＿ｓｐ）を規定する。図４は、雑音特性値と無音区間長の制御量の関係図である。図４において、縦軸の制御量が０以上の場合は、当該制御量に応じて無音区間に更に無音区間が挿入されて無音区間長が伸長することになり、制御量が０未満の場合は、当該制御量に応じて無音区間長が短縮される。また、図４において、ｒ＿ｈｉｇｈは、制御量（ｎｏｎ＿ｓｐ）の上限閾値を示し、ｒ＿ｌｏｗは、制御量（ｎｏｎ＿ｓｐ）の下限閾値を示す。なお、制御量は、例えば、上限を１．０、下限を−１．０とした無音区間長に乗算される値であれば良い。また、制御量は、例えば、０秒または、受話側において周囲雑音が存在する場合でも複数の有音区間の文節を聞き分けられる無音区間の一例となる０．２秒を下限とした、任意に定められる所定の無音時間長でも良い。この場合は、無音区間長は、当該無音時間長に置換される。なお、上述の受話側が複数の有音区間の文節を聞き分けられる無音区間長の一例となる０．２秒を、第１閾値と称しても良い。更に、図４の関係図において、雑音特性値がＮ＿ｌｏｗないしＮ＿ｈｉｇｈの区間においては、直線の代わりにＮ＿ｌｏｗ及び、Ｎ＿ｈｉｇｈの前後付近で曲率を有して変化する２次曲線やシグモイド曲線を規定しても良い。

図４の関係図に示される通り、規定部７は、雑音特性値が小さい場合は、無音区間の短縮長を大きく設定し、雑音特性値が大きい場合は無音区間の短縮長を小さく設定または無音区間を伸長する制御量（ｎｏｎ＿ｓｐ）を規定する。換言すると、規定部７は、雑音特性値が小さい場合は、受話者が送話者の音声を聞き取り易い状況下にあるので、無音区間を短縮する制御量を規定する。また、規定部７は、雑音特性値が大きい場合は、受話者が送話者の音声を聞き取り難い状況下にあるので、無音区間を出来るだけ短縮しない様に制御するか、無音区間を伸長する制御量を規定する。規定部７は、無音区間長の制御量（ｎｏｎ＿ｓｐ）を生成部８へ出力する。なお、規定部７（または制御部５）は、双方向音声通話における遅延量を考慮する必要がない場合は、必ずしも無音区間長を短縮する必要はない。

図３において、生成部８は、無音区間長の制御量（ｎｏｎ＿ｓｐ）を規定部７から受け取り、有音区間長と無音区間長を、制御部５を介して判定部３から受け取る。また、生成部８は、第１遠端信号を、制御部５を介して受信部２から受けとる。更に、生成部８は後述する処理部９から遅延量（ｄｅｌａｙ）を受け取る。なお、遅延量（ｄｅｌａｙ）は、例えば、受信部２が受信する第１遠端信号の受信量と、出力部６が出力する第２遠端信号の出力量の差分で規定されれば良い。また、遅延量（ｄｅｌａｙ）は、例えば、処理部９が受信する第１遠端信号の受信量と、当該処理部９が出力する第２遠端信号の出力量の差分で規定されても良い。なお、第１遠端信号と第２遠端信号をそれぞれ第１信号と第２信号と称しても良い。

生成部８は、有音区間長、無音区間長、当該無音区間長の制御量（ｎｏｎ＿ｓｐ）、ならびに遅延量（ｄｅｌａｙ）に基づいて制御情報１（ｃｔｒｌ−１）を生成して、当該制御情報１（ｃｔｒｌ−１）、有音区間長、ならびに無音区間長を処理部９へ出力する。ここで、生成部８の制御情報１（ｃｔｒｌ−１）の生成処理について説明する。生成部８は、有音区間長については、ｃｔｒｌ−１＝０として、制御情報１（ｃｔｒｌ−１）を生成する。ここで、ｃｔｒｌ−１＝０とは、第１遠端信号に対して伸長または短縮を含む制御処理を実施しないことを意味する。生成部８は、無音区間長については、制御情報１（ｃｔｒｌ−１）として、規定部７から受け取った制御量（ｎｏｎ＿ｓｐ）を用いて、例えば、ｃｔｒｌ−１＝ｎｏｎ＿ｓｐとして、制御情報１（ｃｔｒｌ−１）を生成する。なお、生成部８は、無音区間長において、遅延量（ｄｅｌａｙ）が予め規定した任意の上限値（ｄｅｌａｙ_ｍａｘ）を超える場合はｃｔｒｌ−１＝０とし、遅延量が大きくならない様に制御情報１を生成しても良い。ここで、任意の上限値（ｄｅｌａｙ_ｍａｘ）は、双方向音声通話において主観的に許容できる上限値とし、例えば１秒に設定することが出来る。

処理部９は、制御情報１（ｃｔｒｌ−１）、有音区間長、ならびに無音区間長を生成部８から受け取る。また、処理部９は、第１遠端信号を、制御部５を介して受信部２から受け取る。なお、処理部９は、上述した遅延量（ｄｅｌａｙ）を生成部８へ出力する。処理部９は、第１遠端信号に対して、無音区間の短縮または伸長処理を含む制御を行う。図５は、第１遠端信号のフレーム構成の一例である。図５に示される通り、第１遠端信号は、一定の音声サンプル数Ｎを含む複数のフレームで構成される。ここで、処理部９による、第１遠端信号のｉフレーム目（フレーム番号（ｆ（ｉ））の音声に対する無音区間長の制御処理（無音区間長の短縮処理または無音区間長の伸長処理）について説明する。

図６は、処理部９による無音区間長の伸長処理の概念図である。図６に示す通り、処理部９は、第１遠端信号の現フレーム（ｆ（ｉ））が、無音区間（ｖａｄ＝０）である場合、現フレームの先頭に対して、サンプルＮ’の無音区間を挿入する。ここで、サンプルＮ’の値は、例えば、生成部８から入力される制御情報１となる、ｃｔｒｌ−１＝ｎｏｎ＿ｓｐに基づいて規定されれば良い。処理部９は、現フレーム（ｆ（ｉ））に対して、サンプルＮ’の無音区間を挿入すると、フレームｆ（ｉ）の先頭からＮ−Ｎ’サンプルが挿入された区間が、挿入された無音区間に続くことになる。この結果、無音区間が挿入された合計Ｎサンプルが、新しいｆ（ｉ）フレーム目のサンプル（換言すると、第２遠端信号）として出力される。なお、無音区間挿入による第１遠端信号のフレーム（ｉ）の後半Ｎ’サンプルについては、次フレーム（ｆ（ｉ＋１））以降で出力される。処理部９は、第１遠端信号に対して無音区間長の伸長処理を実施した信号を第２遠端信号として、制御部５を介して出力部６へ出力する。

処理部９が第１遠端信号に対して無音区間を挿入する場合、元の第１遠端信号の一部が遅延して出力されるため、処理部９は、出力が遅延するフレームを、処理部９の図示しないバッファまたメモリに格納しても良い。また、遅延量（ｄｅｌａｙ）が所定の上限値（ｄｅｌａｙ_ｍａｘ）を超える場合には、無音区間の伸長処理を実施しなくても良い。また、処理部９は、更に、無音区間長が一定以上（例えば１０秒以上）継続する場合には、後述する無音区間の短縮処理により無音区間長を短縮して遅延量を回復させても良い。

図７は、処理部９による無音区間長の短縮処理の概念図である。図７に示す通り、処理部９は、第１遠端信号の現フレーム（ｆ（ｉ））が無音区間（ｖａｄ＝０）であり、かつ、過去から一定以上無音が継続している場合は、現フレーム（ｆ（ｉ））の無音区間を短縮する処理を行う。図７において、フレームｆ（ｉ）が無音区間であり、これをサンプル長Ｎ’だけ短縮する場合には、処理部９は、現フレーム（ｆ（ｉ））の先頭Ｎ−Ｎ’サンプルのみを出力し、現フレームの後半Ｎ’サンプルは廃棄する。また、処理部９は、後続するｆ（ｉ＋１）フレーム目の先頭Ｎ’サンプルを現フレームｆ（ｉ）の出力とする。尚、ｆ（ｉ＋１）フレーム目の残りの音声については、後続フレームにおいて出力されれば良い。

処理部９が、無音区間長を短縮する場合、第１遠端信号の一部が削除されて遅延量が回復する効果を奏するが、一定区間以上の無音区間を削除すると、有音区間の話頭や話尾の音切れが発生する場合も有り得る。そこで、処理部９は、過去から現在の無音継続時間を算出して、処理部９の図示しないバッファまたはメモリに保持し、無音継続時間が一定以下（例えば０．１秒）とならない様に制御しても良い。また、処理部９は、近端側のユーザの年齢や聴力に応じて、無音区間の短縮率や伸長率を可変する処理を行っても良い。

図２において、出力部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、出力部６は、音声処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。出力部６は、第２遠端信号を制御部５から受け取る。出力部６は、第２遠端信号を出力信号として外部へ出力する。出力部６は出力信号を、例えば、音声処理装置１に接続または配置される、図示しないスピーカーへ出力することが可能である。

図８は、音声処理装置１による音声処理方法のフローチャートである。受信部２は、受話側（音声処理装置１のユーザ）から発信される近端信号と、送話側（音声処理装置１のユーザとの通話者）から発信される発話音を含む第１遠端信号を外部から取得したか否かを判定する（ステップＳ８０１）。受信部２は、近端信号と第１遠端信号を受信していない場合（ステップＳ８０１−Ｎｏ）は、ステップＳ８０１の判定処理を繰り返す。受信部２は、近端信号と第１遠端信号を受信した場合（ステップＳ８０１−Ｙｅｓ）、受信した第１遠端信号を、判定部３と制御部５へ出力し、近端信号を算出部４へ出力する。

判定部３は、第１遠端信号を受信部２から受け取り、当該第１遠端信号に含まれる無音区間長と、有音区間長を判定する（ステップＳ８０２）。判定部３は判定した第１遠端信号の有音区間長と無音区間長を、制御部５へ出力する。

算出部４は、近端信号を受信部２から受け取り、当該近端信号に含まれる周囲雑音の雑音特性値を算出する（ステップＳ８０３）。算出部４は、算出した周囲雑音の雑音特性値を制御部５へ出力する。なお、近端信号を第３信号と称しても良い。

制御部５は、第１遠端信号を受信部２から受け取り、当該第１遠端信号の有音区間長と無音区間長を判定部３から受け取り、更に、雑音特性値を算出部４から受け取る。制御部５は、有音区間長、無音区間長、ならびに雑音特性値に基づいて第１遠端信号を制御した第２遠端信号を出力部６へ出力する（ステップＳ８０４）。

出力部６は、第２遠端信号を制御部５から受け取る。出力部６は、第２遠端信号を出力信号として外部へ出力する（ステップＳ８０５）。

受信部２は、第１遠端信号の受信を継続しているか否かを判定する（ステップＳ８０６）。受信部２が第１遠端信号の受信を継続していない場合（ステップＳ８０６−Ｎｏ）、音声処理装置１は、図８のフローチャートに示す音声処理を終了する。受信部２が第１遠端信号の受信を継続している場合（ステップＳ８０６−Ｙｅｓ）、音声処理装置１は、ステップＳ８０２ないしＳ８０６の処理を繰返し実行する。

実施例１による音声処理装置においては、受話者の音声の聞きやすさを向上させることが可能となる。

（実施例２）
図３において規定部７は、制御量（ｎｏｎ＿ｓｐ）に対して、第１遠端信号の信号特性に応じた補正量（ｒ＿ｄｅｌｔａ）を加えることも出来る。ここで、第１遠端信号の信号特性は、例えば、第１遠端信号の雑音特性値または信号対雑音比（ＳＮＲ）であれば良い。雑音特性値は、例えば、算出部４が算出する近端信号の雑音特性値の算出処理と同様の処理を用いることが出来る。例えば、第１遠端信号の雑音特性値を処理部９が算出して、規定部７は、当該処理部９から雑音特性値を受け取れば良い。また、信号対雑音比（ＳＮＲ）は、第１遠端信号の有音区間の信号と雑音特性値の比を用いて、処理部９が算出することが出来る。規定部７は、処理部９から信号対雑音比を受け取ることが出来る。

図９は、第１遠端信号の雑音特性値と補正量の関係図である。図９において、ｒ＿ｄｅｌｔａ＿ｍａｘは、無音区間長の制御量（ｎｏｎ＿ｓｐ）の補正量の上限値を示す。また、Ｎ＿ｌｏｗ’は、制御量（ｎｏｎ＿ｓｐ）を補正する雑音特性値の上限閾値を示し、Ｎ＿ｈｉｇｈ’は、無音区間長の制御量（ｎｏｎ＿ｓｐ）を補正しない雑音特性値の下限閾値を示す。図１０は、第１遠端信号の信号対雑音比（ＳＮＲ）と補正量の関係図である。図１０において、ｒ＿ｄｅｌｔａ＿ｍａｘは、無音区間長の制御量（ｎｏｎ＿ｓｐ）の補正量の上限値を示す。また、ＳＮＲ＿ｈｉｇｈ’は、制御量（ｎｏｎ＿ｓｐ）を補正する信号対雑音比の上限閾値を示し、ＳＮＲ＿ｌｏｗ’は、無音区間の制御量（ｎｏｎ＿ｓｐ）を補正しない信号対雑音比の下限閾値を示す。規定部７は、図９または図１０のいずれかの関係図を用いて規定した補正量を、制御量（ｎｏｎ＿ｓｐ）に加算することで、制御量（ｎｏｎ＿ｓｐ）を補正することが出来る。

双方向音声通話においては、第１遠端信号に含まれる雑音が大きいほど、受話側の音声の聞きやすさが低下することも推定される為、実施例２における音声処理装置１は、当該補正量を用いることで、受話者の音声の聞きやすさが向上する。

（実施例３）
図３において、生成部８は、制御情報１（ｃｔｒｌ−１）に加えて、有音区間長を制御する制御する制御情報２（ｃｔｒｌ−２）を、有音区間長、ならびに遅延量（ｄｅｌａｙ）に基づいて生成することが出来る。ここで、生成部８による制御情報２（ｃｔｒｌ−２）の生成処理について説明する。生成部８は、無音区間長については、例えば、ｃｔｒｌ−２＝０として、制御情報２（ｃｔｒｌ−２）を生成する。

ここで、ｃｔｒｌ−２＝０とは、第１遠端信号の有音区間に対して伸長または短縮を含む制御処理を実施しないことを意味する。生成部８は、有音区間長については、有音区間の伸長率をｅｒとした場合、制御情報２（ｃｔｒｌ−２）として、例えば、ｃｔｒｌ−２＝ｅｒとして、制御情報２（ｃｔｒｌ−２）を生成する。なお、生成部８は、有音区間長であっても遅延量（ｄｅｌａｙ）に応じてｃｔｒｌ−２＝０としても良い。生成部８は、制御情報２（ｃｔｒｌ−２）を処理部９へ出力する。ここで、有音区間長の伸長率の規定処理について説明する。図１１は、雑音特性値と有音区間長の伸長率の関係図である。図１１の関係図の縦軸の伸長率に応じて有音区間長が伸長される。図１１の関係図において、ｅｒ＿ｈｉｇｈは、伸長率（ｅｒ）の上限閾値を示し、ｅｒ＿ｌｏｗは、伸長率の下限閾値を示す。また、図１１の関係図においては、伸長率は近端信号の雑音特性値に基づいて規定される。なお、この技術的意義は以下の通りとなる。

上述の通り、話速が速い場合（単位時間あたりのモーラ数が多い場合）は、高齢者の音声の聞きやすさが低下する。また、周囲雑音が存在する場合は、受話音が雑音に埋もれることにより、高齢者と非高齢者を問わずに音声の聞きやすさが低下する。ここで、話速が速く、かつ、周囲雑音が存在する状況が同時に起こると、相乗的な影響により、高齢者の音声の聞きやすさが著しく低下する。一方、双方向音声通話では、有音区間を際限なく伸長すると遅延量の増加により通話が困難になる。この為、図１１の関係図においては、周囲雑音が大きい有音区間を優先的に伸長することで、遅延量の増加を抑制しつつ、音声の聞きやすさを向上させることが可能となる。

図３において、処理部９は、制御情報１（ｃｔｒｌ−１）、有音区間長、無音区間長に加えて、制御情報２（ｃｔｒｌ−２）を生成部８から受け取る。また、処理部９は、第１遠端信号を、制御部５を介して受信部２から受け取る。なお、処理部９は、実施例１で上述した遅延量（ｄｅｌａｙ）を生成部８へ出力する。処理部９は、第１遠端信号に対して、制御情報１（ｃｔｒｌ−１）に基づく無音区間の短縮または伸長処理を含む制御を行い、制御情報２（ｃｔｒｌ−２）に基づく有音区間の短縮処理を含む制御を行う。なお、処理部９における有音区間の伸長処理は、例えば、特許４４６０５８０号公報に開示される方法を用いることが出来る。

実施例３における音声処理装置においては、周囲雑音に応じて無音区間長を制御すること加えて、有音区間長も制御することにより、受話者の音声の聞きやすさが向上する。

（実施例４）
図２に示す音声処理装置１においては、受信部２と判定部３と制御部５のみの機能を用いて受話者の音声の聞きやすさを向上させることが出来る為、以下に説明する。受信部２は、送話側（音声処理装置１のユーザとの通話者）から発信される発話音を含む第１遠端信号を外部から取得する。なお、受信部２は、受話側（音声処理装置１のユーザ）から発信される近端信号を必ずしも受信する必要はない。受信部２は、受信した第１遠端信号を、判定部３と制御部５へ出力する。

判定部３は、第１遠端信号を受信部２から受け取り、当該第１遠端信号に含まれる無音区間長と、有音区間長を判定する。なお、判定部３による無音区間長と、有音区間長の判定方法は、実施例１と同様である為、詳細な説明は省略する。判定部３は判定した第１遠端信号の有音区間長と無音区間長を、制御部５へ出力する。

制御部５は、第１遠端信号を受信部２から受け取り、当該第１遠端信号の有音区間長と無音区間長を判定部３から受け取る。制御部５は、有音区間長、無音区間長に基づいて第第１遠端信号を制御した第２遠端信号を出力部６へ出力する。具体的には、制御部５は、無音区間長が、受話側が複数の有音区間の文節を聞き分けられる無音区間長となる第１閾値以上であるかを判別し、第１閾値未満であれば、第１閾値以上となる様に無音区間長を制御する。なお、第１閾値は主観評価等により実験的に定めることが可能であり、０．２秒と設定することが出来る。また、制御部５は、有音区間に含まれる文節を公知の手法を用いて解析し、文節間を第１閾値以上に制御することでも受話者の音声の聞きやすさを向上させることが可能となる。

実施例４における音声処理装置においては、無音区間長を適切に制御することにより、受話者の音声の聞きやすさが向上する。

（実施例５）
図１２は、一つの実施形態による音声処理装置１として機能するコンピュータのハードウェア構成図である。図１２に示すように、音声処理装置１は、制御部２１、主記憶部２２、補助記憶部２３、ドライブ装置２４、ネットワークＩ／Ｆ部２６、入力部２７、表示部２８を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部２１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部２１は、主記憶部２２や補助記憶部２３に記憶されたプログラムを実行する演算装置であり、入力部２７や記憶装置からデータを受け取り、演算、加工した上で、表示部２８や記憶装置などに出力する。

主記憶部２２は、ＲＯＭやＲＡＭなどであり、制御部２１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

補助記憶部２３は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置２４は、記録媒体２５、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部２３にインストールする。

また、記録媒体２５に、所定のプログラムを格納し、この記録媒体２５に格納されたプログラムはドライブ装置２４を介して音声処理装置１にインストールされる。インストールされた所定のプログラムは、音声処理装置１により実行可能となる。

ネットワークＩ／Ｆ部２６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と音声処理装置１とのインターフェースである。

入力部２７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部２８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部２７は、ユーザが制御部２１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部２８は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成され、制御部２１から入力される表示データに応じた表示が行われる。

なお、上述した音声処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した音声処理方法を実現することができる。

また、このプログラムを記録媒体２５に記録し、このプログラムが記録された記録媒体２５をコンピュータや携帯端末に読み取らせて、前述した音声処理を実現させることも可能である。なお、記録媒体１５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

（実施例６）
図１３は、一つの実施形態による携帯端末装置３０として機能するハードウェア構成図である。携帯端末装置３０は、アンテナ３１、無線部３２、ベースバンド処理部３３、制御部２１、端末インターフェース部３４、マイクロフォン３５、スピーカー３６、主記憶部２２、補助記憶部２３を有する。

アンテナ３１は、送信アンプで増幅された無線信号を送信し、また、基地局から無線
信号を受信する。無線部３２は、ベースバンド処理部３３で拡散された送信信号をＤ／Ａ変換し、直交変調により高周波信号に変換し、その信号を電力増幅器により増幅する。無線部３２は、受信した無線信号を増幅し、その信号をＡ／Ｄ変換してベースバンド処理部３３に伝送する。

ベースバンド処理部３３は、送信データの誤り訂正符号の追加、データ変調、拡散変調、受信信号の逆拡散、受信環境の判定、各チャネル信号の閾値判定、誤り訂正復号などのベースバンド処理などを行う。

制御部２１は、制御信号の送受信などの無線制御を行う。また、制御部２１は、補
助記憶部２３などに記憶されている音声処理プログラムを実行し、例えば、実施例１における音声処理を行う。

主記憶部２２は、ＲＯＭやＲＡＭなどであり、制御部２１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部２３は、ＨＤＤやＳＳＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

端末インターフェース部３４は、データ用アダプタ処理、ハンドセットおよび外部デー
タ端末とのインターフェース処理を行う。

マイクロフォン３５は、送話者の音声を含む周囲の音を入力し、マイク信号として制御部２１に出力する。スピーカー３６は、出力信号として制御部２１から出力された信号を出力する。

以上に図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
複数の有音区間が含まれる第１遠端信号を受信する受信部と、
前記複数の有音区間の間が所定の第１閾値以上の無音区間となる様に制御する制御部と、
前記複数の有音区間と前記制御した前記無音区間を含む第２信号を出力する出力部と、
を備えることを特徴とする音声処理装置。
（付記２）
前記第１信号は、前記複数の有音区間の間に少なくとも一つの前記無音区間が含まれており、
前記音声処理装置は、前記第１信号の有音区間長と無音区間長をそれぞれ判定する判定部を更に備え、
前記制御部は、前記無音区間長を前記第１閾値以上となる様に制御することを特徴とする付記１記載の音声処理装置。
（付記３）
前記受信部は、周囲雑音が含まれる受話側から発信される第３信号を更に受信し、
前記音声処理装置は、前記第３信号に含まれる前記周囲雑音の雑音特性値を算出する算出部を更に備え、
前記制御部は、前記無音区間長と前記雑音特性値に基づいて、前記無音区間長を前記第１閾値以上となる様に補正することを特徴とする付記２記載の音声処理装置。
（付記４）
前記制御部は、前記無音区間長が前記第１閾値未満の場合、前記雑音特性値の大きさに応じて前記無音区間長を伸長することを特徴とする付記３記載の音声処理装置。
（付記５）
前記制御部は、前記無音区間長が前記第１閾値以上の場合、前記雑音特性値の大きさに応じて前記無音区間長を短縮することを特徴とする付記３記載の音声処理装置。
（付記６）
前記制御部は、前記受信部が受信する前記第１信号の受信量と、前記出力部が出力する前記第２信号の出力量の差分となる遅延量に基づいて、前記無音区間長の伸長率または、短縮率を制御することを特徴とする付記４または付記５記載の音声処理装置。
（付記７）
前記制御部は、前記雑音特性値の大きさに応じて前記有音区間長を伸長することを特徴とする付記３ないし付記５の何れか一つに記載の音声処理装置。
（付記８）
前記算出部は、前記第３信号の所定の時間内に渡る電力変動に基づいて雑音特性値を算出することを特徴とする付記２記載の音声処理装置。
（付記９）
複数の有音区間が含まれる第１信号を受信し、
前記複数の有音区間の間が所定の第１閾値以上の無音区間となる様に制御し、
前記複数の有音区間と前記制御した前記無音区間を含む第２信号を出力すること
を含むことを特徴とする音声処理方法。
（付記１０）
前記第１信号は、前記複数の有音区間の間に少なくとも一つの前記無音区間が含まれており、
前記音声処理方法は、前記第１信号の有音区間長と無音区間長をそれぞれ判定し、
前記制御することは、前記無音区間長を前記第１閾値以上となる様に制御することを特徴とする付記９記載の音声処理方法。
（付記１１）
前記受信することは、周囲雑音が含まれる受話側から発信される第３信号を更に受信し、
前記音声処理方法は、前記第３信号に含まれる前記周囲雑音の雑音特性値を算出し、
前記制御することは、前記無音区間長と前記雑音特性値に基づいて、前記無音区間長を前記第１閾値以上となる様に補正することを特徴とする付記１０記載の音声処理方法。
（付記１２）
前記制御することは、前記無音区間長が前記第１閾値未満の場合、前記雑音特性値の大きさに応じて前記無音区間長を伸長することを特徴とする付記１１記載の音声処理方法。
（付記１３）
前記制御することは、前記無音区間長が前記第１閾値以上の場合、前記雑音特性値の大きさに応じて前記無音区間長を短縮することを特徴とする付記１１記載の音声処理方法。
（付記１４）
前記制御することは、前記受信することが受信する前記第１信号の受信量と、前記出力することが出力する前記第２信号の出力量の差分となる遅延量に基づいて、前記無音区間長の伸長率または、短縮率を制御することを特徴とする付記１２または付記１３記載の音声処理方法。
（付記１５）
前記制御部は、前記雑音特性値の大きさに応じて前記有音区間長を伸長することを特徴とする付記１１ないし付記１３の何れか一つに記載の音声処理方法。
（付記１６）
前記算出することは、前記第３信号の所定の時間内に渡る電力変動に基づいて雑音特性値を算出することを特徴とする付記１１記載の音声処理方法。
（付記１７）
コンピュータに、
複数の有音区間が含まれる第１信号を受信し、
前記複数の有音区間の間が所定の第１閾値以上の無音区間となる様に制御し、
前記複数の有音区間と前記制御した前記無音区間を含む第２信号を出力すること
を実行させることを特徴とする音声処理プログラム。
（付記１８）
複数の有音区間が含まれる第１信号を受信するマイクロフォンと、
前記マイクロフォンから第１信号を受信する受信部と、
前記複数の有音区間の間が所定の第１閾値以上の無音区間となる様に制御する制御部と、
前記複数の有音区間と前記制御した前記無音区間を含む第２信号を出力するスピーカー、
を備えることを特徴とする携帯端末装置。

１ 音声処理装置
２ 受信部
３ 判定部
４ 算出部
５ 制御部
６ 出力部

Claims (7)

1. 送話側から発信される複数の有音区間および前記複数の有音区間の間に少なくとも一つの無音区間が含まれる第１遠端信号と、周囲雑音が含まれる受話側から発信される近端信号とを受信する受信部と、
   前記第１遠端信号の無音区間長を判定する判定部と、
   前記近端信号に含まれる前記周囲雑音の雑音特性値を算出する算出部と、
   前記無音区間長と前記雑音特性値に基づいて、前記無音区間長を所定の第１閾値以上となる様に補正する制御部と、
   前記複数の有音区間と前記制御した前記無音区間を含む第２遠端信号を出力する出力部と
   を備えることを特徴とする音声処理装置。
2. 前記制御部は、前記無音区間長が前記第１閾値未満の場合、前記雑音特性値の大きさに応じて前記無音区間長を伸長することを特徴とする請求項１記載の音声処理装置。
3. 前記制御部は、前記無音区間長が前記第１閾値以上の場合、前記雑音特性値の大きさに応じて前記無音区間長を短縮することを特徴とする請求項１記載の音声処理装置。
4. 前記制御部は、前記受信部が受信する前記第１遠端信号の受信量と、前記出力部が出力する前記第２遠端信号の出力量の差分となる遅延量に基づいて、前記無音区間長の伸長率または、短縮率を制御することを特徴とする請求項２または請求項３記載の音声処理装置。
5. 前記制御部は、前記雑音特性値の大きさに応じて前記第1遠端信号の有音区間長を伸長することを特徴とする請求項２ないし請求項４の何れか一項に記載の音声処理装置。
6. 送話側から発信される複数の有音区間および前記複数の有音区間の間に少なくとも一つの無音区間が含まれる第１遠端信号と、周囲雑音が含まれる受話側から発信される近端信号とを受信し、
   前記第１遠端信号の無音区間長を判定し、
   前記近端信号に含まれる前記周囲雑音の雑音特性値を算出し、
   前記無音区間長と前記雑音特性値に基づいて、前記無音区間長を所定の第１閾値以上となる様に補正し、
   前記複数の有音区間と前記制御した前記無音区間を含む第２遠端信号を出力すること
   を含むことを特徴とする音声処理方法。
7. コンピュータに、
   送話側から発信される複数の有音区間および前記複数の有音区間の間に少なくとも一つの無音区間が含まれる第１遠端信号と、周囲雑音が含まれる受話側から発信される近端信号とを受信し、
   前記第１遠端信号の無音区間長を判定し、
   前記近端信号に含まれる前記周囲雑音の雑音特性値を算出し、
   前記無音区間長と前記雑音特性値に基づいて、前記無音区間長を所定の第１閾値以上となる様に補正し、
   前記複数の有音区間と前記制御した前記無音区間を含む第２遠端信号を出力すること
   を実行させることを特徴とする音声処理プログラム。

Images