JP6123503B2 - 音声補正装置、音声補正プログラム、および、音声補正方法 - Google Patents

Description

本発明は、装置に入力された音声の補正方法に関する。

周囲が騒がしい場所でユーザＡが電話機などを用いてユーザＢと通話した場合、気導マイクから入力されたユーザＡの声に周囲の音が混入する。この場合、ユーザＢは、使用している端末に届いた音声からユーザＡの声を聞き取りづらい。そこで、気導マイクから入力された信号中の騒音を低減するための試みがされてきているが、Signal to Noise Ratio（ＳＮＲ）が劣化している条件では、騒音だけでなくユーザの音声成分の強度まで下げてしまい、結果的に音声品質を劣化させてしまうことがある。骨導マイクを用いてユーザの音声を入力することも行われているが、骨導マイクでは、高域の音声の感度が低いので音声がこもって聞こえてしまう。さらに、骨導マイクがユーザに接触していない場合は、骨導マイクから音声が入力できないので、骨道マイクが搭載されている端末であっても、ユーザの持ち方などによっては骨導マイクからの入力ができない場合もあり得る。

そこで、気導マイクと骨導マイクを併用することも検討されてきている。例えば、気導マイクによって収音された音声信号、骨導マイクによって収音された音声信号、受話信号に基づいて周囲騒音レベルを求め、周囲騒音レベルに基づいて、気導マイクと骨導マイクのいずれかを選択する通信装置が知られている（例えば、特許文献１）。さらに、気導マイクから得られた気導出力成分と骨導マイクから得られた骨導出力成分を合成するマイクロホン装置も知られている。このマイクロホン装置は、外部騒音レベルが小さいときには骨導出力成分に対する気導出力成分の割合を大きくし、外部騒音レベルが大きいときには骨導出力成分に対する気導出力成分の割合を小さくする（例えば、特許文献２）。さらに、骨導マイクの出力レベルが気導マイクの出力レベルを超えたときに送話増幅回路を動作モードにする送受話装置も考案されている（例えば、特許文献３）。

特開平８−７０３４４号公報 特開平８−２１４３９１号公報 特開２０００−３５４２８４号公報

気導マイクと骨導マイクを併用しても、騒音が大きいなどの理由によりＳＮＲ値が低いときには、骨導マイクから出力された音声信号がユーザの音声として使用される。しかし、骨導マイクは高域の音声に対する感度が低いため、骨導マイクを用いると、こもったような聞きづらい音声になる。従って、ＳＮＲ値が低い場合には、骨導マイクを使用してもユーザの音声が聞きづらくなってしまう。

本発明は、１つの側面では、騒音を低減した聞き取りやすい音声信号を生成することを目的とする。

実施形態に係る音声補正装置は、気導マイク、骨導マイク、算出部、記憶部、補正部、生成部を備える。気導マイクは、空気の振動を用いて気導音を収音する。骨導マイクは、ユーザの骨の振動を用いて骨導音を収音する。算出部は、前記気導音での前記ユーザの音声の雑音に対する比率を算出する。記憶部は、前記骨導音の周波数スペクトルを、前記比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を記憶する。補正部は、前記骨導音を、前記補正係数を用いて補正する。生成部は、前記比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する。

騒音を低減し、聞き取りやすい音声信号を生成できる。

信号の種類を選択する方法の例を示すフローチャートである。 音声補正装置の構成の例を示す図である。 音声補正装置のハードウェア構成の例を示す図である。 第１の実施形態で行われる処理の例を示すフローチャートである。 フレームの生成方法の例と周波数スペクトルの生成例を示す図である。 補正係数データの例を示すテーブルである。 気導音と骨導音の強度の時間変化の例を示す図である。 接触検出部の処理の例を示すフローチャートである。 出力する音声の選択方法の例を示すテーブルである。 入力された音の種類の判断方法の例を説明する図である。 種別判定部の動作の例を説明するフローチャートである。 ＳＮＲ算出部の動作の例を説明するフローチャートである。 骨導音補正部での補正の方法の例を説明する図である。 変動させた補正係数を用いて補正した骨導音の例を示す図である。 骨導音補正部が補正係数を変動させる方法の例を示すグラフである。 骨導音補正部が補正係数を変動させるときの処理の例を説明するフローチャートである。 出力する音声の選択方法の例を示すテーブルである。 第３の実施形態で行われる処理の例を説明するフローチャートである。

図１は、信号の種類を選択する方法の例を示す。実施形態にかかる音声補正装置は、気導マイクと骨導マイクの両方を備えているものとする。音声補正装置は、予め、雑音の影響が無視できる環境下で入力された音声を用いて、骨導マイクからの入力信号の周波数スペクトルを気導マイクからの入力信号の周波数スペクトルに一致させるための補正係数を保持している。例えば、気導マイクで得られた信号の強度を骨導マイクから得られた信号の強度で割った値が補正係数として用いられる。ここで、補正係数は、予め決められた幅の周波数帯域ごとに決定される。なお、以下の記載では、気導マイクからの入力信号を「気導音」、骨導マイクからの入力信号を「骨導音」と記載することがある。

音声補正装置に内蔵されている気導マイクからの入力があると、音声補正装置は、骨導マイクからの入力信号の大きさを用いて、骨導マイクがユーザに接触しているかを判定する（ステップＳ１）。骨導マイクがユーザに接触している場合、音声補正装置は、入力されている音声信号を所定の時間ごとのフレームに区切る。音声補正装置は、フレームごとに、入力信号が非定常騒音であるかを判定する（ステップＳ２）。ここで、「非定常騒音」は、音声補正装置に音声が入力されている期間中に定常的に発生していない雑音であり、音声の入力が行われている期間中にレベルが大幅に変化するものとする。非定常騒音は、例えば、アナウンスの音や電車などの発着により発生する雑音、乗用車のクラクションの音などを含む。なお、以下の説明では、音声補正装置に音声が入力されている期間中に定常的に発生している雑音のことを、「定常騒音」と記載することがある。収音された音が非定常騒音であるかの判定方法については、後で詳しく述べる。非定常騒音が含まれているフレームであると判定すると、音声補正装置は、骨導マイクからの入力信号を、記憶している補正係数を用いて補正する（ステップＳ２でＹｅｓ)。この補正により、骨導音は、雑音が無視できる場合の気導音のスペクトルに近づけるように補正される（ステップＳ４)。音声補正装置は、補正後の骨導音を出力する（ステップＳ５）。

非定常騒音が含まれていないフレームであると判定すると、音声補正装置は、処理対象とするフレームでのＳＮＲの値が閾値よりも小さいかを判定する（ステップＳ２でＮｏ、ステップＳ３）。処理対象とするフレームでのＳＮＲの値が閾値よりも小さい場合、音声補正装置は、ステップＳ４、Ｓ５の処理により、雑音が無視できる場合の気導音のスペクトルに近づけるように補正された骨導音を、得られた音声として出力する。

一方、ＳＮＲの値が閾値以上である場合は、音声補正装置は、騒音の低減処理を施した気導音を、得られた音声として出力する（ステップＳ３でＮｏ、ステップＳ６）。また、骨導マイクがユーザに接触していない場合にも、音声補正装置は、騒音の低減処理を施した気導音を、得られた音声として出力する（ステップＳ１でＮｏ、ステップＳ６）。

このように、実施形態にかかる音声補正装置は、非定常騒音がある場合やＳＮＲが閾値未満である場合など、気導マイクから入力された音声での雑音の影響が大きいと予測される場合は、出力する音声を補正後の骨導音から生成する。このとき、骨導音は、雑音が無視できる場合の気導音に近づけるように補正される。このため、音声補正装置は、骨導音を用いて雑音を除去しつつ、骨導音での高域の周波数の感度を気導音に合わせて修正できる。従って、音声補正装置は、骨導音を用いる場合でも、高周波数の音声の強度を補正し、聞き取り易い音声を出力できる。

＜装置構成＞
図２は、音声補正装置１０の構成の例を示す。音声補正装置１０は、気導マイク２０、骨導マイク２５、記憶部３０、音声処理部４０を備える。音声処理部４０は、フレーム生成部５０、接触検出部４１、種別判定部４２、骨導音補正部４３、ＳＮＲ算出部４４、騒音低減部４５、生成部４６を有する。フレーム生成部５０は、分割部５１と変換部５２を有する。

気導マイク２０は、気導マイク２０の周辺で生じた空気の振動を用いて、音声を収音する。このため、気導マイク２０は、音声補正装置１０のユーザが発した音声を収音する他、音声補正装置１０の周辺の定常騒音や非定常騒音も収音してしまう。骨導マイク２５は、音声補正装置１０のユーザの骨の振動を用いて収音するため、ユーザが発した音声を収音するが、定常騒音や非定常騒音は収音しない。

分割部５１は、気導マイク２０と骨導マイク２５のそれぞれで収音された音声データを、フレームごとに分割する。ここで、「フレーム」は、音声補正装置１０から出力する音声データを生成するための所定の時間単位である。音声補正装置１０は、フレーム毎に、音声補正装置１０の出力として使用する音声を気導音と骨導音のいずれに基づいて生成するかを決定する。各フレームには、フレームの順序を特定するための番号が付されているものとする。さらに、各フレームの番号は、そのフレームが示す期間の出力信号を生成するために使用可能な気導音の信号と骨導音の信号に対応付けられるものとする。変換部５２は、各フレームについて、得られた気導音と骨導音のデータをフーリエ変換し、周波数スペクトルを生成する。各周波数スペクトルには、スペクトルの計算に使用されたデータが気導音と骨導音のいずれであるかと、周波数スペクトルの計算に用いられたデータが含まれるフレームの番号が対応付けられる。変換部５２は、フレーム毎に得られた周波数スペクトルを接触検出部４１に出力する。

接触検出部４１は、フレーム毎に骨導マイク２５がユーザに接触しているかを判定する。接触検出部４１で骨導マイク２５がユーザに接触していることが検出されたフレームでは、骨導マイク２５で骨導音が収音されている。接触検出部４１は、フレーム毎に、骨導音と気導音の間で入力信号の強度を比較することにより、ユーザが骨導マイク２５に接触しているかを判定する。ここで、接触検出部４１は、処理対象のフレームでの気導音の周波数スペクトルから各周波数帯域でのパワーを積算することにより、処理対象のフレームでの気導音の強度を得るものとする。接触検出部４１は、骨導音についても同様に音声の強度を計算する。接触検出部４１は、骨導マイク２５がユーザに接触していないと判定すると、処理対象のフレームについて、騒音低減部４５に気導音中の騒音の低減を要求し、さらに、騒音低減部４５からの出力を音声補正装置１０から出力する音声とすることを、生成部４６に要求する。一方、接触検出部４１は、骨導マイク２５が接触していると判定したフレームについては、処理対象とした周波数スペクトルを、気導音と骨導音の両方について、種別判定部４２に出力する。

種別判定部４２は、フレーム毎に、気導音がユーザの音声、定常騒音、非定常騒音のいずれを主な要素として収音しているかを判定する。種別判定部４２は、判定の際に、処理対象とするフレームについて、気導音と骨導音の間での入力信号の強度の差を用いる。なお、種別判定部４２も、接触検出部４１と同様に、周波数スペクトルから各フレームでの音声の強度を計算するものとする。種別判定部４２で行われる判定の例については後述する。種別判定部４２は、気導音に非定常騒音が収音されていると判定したフレームについて、骨導音補正部４３に骨導音の補正を要求するとともに、骨導音補正部４３からの出力を音声補正装置１０から出力する音声とすることを、生成部４６に要求する。一方、気導音として主にユーザの音声が収音されていると判定したフレームに対しては、種別判定部４２は、ＳＮＲ算出部４４に気導音でのＳＮＲの算出を要求する。なお、種別判定部４２は、ＳＮＲ算出部４４が定常騒音の大きさの平均を算出することができるように、定常騒音が収音されているフレームで得られた気導音の周波数スペクトルを、ＳＮＲ算出部４４に出力する。

骨導音補正部４３は、種別判定部４２やＳＮＲ算出部４４からの要求に応じて、骨導音を補正する。このとき、骨導音補正部４３は、種別判定部４２から骨導音の周波数スペクトルを取得するものとする。さらに、骨導音補正部４３は、補正係数データ３１を用いる。骨導音の補正方法の例については後述する。骨導音補正部４３は、補正後の骨導音の周波数スペクトルを生成部４６に出力する。

ＳＮＲ算出部４４は、種別判定部４２からの要求に応じて、気導音について、フレームごとのＳＮＲ値を計算する。このとき、ＳＮＲ算出部４４は、接触検出部４１や種別判定部４２と同様に、周波数スペクトルから各フレームでの音声の強度を計算し、定常騒音区間のフレームについて音声強度の平均値を求める。ＳＮＲ算出部４４は、ＳＮＲ値を求める対象の音声区間のフレームから得られた気導音の音声の強度を、定常騒音区間のフレームでの音声強度の平均値で割ることにより、音声区間内のフレームと判定された気導音の各フレームについて、ＳＮＲ値を求める。ＳＮＲ算出部４４は、各フレームについて得られたＳＮＲ値を閾値と比較する。ＳＮＲ値が閾値以上の場合、ＳＮＲ算出部４４は、処理対象のフレームについては、騒音低減部４５に対して気導音中の騒音の低減を要求するとともに、騒音低減部４５からの出力を音声補正装置１０から出力する音声とすることを、生成部４６に要求する。一方、ＳＮＲ値が閾値未満の場合、ＳＮＲ算出部４４は、処理対象のフレームについて、骨導音補正部４３に骨導音の補正を要求するとともに、骨導音補正部４３からの出力を音声補正装置１０から出力する音声とすることを、生成部４６に要求する。

騒音低減部４５は、フレーム毎に、気導音中の定常騒音を低減するための処理を行う。例えば、騒音低減部４５は、スペクトルサブトラクション法、ウィーナーフィルタリング法など、既知の任意の処理を用いて定常騒音を軽減することができるものとする。騒音低減部４５は、雑音を低減した後の気導音の周波数スペクトルを生成部４６に出力する。

生成部４６は、騒音低減部４５および骨導音補正部４３から入力されたデータから、フレーム毎に、そのフレームで得られたデータとして採用する音声についての周波数スペクトルを取得する。生成部４６は、得られたスペクトルを逆フーリエ変換することにより、時間領域のデータを生成する。生成部４６は、得られた時間領域のデータを音声補正装置１０から出力する音声として取り扱う。例えば、音声補正装置１０が携帯電話端末などの通信装置である場合、生成部４６は、処理により得られた時間領域の音声データを、通信装置から送信する対象として、音声符号化などの処理を行うプロセッサなどに出力することができる。

記憶部３０は、骨導音の補正に使用する補正係数データ３１や、骨導音の補正に使用するデータを保持する。さらに、記憶部３０は、音声処理部４０の処理に用いられるデータ、および、音声処理部４０の処理により得られたデータを格納できる。

図３は、音声補正装置１０のハードウェア構成の例を示す図である。音声補正装置１０は、プロセッサ６、メモリ９、気導マイク２０、骨導マイク２５を含む。音声補正装置１０は、さらにオプションとして、アンテナ１、無線処理回路２、digital to analog（Ｄ／Ａ）コンバータ３、Analog-to-digital（Ａ／Ｄ）コンバータ７（７ａ〜７ｃ）、アンプ８（８ａ、８ｂ）を備えても良い。図３に示すように音声補正装置１０がアンテナ１や無線処理回路２などを備える場合、音声補正装置１０は、携帯端末装置などの無線通信に対応した通信装置である。

プロセッサ６は、音声処理部４０として動作する。なお、音声補正装置１０が無線通信を行う装置である場合、プロセッサ６は、さらに、ベースバンド信号の処理や、音声符号化などの処理も行う。無線処理回路２は、アンテナ１を介して受信したＲＦ信号を復変調する。Ｄ／Ａコンバータ３は、入力されたアナログ信号をデジタル信号に変換する。メモリ９は、記憶部３０として動作し、プロセッサ６の処理に使用するデータや、プロセッサ６の処理で得られたデータを保持する。さらに、メモリ９は、音声補正装置１０で動作するプログラムを格納することもできる。プロセッサ６は、メモリ９に格納されているプログラムを読み込んで動作することにより、音声処理部４０として動作する。

アンプ８ａは、気導マイク２０から入力されたアナログ信号を増幅して、Ａ／Ｄコンバータ７ａに出力する。Ａ／Ｄコンバータ７ａは、アンプ８ａから入力された信号を音声処理部４０に出力する。アンプ８ｂは、骨導マイク２５から入力されたアナログ信号を増幅して、Ａ／Ｄコンバータ７ｂに出力する。Ａ／Ｄコンバータ７ｂは、アンプ８ｂから入力された信号を音声処理部４０に出力する。

＜第１の実施形態＞
図４は、第１の実施形態で行われる処理の例を示すフローチャートである。まず、分割部５１は、気導マイク２０と骨導マイク２５から入力信号を取得し、フレームに分割する（ステップＳ１１）。接触検出部４１は、処理対象フレームについて、気導マイク２０と骨導マイク２５の各々からの入力信号を取得する（ステップＳ１２、Ｓ１３）。接触検出部４１は、処理対象フレームで、骨導マイク２５がユーザに接触しているかを判定する（ステップＳ１４）。骨導マイク２５がユーザに接触している場合、種別判定部４２は、処理対象フレームにおいて、気導音に非定常騒音が含まれているかを判定する（ステップＳ１４でＹｅｓ、ステップＳ１５）。非定常騒音が含まれていないと判定されたフレームについては、ＳＮＲ算出部４４がＳＮＲ値を計算し、ＳＮＲ値が閾値未満であるかを判定する（ステップＳ１５でＮｏ、ステップＳ１６）。ＳＮＲ値が閾値未満である場合、生成部４６は、処理対象フレームでの音声の出力を、補正後の骨導音の信号とする（ステップＳ１６でＹｅｓ、ステップＳ１７）。一方、ＳＮＲ値が閾値以上である場合、生成部４６は、処理対象フレームでの音声の出力を、騒音を低減した後の気導音の信号とする（ステップＳ１６でＮｏ、ステップＳ１８）。さらに、処理フレームに非定常騒音が含まれていると判定された場合、生成部４６は、処理対象フレームでの音声の出力を、補正後の骨導音の信号とする（ステップＳ１５でＹｅｓ、ステップＳ１７）。なお、骨導マイク２５がユーザに接触していない場合、生成部４６は、処理対象フレームでの音声の出力を、騒音を低減した後の気導音の信号とする（ステップＳ１４でＮｏ、ステップＳ１８）。

以下、第１の実施形態を、補正係数の算出、出力音声の選択、骨導音の補正に分けて、音声補正装置１０で行われる処理の例を詳しく説明する。

〔補正係数の算出〕
第１の実施形態に係る音声補正装置１０は、予め、雑音が無視できる環境下で気導音と骨導音を観測し、骨導音の周波数スペクトルを雑音が無視できる環境下での気導音の周波数スペクトルに一致させるための補正係数データ３１を求めている。ここで、雑音が無視できるとは、気導音についてのＳＮＲ値が所定の閾値を上回っていることを指すものとする。音声補正装置１０は、例えば、初期化されたときや、ユーザから補正係数データ３１の計算が要求された場合に、補正係数を求める。なお、ユーザは、例えば、音声補正装置１０に備えられた入力デバイス（図示せず）を用いて、音声補正装置１０に補正係数データ３１の計算を要求することができるものとする。

図５は、フレームの生成方法の例と周波数スペクトルの生成例を示す。例えば、分割部５１に、図５のグラフＧ１に示す気導マイク２０からの出力信号の時間変化と、グラフＧ２に示す骨導マイク２５からの出力信号の時間変化が入力されたとする。分割部５１は、気導音と骨導音の時間変化を、予め決められた長さのフレームに分割する。１つのフレームの長さは実装に応じて設定され、例えば、２０ｍ秒程度に設定される。図５中の長方形Ａは、１つのフレームに含まれるデータの例である。各フレームには、気導音と骨導音のそれぞれについて、各フレームの期間と同じ期間の情報が対応付けられる。分割部５１は分割した個々のデータに、気導音と骨導音のいずれのデータであるかを示すデータの種類と、フレームの番号に対応付けて変換部５２に出力する。例えば、図５のＡに示す長方形に含まれているデータは、ｔ番目のフレームの気導音または骨導音として、変換部５２に出力される。

変換部５２は、フレーム毎に、気導音のデータをフーリエ変換し、１つのフレームの気導音のデータから１つの周波数スペクトルを求める。変換部５２は、骨導音のデータについても同様に、フレーム毎にフーリエ変換し、周波数スペクトルを求める。補正係数の算出中は、変換部５２は、得られた周波数スペクトルを骨導音補正部４３に出力するものとする。このとき、変換部５２は、個々の周波数スペクトルについて、スペクトルの生成に用いたデータを含むフレームの番号と、データの種類を関連付けて、骨導音補正部４３に通知するものとする。

骨導音補正部４３は、予め決められた数の気導音の周波数スペクトルを平均することにより、気導音の平均振幅スペクトルを計算する。図５中のグラフＧ３は、平均振幅スペクトルの例であり、グラフＧ３の実線は、気導音の平均振幅スペクトルの例である。例えば、気導音や骨導音が観測される周波数帯域を、フーリエ変換のポイント数の半分の数の帯域に分けたとする。このとき、ｉ番目の周波数帯域での気導音の平均振幅（Ｆａｖｅ＿ａ（ｉ））は次式で求められる。

骨導音補正部４３は、骨導音についても同様の処理を行うことにより、平均振幅スペクトルを計算する。骨導音の平均振幅スペクトルの例をグラフＧ３の破線で示す。また、ｉ番目の周波数帯域での骨導音の平均振幅（Ｆａｖｅ＿ｂ（ｉ））は次式で求められる。

骨導音補正部４３は、同じ周波数帯域での気導音の平均振幅と骨導音の平均振幅に対する比を、その周波数帯域での補正係数とする。例えば、ｉ番目の周波数帯域の補正係数（ｃｏｅｆ＿ｆ（ｉ））は、次式で表される。

骨導音補正部４３は、得られた補正係数データ３１を記憶部３０に記録する。図６は、補正係数データ３１の例を示すテーブルである。音声補正装置１０は、補正係数を再計算するまで、記憶部３０に記憶されている補正係数データ３１を用いて骨導音の補正を行う。

なお、ここでは、一例として、音声補正装置１０が補正係数を計算して記憶するケースを説明したが、補正係数の算出は、音声補正装置１０以外の装置で行うこともできる。他の装置で補正係数が計算された場合、音声補正装置１０は、補正係数を求めた装置から補正係数を取得し、記憶部３０に記憶する。補正係数の取得は、無線通信を含む任意の方法で行われるものとする。

〔出力音声の選択〕
次に、音声補正装置１０が出力する音声を選択する方法について説明する。

図７は、気導音と骨導音の強度の時間変化の例を示す。図７のＰａは、アンプ８ａおよびＡ／Ｄコンバータ７ａを介して得られた気導音の強度の時間変化の例を表すものとする。一方、Ｐｂは、アンプ８ｂおよびＡ／Ｄコンバータ７ｂを介して得られた骨導音の強度の時間変化の例を表す。骨導マイク２５がユーザに接触していない場合は、気導マイク２０にユーザからの音声が入力されても、骨導マイク２５には音声が入力されない。このため、骨導マイク２５がユーザに接触していない場合は、図７の時刻Ｔ１以前に示すように、気導音の強度に比べて骨導音の強度が著しく小さくなる。そこで、接触検出部４１は、フレーム毎に、気導音の強度に対する骨導音の強度の差を計算することにより、骨導マイク２５がユーザに接触していることを検出する。

以下、各フレームについて、骨導マイク２５がユーザに接触しているかが判定されるときの処理の例を説明する。補正係数の算出以外の場合も、気導マイク２０や骨導マイク２５から出力された音声信号は、分割部５１でフレームに合わせて分割され、変換部５２でフレームごとの周波数スペクトルに変換される。変換部５２は、得られた周波数スペクトルを、フレームの番号とデータの種類を示す情報とともに、接触検出部４１に出力する。

接触検出部４１は、処理対象のフレームでの気導音の周波数スペクトルから各周波数帯域でのパワーを積算することにより、処理対象のフレームでの気導音の強度を計算する。接触検出部４１は、骨導音についても同様に音声の強度を計算する。接触検出部４１は、気導音の強度と骨導音の強度の比を求める。接触検出部４１は、得られた比が閾値Ｔｈｔ未満であるフレームについては、骨導マイク２５がユーザに接触していると判定する。なお、気導音の強度と骨導音の強度のいずれもデシベル単位で求めた場合、接触検出部４１は、気導音の強度と骨導音の強度の差を閾値Ｔｈｔと比較しても良い。ここで、閾値Ｔｈｔは、骨導音が気導音よりも十分に小さいと判定できる任意の値である。なお、閾値Ｔｈｔは、分割部５１に入力される気導音と骨導音の強度に合わせて設定されるので、気導マイク２０に接続されているアンプ８ａのゲインや、骨導マイク２５に接続されているアンプ８ｂのゲインも考慮されている。例えば、閾値Ｔｈｔは３０ｄＢ程度に設定されても良い。

図８は、接触検出部４１の処理の例を示すフローチャートである。なお、ステップＳ２１とＳ２２の順序は変更されても良い。接触検出部４１は、変換部５２から、ｔ番目のフレームについての気導音の周波数スペクトルを取得し、ｔ番目のフレームでの気導音の強度Ｐａ（ｄＢ）を求める（ステップＳ２１）。次に、接触検出部４１は、変換部５２から、ｔ番目のフレームでの骨導音の周波数スペクトルを取得し、ｔ番目のフレームでの骨導音の強度Ｐｂ（ｄＢ）を求める（ステップＳ２２）。接触検出部４１は、デシベル単位で表した気導音の強度と骨導音の強度の差を求め、得られた値を閾値Ｔｈｔと比較する（ステップＳ２３）。デシベル単位で表した気導音の強度と骨導音の強度の差が閾値Ｔｈｔよりも大きい場合、接触検出部４１は、骨導マイク２５がユーザに接触していないと判定する（ステップＳ２３でＹｅｓ、ステップＳ２４）。接触検出部４１は、骨導マイク２５がユーザに接触していないと判定したフレームについて、気導音の周波数スペクトルを騒音低減部４５に出力する（ステップＳ２５）。さらに、接触検出部４１は、骨導マイク２５がユーザに接触していないと判定したフレームの番号を生成部４６に通知し、その番号のフレームについては、騒音低減部４５から得られた信号を音声信号の生成に使用することを要求する（ステップＳ２６）。

一方、デシベル単位で表した気導音の強度と骨導音の強度の差が閾値Ｔｈｔ以下である場合、接触検出部４１は、骨導マイク２５がユーザに接触しており、骨導マイク２５からの入力が検出されていると判定する（ステップＳ２３でＮｏ、ステップＳ２７）。接触検出部４１は、骨導マイク２５がユーザに接触していると判定したフレームについては、気導音と骨導音の両方について、周波数スペクトルを種別判定部４２に出力する。

図９は、出力する音声の選択方法の例を示す。接触検出部４１により、骨導マイク２５がユーザに接触していないと判定されると、非定常騒音の有無やＳＮＲの値の大きさに係らず、騒音の低減処理後の気導音が音声補正装置１０から出力される。一方、接触検出部４１によって、骨導マイク２５がユーザに接触していると判定されると、種別判定部４２により、フレーム中に非定常騒音が含まれているかが判定される。

図１０は、入力された音の種類の判断方法の例を示す。図１０中のグラフＧ４は、骨導マイク２５がユーザに接触している状況下で非定常騒音が発生したときについての、気導音と骨導音の強度変化の例を示す。ここで、グラフＧ４は、音声補正装置１０のユーザが時刻Ｔ４より前は音声補正装置１０に音声を入力しておらず、時刻Ｔ４以降に音声を音声補正装置１０に入力している場合を示している。また、時刻Ｔ２〜Ｔ３と、時刻Ｔ５〜Ｔ６では、非定常騒音が発生している。グラフＧ４の時刻Ｔ４以降のように、ユーザの音声が音声補正装置１０に入力された場合は、気導マイク２０と骨導マイク２５のいずれにも音声が入力されるので、気導マイク２０からの出力も骨導マイク２５からの出力も大きくなる。

非定常騒音は、定常騒音よりも大きな音であることが多い。このため、気導マイク２０が非定常騒音を収音すると、Ｐａについての時刻Ｔ２〜Ｔ３や時刻Ｔ５〜Ｔ６での変化のように、気導マイク２０からの出力は大きくなると考えられる。しかし、非定常騒音は骨導マイク２５では収音されない。このため、Ｐｂについての時刻Ｔ２〜Ｔ３や時刻Ｔ５〜Ｔ６では大きな変化が見られないように、非定常騒音が音声補正装置１０に入力されても骨導マイク２５からの出力には影響がない。

ユーザが音声補正装置１０を使用している場所で発生している定常騒音も、骨導マイク２５では収音されない。このため、時刻Ｔ４までに定常騒音が音声補正装置１０に入力されても、時刻Ｔ４までの骨導マイク２５からの出力は小さいままである。定常騒音はユーザの音声に比べても小さいため、気導マイク２０が定常騒音を収音しても、時刻Ｔ２以前や時刻Ｔ３〜Ｔ４でのＰａの変化から読み取れるように、気導マイク２０からの出力は小さいままである。

従って、種別判定部４２は、図１０のテーブルＴａ１に示す基準を用いて、接触検出部４１から入力されたフレームに収音された音声の種類を判定できる。例えば、種別判定部４２は、ｎ番目のフレームの気導音と骨導音のいずれでも音声の大きさが大きい場合は、ｎ番目のフレームにはユーザの音声が収音されていると判定する。一方、ｍ番目のフレームの気導音と骨導音のいずれでも音声の大きさが小さい場合、種別判定部４２は、ｍ番目のフレームでは定常騒音が収音されていると判定する。さらに、ｐ番目のフレームにおいて、気導音は大きいが骨導音の大きさが小さい場合、種別判定部４２は、ｐ番目のフレームでは非定常騒音が収音されていると判定する。

図１１は、種別判定部４２の動作の例を説明するフローチャートである。図１１において、ステップＳ３９とＳ４０の順序は互いに入れ替えられても良く、ステップＳ４２とＳ４３も互いに順序が入れ替えられても良い。さらに、図１１に示す例では、種別判定部４２は、音声の種類を判定するために、音声判定閾値（Ｔｈａｖ）と差分閾値（Ｔｈｖ）を用いる。音声判定閾値（Ｔｈａｖ）は、定常騒音とみなす気導音の大きさの最大値を表す。音声判定閾値Ｔｈａｖは、例えば、−４６ｄＢｏｖとすることができる。なお、ｄＢｏｖはデジタル信号のレベルの大きさを表す単位であり、音声信号をデジタル化したときにオーバーロードが生じる最初の信号レベルが０ｄＢｏｖとなる。差分閾値（Ｔｈｖ）は、骨導マイク２５にユーザからの音声が入力されていると判定できる範囲の、気導音と骨導音の差分の最大値である。例えば、差分閾値Ｔｈｖは、３０ｄＢ程度に設定することができる。

処理を開始するときに種別判定部４２は、変数ｔを０に設定する（ステップＳ３１）。種別判定部４２は、ｔ番目のフレームについて気導音の周波数スペクトルを取得し、取得したスペクトルから求めた気導音の音声強度（Ｐａ）を、音声判定閾値（Ｔｈａｖ）と比較する（ステップＳ３２、Ｓ３３）。気導音のフレームの音声強度が、音声判定閾値Ｔｈａｖ以下の場合、種別判定部４２は、処理対象のフレームは定常騒音が収音されたものであると判定する（ステップＳ３３でＮｏ、ステップＳ３４）。種別判定部４２は、定常騒音が記録されていると判定したフレームの周波数スペクトルを、定常騒音区間のフレームであることを示す情報と対応付けてＳＮＲ算出部４４に出力する（ステップＳ３５）。

一方、処理対象のフレームにおいて、気導音の音声強度が閾値Ｔｈａｖを超えている場合、種別判定部４２は、処理対象のフレームでの骨導音の周波数スペクトルを取得し、骨導音の音声強度（Ｐｂ）を求める（ステップＳ３３でＹｅｓ、ステップＳ３６）。さらに、種別判定部４２は、処理対象のフレームについての気導音と骨導音の強度の差（Ｐａ−Ｐｂ）を閾値Ｔｈｖと比較する（ステップＳ３７）。なお、気導音の強度と骨導音の強度は、いずれもデシベル単位で求められているものとする。音声強度の差が閾値Ｔｈｖより大きい場合、種別判定部４２は、気導音に非定常騒音が含まれていると判定する（ステップＳ３７でＹｅｓ、ステップＳ３８）。すると、種別判定部４２は、処理対象のフレームでの骨導音の周波数スペクトルを、非定常騒音区間のフレームに含まれているデータから得られたスペクトルであることと、フレームの番号に対応づけて、骨導音補正部４３に出力する（ステップＳ３９）。さらに、種別判定部４２は、ｔ番目のフレームの期間についての出力信号の生成に、骨導音を補正することによって得られた音声を用いることを、生成部４６に要求する（ステップＳ４０）。

ステップＳ３７において、音声強度の差が差分閾値Ｔｈｖ以下と判定された場合、種別判定部４２は、処理対象のフレームについて、ユーザの音声が収音されていると判定する（ステップＳ３７でＮｏ、ステップＳ４１）。種別判定部４２は、処理対象のフレームにおける気導音のスペクトルを、音声区間であることを表す情報と、フレームの番号に対応づけて、ＳＮＲ算出部４４に出力する（ステップＳ４２）。種別判定部４２は、処理対象のフレームにおける骨導音の周波数スペクトルを、音声区間のフレームであることを表す情報と、フレームの番号に対応づけて、骨導音補正部４３に出力する（ステップＳ４３）。

ステップＳ３５、Ｓ４０、Ｓ４３のいずれかの処理が終わると、種別判定部４２は、変数ｔを、分割部５１によって生成されたフレームの総数ｔｍａｘと比較する（ステップＳ４４）。変数ｔの値がｔｍａｘ未満の場合、種別判定部４２は、変数ｔを１つインクリメントしてステップＳ３２以降の処理を繰り返す（ステップＳ４４でＮｏ、ステップＳ４５）。一方、変数ｔの値がｔｍａｘ以上の場合、種別判定部４２は、全てのフレームを処理したと判断して処理を終了する。（ステップＳ４４でＹｅｓ）。

図１１のステップＳ４０に示すように、種別判定部４２は、非定常騒音区間であると判定されたフレームでは、生成部４６に、骨導音補正部４３で得られた音声を音声補正装置１０の出力とするように要求する。ここで、種別判定部４２は、非定常騒音が含まれているフレームでは、ＳＮＲの値の大きさに係らず、補正後の骨導音を音声補正装置１０から出力される音声とすることを生成部４６に要求する。このため、種別判定部４２で非定常騒音が含まれていると判定されたフレームについては、図９に示すように、音声補正装置１０は、補正後の骨導音を出力する。

図１２は、ＳＮＲ算出部４４の動作の例を説明するフローチャートである。以下の説明では、ＳＮＲ算出部４４は、予め、閾値Ｔｈｓを記憶しているものとする。閾値Ｔｈｓは、ＳＮＲが良好な値であるかを判定するときの基準となる値であり、実装に応じて決定される。

ＳＮＲ算出部４４は、種別判定部４２から、音声区間と判定されたフレームの気導音のスペクトルを取得したかを判定する（ステップＳ５１）。音声区間の気導音のスペクトルを取得した場合、ＳＮＲ算出部４４は、種別判定部４２から音声区間のフレームとして入力されたスペクトルを用いて、音声区間の気導音の平均パワーＰｖ（ｄＢｏｖ）を求める（ステップＳ５１でＹｅｓ、ステップＳ５２）。例えば、ｔ番目のフレームについての音声区間の気導音の平均パワーＰｖ（ｔ）は次式から計算できる。

ここで、Ｐ（ｔ）は、ｔ番目のフレームについての気導音のパワーである。Ｐｖ（ｔ―１）は、ｔ−１番目のフレームについての音声区間の気導音の平均パワーであり、αは、ｔ番目のフレームが音声区間の気導音の平均パワーに寄与する大きさを表す寄与係数である。寄与係数は実装に応じて、０≦α≦１を満たすように設定される。なお、ＳＮＲ算出部４４は、予め寄与係数αを記憶しているものとする。

一方、音声区間の気導音のスペクトルを取得していない場合、ＳＮＲ算出部４４は、取得した気導音のスペクトルは定常騒音区間のフレーム中のものかを判定する（ステップＳ５１でＮｏ、ステップＳ５３）。入力されたスペクトルが定常騒音区間のフレームのデータから得られたスペクトルではない場合、ＳＮＲ算出部４４は処理を終了する（ステップＳ５３でＮｏ）。定常騒音区間のスペクトルが入力されたと判定すると、ＳＮＲ算出部４４は、定常騒音区間の平均パワーＰｎ（ｄＢｏｖ）を計算する（ステップＳ５３でＹｅｓ、ステップＳ５４）。定常騒音区間の平均パワーＰｎは、例えば、次式で計算される。

ここで、βは、ｔ番目のフレームが定常騒音区間の気導音の平均パワーに寄与する大きさを表す寄与係数である。また、Ｐ（ｔ）は、ｔ番目のフレームについての気導音のパワーである。寄与係数は実装に応じて、０≦β≦１を満たすように設定される。ＳＮＲ算出部４４は、予め寄与係数βも記憶しているものとする。

ＳＮＲ算出部４４は、音声区間の気導音の平均パワーＰｖと定常騒音区間の平均パワーＰｎを用いて、ＳＮＲを計算する（ステップＳ５５）。ここでは、音声区間の気導音の平均パワーＰｖと定常騒音区間の平均パワーＰｎのいずれもｄＢｏｖ単位で計算されているので、ＳＮＲ＝Ｐｖ−Ｐｎとなる。

ＳＮＲ算出部４４は、得られたＳＮＲの値を、予め記憶している閾値Ｔｈｓと比較する（ステップＳ５６）。ＳＮＲが閾値Ｔｈｓよりも大きい場合、ＳＮＲ算出部４４は、ＳＮＲが良好であると判定し、種別判定部４２から取得した気導音のスペクトルを騒音低減部４５に出力する（ステップＳ５７）。さらに、ＳＮＲ算出部４４は、騒音低減部４５に出力したスペクトルに対応付けられたフレームの番号を生成部４６に通知し、そのフレームでは騒音低減部４５から得られた音声を、音声補正装置１０から出力する音声とすることを要求する（ステップＳ５８）。一方、ＳＮＲが閾値Ｔｈｓ以下の場合、ＳＮＲ算出部４４は、骨導音補正部４３から得られた音声を、音声補正装置１０から出力する音声とすることを、生成部４６に要求する（ステップＳ５９）。なお、ステップＳ５９においても、ＳＮＲ算出部４４は、種別判定部４２から取得したフレームの番号を、骨導音補正部４３から得られた値を用いるフレームを特定する情報として、生成部４６に通知するものとする。

図１２のステップＳ５７〜Ｓ５８に示すように、ＳＮＲ算出部４４は、ＳＮＲが良好なフレームでは、生成部４６に、騒音低減部４５で得られた音声を音声補正装置１０の出力とするように要求する。このため、図９に示すように、音声区間のフレームのうち、ＳＮＲの値が高いフレームでは、騒音低減後の気導音が音声補正装置１０から出力される音声となる。図１２のステップＳ５９に示すように、ＳＮＲ算出部４４は、ＳＮＲが低いフレームに対しては、骨導音補正部４３で得られた音声を音声補正装置１０の出力とすることを、生成部４６に要求する。ＳＮＲ算出部４４には、骨導音から得られたフレームは入力されていないが、図１１を参照しながら説明したステップＳ４３において、音声区間と判定された場合の骨導音のフレームは骨導音補正部４３に出力されている。骨導音補正部４３は、骨導音のスペクトルを、雑音が無視できるときの気導音のスペクトルに近づける補正をした後で、得られたデータを生成部４６に出力する。このため、図９に示すように、音声区間のフレームのうち、ＳＮＲの値が低ければ、補正後の骨導音が音声補正装置１０から出力される音声となる。

〔骨導音の補正〕
図１３は、骨導音補正部４３での補正の方法の例を説明する図である。ｔ番目のフレームでの骨導音の周波数スペクトルは、図１３のＡに示すとおりであるとする。骨導音補正部４３は、入力された周波数スペクトルを、予め保持している補正係数を求めるときに使用した周波数帯域に合わせて分割し、個々の周波数帯域についての振幅値を取得する。図１３には、例として、ｘ番目、ｙ番目、ｚ番目の周波数帯域とその振幅値を示す。以下では、周波数帯域の番号とフレームの番号を、括弧内に対にして記載する。例えば、図１３に示す骨導音の周波数スペクトルはｔ番目のフレームから得られているので、ｘ番目の周波数帯域を（ｘ，ｔ）と示す。同様に、ｔ番目のフレームから得た周波数スペクトルのｙ番目の周波数帯域を（ｙ，ｔ）、ｔ番目のフレームから得た周波数スペクトルのｚ番目の周波数帯域を（ｚ，ｔ）と記載する。

骨導音補正部４３は、個々の周波数帯域について、次式を用いて補正後の骨導音の振幅を求める。

なお、Ｆｂ_{ｍｏｄ（ｉ，ｔ）}は、ｔ番目のフレームから得た周波数スペクトルのｉ番目の周波数帯域について得られた振幅の補正値である。Ｆｂ（ｉ，ｔ）は、ｔ番目のフレームから得た周波数スペクトルのｉ番目の周波数帯域での補正前の振幅値である。ｃｏｅｆ＿ｆ（ｉ）は、ｉ番目の周波数帯域についての補正係数である。骨導音補正部４３が補正により得た値をプロットすると図１３のＢに示すグラフのようになる。

骨導マイク２５は気導マイク２０に比べて高周波数領域の振幅が小さいため、補正前の骨導音はこもったような音になる。しかし、周波数帯域ごとに補正係数を求めて補正することにより、高周波数の領域では低周波数の領域に比べて大きな値の補正係数を用いることができる。例えば、図１３の例でｘ番目、ｙ番目、ｚ番目の周波数帯域について補正係数の値を比べると、
ｃｏｅｆ＿ｆ（ｘ）≒ｃｏｅｆ＿ｆ（ｙ）＜ｃｏｅｆ＿ｆ（ｚ）
となっている。このため、ｘ番目やｙ番目の周波数帯域に比べて、ｚ番目の周波数帯域では補正により振幅が増大する割合が大きくなっている。

骨導音補正部４３は、骨導音の補正が終わると、得られたフレームを生成部４６に出力する。生成部４６は、種別判定部４２かＳＮＲ算出部４４から補正後の骨導音を音声補正装置１０からの出力として使用することが要求されている場合は、骨導音補正部４３から得られたフレームを音声補正装置１０からの出力として使用する。生成部４６は、各フレームについて使用する音声信号が決定すると、各フレームについて得られた周波数スペクトルを逆フーリエ変換することにより、時間の関数に変換する。生成部４６は、逆フーリエ変換によって得られた信号を、ユーザから音声補正装置１０に入力された音声の信号として扱う。

このように、実施形態にかかる音声補正装置は、非定常騒音がある場合やＳＮＲが閾値未満である場合など、気導マイクから入力された音声への雑音の影響が大きい場合は、骨導音をＳＮＲが良好な場合の気導音に近づけるように補正した音声を出力する。このとき、骨導音補正部４３は、周波数スペクトルを複数の周波数領域に分けて求めた補正係数データ３１を使用するので、骨導マイク２５の特性により高周波数帯域の音が弱くならないように補正できる。このため、補正後の骨導音の音声は、ユーザや音声補正装置１０の通信先のユーザなどに聞き取りやすい音声になる。

また、音声補正装置１０は、骨導マイク２５への入力の有無、非定常騒音の有無やＳＮＲの値に応じて、出力する音声の種類をフレーム毎に変動させることができるので、騒音をきめ細かく除去することができる。

＜第２の実施形態＞
第２の実施形態では、リアルタイムに補正係数を変動させる場合の音声補正装置１０の動作を説明する。

ＳＮＲ算出部４４は、第２の実施形態でも第１の実施形態と同様に、音声区間のフレームについての気導音のスペクトルが入力されるとフレームごとのＳＮＲを求める。さらに、ＳＮＲ算出部４４は、ＳＮＲ値が閾値Ｔｈｓ以下の場合には、周波数スペクトルを複数の周波数帯域に分割した上で、個々の周波数帯域についてＳＮＲ値を求める。以下、個々の周波数帯域についてＳＮＲ値の求め方を説明する。

第２の実施形態では、ＳＮＲ算出部４４は、定常騒音の周波数スペクトルを種別判定部４２から取得すると、定常騒音の平均スペクトルを計算する。定常騒音の平均スペクトルの例を、図１４のＡに示す。ＳＮＲ算出部４４は、定常騒音の平均スペクトルを複数の周波数帯域に分け、周波数帯域ごとに定常騒音の強度の平均値を求める。

ＳＮＲ算出部４４は、フレーム全体としてはＳＮＲ値が閾値Ｔｈｓ以下であったフレームの気導音の周波数スペクトルについて、定常騒音のスペクトルと同様に周波数帯域ごとに強度を特定し、その帯域の定常騒音の強度の平均値で割る。例えば、ＳＮＲ算出部４４は、図１４のＢに示すような周波数スペクトルを音声区間中のフレームの気導音のスペクトルとして取得すると、周波数帯域ごとにＳＮＲ値を計算する。ＳＮＲ算出部４４は算出したＳＮＲ値を、ＳＮＲ値が計算された周波数帯域に対応付けて、骨導音補正部４３に通知する。以下、ｔ番目のフレーム中のｉ番目の周波数帯域について得られたＳＮＲ値をＳＮＲ（ｉ，ｔ）と表す。骨導音補正部４３は、得られたＳＮＲ値を用いて、周波数帯域ごとに補正係数を変動させる。

図１５は、骨導音補正部４３が補正係数を変動させる方法の例を示すグラフである。ここで、第２の実施形態にかかる音声補正装置１０は、閾値ＳＮＲＢｌおよび閾値ＳＮＲＢｈの２つを記憶しているものとする。閾値ＳＮＲＢｌは、気導音の周波数スペクトルを用いてリアルタイムに補正係数を変動させることができる気導音のＳＮＲ値の最小値である。一方、閾値ＳＮＲＢｈは、リアルタイムに補正係数を変動させるときに、補正係数データ３１を使用しないでも良いと判定できるＳＮＲ値の最小値である。骨導音補正部４３は、周波数帯域ごとにＳＮＲ値を、閾値ＳＮＲＢｌおよび閾値ＳＮＲＢｈと比較する。

処理対象の周波数帯域についてのＳＮＲ値が閾値ＳＮＲＢｌ以下であると、骨導音補正部４３は、補正係数を補正せずに、補正係数データ３１に含まれている値を補正係数として用いる。処理対象の周波数帯域についてのＳＮＲ値が閾値ＳＮＲＢｌと閾値ＳＮＲＢｈの間である場合、骨導音補正部４３は、次式を用いて補正係数を修正する。

ここで、ｃｏｅｆ＿ｒ（ｉ，ｔ）は、ｔ番目のフレームについてのｉ番目の周波数帯域についての修正後の補正係数である。一方、ｃｏｅｆ＿ｆ（ｉ）は、ｉ番目の周波数帯域についての補正係数データ３１に含まれている補正係数である。

さらに、処理対象の周波数帯域についてのＳＮＲ値が閾値ＳＮＲＢｈ以上であると、骨導音補正部４３は、補正係数データ３１を使用せずに、処理対象の周波数帯域での気導音の強度を処理対象の周波数帯域での骨導音の強度に対する比を補正係数として用いる。

図１４のＣは、音声区間と判定されたフレームでの骨導音の周波数スペクトルの例である。図１４のＤは、図１５で示す方法を用いて得られた修正後の補正係数により補正された骨導音のスペクトルである。図１４の実線の矢印で示す区間では、周波数帯域ごとのＳＮＲ値が比較的良好である。このため、図１４の実線の矢印で示す区間では、骨導音の強度が気導音の強度に近づくように修正されている。一方、図１４の破線の矢印で示す区間では、周波数帯域ごとのＳＮＲ値が比較的悪い。このため、図１４の破線の矢印で示す区間では、骨導音の強度が気導音の強度と一致するように補正されず、予め求められた補正係数データ３１に基づいて補正されている。従って、ＳＮＲ値が悪い区間では、気導音での雑音の影響が抑えられている一方、ＳＮＲ値が良好な区間では、気導音に近づくように骨導音が修正される。このため、骨導音は、ユーザが聞き易くなるように補正される。

図１６は、骨導音補正部が補正係数を変動させるときの処理の例を説明するフローチャートである。ＳＮＲ算出部４４は、定常騒音と判定されたフレームでの気導音の周波数スペクトルを用いて、定常騒音の平均振幅スペクトルを算出する（ステップＳ６１）。ＳＮＲ算出部４４は、種別判定部４２から、音声区間内と判定されたフレームについての気導音のスペクトルを取得する（ステップＳ６２）。ＳＮＲ算出部４４は、種別判定部４２から入力された気導音のスペクトルと定常騒音の平均周波数スペクトルを用いて、処理対象のフレームの気導音について、周波数帯域ごとのＳＮＲ値を算出する（ステップＳ６３）。骨導音補正部４３は、ＳＮＲ算出部４４から通知されたＳＮＲ値を用いて、周波数帯域ごとに補正係数を求め、得られた補正係数を用いて骨導音を補正する（ステップＳ６４）。

第２の実施形態にかかる音声補正装置１０では、フレーム中の周波数帯域ごとに補正係数を変動させることができるため、ＳＮＲ値が良い周波数帯域ほど、骨導音の強度を気導音の強度に近づけることができる。さらに、ＳＮＲ値が所定の値よりも悪い周波数帯域では、予め求めた補正係数データ３１を用いた処理が行われる。このため、ＳＮＲ値が低下しても骨導音の修正には影響が及ばない。このため、第２の実施形態では、リアルタイムにきめ細かな補正を骨導音に加えることができる。結果として、音声補正装置１０から出力される音声は、騒音が抑えられた上に、ユーザまたはユーザの通信先にとって聞きやすく明瞭な音声にすることができる。

＜第３の実施形態＞
第３の実施形態では、音声信号の周波数帯域を低域と高域の２つに分けて処理することができる音声補正装置１０の動作を説明する。

図１７は、出力する音声の選択方法の例を示すテーブルである。第３の実施形態では、定常騒音下での音声を収音し、かつ、フレーム中でのＳＮＲ値が小さい場合については、低域では補正した骨導音を用い、高域では騒音を低減した気導音を用いる。音声補正装置１０は、予め閾値となる周波数の値Ｔｈｆｒを記憶しており、閾値Ｔｈｆｒよりも低い周波数を低域、閾値Ｔｈｆｒ以上の周波数を高域とするものとする。すなわち、生成部４６は、定常騒音下での音声を収音し、さらにフレーム中でのＳＮＲ値が小さいフレームについては、低域の周波数成分の強度が補正後の骨導音と同じで、高域の周波数成分の強度が気導音と同じ値の合成信号を生成する。生成部４６は、生成した合成信号をフーリエ変換することにより、時間領域の音声信号を、音声補正装置１０からの出力として生成する。

なお、骨導マイク２５がユーザに接触していないフレーム、非定常騒音が含まれているフレーム、フレーム全体においてＳＮＲ値が大きいフレームについて、生成部４６が出力音声を生成するときに使用する対象は、第１および第２の実施形態と同様である。

図１８は、第３の実施形態で行われる処理の例を説明するフローチャートである。なお、ステップＳ７１とＳ７２は順序を互いに変更することができる。

接触検出部４１は、変換部５２から処理対象のフレームについての気導音の周波数スペクトルと骨導音の周波数スペクトルを取得する（ステップＳ７１、Ｓ７２）。接触検出部４１は、気導音と骨導音の周波数スペクトルの各々について積算処理を行うことにより、気導音と骨導音の強度を計算する（ステップＳ７３）。骨導マイク２５がユーザに接触していないと判定すると、接触検出部４１は、生成部４６に対し、出力信号を騒音低減処理後の気導音から生成することを要求する（ステップＳ７４でＮｏ、ステップＳ７５）。

一方、骨導マイク２５がユーザに接触している場合、種別判定部４２は、処理対象のフレームに非定常騒音が収音されているかを判定する（ステップＳ７４でＹｅｓ、ステップＳ７６）。非定常騒音が収音されている場合、骨導音補正部４３は、対象フレームについて骨導音を補正する（ステップＳ７７でＹｅｓ、ステップＳ７８）。種別判定部４２は、非定常騒音が収音されていると判定すると、生成部４６に対し、出力信号を補正後の骨導音とすることを要求し、生成部４６は補正後の骨導音を出力対象とする（ステップＳ７９）。

非定常騒音が収音されていない場合、ＳＮＲ算出部４４は、対象フレームについてＳＮＲ値を求め、ＳＮＲ値が閾値Ｔｈｓより大きいかを判定する（ステップＳ８０、Ｓ８１）。ＳＮＲ値が閾値Ｔｈｓより大きい場合、ＳＮＲ算出部４４は、生成部４６に対し、出力信号を騒音低減処理後の気導音から生成することを要求する（ステップＳ８１でＹｅｓ、ステップＳ８２）。

一方、ＳＮＲ値が閾値Ｔｈｓ以下の場合、生成部４６は、騒音低減部４５から得られた騒音低減処理後の気導音を低域と高域に分け、高域分を出力信号として使用する（ステップＳ８１でＮｏ、ステップＳ８３）。骨導音補正部４３は、対象フレームについて骨導音を補正し、生成部４６に出力する（ステップＳ８４）。生成部４６は、骨導音補正部４３から得られた補正後の骨導音を低域と高域に分け、低域分を出力信号として使用する（ステップＳ８５）。生成部４６は、ステップＳ８３〜Ｓ８５で得られた信号を合せて逆フーリエ変換することにより、時間領域の音声信号を生成する（ステップＳ８６）。

なお、第３の実施形態に係る音声補正装置１０に含まれている骨導音補正部４３は、第１および第2の実施形態のいずれの方法で骨導音を補正しても良い。

第３の実施形態では、骨導音では不明瞭になりやすい高周波数成分については騒音を低減した後の気導音を使用することにより、聞き取りやすく自然な音声を生成することができる。

＜その他＞
なお、本発明は上記の実施形態に限られるものではなく、様々に変形可能である。以下にその例をいくつか述べる。

例えば、分割部５１は、フレームの番号の変わりに、そのフレームに含まれているデータの取得期間を示す情報を、分割した個々のデータに関連付けても良い。

さらに、以上の説明で使用したテーブルやデータは一例であり、実装に応じて任意に変更されることがあるものとする。

上述の各実施形態に対し、さらに以下の付記を開示する。
（付記１）
空気の振動を用いて気導音を収音する気導マイクと、
ユーザの骨の振動を用いて骨導音を収音する骨導マイクと、
前記気導音での前記ユーザの音声の雑音に対する比率を算出する算出部と、
前記骨導音の周波数スペクトルを、前記比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を記憶する記憶部と、
前記骨導音を、前記補正係数を用いて補正する補正部と、
前記比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する生成部
を備えることを特徴とする音声補正装置。
（付記２）
収音が行われた期間を複数のフレームに分割するとともに、前記骨導音と前記気導音を前記複数のフレームに合わせて分割する分割部と、
処理対象のフレームである対象フレームに合わせて分割された気導音の大きさと、前記対象フレームに合わせて分割された骨導音の大きさの差が第３の閾値以上であると、前記対象フレームで非定常的に発生した騒音が収音されたと判定する判定部
を備え、
前記生成部は、前記対象フレームに非定常的な騒音が収音された場合、前記補正後の骨導音から前記対象フレームに対応する音声信号を生成する
ことを特徴とする付記１に記載の音声補正装置。
（付記３）
前記算出部は、
前記対象フレームに非定常的な騒音が収音されていないと判定された場合、前記対象フレームの気導音についての前記比率を求め、
前記対象フレームの気導音についての前記比率が前記第２の閾値以上である場合、前記生成部に、前記対象フレームの気導音のデータを用いて前記対象フレームに対応する音声信号を生成することを要求する
ことを特徴とする付記２に記載の音声補正装置。
（付記４）
前記生成部は、前記対象フレームに非定常的な騒音が収音されていないと判定され、かつ、前記対象フレームの気導音についての前記比率が前記第２の閾値未満である場合、補正後の骨導音と気導音から合成信号を生成し、
前記合成信号は、所定の周波数よりも低い周波数成分の強度が前記補正後の骨導音と同じ値であり、前記所定の周波数以上の周波数成分の強度が前記気導音と同じ値であり、
前記生成部は、前記合成信号から前記対象フレームに対応する音声信号を生成する
ことを特徴とする付記２または３に記載の音声補正装置。
（付記５）
前記対象フレームでの気導音を第１の周波数スペクトルに変換するとともに、前記対象フレームでの骨導音を第２の周波数スペクトルに変換する変換部をさらに備え、
前記算出部は、前記複数のフレームのうちで気導音の強度が第４の閾値以下のフレームを定常的な騒音が収音されたフレームとして、前記定常的な騒音の周波数スペクトルである騒音スペクトルを求め、
前記補正部は、
前記第１の周波数スペクトル、前記第２の周波数スペクトル、前記騒音スペクトルの各々を複数の帯域に分割し、
前記第１の周波数スペクトルの値が前記騒音スペクトルより第５の閾値以上大きい第１の帯域では、前記第１の帯域についての補正係数を、前記第１の帯域での前記第１の周波数スペクトルの値と前記第１の帯域での前記第２の周波数スペクトルの値の比に近づけた修正値を求め、
前記第２の周波数スペクトルの前記第１の帯域の値を、前記修正値を用いて補正し、
前記騒音スペクトルの値と第５の閾値の和よりも前記第１の周波数スペクトルの値が小さい第２の帯域では、前記第２の周波数スペクトルの前記第２の帯域の値を、前記第２の帯域についての補正係数を用いて補正する
ことを特徴とする付記２〜４のいずれか１項に記載の音声補正装置。
（付記６）
空気の振動を用いて気導音を収音する気導マイクと、
ユーザの骨の振動を用いて骨導音を収音する骨導マイクと、
前記気導音と骨導音を処理するプロセッサと、
前記プロセッサが使用するデータを記憶するメモリ
を備え、
前記プロセッサは、前記気導音での前記ユーザの音声の雑音に対する比率を算出し、
前記メモリは、前記骨導音の周波数スペクトルを、前記比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を記憶し、
前記プロセッサは、
前記骨導音を、前記補正係数を用いて補正し、
前記比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する
ことを特徴とする音声補正装置。
（付記７）
空気の振動を用いて気導音を収音する気導マイクと、ユーザの骨の振動を用いて骨導音を収音する骨導マイクを備える音声補正装置に、
前記気導音での前記ユーザの音声の雑音に対する比率を算出し、
前記骨導音の周波数スペクトルを、前記比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を取得し、
前記骨導音を、前記補正係数を用いて補正し、
前記比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する
処理を行わせることを特徴とする音声補正プログラム。
（付記８）
収音が行われた期間を複数のフレームに分割し、
前記骨導音と前記気導音を前記複数のフレームに合わせて分割し、
処理対象のフレームである対象フレームに合わせて分割された気導音の大きさと、前記対象フレームに合わせて分割された骨導音の大きさの差が第３の閾値以上であると、前記対象フレームで非定常的に発生した騒音が収音されたと判定し、
前記対象フレームに非定常的な騒音が収音された場合、前記補正後の骨導音から前記対象フレームに対応する音声信号を生成する
ことを特徴とする付記７に記載の音声補正プログラム。
（付記９）
前記対象フレームに非定常的な騒音が収音されていない場合、前記対象フレームの気導音についての前記比率を求め、
前記対象フレームの気導音についての前記比率が前記第２の閾値以上である場合、前記対象フレームの気導音のデータを用いて前記対象フレームに対応する音声信号を生成する
ことを特徴とする付記８に記載の音声補正プログラム。
（付記１０）
前記対象フレームに非定常的な騒音が収音されておらず、かつ、前記対象フレームの気導音についての前記比率が前記第２の閾値未満である場合、補正後の骨導音と気導音から合成信号を生成し、
前記合成信号は、所定の周波数よりも低い周波数成分の強度が前記補正後の骨導音と同じ値であり、前記所定の周波数以上の周波数成分の強度が前記気導音と同じ値であり、
前記合成信号から前記対象フレームに対応する音声信号を生成する
ことを特徴とする付記８または９に記載の音声補正プログラム。
（付記１１）
前記対象フレームでの気導音を第１の周波数スペクトルに変換し、
前記対象フレームでの骨導音を第２の周波数スペクトルに変換し、
前記複数のフレームのうちで気導音の強度が第４の閾値以下のフレームを定常的な騒音が収音されたフレームとして扱うことにより、前記定常的な騒音の周波数スペクトルである騒音スペクトルを求め、
前記第１の周波数スペクトル、前記第２の周波数スペクトル、前記騒音スペクトルの各々を複数の帯域に分割し、
前記第１の周波数スペクトルの値が前記騒音スペクトルより第５の閾値以上大きい第１の帯域では、前記第１の帯域についての補正係数を、前記第１の帯域での前記第１の周波数スペクトルの値と前記第１の帯域での前記第２の周波数スペクトルの値の比に近づけた修正値を求め、
前記第２の周波数スペクトルの前記第１の帯域の値を、前記修正値を用いて補正し、
前記騒音スペクトルの値と第５の閾値の和よりも前記第１の周波数スペクトルの値が小さい第２の帯域では、前記第２の周波数スペクトルの前記第２の帯域の値を、前記第２の帯域についての補正係数を用いて補正する
ことを特徴とする付記８〜１０のいずれか１項に記載の音声補正プログラム。
（付記１２）
空気の振動を用いて気導音を収音する気導マイクと、ユーザの骨の振動を用いて骨導音を収音する骨導マイクを備える音声補正装置に、
前記気導音での前記ユーザの音声の雑音に対する比率を算出し、
前記骨導音の周波数スペクトルを、前記比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を取得し、
前記骨導音を、前記補正係数を用いて補正し、
前記比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する
処理を行わせることを特徴とする音声補正方法。

１ アンテナ
２ 無線処理回路
３ Ｄ／Ａコンバータ
６ プロセッサ
７ Ａ／Ｄコンバータ
８ アンプ
９ メモリ
１０ 音声補正装置
２０ 気導マイク
２５ 骨導マイク
３０ 記憶部
３１ 補正係数データ
４０ 音声処理部
４１ 接触検出部
４２ 種別判定部
４３ 骨導音補正部
４４ ＳＮＲ算出部
４５ 騒音低減部
４６ 生成部
５０ フレーム生成部
５１ 分割部
５２ 変換部

Claims (7)

1. 空気の振動を用いて気導音を収音する気導マイクと、
   ユーザの骨の振動を用いて骨導音を収音する骨導マイクと、
   前記気導音での前記ユーザの音声の雑音に対する比率を算出する算出部と、
   前記骨導音の周波数スペクトルを、前記比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を記憶する記憶部と、
   前記骨導音を、前記補正係数を用いて補正する補正部と、
   前記比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する生成部
   を備えることを特徴とする音声補正装置。
2. 収音が行われた期間を複数のフレームに分割するとともに、前記骨導音と前記気導音を前記複数のフレームに合わせて分割する分割部と、
   処理対象のフレームである対象フレームに合わせて分割された気導音の大きさと、前記対象フレームに合わせて分割された骨導音の大きさの差が第３の閾値以上であると、前記対象フレームで非定常的に発生した騒音が収音されたと判定する判定部
   を備え、
   前記生成部は、前記対象フレームに非定常的な騒音が収音された場合、前記補正後の骨導音から前記対象フレームに対応する音声信号を生成する
   ことを特徴とする請求項１に記載の音声補正装置。
3. 前記算出部は、
   前記対象フレームに非定常的な騒音が収音されていないと判定された場合、前記対象フレームの気導音についての前記比率を求め、
   前記対象フレームの気導音についての前記比率が前記第２の閾値以上である場合、前記生成部に、前記対象フレームの気導音のデータを用いて前記対象フレームに対応する音声信号を生成することを要求する
   ことを特徴とする請求項２に記載の音声補正装置。
4. 前記生成部は、前記対象フレームに非定常的な騒音が収音されていないと判定され、かつ、前記対象フレームの気導音についての前記比率が前記第２の閾値未満である場合、補正後の骨導音と気導音から合成信号を生成し、
   前記合成信号は、所定の周波数よりも低い周波数成分の強度が前記補正後の骨導音と同じ値であり、前記所定の周波数以上の周波数成分の強度が前記気導音と同じ値であり、
   前記生成部は、前記合成信号から前記対象フレームに対応する音声信号を生成する
   ことを特徴とする請求項２または３に記載の音声補正装置。
5. 前記対象フレームでの気導音を第１の周波数スペクトルに変換するとともに、前記対象フレームでの骨導音を第２の周波数スペクトルに変換する変換部をさらに備え、
   前記算出部は、前記複数のフレームのうちで気導音の強度が第４の閾値以下のフレームを定常的な騒音が収音されたフレームとして、前記定常的な騒音の周波数スペクトルである騒音スペクトルを求め、
   前記補正部は、
   前記第１の周波数スペクトル、前記第２の周波数スペクトル、前記騒音スペクトルの各々を複数の帯域に分割し、
   前記第１の周波数スペクトルの値が前記騒音スペクトルより第５の閾値以上大きい第１の帯域では、前記第１の帯域についての補正係数を、前記第１の帯域での前記第１の周波数スペクトルの値と前記第１の帯域での前記第２の周波数スペクトルの値の比に近づけた修正値を求め、
   前記第２の周波数スペクトルの前記第１の帯域の値を、前記修正値を用いて補正し、
   前記騒音スペクトルの値と第５の閾値の和よりも前記第１の周波数スペクトルの値が小さい第２の帯域では、前記第２の周波数スペクトルの前記第２の帯域の値を、前記第２の帯域についての補正係数を用いて補正する
   ことを特徴とする請求項２〜４のいずれか１項に記載の音声補正装置。
6. 空気の振動を用いて気導音を収音する気導マイクと、ユーザの骨の振動を用いて骨導音を収音する骨導マイクを備える音声補正装置に、
   前記気導音での前記ユーザの音声の雑音に対する比率を算出し、
   前記骨導音の周波数スペクトルを、前記比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を取得し、
   前記骨導音を、前記補正係数を用いて補正し、
   前記比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する
   処理を行わせることを特徴とする音声補正プログラム。
7. 空気の振動を用いて気導音を収音する気導マイクと、ユーザの骨の振動を用いて骨導音を収音する骨導マイクを備える音声補正装置に、
   前記気導音での前記ユーザの音声の雑音に対する比率を算出し、
   前記骨導音の周波数スペクトルを、前記比率が第１の閾値以上のときの気導音中の周波数スペクトルに一致させるための補正係数を取得し、
   前記骨導音を、前記補正係数を用いて補正し、
   前記比率が第２の閾値より小さくなると、補正後の骨導音から出力信号を生成する
   処理を行わせることを特徴とする音声補正方法。

Images