JP2014183392A - 周波数特性補正装置及びプログラム - Google Patents

Abstract

【課題】 ユーザが意識せずに、スピーカが発音出力する受話信号の周波数特性を自動的に補正できる周波数特性補正装置を提供する。
【解決手段】 本発明は、周波数特性補正手段と補正特性情報形成手段とを有する。補正特性情報形成手段は、スピーカから発音出力され、エコー経路を介してマイクに到来した受話音声を、マイクが捕捉して得た送話信号の周波数特性と、スピーカから発音出力される受話信号の周波数特性との相違に基づき、周波数特性補正手段が実行する周波数特性の補正情報を形成する。
【選択図】 図１

Description

本発明は周波数特性補正装置及びプログラムに関し、例えば、スマートフォンに適用し得るものである。

現在、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ ＩＰ）を利用したＩＰ電話が普及している。これを、パーソナルコンピュータ（ＰＣ）などのアプリケーションとして実現するものがあり、一般にソフトフォンと称されている。近年、スマートフォンと呼ばれる携帯型情報端末が普及し、ソフトフォンはスマートフォン上のアプリケーションとして実現される場合が主流となってきている。

ところが、スマートフォンは、ＰＣと同様に、音声通信に特化された機器ではないため、音声信号の出力デバイス（イヤピース、スピーカ）の周波数特性が機種毎にばらばらであり、また、機種が同じであっても製品毎のばらつきも大きく、製品毎に周波数特性を補正する必要がある。

このような課題を解決するため、例えば、特許文献１に記載のような周波数特性自動補正方法が適用可能である。特許文献１に記載のような従来方法は、ホワイトノイズのような周波数特性を有する信号（特許文献１ではＭ系列信号）をスピーカから再生し、所定位置に設けられた測定用のマイクロフォンで捕捉し、捕捉信号を解析して周波数特性などを得て、イコライザに設定するパラメータを定め、周波数補正用のイコライザに設定するものであった。

特開平７−７４５６５号公報

しかしながら、特許文献１に記載のような従来技術は、周波数を解析する前提となる特定の参照信号を必要としたり、また、計測のための機器などの設置作業などが必要であったりし、適用環境や適用条件などに制限が大きいものであった。例えば、スマートフォンのユーザがスマートフォンの周波数特性を補正する場合に適用する方法としては不向きである。

本発明は、以上の点に鑑みてなされたものであり、ユーザが意識することなく自動的に音信号の周波数特性を補正することができる周波数特性補正装置及びプログラムを提供しようとしたものである。

第１の本発明は、発音出力デバイスから発音出力される音の信号である出力音信号の周波数特性を補正する周波数特性補正装置において、（１）上記出力音信号の周波数特性を補正して、上記発音出力デバイス側に出力する周波数特性補正手段と、（２）上記発音出力デバイスから発音出力され、エコー経路を介して到来した音を音捕捉手段が捕捉して得た入力音信号の周波数特性と、上記出力音信号の周波数特性との相違に基づき、上記周波数特性補正手段が実行する周波数特性の補正情報を形成する補正特性情報形成手段とを有することを特徴とする。

第２の本発明は、発音出力デバイスから発音出力される音の信号である出力音信号の周波数特性を補正するための周波数特性補正プログラムであって、コンピュータを、（１）上記出力音信号の周波数特性を補正して、上記発音出力デバイス側に出力する周波数特性補正手段と、（２）上記発音出力デバイスから発音出力され、エコー経路を介して到来した音を音捕捉手段が捕捉して得た入力音信号の周波数特性と、上記出力音信号の周波数特性との相違に基づき、上記周波数特性補正手段が実行する周波数特性の補正情報を形成する補正特性情報形成手段として機能させることを特徴とする。

本発明によれば、ユーザが意識することなく自動的に音信号の周波数特性を補正できる周波数特性補正装置及びプログラムを提供できる。

第１の実施形態の周波数特性補正装置の機能的構成を示すブロック図である。 第１の実施形態の周波数特性補正装置の動作説明に用いる各種の周波数特性を示す説明図である。 第２の実施形態の周波数特性補正装置の機能的構成を示すブロック図である。 第３の実施形態の周波数特性補正装置の機能的構成を示すブロック図である。

（Ａ）第１の実施形態
以下、本発明による周波数特性補正装置及びプログラムの第１の実施形態を、図面を参照しながら説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の周波数特性補正装置の機能的構成を示すブロック図である。

第１の実施形態の周波数特性補正装置は、専用のＩＣチップなど、ハードウェア的に構成することもでき、また、ＣＰＵと、ＣＰＵが実行するプログラムのようにソフトウェア的に構築することもできるが、機能的には、図１で表すことができる。ソフトウェア的に構成した場合の例としては、スマートフォンに搭載されるアプリケーションの例を挙げることができる。

図１において、第１の実施形態の周波数特性補正装置１は、周波数特性補正部２と、補正特性情報形成部３とでなる。

周波数特性補正部２は、対向装置から受信したデジタル信号でなる受話信号ｒｉ（ｎ）（ここで、ｎは時刻を表すパラメータ）の周波数特性を、補正特性情報形成部３から与えられた補正特性情報Ｆ（ｋ）に応じて補正して、図示しないスピーカヘ向かう受話信号（以下、出力受話信号と呼ぶ）ｒｏ（ｎ）を得るものである。周波数特性補正部２は、例えば、デジタルフィルタでなる。出力受話信号ｒｏ（ｎ）は、図示しないデジタル／アナログ変換部によってアナログ信号に変換された後、図示しないスピーカから発音出力される。

補正特性情報形成部３には、受話信号ｒｉ（ｎ）に加え、図示しないマイクロフォンが捕捉した信号を図示しないアナログ／デジタル変換部がデジタル信号に変換した送話信号ｓ（ｎ）が与えられる。補正特性情報形成部３は、受話信号ｒｉ（ｎ）の周波数特性と、スピーカから発音出力された受話信号がマイクロフォンで捕捉されて得られた送話信号ｓ（ｎ）（言い換えると、エコー信号）の周波数特性とに基づいて、補正特性情報Ｆ（ｋ）を形成するものである。この補正特性情報Ｆ（ｋ）は、当初の受話信号ｒｉ（ｎ）の周波数特性と送話信号ｓ（ｎ）の周波数特性とを一致させる情報となっている。

一般的に、マイクロフォンはフラットな周波数特性を有するが、スピーカの周波数特性はフラットではない。しかも、スピーカは、機種ごとに周波数特性がばらばらであり、また、機種が同じであっても製品毎のばらつきも大きい。そのため、当初の受話信号ｒｉ（ｎ）（のアナログ信号）をスピーカから発音出力させた場合、発音出力された音声の周波数特性は受話信号ｒｉ（ｎ）が有する周波数特性からかなり違ったものとなる。

そこで、この第１の実施形態では、スピーカから発音出力させた音声の周波数特性が当初の受話信号ｒｉ（ｎ）の周波数特性と合致するように、受話信号ｒｉ（ｎ）の周波数特性を補正特性情報Ｆ（ｋ）に応じて補正して出力受話信号ｒｏ（ｎ）を形成させることとした。

補正特性情報形成部３は、受話側パワ正規化部１０、受話側ＦＦＴ（高速フーリエ変換）部１１、送話側パワ正規化部１２、送話側ＦＦＴ部１３、相関判定部１４及び比較分析部１５を有する。

なお、送話信号ｓ（ｎ）、受話信号ｒｉ（ｎ）及び出力受話信号ｒｏ（ｎ）はそれぞれ、補正特性情報形成部３においては、一定時間のサンプル数（以下、フレームと呼ぶことがある）ごとに切り出されて処理される。

受話側パワ正規化部１０は、受話信号ｒｉ（ｎ）を受話信号自身の信号パワで正規化するものであり、送話側パワ正規化部１２は、送話信号ｓ（ｎ）を送話信号自身の信号パワで正規化するものである。従って、受話側パワ正規化部１０から出力された正規化後の受話信号Ｒｉ（ｎ）と、送話側パワ正規化部１２から出力された正規化後の送話信号Ｓ（ｎ）とはパワが揃ったものとなる。

受話側ＦＦＴ部１１は、正規化後の受話信号Ｒｉ（ｎ）をフレーム単位に周波数情報（周波数特性）ＲＦ（ｋ）（ｋはフレームを表す）へ変換するものであり、送話側ＦＦＴ部１３は、正規化後の送話信号Ｓ（ｎ）をフレーム単位に周波数情報ＳＦ（ｋ）へ変換するものである。なお、周波数情報への変換方法はＦＦＴに限定されるものではない。受話側ＦＦＴ部１１は、直近所定フレーム数の周波数情報ＲＦ（ｋ）〜ＲＦ（ｋ−Ｎ）を保持する機能を有している。

相関判定部１４は、保持されている受話側の周波数情報ＲＦ（ｋ）〜ＲＦ（ｋ−Ｎ）の中で、現フレームの送話側の周波数情報ＳＦ（ｋ）と最も相関が高い受話側の周波数情報ＲＦ（ｘ）を探索し、探索された受話側の周波数情報ＲＦ（ｘ）と送話側の周波数情報ＳＦ（ｋ）とを比較分析部１５に与えるものである。なお、最も相関が高い受話側の周波数情報ＲＦ（ｘ）でも相関が所定の閾値未満の場合には、探索できなかったとして扱うようにしても良い。これは、例えば、ダブルトークの期間では、この第１の実施形態による周波数特性の補正を行うことは適切でないためである。このような点を考慮すると、閾値との比較に代え、ダブルトーク検出部を設け、補正特性情報形成部３が受話信号ｒｉ（ｎ）だけのシングルトーク期間でのみ有効に機能するようにしても良い。

比較分析部１５は、受話側の周波数情報ＲＦ（ｘ）から送話側の周波数情報ＳＦ（ｋ）を周波数成分毎に減算し、得られた周波数情報を補正特性情報Ｆ（ｋ）として周波数特性補正部２に与えるものである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の周波数特性補正装置１における動作を、図面を参照しながら説明する。

当該周波数特性補正装置１が搭載されているスマートフォンのソフトフォンにおいて、対向する電話端末との通話が開始されると、周波数特性補正装置１が動作を開始する。

対向装置からの受話信号ｒｉ（ｎ）は、補正特性情報形成部３を介した後、図示しないデジタル／アナログ変換部によってアナログ信号に変換されて図示しないスピーカから発音出力される。発音出力された受話音声は、図示しないマイクロフォンにエコー経路を介して回り込み、マイクロフォンで捕捉された後、アナログ／デジタル変換部によってデジタル信号に変換されて、送話信号ｓ（ｎ）として周波数特性補正装置１に入力される。

受話信号ｒｉ（ｎ）は、受話側パワ正規化部１０によって、受話信号自身の信号パワで正規化された後、受話側ＦＦＴ部１１によって、フレーム単位に周波数情報ＲＦ（ｋ）へ変換され、直近の所定フレーム数の周波数情報ＲＦ（ｋ）〜ＲＦ（ｋ−Ｎ）が受話側ＦＦＴ部１１に保持される。

一方、送話信号ｓ（ｎ）は、送話側パワ正規化部１２によって、送話信号自身の信号パワで正規化された後、送話側ＦＦＴ部１３によって、フレーム単位に周波数情報ＳＦ（ｋ）へ変換される。

そして、相関判定部１４によって、受話側ＦＦＴ部１１に保持されている受話側の周波数情報ＲＦ（ｋ）〜ＲＦ（ｋ−Ｎ）の中で、現フレームの送話側の周波数情報ＳＦ（ｋ）と最も相関が高い受話側の周波数情報ＲＦ（ｘ）が探索され、探索された受話側の周波数情報ＲＦ（ｘ）と送話側の周波数情報ＳＦ（ｋ）とが比較分析部１５に与えられる。比較分析部１５において、受話側の周波数情報ＲＦ（ｘ）から送話側の周波数情報ＳＦ（ｋ）が周波数成分毎に減算され、得られた周波数情報が補正特性情報Ｆ（ｋ）として周波数特性補正部２に与えられる。

これにより、周波数特性補正部２の周波数特性として補正特性情報Ｆ（ｋ）が設定され、受話信号ｒｉ（ｎ）の周波数特性は、補正特性情報Ｆ（ｋ）に応じて補正される。

例えば、送話信号ｓ（ｎ）から得られた現フレームの送話側の周波数情報ＳＦ（ｋ）が図２（Ａ）の破線のような特性であり、受話信号ｒｉ（ｎ）から得られた、送話側の周波数情報ＳＦ（ｋ）と最も相関が高い受話側の周波数情報ＲＦ（ｘ）が図２（Ａ）の実線のような特性である場合には、補正特性情報Ｆ（ｋ）（＝ＲＦ（ｘ）−ＳＦ（ｋ））は、図２（Ｂ）に示すような特性となる。

この補正特性情報Ｆ（ｋ）で受話信号ｒｉ（ｎ）の周波数特性を補正した場合、仮に、パワ正規化後で見て、スピーカから発音出力されることで減衰される周波数成分は補正により増幅され、スピーカから発音出力されることで増幅される周波数成分は補正により減衰され、このような補正がなされた出力受話信号ｒｏ（ｎ）を発音出力させると、補正で増幅された周波数成分はスピーカによる発音出力で減衰され、補正で減衰された周波数成分はスピーカによる発音出力で増幅され、スピーカから発音出力された音声の周波数特性は、当初の受話信号ｒｉ（ｎ）の周波数特性と同様なものとなる。

すなわち、以上のような補正により、スピーカの機種ごとの周波数特性のばらつきや製品毎のばらつきに拘らず、スピーカから発音出力された音声の周波数特性は、当初の受話信号ｒｉ（ｎ）の周波数特性と同様なものとなる。

周波数特性補正装置１における動作は、通話開始時点から予め定められている所定期間（例えば１０秒間）だけ経過したときに終了するようにしても良い。また、周波数特性補正装置１における動作を、通話中、実行させるようにしても良い。さらに、周波数特性補正装置１における動作を、補正特性情報Ｆ（ｋ）における全ての周波数成分のレベルが所定の狭範囲内に収まったときに終了させるようにしても良い。

なお、以上では、通話開始に伴い、自動的に周波数特性補正装置１における動作を有効とするものを示したが、ユーザが周波数特性補正装置１における動作を有効とするか否かを選択できるようにしておき（ディップスイッチによる選択や、アプリケーションからの選択など）、有効とすることを選択している状態における通話時に、周波数特性補正装置１における動作を有効とするようにしても良い。

（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、ユーザが通話時に周波数特性の補正を意識することなく、自動的に、スピーカの周波数特性の影響を補償するように受話信号の周波数特性を補正し、発音出力させることができる。

しかも、第１の実施形態によれば、受話信号の周波数特性のために特別な参照信号は不要で、受話信号そのものを参照信号と用いることができ、ホワイトノイズ信号などの特別な参照信号の発生回路を不要とすることができる。

なお、参照信号の発生回路を備え、参照信号を発音出力して補正特性情報Ｆ（ｋ）を得ることは、第１の実施形態の変形実施形態を構成する。例えば、スマートフォン購入直後などの設定機能の一つとして、周波数特性補正機能を設けるようにしても良く、このような場合であればホワイトノイズ信号などを周波数特性の補正に利用することができる。

（Ｂ）第２の実施形態
次に、本発明による周波数特性補正装置及びプログラムの第２の実施形態を、図面を参照しながら説明する。

図３は、第２の実施形態の周波数特性補正装置の機能的構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

第２の実施形態の周波数特性補正装置１Ａは、スマートフォンに搭載されているものである。第２の実施形態の周波数特性補正装置１Ａは、第１の実施形態の周波数特性補正装置１と同様な構成に加えて、第２の周波数特性補正部１６及び使用者属性判別部１７を有する。

使用者属性判別部１７は、当該周波数特性補正装置１Ａが搭載されているスマートフォンの使用者情報を管理しているアプリケーションから使用者情報を取り込み、使用者（ユーザ）の属性を得て、第２の周波数特性補正部１６に設定する第２の補正特性情報Ｆ２を得るものである。

第２の周波数特性補正部１６は、例えば、デジタルフィルタでなり、対向装置からの受話信号ｒｉ（ｎ）の周波数特性を第２の補正特性情報Ｆ２に従って補正し、補正後の受話信号ｒｉ２（ｎ）を周波数特性補正部２及び補正特性情報形成部３に与えるものである。

例えば、使用者属性判別部１７は、年齢の代と第２の補正特性情報Ｆ２とを対応したテーブルを備えており、使用者情報から使用者の年齢が何十代かを判別し、その年代に適した第２の補正特性情報Ｆ２をテーブルから読み出して第２の周波数特性補正部１６に与える。これにより、第２の周波数特性補正部１６から出力された補正後の受話信号ｒｉ２（ｎ）は、その年代の人達が聴き取りやすい周波数特性を有するものとなる。例えば、ユーザが６０代の人であれば、高域成分を持ち上げておくようにする。

使用者の属性は、年齢に限定されるものではない。例えば、年齢と性別の組み合わせであっても良い。

第２の実施形態によれば、スピーカの周波数特性を考慮した周波数特性の補正と、ユーザの属性を考慮した周波数特性の補正とを、相互に悪影響を与えることなく併存させることができる。

（Ｃ）第３の実施形態
次に、本発明による周波数特性補正装置及びプログラムの第３の実施形態を、図面を参照しながら説明する。

図４は、第３の実施形態の周波数特性補正装置の機能的構成を示すブロック図であり、第１の実施形態に係る図１との同一、対応部分には同一、対応符号を付して示している。

第３の実施形態の周波数特性補正装置１Ｂは、第１の実施形態の周波数特性補正装置１と同様な構成に加えて、ノイズキャンセラ部１８を有する。

ノイズキャンセラ部１８には、図示しないマイクロフォンが捕捉した信号を図示しないアナログ／デジタル変換部がデジタル信号に変換した送話信号ｓ（ｎ）が与えられる。ノイズキャンセラ部１８は、送話信号ｓ（ｎ）に含まれているノイズ成分を除去し、除去後の送話信号ｓ２（ｎ）を補正特性情報形成部３に与えるものである。

補正特性情報形成部３は、基本的には、受話信号がエコー経路を介して回り込んだ送話信号は受話信号と非常に高い相関を有することを利用し、受話信号と送話信号の周波数特性の相違は、スピーカの周波数特性に基づいているという考え方に立って、補正特性情報Ｆ（ｋ）を形成している。

しかしながら、当該周波数特性補正装置を搭載したスマートフォンが背景雑音下にあるときには背景雑音の周波数特性も送話信号ｓ（ｎ）に含まれる。背景雑音成分を除去することなく、補正特性情報Ｆ（ｋ）を形成した場合には、発音出力される音声は、スピーカの周波数特性と背景雑音の周波数特性分が補正されたものとなり、受話信号ｒｉ（ｎ）と大きくかけ離れたものとなる。一方、この実施形態のように、ノイズキャンセラ部１８によってノイズ成分を除去した後の送話信号ｓ２（ｎ）に基づいて、補正特性情報Ｆ（ｋ）を形成した場合には、第１の実施形態で説明したように、発音出力される音声は、スピーカの周波数特性が打ち消された受話信号ｒｉ（ｎ）に非常に近いものとなる。

なお、ノイズキャンセラ部１８の機能を有効とするか否かは、ユーザの選択に任せるようにしても良い。

第３の実施形態によれば、背景雑音が大きい環境下においても、第１の実施形態で説明した効果を発揮させることができる。

（Ｄ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。

上記各実施形態では、通話用のマイクロフォンを周波数特性の補正のための送話信号ｓ（ｎ）を得るマイクロフォンとして適用したものを示したが、周波数特性の補正用のマイクロフォンを通話用のマイクロフォンと別個に設けるようにしても良い。

上記各実施形態においては、ＦＦＴ部で変換された後の周波数情報で、送話信号と受話信号との同期（相関）を探索するものを示したが、時間軸信号の段階で送話信号と受話信号との同期（相関）を求めるようにしても良い。この場合、その後にフレームの切り出し、ＦＦＴ変換を行うようにしても良く、さらには、信号パワに基づく正規化も相関を求めてから行うようにしても良い。

上記各実施形態では、マイクロフォンが１個の場合を示したが、マイクロフォンが複数ある場合にも、本発明を適用することができる。例えば、各マイクロフォンの捕捉信号毎に補正特性情報を求め、複数の補正特性情報を周波数成分毎に平均して得た平均補正特性情報を周波数特性補正部２に与えるようにしても良い。

上記各実施形態では、本発明の周波数特性補正装置をスマートフォンに搭載するものを示したが、テレビ会議装置などの他の音声通信装置に本発明の周波数特性補正装置を適用することができる。さらに、音楽プレイヤ、カラオケ装置などの楽音信号、音響信号などを扱う装置に対しても、本発明の周波数特性補正装置を適用することができる。特許請求の範囲で「音信号」と表現しているものは「音声信号」、「楽音信号」、「音響信号」など、発音出力デバイスによって発音出力されるものを表している。

１、１Ａ、１Ｂ…周波数特性補正装置、２…周波数特性補正部、３…補正特性情報形成部、１０…受話側パワ正規化部、１１…受話側ＦＦＴ部、１２…送話側パワ正規化部、１３…送話側ＦＦＴ部、１４…相関判定部、１５…比較分析部、１６…第２の周波数特性補正部、１７…使用者属性判別部、１８…ノイズキャンセラ部。

Claims (3)

1. 発音出力デバイスから発音出力される音の信号である出力音信号の周波数特性を補正する周波数特性補正装置において、
   上記出力音信号の周波数特性を補正して、上記発音出力デバイス側に出力する周波数特性補正手段と、
   上記発音出力デバイスから発音出力され、エコー経路を介して到来した音を音捕捉手段が捕捉して得た入力音信号の周波数特性と、上記出力音信号の周波数特性との相違に基づき、上記周波数特性補正手段が実行する周波数特性の補正情報を形成する補正特性情報形成手段とを有する
   ことを特徴とする周波数特性補正装置。
2. 上記補正特性情報形成手段が、
   上記出力音信号を、その出力音信号のパワで正規化する出力側正規化部と、
   時間軸信号である正規化された出力音信号を周波数軸信号に変換する出力側信号軸変換部と、
   上記入力音信号を、その入力音信号のパワで正規化する入力側正規化部と、
   時間軸信号である正規化された入力音信号を周波数軸信号に変換する入力側信号軸変換部と、
   上記出力側信号軸変換部からの出力側周波数軸信号と上記入力側信号軸変換部からの入力側周波数軸信号との同期した組を探索する同期周波数軸信号探索部と、
   同期した上記出力側周波数軸信号と上記入力側周波数軸信号との周波数特性の相違に基づいて、上記周波数特性補正手段が実行する周波数特性の補正情報を得る特性比較分析部とを有する
   ことを特徴とする請求項１に記載の周波数特性補正装置。
3. 発音出力デバイスから発音出力される音の信号である出力音信号の周波数特性を補正するための周波数特性補正プログラムであって、
   コンピュータを、
   上記出力音信号の周波数特性を補正して、上記発音出力デバイス側に出力する周波数特性補正手段と、
   上記発音出力デバイスから発音出力され、エコー経路を介して到来した音を音捕捉手段が捕捉して得た入力音信号の周波数特性と、上記出力音信号の周波数特性との相違に基づき、上記周波数特性補正手段が実行する周波数特性の補正情報を形成する補正特性情報形成手段と
   して機能させることを特徴とする周波数特性補正プログラム。

Images