JP6216553B2 - 伝搬遅延補正装置及び伝搬遅延補正方法 - Google Patents

Description

本発明は、オーディオ信号の伝搬遅延補正を行う伝搬遅延補正装置及び伝搬遅延補正方法に関する。

一般に、乗用車等の車内には複数の位置にスピーカが設置されている。例えば、左フロントスピーカと右フロントスピーカは、車内空間の中心線を挟んで対称となる位置に設置されている。しかし、これらのスピーカは、リスナの聴取位置（運転席や助手席、後部座席など）を基準に考えると、対称となる位置にはない。そのため、リスナの聴取位置と複数のスピーカのそれぞれとの間の距離の差（各スピーカから放射された再生音が到達する時間の差）により、ハース効果による音像定位の偏りが発生する。

例えば特許文献１に、音像定位の偏りを改善することが可能な装置が記載されている。特許文献１に記載の装置は、各スピーカから放射される再生音をリスナの聴取位置に同時に到達させるように時間調節（すなわちタイムアライメント処理）することにより、音像定位の偏りを抑える。より詳細には、特許文献１に記載の装置は、オーディオ信号を帯域分割回路によって高域と低域とに分割したうえで、低域用、高域用の各スピーカから放射される再生音のそれぞれを時間調節することにより、音像定位の偏りや位相干渉による周波数特性の乱れを全帯域に亘って補正する。

しかし、特許文献１に記載の装置では、帯域分割回路において信号のロスや二重加算が生じることにより、リスナの聴取位置での伝達特性のリニアリティが劣化するという問題がある。また、特許文献１に記載の装置では、帯域分割回路により分割された信号をミキシングする際にクロスオーバ周波数付近の周波数特性にピークやディップが生じるという問題点もある。

そこで、特許文献２に、タイムアライメント処理を行う装置において、リスナの聴取位置での伝達特性のリニアリティを改善すると共にミキシング時点でのピークやディップの発生を抑えることが可能なものが提案されている。

特開平７−１６２９８５号公報 国際公開第２００９／０９５９６５号パンフレット

特許文献２に記載の装置では、リスナの聴取位置での伝達特性のリニアリティを改善するため、デジタルフィルタが用いられている。より具体的には、特許文献２に記載の装置では、ＦＩＲ（Finite Impulse Response）フィルタが用いられている。特許文献２に記載のＦＩＲフィルタは、ピークやディップの発生を抑えるため、急峻なカットオフ周波数を持つ高次のフィルタとなっており、多数の遅延回路及び乗算器によって構成されている。そのため、処理負荷が大きいという問題がある。また、特許文献２に記載の構成では、分割される周波数帯域の数を増やすほど（時間調節される周波数帯域を細かく分けるほど）必要な遅延回路及び乗算器が増加する。そのため、処理負荷が一層大きくなるという問題がある。

本発明はこのような事情を鑑みてなされたものであり、その目的とするところは、処理負荷の増加が抑えられつつ、リスナの聴取位置での伝達特性のリニアリティが改善されると共に周波数帯域間でのピークやディップの発生が抑えられる伝搬遅延補正装置及び伝搬遅延補正方法を提供することである。

本発明の実施形態の伝搬遅延補正装置は、オーディオ信号を短時間フーリエ変換することにより周波数スペクトル信号を生成する周波数スペクトル信号生成手段と、所定の周波数帯域毎の伝搬遅延時間を設定する伝搬遅延時間設定手段と、所定の周波数帯域毎に設定された伝搬遅延時間に基づいて該周波数帯域毎の位相制御量を計算する位相制御量計算手段と、計算された所定の周波数帯域毎の位相制御量をスムージング処理することにより所定の位相制御信号を生成する位相制御信号生成手段と、生成された位相制御信号に基づいて周波数スペクトル信号の位相を所定の周波数帯域毎に制御する位相制御手段と、所定の周波数帯域毎に位相制御された周波数スペクトル信号を短時間逆フーリエ変換することにより、伝搬遅延補正されたオーディオ信号を生成するオーディオ信号生成手段とを備える。

このように、本実施形態では、周波数帯域毎の位相制御を行うことにより、多数のＦＩＲフィルタを用いることなく複数の周波数帯域間での伝搬遅延時間が調節（補正）される。そのため、処理負荷の増加が抑えられつつ、リスナの聴取位置での伝達特性のリニアリティが改善される。また、伝搬遅延時間の異なる周波数帯域間における位相の変化をスムージング処理によって滑らかにすることにより、周波数帯域間の位相干渉による周波数特性の乱れ（ピークやディップの発生）が抑えられる。

位相制御手段は、位相制御信号に基づいて周波数スペクトル信号の位相を所定の周波数帯域毎に回転させ及びオフセットする構成としてもよい。

伝搬遅延補正装置は、伝搬遅延時間設定手段において伝搬遅延時間が設定される周波数帯域の数及び幅の少なくとも一方を指定することが可能な周波数帯域指定手段を備える構成としてもよい。

本発明の実施形態の伝搬遅延補正方法は、オーディオ信号を短時間フーリエ変換することにより周波数スペクトル信号を生成する周波数スペクトル信号生成ステップと、所定の周波数帯域毎の伝搬遅延時間を設定する伝搬遅延時間設定ステップと、所定の周波数帯域毎に設定された伝搬遅延時間に基づいて該周波数帯域毎の位相制御量を計算する位相制御量計算ステップと、計算された所定の周波数帯域毎の位相制御量をスムージング処理することにより所定の位相制御信号を生成する位相制御信号生成ステップと、生成された位相制御信号に基づいて周波数スペクトル信号の位相を所定の周波数帯域毎に制御する位相制御ステップと、所定の周波数帯域毎に位相制御された周波数スペクトル信号を短時間逆フーリエ変換することにより、伝搬遅延補正されたオーディオ信号を生成するオーディオ信号生成ステップとを含む方法である。

本発明の実施形態によれば、処理負荷の増加が抑えられつつ、リスナの聴取位置での伝達特性のリニアリティが改善されると共に周波数帯域間でのピークやディップの発生が抑えられる伝搬遅延補正装置及び伝搬遅延補正方法が提供される。

本発明の実施形態の音響処理装置の構成を示すブロック図である。 本発明の実施形態の音響処理装置において実行されるタイムアライメント処理のフローチャートを示す図である。 本発明の実施形態の音響処理装置に備えられる伝搬遅延時間設定部より出力される周波数帯域毎の伝搬遅延時間の信号を例示する図である。 本発明の実施形態の音響処理装置に備えられる位相制御量計算部より出力される周波数帯域毎の位相制御量の信号を例示する図である。 本発明の実施形態の音響処理装置に備えられる位相スムージング部より出力される周波数帯域毎の位相制御信号を例示する図である。 本発明の実施形態の伝搬遅延時間設定部による設定に応じたＲチャンネルの位相制御量を連続位相表記で示す図である。 本発明の実施形態において周波数特性がフラットなインパルス信号が入力されたときの出力の周波数特性（位相スムージングが行われなかったときのもの）を示す図である。 本発明の実施形態において周波数特性がフラットなインパルス信号が入力されたときの出力の周波数特性（位相スムージングが行われたときのもの）を示す図である。 図８に示される周波数特性に対応するインパルス応答を示す図である。 本発明の実施形態において２．８ｋＨｚ〜３．５ｋＨｚに帯域制限された周波数特性がフラットなインパルス信号が入力されたときのインパルス応答（位相スムージングが行われたときのもの）を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として音響処理装置を例に取り説明する。

［音響処理装置１の構成及びタイムアライメントの処理フロー］
図１は、本実施形態の音響処理装置１の構成を示すブロック図である。図１に示されるように、本実施形態の音響処理装置１は、音源部１１、短時間フーリエ変換（ＳＴＦＴ：Short-Term Fourier Transform）部１２、伝搬遅延時間設定部１３、位相制御量計算部１４、位相スムージング部１５、位相制御部１６及び短時間逆フーリエ変換（ＩＳＴＦＴ：Inverse Short-Term Fourier Transform）部１７を備えている。音響処理装置１は、ハース効果による音像定位の偏りを抑えるため、ステレオのオーディオ信号のＬチャンネルとＲチャンネルの伝搬遅延時間を調節する（すなわちタイムアライメント処理を行う）。伝搬遅延時間が調節（補正）されたオーディオ信号が図示省略されたパワーアンプを介してスピーカから出力されることにより、ユーザは、音像定位の偏りが抑えられた環境で楽曲等を聴取することができる。図２に、音響処理装置１において実行されるタイムアライメント処理のフローチャートを示す。なお、本実施形態では、便宜上、２チャンネルの場合のタイムアライメント処理を説明するが、３チャンネル以上の場合のタイムアライメント処理も本発明の範疇である。

［図２のＳ１１（短時間フーリエ変換）］
ＳＴＦＴ部１２には、音源部１１より可逆圧縮フォーマットや非可逆圧縮フォーマットの符号化信号を復号化したステレオのオーディオ信号Ｌ、Ｒが入力される。ＳＴＦＴ部１２は、入力されたオーディオ信号Ｌ、Ｒのそれぞれをオーバラップ処理及び窓関数による重み付けを行った後、ＳＴＦＴにより時間領域から周波数領域への変換を行い、実数及び虚数の周波数スペクトル信号Ｌｆ、Ｒｆを出力する。

［図２のＳ１２（伝搬遅延時間の設定変更の検知）］
伝搬遅延時間設定部１３は、ユーザによる伝搬遅延時間の設定操作を受け付けるインタフェースである。ユーザは、伝搬遅延時間設定部１３を操作することにより、Ｌチャンネル、Ｒチャンネルの各チャンネルの伝搬遅延時間を所定の周波数帯域毎（例えば可聴域を複数の周波数帯域に分割したものの一つ一つ）に設定することができる。伝搬遅延時間が設定される周波数帯域の数や幅は、伝搬遅延時間設定部１３の操作を介して指定することができる。伝搬遅延時間設定部１３は、設定操作に応じた伝搬遅延時間の信号Ｌｔ、Ｒｔを出力する。本フローチャートは、伝搬遅延時間設定部１３より出力される信号Ｌｔ、Ｒｔから伝搬遅延時間の設定変更が検知された場合（図２のＳ１２：ＹＥＳ）、図２の処理ステップＳ１３（位相制御量の計算）に進む。伝搬遅延時間設定部１３より出力される信号Ｌｔ、Ｒｔから伝搬遅延時間の設定変更が検知されない場合には（図２のＳ１２：ＮＯ）、図２の処理ステップＳ１５（位相制御）に進む。

なお、伝搬遅延時間の設定変更はマニュアル操作によるものに限らない。本実施形態の変形例として、例えば、リスナの聴取位置（運転席や助手席、後部座席など）にマイクが設置される。変形例では、リスナの聴取位置に設置されたマイクを用いて車内空間の音響特性が測定され、測定された結果に基づいて各チャンネルの周波数帯域毎の伝搬遅延時間が自動的に設定される。

［図２のＳ１３（位相制御量の計算）］
位相制御量計算部１４は、伝搬遅延時間設定部１３より入力される周波数帯域毎の伝搬遅延時間の信号Ｌｔ、Ｒｔに基づいて周波数帯域毎の位相制御量を計算し、計算された位相制御量の信号Ｌｃ、Ｒｃを位相スムージング部１５に出力する。ここで、位相制御とは、周波数スペクトル信号Ｌｆ、Ｒｆの位相の回転量を制御することである。位相の回転量を制御することは、時間領域において伝搬遅延時間を制御することと等価である。なお、周波数帯域内の位相を保持したまま伝搬遅延時間だけを制御するため、サンプリング周波数の逆数が伝搬遅延時間の分解能とされる。また、周波数帯域毎の位相回転に対して周波数に応じた位相オフセットが与えられる。

［図２のＳ１４（位相スムージング）］
位相スムージング部１５は、位相制御量計算部１４より入力される周波数帯域毎の位相制御量の信号Ｌｃ、Ｒｃに対して積分処理によりスムージングを掛けることにより、周波数帯域毎の位相制御信号Ｌｐ、Ｒｐを生成する。位相スムージング部１５は、生成された周波数帯域毎の位相制御信号Ｌｐ、Ｒｐを位相制御部１６に出力する。

［図２のＳ１５（位相制御）］
位相制御部１６は、位相スムージング部１５より入力される周波数帯域毎の位相制御信号Ｌｐ、Ｒｐに基づいて、ＳＴＦＴ部１２より入力される周波数スペクトル信号Ｌｆ、Ｒｆの位相を周波数帯域毎に制御（位相回転及び位相オフセット）する。位相制御部１６は、位相が周波数帯域毎に制御された周波数スペクトル信号Ｌｆｐ、ＲｆｐをＩＳＴＦＴ部１７に出力する。

［図２のＳ１６（短時間逆フーリエ変換）］
ＩＳＴＦＴ部１７は、位相制御部１６より入力される周波数スペクトル信号Ｌｆｐ、ＲｆｐをＩＳＴＦＴにより周波数領域から時間領域の信号に変換し、変換された信号について窓関数による重み付け及びオーバラップ加算を行う。オーバラップ加算後に得られるオーディオ信号Ｌｏ、Ｒｏは、伝搬遅延時間設定部１３の設定に応じて伝搬遅延補正された信号であり、ＩＳＴＦＴ部１７から後段の回路（パワーアンプ、スピーカなど）に出力される。

このように、本実施形態の音響処理装置１では、周波数帯域毎の位相制御（位相回転及び位相オフセット）を行うことにより、多数のＦＩＲフィルタを用いることなく複数の周波数帯域間での伝搬遅延時間が調節（補正）される。そのため、処理負荷の増加が抑えられつつ、リスナの聴取位置での伝達特性のリニアリティが改善される。また、伝搬遅延時間の異なる周波数帯域間における位相の変化をスムージング処理によって滑らかにすることにより、周波数帯域間の位相干渉による周波数特性の乱れ（ピークやディップの発生）が抑えられる。

［タイムアライメント処理の具体的数値例］
次に、音響処理装置１において実行されるタイムアライメント処理の具体的数値例を説明する。下記は、具体的数値例における各種パラメータ及びその値である。
オーディオ信号のサンプリング周波数 ：４４．１ｋＨｚ
フーリエ変換長 ：１６，３８４サンプル
オーバラップ長 ：１２，２８８サンプル
窓関数 ：ハニング
周波数帯域の分割数 ：２０
（ここでは可聴域が２０の周波数帯域に分割されている。）

図３（ａ）、図３（ｂ）のそれぞれに、伝搬遅延時間設定部１３より出力される周波数帯域毎の伝搬遅延時間の信号Ｌｔ、Ｒｔを例示する。図３（ａ）、図３（ｂ）の各図中、縦軸は遅延時間（単位：ｍｓｅｃ）を示し、横軸は周波数（単位：Ｈｚ）を示す。図３に例示されるように、伝搬遅延時間は、Ｌチャンネル側の信号Ｌｔでは全周波数帯域に亘って０ｍｓｅｃであり（図３（ａ）参照）、Ｒチャンネル側の信号Ｒｔでは２０個の周波数帯域毎に０ｍｓｅｃ〜２．２ｍｓｅｃの範囲で独立に設定されている（図３（ｂ）参照）。

図４（ａ）、図４（ｂ）のそれぞれに、位相制御量計算部１４より出力される周波数帯域毎の位相制御量の信号Ｌｃ、Ｒｃを例示する。図４（ａ）、図４（ｂ）の各図中、縦軸は位相（単位：ｄｅｇｒｅｅ）を示し、横軸は周波数（単位：Ｈｚ）を示す。上述したように、Ｌチャンネル側では伝搬遅延時間が全周波数帯域に亘って０ｍｓｅｃである。そのため、信号Ｌｃは、図４（ａ）に例示されるように、位相回転及び位相オフセットを含まないフラットな信号となる。一方、信号Ｒｃは、図４（ｂ）に例示されるように、伝搬遅延時間（図３（ｂ）参照）に応じた位相回転及び位相オフセットを含む信号となる。

図５（ａ）、図５（ｂ）のそれぞれに、位相スムージング部１５より出力される周波数帯域毎の位相制御信号Ｌｐ、Ｒｐを例示する。図５（ａ）、図５（ｂ）の各図中、縦軸は位相（単位：ｄｅｇｒｅｅ）を示し、横軸は周波数（単位：Ｈｚ）を示す。本具体的数値例の位相スムージングの積分処理には、次数が１２８のＦＩＲローパスフィルタが用いられる。ＦＩＲローパスフィルタの正規化カットオフ周波数は０．０５である。なお、ＦＩＲローパスフィルタは、位相スムージングの積分処理のためだけに用いられる。そのため、ＦＩＲローパスフィルタによる処理負荷の増加は軽微である。また、ＦＩＲローパスフィルタは、ＩＩＲ（Infinite Impulse Response）ローパスフィルタに置き換えてもよい。

図６に、伝搬遅延時間設定部１３による設定に応じたＲチャンネルの位相制御量を連続位相表記で示す。図６中、縦軸は角度（単位：ラジアン）を示し、横軸は周波数（単位：Ｈｚ）を示す。また、図６中、一点鎖線は、位相スムージング部１５による位相スムージング前の位相制御量（図４（ｂ）に例示される位相制御量の信号Ｒｃ）を示し、実線は、位相スムージング部１５による位相スムージング後の位相制御量（図５（ｂ）に例示される位相制御信号Ｒｐ）を示す。

図４（ｂ）と図５（ｂ）又は図６の一点鎖線と実線とを比較すると、位相スムージング部１５による位相スムージングが行われることにより、周波数帯域間の急峻な位相変化が滑らかになっていることが判る。これにより、伝搬遅延時間の異なる周波数帯域間の位相干渉による周波数特性の乱れ（ピークやディップの発生）が抑えられる。

図７及び図８に、図３に示される伝達遅延時間が設定されている状態で周波数特性がフラットなインパルス信号（オーディオ信号Ｌ、Ｒ）が入力されたときの出力（オーディオ信号Ｌｏ、Ｒｏ）の周波数特性を示す。図７及び図８中、縦軸はレベル（単位：ｄＢ）を示し、横軸は周波数（単位：Ｈｚ）を示す。図７（ａ）、図７（ｂ）はそれぞれ、位相スムージング部１５による位相スムージングが行われなかった場合のオーディオ信号Ｌｏ、Ｒｏの周波数特性を示す。図８（ａ）、図８（ｂ）はそれぞれ、位相スムージング部１５による位相スムージングが行われた場合のオーディオ信号Ｌｏ、Ｒｏの周波数特性を示す。図７（ｂ）と図８（ｂ）とを比較すると、位相スムージング部１５による位相スムージングを行うことにより、周波数特性がフラットとなり、伝搬遅延時間の異なる周波数帯域間の位相干渉による周波数特性の乱れ（ピークやディップの発生）が抑えられることが判る。

図９（ａ）、図９（ｂ）のそれぞれに、図８（ａ）、図８（ｂ）に示される周波数特性に対応するインパルス応答を示す。図９（ａ）、図９（ｂ）の各図中、縦軸は振幅（正規化された値）を示し、横軸は時間（単位：ｓｅｃ）を示す。図９（ａ）と図９（ｂ）とを比較すると、Ｒチャンネル側のインパルス応答（オーディオ信号Ｒｏ）がＬチャンネル側のインパルス応答（オーディオ信号Ｌｏ）に対して遅延していることが判る。より詳細には、Ｒチャンネル側のインパルス応答（オーディオ信号Ｒｏ）には、伝搬遅延時間が０ｍｓｅｃ〜２．２ｍｓｅｃの範囲で周波数帯域毎に与えられていることから、様々な遅延が含まれていることが判る。

図１０（ａ）、図１０（ｂ）のそれぞれに、図３に示される伝達遅延時間が設定されている場合に、２．８ｋＨｚ〜３．５ｋＨｚに帯域制限された周波数特性がフラットなインパルス信号（オーディオ信号Ｌ、Ｒ）が入力されたときのインパルス応答（オーディオ信号Ｌｏ、Ｒｏ）を示す。図１０（ａ）、図１０（ｂ）の各図中、縦軸は振幅（正規化された値）を示し、横軸は時間（単位：ｓｅｃ）を示す。図３（ｂ）に示されるように、２．８ｋＨｚ〜３．５ｋＨｚの周波数帯域では、伝搬遅延時間設定部１３により設定されている伝搬遅延時間は２．２ｍｓｅｃである。図１０（ａ）と図１０（ｂ）とを比較すると、周波数帯域内の位相が保持されたまま伝搬遅延時間（２．２ｍｓｅｃ）だけが制御されていることが判る。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施例等又は自明な実施例等を適宜組み合わせた内容も本願の実施形態に含まれる。

１ 音響処理装置
１１ 音源部
１２ ＳＴＦＴ部
１３ 伝搬遅延時間設定部
１４ 位相制御量計算部
１５ 位相スムージング部
１６ 位相制御部
１７ ＩＳＴＦＴ部

Claims (8)

1. オーディオ信号を短時間フーリエ変換することにより周波数スペクトル信号を生成する周波数スペクトル信号生成手段と、
   入力手段より入力される値に基づいて所定の周波数帯域毎の伝搬遅延時間を設定する伝搬遅延時間設定手段と、
   前記所定の周波数帯域毎に設定された伝搬遅延時間に基づいて該周波数帯域毎の位相制御量を計算する位相制御量計算手段と、
   前記伝搬遅延時間の異なる周波数帯域間の位相干渉による周波数特性の乱れが抑えられるように、前記計算された所定の周波数帯域毎の位相制御量をスムージング処理することにより所定の位相制御信号を生成する位相制御信号生成手段と、
   生成された位相制御信号に基づいて前記周波数スペクトル信号の位相を前記所定の周波数帯域毎に制御する位相制御手段と、
   前記所定の周波数帯域毎に位相制御された周波数スペクトル信号を短時間逆フーリエ変換することにより、伝搬遅延補正されたオーディオ信号を生成するオーディオ信号生成手段と、
   を備える、
   伝搬遅延補正装置。
2. 前記位相制御手段は、
   前記位相制御信号に基づいて前記周波数スペクトル信号の位相を前記所定の周波数帯域毎に回転させ及びオフセットする、
   請求項１に記載の伝搬遅延補正装置。
3. 前記位相制御手段は、
   前記オーディオ信号のサンプリング周波数の逆数を前記伝搬遅延時間の分解能とし、前記所定の周波数帯域毎の位相回転に対して周波数に応じた位相オフセットを与える、
   請求項２に記載の伝搬遅延補正装置。
4. 前記伝搬遅延時間設定手段において前記伝搬遅延時間が設定される周波数帯域の数及び幅の少なくとも一方を指定することが可能な周波数帯域指定手段
   を備える、
   請求項１から請求項３の何れか一項に記載の伝搬遅延補正装置。
5. オーディオ信号を短時間フーリエ変換することにより周波数スペクトル信号を生成する周波数スペクトル信号生成ステップと、
   入力手段より入力される値に基づいて所定の周波数帯域毎の伝搬遅延時間を設定する伝搬遅延時間設定ステップと、
   前記所定の周波数帯域毎に設定された伝搬遅延時間に基づいて該周波数帯域毎の位相制御量を計算する位相制御量計算ステップと、
   前記伝搬遅延時間の異なる周波数帯域間の位相干渉による周波数特性の乱れが抑えられるように、前記計算された所定の周波数帯域毎の位相制御量をスムージング処理することにより所定の位相制御信号を生成する位相制御信号生成ステップと、
   生成された位相制御信号に基づいて前記周波数スペクトル信号の位相を前記所定の周波数帯域毎に制御する位相制御ステップと、
   前記所定の周波数帯域毎に位相制御された周波数スペクトル信号を短時間逆フーリエ変換することにより、伝搬遅延補正されたオーディオ信号を生成するオーディオ信号生成ステップと、
   を含む、
   伝搬遅延補正方法。
6. 前記位相制御ステップにて、
   前記位相制御信号に基づいて前記周波数スペクトル信号の位相を前記所定の周波数帯域毎に回転させ及びオフセットする、
   請求項５に記載の伝搬遅延補正方法。
7. 前記位相制御ステップにて、
   前記オーディオ信号のサンプリング周波数の逆数を前記伝搬遅延時間の分解能とし、前記所定の周波数帯域毎の位相回転に対して周波数に応じた位相オフセットを与える、
   請求項６に記載の伝搬遅延補正方法。
8. 前記伝搬遅延時間が設定される周波数帯域の数及び幅の少なくとも一方を指定することが可能な周波数帯域指定ステップ
   を含む、
   請求項５から請求項７の何れか一項に記載の伝搬遅延補正方法。

Images